Vibe編程已經(jīng)出現(xiàn)半年了，這半年也嘗試了很多工具和構(gòu)建了一些小的應(yīng)用，這篇文章也談?wù)勎覍?duì)于Vibe編程的理解。Vibe編程Vibe編程中文翻譯是氛圍編程，2025年2月3日，前OpenAI聯(lián)合創(chuàng)始人、前特斯拉人工智能主管AndrejKarpathy在社交平臺(tái)X上發(fā)布了一條看似平常卻引發(fā)全網(wǎng)熱議的推文，其大意是說(shuō)：有一種新的編碼方式，稱之為Vibe編程；它讓你完全沉浸在氛圍中，擁抱指數(shù)級(jí)增長(zhǎng)，甚至忘記代碼的存在。Karpathy用一種近乎詩(shī)意的語(yǔ)言...

盡管多模態(tài)大模型已廣泛應(yīng)用于各個(gè)領(lǐng)域，但計(jì)算機(jī)到底是如何識(shí)別一只貓的？最近閱讀了一篇文章（https:www.quantamagazine.orghowcanaiidacatanillustratedguide20250430），內(nèi)容容易理解，總結(jié)如下。一個(gè)簡(jiǎn)單的分類器假設(shè)在同一個(gè)坐標(biāo)系中存在三角形和方形，如下圖：如果要將這兩個(gè)類型分開(kāi)，就需要一條分界線，但是如何知道這條分界線？傳統(tǒng)的機(jī)器學(xué)習(xí)可以通過(guò)??SVM??，計(jì)算一條與剛好兩個(gè)分類的各個(gè)點(diǎn)上距離和最小的一條...

導(dǎo)言你不需要成為數(shù)據(jù)科學(xué)家或機(jī)器學(xué)習(xí)工程師每個(gè)人都可以編寫(xiě)提示。在考慮大型語(yǔ)言模型的輸入和輸出時(shí)，文本提示（有時(shí)伴隨著其他模態(tài)，如圖像提示）是模型用來(lái)預(yù)測(cè)特定輸出的輸入。你不需要成為數(shù)據(jù)科學(xué)家或機(jī)器學(xué)習(xí)工程師每個(gè)人都可以編寫(xiě)提示。然而，編寫(xiě)最有效的提示可能很復(fù)雜。提示的許多方面都會(huì)影響其效果：你使用的模型、模型的訓(xùn)練數(shù)據(jù)、模型配置、你的措辭、風(fēng)格和語(yǔ)氣、結(jié)構(gòu)以及上下文都很重要。因此，提示工程是...

最近在看編譯器的書(shū)籍，想從0開(kāi)始寫(xiě)一個(gè)簡(jiǎn)單的自制編程語(yǔ)言練練手，但是同時(shí)想到自己現(xiàn)在手頭有ChatGPT，于是萌生想法：如果我了解編譯器整個(gè)設(shè)計(jì)過(guò)程，為什么我還需要重頭開(kāi)始寫(xiě)編譯器呢？為何不直接將整個(gè)實(shí)現(xiàn)思路給到GPT，讓GPT幫我實(shí)現(xiàn)代碼，我只需要考慮如何設(shè)計(jì)詞法和語(yǔ)法，如何優(yōu)化等過(guò)程即可，說(shuō)干就干，于是開(kāi)始《ChatGPTAI自制編程語(yǔ)言》系列文章。1、試驗(yàn)在驗(yàn)證《AI自制編程語(yǔ)言》之前，我在想整個(gè)流程是否按照想法...

隨著當(dāng)前各種編程??Agent???，??MCP???的層出不窮，大模型的正在加速進(jìn)化，于是又開(kāi)始探索，不過(guò)這次的目標(biāo)是用??golang???實(shí)現(xiàn)??JavaScript??引擎（目標(biāo)是完成ES5.1的全部功能）。1.回顧JS編譯器的實(shí)現(xiàn)過(guò)程如上是總結(jié)的??V8??大體的實(shí)現(xiàn)方式，編程語(yǔ)言的實(shí)現(xiàn)已經(jīng)經(jīng)歷了幾十年的發(fā)展，包括V8，Lua等語(yǔ)言基本都采用類似實(shí)現(xiàn)步驟：詞法分析語(yǔ)法分析語(yǔ)義解析和優(yōu)化虛擬機(jī)通過(guò)JIT實(shí)現(xiàn)性能優(yōu)化...2.如何選擇...

在早期的圖像分類中，通常流程是先人工提取特征，然后用對(duì)應(yīng)的機(jī)器學(xué)習(xí)算法對(duì)特征進(jìn)行分類，分類的準(zhǔn)確率一般依賴特征選取的方法，甚至依賴經(jīng)驗(yàn)主義。YannLeCun最早提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖像識(shí)別領(lǐng)域的，其主要邏輯是使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并對(duì)圖像所屬類別進(jìn)行預(yù)測(cè)，通過(guò)訓(xùn)練數(shù)據(jù)不斷調(diào)整網(wǎng)絡(luò)參數(shù)，最終形成一套能自動(dòng)提取圖像特征并對(duì)這些特征進(jìn)行分類的網(wǎng)絡(luò)，如圖：圖像處理1、卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（Convo...

為了探索和改進(jìn)AI工具在編程方面的體驗(yàn)，同時(shí)也想驗(yàn)證一些AI的邊界，于是又想到了嘗試從0實(shí)現(xiàn)高性能JSON解析器，說(shuō)干就干。開(kāi)始以為比較簡(jiǎn)單，不會(huì)超過(guò)半天就能實(shí)現(xiàn)，但是經(jīng)過(guò)各種提示詞優(yōu)化，最終花了兩天時(shí)間...1.選用工具現(xiàn)在有各種AICopilot，比較常用的Cursor，Windsurf，Trae等，不過(guò)我現(xiàn)在用的比較順手的是：Windsurf。除了編程工具，然后就是模型，目前代碼領(lǐng)域比較強(qiáng)的：Claude3.7Sonnet和Claude3.7SonnetThinkingGPT4...

最近MCP這么火，了解了一段時(shí)間也該寫(xiě)篇總結(jié)，那就開(kāi)始吧。1.什么是MCPMCP（ModelContextProtocol，模型上下文協(xié)議），2024年11月底，由Anthropic推出的一種開(kāi)放標(biāo)準(zhǔn)，旨在統(tǒng)一大型語(yǔ)言模型（LLM）與外部數(shù)據(jù)源和工具之間的通信協(xié)議。官網(wǎng)的介紹：https:modelcontextprotocol.iointroductionMCP包括幾個(gè)核心功能：Resources是允許服務(wù)器公開(kāi)可由客戶端讀取并用作LLM交互上下文的數(shù)據(jù)和內(nèi)容，包括文件內(nèi)容，數(shù)據(jù)庫(kù)，API，圖片等...

1.LanceDB介紹LanceDB是一個(gè)開(kāi)源的用Rust實(shí)現(xiàn)的向量數(shù)據(jù)庫(kù)（https:github.comlancedblancedb），它的主要特點(diǎn)是：提供單機(jī)服務(wù)，可以直接嵌入到應(yīng)用程序中支持多種向量索引算法，包括Flat、HNSW、IVF等。支持全文檢索，包括BM25、TFIDF等。支持多種向量相似度算法，包括Cosine、L2等。與Arrow生態(tài)系統(tǒng)緊密集成，允許通過(guò)SIMD和GPU加速在共享內(nèi)存中實(shí)現(xiàn)真正的零拷貝訪問(wèn)。2.LanceDB安裝pipinstalllancedb預(yù)覽版本：pipinstallpre...

我們?cè)趯?xiě)Prompt可能經(jīng)常遇到不準(zhǔn)確或者無(wú)法獲得外部知識(shí)，因此本文講述CoT和ReAct如何運(yùn)作并提高大語(yǔ)言模型準(zhǔn)確性。第一部分：CoT（思維鏈）1、什么是CoT通用的Prompt：?jiǎn)栴}：Roger有5個(gè)網(wǎng)球。他買了2罐網(wǎng)球。每罐有3個(gè)網(wǎng)球。他現(xiàn)在有多少個(gè)網(wǎng)球？答案：答案是11個(gè)。問(wèn)題：自助餐廳有23個(gè)蘋(píng)果。如果他們用了20個(gè)來(lái)做午餐，又買了6個(gè)，他們現(xiàn)在有多少個(gè)蘋(píng)果？輸出答案：答案是29個(gè)。CoT的Prompt：?jiǎn)栴}：Roger有5個(gè)網(wǎng)球。他買了2...

前面一篇文章介紹了??《從0開(kāi)發(fā)大模型之DeepSeek的GRPO》??，并且實(shí)現(xiàn)了一個(gè)簡(jiǎn)單版本的GRPO?代碼，不過(guò)從工程領(lǐng)域來(lái)看，并沒(méi)有復(fù)現(xiàn)DeepSeekR1，于是最近申請(qǐng)了48G的顯存，結(jié)合一些開(kāi)源的方案復(fù)現(xiàn)ahamonent，并給出完整的代碼和工具鏈。1、什么是ahamonentDeepSeekR1論文中提到，模型讓作者「見(jiàn)證了強(qiáng)化學(xué)習(xí)的力量和美感」，在DeepSeekR1Zero的中間版本，「頓悟時(shí)刻」來(lái)了：模型學(xué)會(huì)了以人類的語(yǔ)氣進(jìn)行反思。ahamonent2、使...

最近在看一篇github上大佬的文章，從0開(kāi)始訓(xùn)練llama3，覺(jué)得對(duì)于《從0開(kāi)發(fā)大模型》有點(diǎn)幫助，于是翻譯一下，發(fā)現(xiàn)其中很多內(nèi)容當(dāng)前系列文章的知識(shí)點(diǎn)相似。原文：https:github.comnaklechallama3fromscratch其中metallamaMetaLlama38B文件地址：https:huggingface.cometallamaMetaLlama38Btreemainoriginal1、Tokenizer原始代碼沒(méi)有實(shí)現(xiàn)tokenizer，而是使用llama3的tokenizer.model，實(shí)現(xiàn)代碼如下：執(zhí)行：pipinstallblobfile執(zhí)行：...

最近，DeepSeekR1的發(fā)布為國(guó)產(chǎn)大模型爭(zhēng)光了（太強(qiáng)了），不過(guò)GRPO算法源自DeepSeekMath7B模型，該模型在MATH基準(zhǔn)測(cè)試中取得了優(yōu)異成績(jī)，論文發(fā)表于2024年2月份：https:huggingface.copapers2402.03300，以下是該論文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...

1、為什么需要DPORafailov等人在2023年發(fā)表了一篇論文《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》，該論文提出了一種新的訓(xùn)練方法，稱為直接偏好優(yōu)化（DPO），該論文介紹：雖然大規(guī)模無(wú)監(jiān)督語(yǔ)言模型(LM)可以學(xué)習(xí)廣泛的世界知識(shí)和一些推理技能，但由于其訓(xùn)練完全無(wú)監(jiān)督，因此很難精確控制其行為。現(xiàn)有的獲得這種可控性的方法是收集模型生成相對(duì)質(zhì)量的人類標(biāo)簽，并微調(diào)無(wú)監(jiān)督語(yǔ)言模型以符合這些偏...

1、什么是位置編碼在語(yǔ)言中，一句話是由詞組成的，詞與詞之間是有順序的，如果順序亂了或者重排，其實(shí)整個(gè)句子的意思就變了，所以詞與詞之間是有順序的。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，所以循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，不需要處理這種問(wèn)題。但是在Transformer中，每個(gè)詞是獨(dú)立的，所以需要將詞的位置信息添加到模型中，讓模型維護(hù)順序關(guān)系。位置編碼位置編碼就是將helloworld!的token和位置...