繼Devin之后，又一個AI軟件工程師被刷屏了——

它叫Genie，號稱目前地表最強，已經可以像人一樣思考和行動了！

那么這個“地表最強”，到底強到什么程度？

先來看下評測分數(shù)。

在權威榜單SWE-Bench中，Genie以解決了30.07%問題的成績奪得榜首。

（SWE-Bench是一個用來評估大模型解決現(xiàn)實中軟件問題的基準。）

而這個成績可謂是遙遙領先第二名19.27%，解鎖了提升SOTA的最大增幅——57%！

至于Genie的實際效果，用團隊的話來說就是：

它可以做到像人類工程師一樣解決現(xiàn)實生活中的軟件問題。

首先，你可以用4種方式讓Genie開始工作，分別是提示詞、GitHub Issue、Linear Ticket或者API。

以解決GitHub Issue為例，先喂給Genie一個repo的鏈接，它就開始自動解析問題了：

Genie會自動迭代思考如果想要解決這個問題它都需要哪些文件，直到它覺得找到了自己滿意的為止：

緊接著，它將對問題做一個自動迭代分析的過程：

然后Genie就開始“唰唰唰”地自動寫+跑代碼了：

如果運行代碼過程中出現(xiàn)bug，Genie會只針對出問題的地方再重復分析、寫代碼和運行的過程，直至跑通為止。

而整個過程，僅僅耗時84秒！

用團隊的話來說：

Genie已經觀察并學習人類程序員如何解決軟件問題的次數(shù)達到了數(shù)百萬次。

這是任何一個人類程序員一輩子都無法達到的數(shù)量。

但更令人意想不到的是，Genie背后的團隊——Cosine，才僅僅5人。

而且CEO Alistair還發(fā)文感謝OpenAI：

沒有你們，我們做不出來Genie。

那么Cosine團隊，究竟是如何打造Genie的呢。

最強AI工程師是如何煉成的？

Genie的主要特點，是能夠模仿人類工程師的認知過程、邏輯和工作流。

為做到這一點，Genie團隊透露過去一年收集了一個包含真實人類程序員開發(fā)活動的數(shù)據(jù)集。

其中不僅使用了成果分析、靜態(tài)分析、自我對弈、逐步驗證等方法，還用到了基于大量標記數(shù)據(jù)訓練的AI模型。好處是，當基礎模型能力提升時，它們能夠提取的數(shù)據(jù)質量也會相應提高。

最終Genie使用該專有數(shù)據(jù)進行訓練。

數(shù)據(jù)集中編碼了人類推理的完整過程，包括完美的信息溯源、增量知識發(fā)現(xiàn)，還有基于軟件工程師實際工作案例的逐步決策過程。

Genie的推理過程包括規(guī)劃、檢索、代碼編寫和代碼運行四個主要步驟，突破了其它AI工程師依靠在基礎模型之上添加網頁瀏覽器、代碼解釋器等額外工具的限制，能夠像人一樣處理多樣化的、高度情境的、前所未見的問題。

這種訓練方法，讓網友們立刻想到，之前Karpathy也提出的類似想法：

對于LLM來說，理想的訓練數(shù)據(jù)并不是你所寫的內容本身，而是你在寫作過程中的完整思考過程和每一個編輯動作。然而，我們只能盡力利用現(xiàn)有的資源。

除此之外，Genie訓練中還引入了自我改進機制。

初始訓練數(shù)據(jù)多為可正常運行的沒有錯誤的代碼，導致Genie導致難以應對錯誤情況。為解決這個問題，團隊使用初代版本的Genie生成包含錯誤的合成數(shù)據(jù)，然后用這些數(shù)據(jù)訓練下一版模型。

具體來說，使用舊版本Genie提出解決方案，如果解決方案錯誤，就利用掌握的任務最終狀態(tài)來教它從當前狀態(tài)達到正確狀態(tài)。

不斷重復這一過程，Genie提出的初始解決方案逐漸變得更準確，在多數(shù)情況下能直接給出正確答案，即使出錯也只需在數(shù)據(jù)集中作較少的修正。

Genie能力提升的另一大關鍵，在于OpenAI提供的大模型支持。

團隊表示，最初開發(fā)Genie時，只能訪問微調16-32k范圍內的短上下文模型，他們用這些模型進行了大量早期開發(fā)，用超1億token的數(shù)據(jù)訓練模型，雖然發(fā)現(xiàn)設計的架構有一定優(yōu)勢，但從根本上受限于模型在特定時間內可以處理的信息量。

嘗試了各種壓縮/分塊方法后，唯一的解決方法就是使用更大上下文的模型。

OpenAI提供了長上下文模型支持，最新版本的Genie經過了數(shù)十億token的數(shù)據(jù)訓練。

團隊認為，相比超參數(shù)調整和數(shù)據(jù)量，數(shù)據(jù)的質量才是關鍵。因此他們還在數(shù)據(jù)混合方面進行了大量實驗，包括語言、任務類型、任務長度等多個維度，以下是訓練Genie的不同編程語言數(shù)據(jù)的占比：

還有不同類型實例的數(shù)據(jù)占比：

只有5個人的團隊

正如我們在上文提到的，Cosine這個初創(chuàng)團隊人數(shù)目前僅僅為5人。

在官網的介紹中，他們也非常直接的將自己形容為：

Small but mighty.雖小但有力。

從介紹來看，成員有的是從獨角獸企業(yè)出身，有的擁有管理全球團隊的經驗，甚至還有從8歲就開始編程的。

但Cosine最初成立之際是僅有3人，他們的目標是想把人類推理這件事兒給搞明白。

值得一提的是，團隊成員中還有一位是華人，Yang Li，是Cosine的聯(lián)合創(chuàng)始人，在2021年登上過福布斯30 under 30。

除此之外，對于Genie本身，CEO Alistair還表示：

早在2022年我們就開始構想Genie了，但當時從技術角度來說是不可行的。

直到過去半年多來，隨著大模型的逐步成熟，Genie才能走入現(xiàn)實。

嗯，不得不說，大模型又立功了。

Genie目前是可以申請Waitlist了，感興趣的小伙伴可以戳文末鏈接~

Waitlist地址：https://cosine.sh/register

參考鏈接：[1]https://x.com/alistairpullen/status/1822981361608888619?s=46[2]https://cosine.sh/blog/genie-technical-report[3]https://cosine.sh/blog/state-of-the-art[4]https://x.com/AlistairPullen/status/1823030874579120223[5]https://x.com/yangli_