CMMLU中文向排名第一!快手自研AI也來了
近一段時(shí)間,國(guó)內(nèi)生成式人工智能模型的推出可謂是你方唱罷我登臺(tái),好不熱鬧。
快科技8月21日消息,近日,快手的自研大模型“快意”(KuaiYii)已經(jīng)出現(xiàn)在了AI綜合中文評(píng)估基準(zhǔn)CMMLU的榜單中。
截至本文成稿,該模型的13B版本KwaiYii-13B同時(shí)位列five-shot和zero-shot項(xiàng)目下的中文向第一名,在人文學(xué)科、中國(guó)特定主題等方面較強(qiáng),平均分超61分。
而根據(jù)快意在GitHub頁(yè)面給出的信息,該模型是快手AI團(tuán)隊(duì)獨(dú)立自言的大規(guī)模語(yǔ)言模型。
目前,快意覆蓋了預(yù)訓(xùn)練模型(KwaiYii-Base)、對(duì)話模型(KwaiYii-Chat),主要特點(diǎn)包括:
1、KwaiYii-13B-Base預(yù)訓(xùn)練模型具備優(yōu)異的通用技術(shù)底座能力,在絕大部分權(quán)威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。
例如,KwaiYii-13B-Base預(yù)訓(xùn)練模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前處于同等模型規(guī)模的領(lǐng)先水平。
2、KwaiYii-13B-Chat對(duì)話模型具備出色的語(yǔ)言理解和生成能力,支持內(nèi)容創(chuàng)作、信息咨詢、數(shù)學(xué)邏輯、代碼編寫、多輪對(duì)話等廣泛任務(wù),人工評(píng)估結(jié)果表明KwaiYii-13B-Chat超過主流的開源模型,并在內(nèi)容創(chuàng)作、信息咨詢和數(shù)學(xué)解題上接近ChatGPT(3.5)同等水平。
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權(quán)均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權(quán)益請(qǐng)來信告知我們刪除。郵箱:business@qudong.com



