經(jīng)Hugging Face獨(dú)立驗(yàn)證，F(xiàn)alcon Mamba 7B是全球性能第一的開源狀態(tài)空間語(yǔ)言模型(SSLM)
SSLM的內(nèi)存成本低，無需額外內(nèi)存即可生成任意長(zhǎng)文本塊
Falcon Mamba 7B還優(yōu)于傳統(tǒng)的Transformer架構(gòu)模型，如Meta的 Llama 3.1 8B和Mistral的7B
新模型體現(xiàn)了阿布扎比在人工智能研發(fā)領(lǐng)域的創(chuàng)新和開拓精神
技術(shù)創(chuàng)新研究所(TII)是全球領(lǐng)先的科研中心和阿布扎比先進(jìn)技術(shù)研究理事會(huì)(ATRC)的應(yīng)用研究支柱。該研究所發(fā)布了Falcon系列中的一款新的大型語(yǔ)言機(jī)型——Falcon Mamba 7B。經(jīng)Hugging Face獨(dú)立驗(yàn)證，新模型是全球性能第一的開源狀態(tài)空間語(yǔ)言模型(SSLM)。
作為Falcon系列的首款SSLM，它有別于之前所有使用Transformer架構(gòu)的Falcon模型。新的Falcon Mamba 7B模型是該研究所正在進(jìn)行的開創(chuàng)性研究及其以開源形式向社區(qū)提供突破性工具和產(chǎn)品的又一例證。
ATRC秘書長(zhǎng)兼阿聯(lián)酋總統(tǒng)戰(zhàn)略研究和先進(jìn)技術(shù)事務(wù)顧問Faisal Al Bannai閣下表示：“Falcon Mamba 7B標(biāo)志著TII連續(xù)第四次獲得人工智能模型排名第一，鞏固了阿布扎比作為全球人工智能研發(fā)中心的地位。這一成就彰顯了阿聯(lián)酋對(duì)創(chuàng)新的堅(jiān)定承諾。”
在Transformer架構(gòu)模型方面，F(xiàn)alcon Mamba 7B在HuggingFace新引入的基準(zhǔn)測(cè)試中優(yōu)于Meta的Llama 3.1 8B、Llama 3 8B和Mistral的7B。同時(shí)，在其他SSLM中，F(xiàn)alcon Mamba 7B在舊基準(zhǔn)測(cè)試中擊敗了所有其他開源模型，它將成為HuggingFace新的更嚴(yán)苛基準(zhǔn)測(cè)試排行榜上的第一款模型。
TII首席執(zhí)行官Najwa Aaraj博士表示：“技術(shù)創(chuàng)新研究所繼續(xù)通過Falcon系列人工智能模型突破技術(shù)發(fā)展的界限。Falcon Mamba 7B代表了真正的開創(chuàng)性工作，為未來的人工智能創(chuàng)新鋪平了道路，這些創(chuàng)新將增強(qiáng)人類的能力并改善生活�！�
狀態(tài)空間模型在理解隨時(shí)間演變的復(fù)雜情況（如一整本書的內(nèi)容）方面表現(xiàn)極為出色。這是因?yàn)镾SLM不需要額外的內(nèi)存來消化如此大量的信息。
另一方面，基于Transformer的模型在記住和使用它們之前處理過的序列信息方面非常高效。這使它們?cè)趦?nèi)容生成等任務(wù)中表現(xiàn)出色，然而，由于它們會(huì)將每個(gè)單詞與其他單詞進(jìn)行比較，這就需要大量的計(jì)算能力。
SSLM可應(yīng)用于各種領(lǐng)域，如估計(jì)、預(yù)測(cè)和控制任務(wù)。與Transformer架構(gòu)模型類似，它們?cè)谧匀徽Z(yǔ)言處理任務(wù)中也有出色表現(xiàn)，可應(yīng)用于機(jī)器翻譯、文本摘要、計(jì)算機(jī)視覺和音頻處理。
TII人工智能跨中心部門代理首席研究員Hakim Hacid博士表示：“在推出Falcon Mamba 7B之際，我為TII促進(jìn)其發(fā)展的合作生態(tài)系統(tǒng)感到自豪。這次發(fā)布標(biāo)志著我們向前邁出了一大步，啟發(fā)了新的視角，進(jìn)一步推動(dòng)了對(duì)智能系統(tǒng)的探索。在TII，我們正在突破SSLM和Transformer模型的界限，以激發(fā)生成式人工智能領(lǐng)域的更多創(chuàng)新。”
Falcon LLM的下載次數(shù)已超過4500萬次，證明了該模型的巨大成功。Falcon Mamba 7B將基于TII Falcon License 2.0發(fā)布。這是一種基于Apache 2.0的寬松軟件許可證，包含一項(xiàng)促進(jìn)人工智能負(fù)責(zé)任使用的可接受使用政策。如需了解有關(guān)這一新模型的更多信息，請(qǐng)?jiān)L問FalconLLM.TII.ae。
*來源： AETOSWire
