轉載自(zì)36氪，作(zuò)者：Ben@36KR

若愚-九天實現(xiàn)了(le)文(÷÷₩®wén)本、圖像、音(yīn)頻(pín♥™♥¥)和(hé)視(shì)頻(pín)的(de)多(duō)模态融合

36氪獲悉，哈爾濱工(gōng)業(yè)大(dà)≥←λ學（深圳）計(jì)算(suàn)與智能(néng)研究院團隊，依托學校(x₹&iào)的(de)哈深資産經營有(yǒu)限公司進行(xí¥β≤≥ng)成果轉化(huà)，成立了(le)多(duō)模态±​φ大(dà)模型研發企業(yè)——深圳大智若愚科技有限©"π 公司（以下(xià)簡稱“深圳大智若愚科技有限公司”）。若愚科♠✘(kē)技(jì)旗下(xià)首款多(duō)模态大(d±♣π à)模型“若愚-九天”首次參評即登頂Opeλλ≤nCompass多(duō)模态大(dà)模型榜單±α。

多(duō)模态大(dà)模型MMBench test榜單

01 “若愚-九天”

“123億參數(shù)”、“1億2千萬圖文(wén)對(¥↕αduì)”、“550萬條中英雙語種語料樣本”、“120萬微(€​÷wēi)調數(shù)據樣本”、“50萬條強化(huà)數(shù)據¥™×樣本”……核心參數(shù)的(de)提升帶♥★來(lái)的(de)是(shì)模型能(néng)力的(de)質變。€¥‌↑若愚-九天多(duō)模态大(dà)模型在邏輯推理(lǐ)™♦、關系推理(lǐ)和(hé)感知(zhī)能(néng)力等方面均↕∑♣取得(de)令人(rén)矚目的(de)表現(xiàn)。憑借超百∞δ©億參數(shù)，若愚-九天實現(xiàn)了(le)文(wén)本、圖像、÷♠←音(yīn)頻(pín)和(hé)視(shì)頻(pín)的×₩(de)多(duō)模态融合。其智能(néng)理(lǐ)解和(hé)響₩β ★應能(néng)力，不(bù)僅涵蓋了(le)自(zì)然語言處理(lǐ)'"、計(jì)算(suàn)機(jī)視(s• hì)覺和(hé)語音(yīn)識别等領域，更有(y©®♥ǒu)效地(dì)打破了(le)各模态間(jiān)的♠∑‍(de)信息壁壘，使它們在“九天”中融為(wèi)一(yī)體(tǐ)。

多(duō)模态大(dà)模型MMBench dev榜單

“九天寓意著(zhe)中國(guó)古代神話(₹δhuà)中的(de)最高(gāo)天界，象征著(zhe)我們對(duì<☆$)技(jì)術(shù)進步的(de)無限↓÷追求和(hé)對(duì)智能(néng)未來(lái)的(de)≤±向往。這(zhè)款模型以其強大(dà)的(de)理(lǐΩδ£™)解和(hé)響應能(néng)力，跨越了(le)文₽​"(wén)本、圖像、音(yīn)頻(pín)和(hé)視(shì)頻(pín)€®σ 等多(duō)種模式的(de)界限，實現(xiàn)了(le)真正的(λ€‌de)多(duō)模态融合。”深圳大智若愚科技有限公司CEO孫騰博 ☆士表示。

02 組建大(dà)模型頂尖團隊

哈工(gōng)大(dà)深圳校(xiào)區(qū)成€€☆立了(le)資産股份有(yǒu)限公司，鼓勵教職員(yuán∑<)工(gōng)成果轉化(huà)與落地(dì)®> €。哈工(gōng)大(dà)（深圳）在産學研♥±ε¶落地(dì)有(yǒu)政策支持，深圳大智若愚科技有限公司成立之初學校(✘₩xiào)就(jiù)作(zuò)為(wèi)初創股東(dōng)參 >與進來(lái)，為(wèi)公司的(de)發展提供堅強的(de×✔♦)支撐。

深圳大智若愚科技有限公司另一(yī)位人(rén)工(gōng)智能(γ<£ néng)技(jì)術(shù)大(dà)牛是(shì)聯合<♦∞γ創始人(rén)張民(mín)教授。張教授≤​​≠是(shì)哈工(gōng)大(dà)（深圳）特聘校(xi→±ào)長(cháng)助理(lǐ)，國(guó)內(nè ₩✔≥i)NLP方向首位傑青，國(guó)家(jiā)“百千€ >¶萬人(rén)才”，國(guó)家(jiā)有(yǒu)突出貢 ♠獻中青年(nián)專家(jiā)，享受國→< (guó)務院特殊津貼。哈工(gōng)大(dà)在計(jì)算(suàn)♥& ≤機(jī)科(kē)學權威榜單CSRankings（2♥₩022-2023）NLP方向中國(guó)研究機(jī)構中排名第一(y€≤σī)，張老(lǎo)師(shī)是(shì)哈工(gōng)大(dà)在£&₽$此方向貢獻度最大(dà)的(de)人(rén)員(yuán)。

CSRankings NLP方向 中國(guó)大(♠₩€>dà)陸地(dì)區(qū)機(jī)構中哈工(gō♥∞∏ng)大(dà)排名第一(yī)

張民(mín)老(lǎo)師(shī)學術(shù)貢獻榜單 ₩中排名第一(yī)

深圳大智若愚科技有限公司聯合創始人(ré÷¥φ n)兼CEO孫騰博士也(yě)是(shì)公司研發團隊的(de)核↕₩心專家(jiā)，孫博士的(de)研究方向一§→(yī)直聚焦多(duō)媒體(tǐ)計(jì)算(suàn)， ∞‍'相(xiàng)關成果發表在CCF A類會(huì)議(yì)和(hé)¥☆IEEE/ACM Trans。孫博士此前有(yǒu)成功的(d​✔©e)創業(yè)經驗，針對(duì)人(rén)工(gōng)智能(néng)←∑β&技(jì)術(shù)在垂直領域落地(dì)應用(yòn$÷÷ g)具有(yǒu)全流程經驗和(hé)公司管理↑ $(lǐ)經驗。深圳大智若愚科技有限公司另一(yī)位聯合創始人(rén)♦¥​≤耿琛擔任公司的(de)戰略顧問(wèn)，其多(duō)次獲評新财富最佳科(σπkē)技(jì)分(fēn)析師(shī)，并在多(duō)年(λ₽♥nián)的(de)研究生(shēng)涯中積累了(le)豐富的(de)α↑産業(yè)資源，負責公司投融資和(hé)産業(yè)資源對₽→•(duì)接落地(dì)。

03 深圳大智若愚科技有限公司的(de)核心能(néng)力

“深圳大智若愚科技有限公司在這(zhè)個σ↕∞α(gè)時(shí)間(jiān)點成立，是(shì)有(yǒu)其∏$曆史使命和(hé)理(lǐ)想的(de)。作(zuò)為(wèi)前沿研發β ↔ 人(rén)員(yuán)，我們能(néng)深刻感受到(dào)人(rénλ‍)工(gōng)智能(néng)對(duì)未來(lái)社≈×會(huì)的(de)變革，生(shēn&↕λ₽g)成式人(rén)工(gōng)智能(néng)帶$€×™來(lái)的(de)生(shēng)産力爆發将重新定義各行​☆(xíng)各業(yè)的(de)生(shēng)産關系，有(yǒu)機σ↓★(jī)會(huì)參與其中是(shì)我們的(de)榮₹Ω‍≤幸和(hé)使命。”

算(suàn)力、數(shù)據和(hé)人(rén)₽&$£才，是(shì)大(dà)模型入局的(de)三大(dà)門(ménα<÷)檻，深圳大智若愚科技有限公司在創立之處就(j'±₩πiù)集齊了(le)這(zhè)些(xiē)核心要(yào)ε☆Ω×素。領軍人(rén)才培養的(de)內(nèi)生(shēng)研發團隊已形成φ≥自(zì)主叠代能(néng)力，未來(lái)“若愚-九天”↑φ≈✘将在技(jì)術(shù)大(dà)牛的(de)帶領下(xià)持續叠代。

憑借頂級創業(yè)團隊、自(zì)研多(duō)模态大★±π(dà)模型的(de)核心能(néng)力，↓ π以及成功的(de)落地(dì)經驗，若愚科↔φ♥(kē)技(jì)表示将為(wèi)“百模大(dà)戰”帶來($≥γlái)一(yī)抹異彩。

04 打造通(tōng)用(yòng)AI大(dà)模型基座±λ

以大(dà)模型能(néng)力為(wèi)基座，重塑每個'↑" (gè)賽道(dào)，已經成為(wèi)行(xíng)業(yè)共識。根據O'↓penAI的(de)發展道(dào)路(lù)，模型大(dà)到(dào)£γ→一(yī)定程度時(shí)，會(huì)湧現(xi→↑àn)新的(de)能(néng)力，尤其是(shì)會(huì)迸發出一(y¶α→ī)些(xiē)從(cóng)未見(jiàn)到(dào≤♥)過的(de)能(néng)力。

若愚-九天未來(lái)也(yě)将不(bù)斷叠代。孫 ÷↑$騰博士表示：“‘若愚-九天’還(hái)在向更大(<•→dà)和(hé)更小(xiǎo)兩個(gè)∏•©相(xiàng)反的(de)方向叠代，一(∏★yī)方面在加大(dà)參數(shù)量級，探索支持通(★↕tōng)用(yòng)多(duō)模态大(dà)模型湧現(€™xiàn)的(de)節點；另一(yī)方面為(wèi)滿足<↔行(xíng)業(yè)用(yòng)戶的(de)應用(yòng)需求，用(y↔γòng)最小(xiǎo)的(de)算(suàn)力實現(xiàn)β₽最大(dà)的(de)效果，勢必要(yào)做(zu ×<πò)的(de)就(jiù)是(shì)大(dà)≤≤€模型的(de)輕量化(huà)壓縮，最後和(hé)邊緣計(jì)算(su'α &àn)設備相(xiàng)結合。”

基于“若愚-九天”的(de)多(duō)模态大(dà)模型基座，若愚的(de♦¶♣)商業(yè)模式與AI 1.0時(shí)代有(yǒu)本質區(qū♠™)别。過去(qù)的(de)商業(yè)模型要(±±>≠yào)針對(duì)每一(yī)個(gè)需≥♥×求重新研發算(suàn)法，是(shì)完全的(de)項目制(zh♦ε→☆ì)。“若愚-九天”作(zuò)為(wèi)統一(yī)的(de)多(duōγ★)模态大(dà)模型基礎，不(bù)需要(yào)重新設γ™©計(jì)基座，隻需要(yào)根據行(xíng)業§♣×(yè)的(de)不(bù)同數(shù)據進行(↔<xíng)微(wēi)調，就(jiù)可(kě)以得(de)到(d'‍ào)對(duì)應行(xíng)業(yè)模型，客≠¶ ∞戶甚至可(kě)以根據細分(fēn)領域的(de)需求，自(zì)己用(y± òng)數(shù)據做(zuò)二次微(wēi)調。

多(duō)模态大(dà)模型的(de)♥  ε難點在于多(duō)模态信息融合。常見(jiàn)的(d$♠•γe)融合方法包括線性疊加、級聯等相(xiàng)對(du≤§←ì)粗暴的(de)手段，但(dàn)最終的®≥Ω→(de)效果往往還(hái)不(bù)如(rú)單一(yī)模态表現(x±​​•iàn)出色。這(zhè)是(shì)因為(wèiΩ ←♠)一(yī)些(xiē)技(jì)術(shù)團隊缺乏對(duΩ×ì)多(duō)模态數(shù)據調教、多(du₹εō)模态特征融合與對(duì)齊的(de)經驗和(h<>é)能(néng)力。若愚-九天具有(yǒu)自(zì)主研發₩​™÷的(de)多(duō)模态特征提取、對(du•‍ì)齊、融合、推理(lǐ)的(de)全鏈條模λ≈型訓練框架與全面細緻的(de)多(duō)模态">$數(shù)據收集清洗流程。該模型登頂多(duō)模态大(d↓♣σγà)模型榜單證明(míng)了(le)此團隊在多(duō)模态大✘¶'‍(dà)模型方面領先的(de)實力。

機(jī)器(qì)人(rén)是(shì)工(gōng)業(yè)領域系統↕∞λ級應用(yòng)産品，是(shì)“若愚-九天”多(duō)模态大(dà)模₹'∑δ型基座賦能(néng)的(de)重點落地(dì)方←↔向。哈工(gōng)大(dà)目前在機(jī)器(qì)人(rén)✔α領域有(yǒu)著(zhe)深厚的(de)産學研積≠ ☆δ累，未來(lái)具身(shēn)機(jī)器(qì)人(ré≤δ n)更需要(yào)語音(yīn)、視(shì)覺、決策、控制(zhì)等♦×多(duō)模态信息融合形成閉環。“若愚-九天”多(σ←γduō)模态大(dà)模型基座将在哈工(g♠÷ōng)大(dà)機(jī)器(qì)人(rén)↔→™♠研究積累上(shàng)進行(xíng)進一(yī)步的(de)研究融合，目前‌£&φ已和(hé)多(duō)家(jiā)大(dà)型消費(fδπèi)電(diàn)子(zǐ)/汽車(chē) ↑Ω領域上(shàng)市(shì)公司展開(kāi)深度合作(zuò)‌δ‍‍。

以“若愚-九天”多(duō)模态大(dà)模型基座，若愚↑&科(kē)技(jì)有(yǒu)能(néng)力通(tōng)過現(xiàn♠<)有(yǒu)多(duō)模态大(dà)模₽∏ε₩型基座進行(xíng)微(wēi)調，為(wèi)不(bù)同♦←✘ 領域的(de)用(yòng)戶提供個(gè≥→>‌)性化(huà)、定制(zhì)化(huà)服務，提供語言預訓練 ₹Ω大(dà)模型、多(duō)模态預訓練大(dà)模型、垂直領域預訓練大("₹¶dà)模型等能(néng)力，著(zhe)手于建設未來(lái)AI♠₽​β通(tōng)用(yòng)型平台和(hé)基礎設施。