轉載自(zì)36氪，作(zuò)者：Ben@36KR

若愚-九天實現(xiàn)了(le)文(wén)本、圖像、音(₽&‌ yīn)頻(pín)和(hé)視(shì)頻(pín¥ ₩)的(de)多(duō)模态融合

36氪獲悉，哈爾濱工(gōng)業(yè)大(dà≥ ≥→)學（深圳）計(jì)算(suàn)與智能♦₹≤(néng)研究院團隊，依托學校(xiào)的(de)哈深資 φ‌©産經營有(yǒu)限公司進行(xíng)成果轉化(huà)，成立了(le)多¶↓→¥(duō)模态大(dà)模型研發企業(yè)——深圳大智若愚科技有限公司（βφ以下(xià)簡稱“深圳大智若愚科技有限公司”）。深圳大智若愚科技有限公司旗↑αλ下(xià)首款多(duō)模态大(dà)模型“若愚-九天”首次參評即登頂✔± ★OpenCompass多(duō)模态大↕≤ε (dà)模型榜單。

多(duō)模态大(dà)模型MMBench test榜單

01 “若愚-九天”

“123億參數(shù)”、“1億2千萬圖>₩₽文(wén)對(duì)”、“550萬條中英雙語種語料樣​↓本”、“120萬微(wēi)調數(shù)據樣本”、>σλ“50萬條強化(huà)數(shù)據樣本”¥↔……核心參數(shù)的(de)提升帶來(lái)的(de)是(sh"£₩ì)模型能(néng)力的(de)質變。若★©愚-九天多(duō)模态大(dà)模型在邏輯推理(lǐ)、Ω¶關系推理(lǐ)和(hé)感知(zhī)能(néng)力等→ε方面均取得(de)令人(rén)矚目的(de)表現(xiàn) ‌₹。憑借超百億參數(shù)，若愚-九天實現(xiàn)了(le) '∞文(wén)本、圖像、音(yīn)頻(pín)和(hé)視(shì)頻(p☆∞ín)的(de)多(duō)模态融合。其智能(néng)理(≤↔ lǐ)解和(hé)響應能(néng)力，♦♣ ≤不(bù)僅涵蓋了(le)自(zì)然語言處理(lǐ™λ •)、計(jì)算(suàn)機(jī)視(shì)覺和(hé)語音(y&∑īn)識别等領域，更有(yǒu)效地(dì)打破了(le)₹€各模态間(jiān)的(de)信息壁壘，使它們在“九天”中融為(wèi)一(y¶$∞ī)體(tǐ)。

多(duō)模态大(dà)模型MMBench dev榜單

“九天寓意著(zhe)中國(guó)古代神話(→×↑πhuà)中的(de)最高(gāo)天界，'∑∏象征著(zhe)我們對(duì)技(jì"✘×₽)術(shù)進步的(de)無限追求和(hé)對(duì)智能(néng)©<★未來(lái)的(de)向往。這(zhè)款模型以其強大(dà)的(de)理($§lǐ)解和(hé)響應能(néng)力，跨越了(le∞≥)文(wén)本、圖像、音(yīn)頻(pín)和(hé)視(sh✘σ¶ì)頻(pín)等多(duō)種模式的(de)界限，實現(xiàn)了(¥∑£le)真正的(de)多(duō)模态融合。”深圳大智若愚科技有限公司☆&✘CEO孫騰博士表示。

02 組建大(dà)模型頂尖團隊

哈工(gōng)大(dà)深圳校(xiào)區(q<γū)成立了(le)資産股份有(yǒu)限公司，鼓勵教職員 ↔(yuán)工(gōng)成果轉化(huà)與落地∑™≠≠(dì)。哈工(gōng)大(dà)（深圳）在産學研落地(dì)有(y∞✘ǒu)政策支持，深圳大智若愚科技有限公司成立之♣✘初學校(xiào)就(jiù)作(zuò)'€&¥為(wèi)初創股東(dōng)參與進來(lái)，為(♥• ∞wèi)公司的(de)發展提供堅強的(de≥π)支撐。

深圳大智若愚科技有限公司另一(yī)位人(rén¶★✘♠)工(gōng)智能(néng)技(jì)術(s✘♣hù)大(dà)牛是(shì)聯合創始人(rén)張民(mín®α♠)教授。張教授是(shì)哈工(gōng)大(dà)（深圳）特聘>'↓校(xiào)長(cháng)助理(lǐ)，✔​國(guó)內(nèi)NLP方向首位傑青，國(g₩✘☆±uó)家(jiā)“百千萬人(rén)才”，國(guó)家(jiγ↓♠ā)有(yǒu)突出貢獻中青年(nián)專家(jiā)，♦•♦Ω享受國(guó)務院特殊津貼。哈工(gōng)大₹σ(dà)在計(jì)算(suàn)機(jī)科(kē)學權威榜÷‌☆↔單CSRankings（2022-2023§§'）NLP方向中國(guó)研究機(jī)構中排名第一(yī)，張老(lǎ↑☆∞€o)師(shī)是(shì)哈工(gōng)大$©↑(dà)在此方向貢獻度最大(dà)的(de)人(rén)員≠φ₩✔(yuán)。

CSRankings NLP方向 中國(guó)大(dà)陸地(dì)區"≠±↔(qū)機(jī)構中哈工(gōng)大(d∏&ε≥à)排名第一(yī)

張民(mín)老(lǎo)師(shī)學術(shù)貢獻榜單中排Ω↓✘名第一(yī)

深圳大智若愚科技有限公司聯合創始人(rén)兼C≤©↑EO孫騰博士也(yě)是(shì)公司研發♣₩↕σ團隊的(de)核心專家(jiā)，孫博士的 ₹(de)研究方向一(yī)直聚焦多(duō)媒體(t<€ǐ)計(jì)算(suàn)，相(xiàng)關成果發表在σ↑δ§CCF A類會(huì)議(yì)和(hé)IEEE/ACM Tra'>♠★ns。孫博士此前有(yǒu)成功的(de)創業(yè)經驗，針對(duì"→↑‌)人(rén)工(gōng)智能(néng)技(jì)術(shù)在垂₽ββ直領域落地(dì)應用(yòng)具有(yǒu)全流程經驗和(hé)ε♠公司管理(lǐ)經驗。深圳大智若愚科技有限公司另一(yī)位↓​聯合創始人(rén)耿琛擔任公司的(de)戰略顧€₽₹±問(wèn)，其多(duō)次獲評新财富最佳科(kē)技(jì)分(fē♠♠‍↓n)析師(shī)，并在多(duō)年(nián)的(de)研究生(shēnλ♦®g)涯中積累了(le)豐富的(de)産業(yèγ>≈)資源，負責公司投融資和(hé)産業(yè)資源對(duì)接落δ ®₩地(dì)。

03 深圳大智若愚科技有限公司的(de)核心能(÷₽néng)力

“深圳大智若愚科技有限公司在這(zhè)個(gè)時(shí)間(j≈∞iān)點成立，是(shì)有(yǒu)其曆史使命和(hé)理(lφ≥ǐ)想的(de)。作(zuò)為(wèi)前沿研發人(rén)員(yuá™"πn)，我們能(néng)深刻感受到(dào)人(εσ$rén)工(gōng)智能(néng)對(duì)未來(lái)社會 γ ₽(huì)的(de)變革，生(shēng)成式人(rén)工(gō€₽ng)智能(néng)帶來(lái)的(de)生(shēng)産力爆發γσ §将重新定義各行(xíng)各業(yè)的(de)生(shēng)産關系≈∑≤₽，有(yǒu)機(jī)會(huì)參與其中是(shì)我們的(de)榮幸和↓§λ(hé)使命。”

算(suàn)力、數(shù)據和(hé)人(rén)才，♠ ₩✘是(shì)大(dà)模型入局的(de)三大(dà)門(mén)檻，若≥♣φ愚科(kē)技(jì)在創立之處就(jiù∑✔₽γ)集齊了(le)這(zhè)些(xiē)核心$φ↓≈要(yào)素。領軍人(rén)才培養的(de)內(nèi)生(sh πēng)研發團隊已形成自(zì)主叠代能(néng)γ'力，未來(lái)“若愚-九天”将在技(j♣↔÷ì)術(shù)大(dà)牛的(de)帶領下(xià)持續¥Ω"叠代。

憑借頂級創業(yè)團隊、自(zì)研多(duō)模态大(dà)✔₽↔♠模型的(de)核心能(néng)力，以及成功的(de)落地(δ∞₽dì)經驗，深圳大智若愚科技有限公司表示将為(wèi)“百π£ ☆模大(dà)戰”帶來(lái)一(yī)抹異×≈彩。

04 打造通(tōng)用(yòng)AI大(dà)模型基座

以大(dà)模型能(néng)力為(wèi)基座，重塑每個(gè)賽♠✘₽道(dào)，已經成為(wèi)行(xíng)業(yè)共識。根據OpenAε✔I的(de)發展道(dào)路(lù)，模型大(<αdà)到(dào)一(yī)定程度時(shí)，會(huì)湧現(xiàn∏Ωδ≤)新的(de)能(néng)力，尤其是(shì)會(huì)迸發出一(yī)些↔§©(xiē)從(cóng)未見(jiàn)到(dào)過的(de)能(nén ↓g)力。

若愚-九天未來(lái)也(yě)将不(bù)斷叠代。孫騰博士表示：“ σ★‘若愚-九天’還(hái)在向更大(dà)和γ"§≥(hé)更小(xiǎo)兩個(gè)相(xiàng)反的(de≥ δε)方向叠代，一(yī)方面在加大(dà)參數(shù)量級，探索支"∞ 持通(tōng)用(yòng)多(duō)模态大(dà)模型湧現(xσ¥'‌iàn)的(de)節點；另一(yī)方面為(wèi)滿足行(xíng)業$α(yè)用(yòng)戶的(de)應用(yòng)需求，用(®↑★yòng)最小(xiǎo)的(de)算(suànβ★φπ)力實現(xiàn)最大(dà)的(de)效果，勢必要(yào)₹γ§☆做(zuò)的(de)就(jiù)是(shì)大(dà₽✘)模型的(de)輕量化(huà)壓縮，最後和(hé)邊緣計(j≥★ ì)算(suàn)設備相(xiàng)結合。”

基于“若愚-九天”的(de)多(duō)模态大(dà)模型基座↓★，若愚的(de)商業(yè)模式與AI φ' ±1.0時(shí)代有(yǒu)本質區(qū)别。過去(qù)∑✔↑§的(de)商業(yè)模型要(yào)針對(duì)每一(yī)個(©<±gè)需求重新研發算(suàn)法，是(shì)完全的(de)項₹≠♠★目制(zhì)。“若愚-九天”作(zuò)為(wèi)統一(yī)的(d★∑γ↕e)多(duō)模态大(dà)模型基礎，不(bù↔​)需要(yào)重新設計(jì)基座，隻需要(yào)根據行(xíng)業(λ™$≈yè)的(de)不(bù)同數(shù)據進行(xíng)微(wēi≤≥)調，就(jiù)可(kě)以得(de)到(dào)對(du×♠ì)應行(xíng)業(yè)模型，客戶甚至 ∞♣™可(kě)以根據細分(fēn)領域的(de)需求，©☆>自(zì)己用(yòng)數(shù)據做(z✔Ωuò)二次微(wēi)調。

多(duō)模态大(dà)模型的(de)難點在于多(♥✘εduō)模态信息融合。常見(jiàn)的(de)融合方法包括線性疊✘™加、級聯等相(xiàng)對(duì)粗暴的"♥(de)手段，但(dàn)最終的(de)效果往往還(há∞÷♣i)不(bù)如(rú)單一(yī)模态表現(xiàn)出≈↓‍∞色。這(zhè)是(shì)因為(wèi)一(yī)些(xiē)技(jì)術(↕✔©shù)團隊缺乏對(duì)多(duō)模态數φ÷(shù)據調教、多(duō)模态特征融合與對(duì✘‍)齊的(de)經驗和(hé)能(néng)力。若愚-九天具有(±≤yǒu)自(zì)主研發的(de)多(duō)模态特φ✘ 征提取、對(duì)齊、融合、推理(lǐ)的(de)全鏈條∞≠α£模型訓練框架與全面細緻的(de)多(duō)模态數(s↓↕₹±hù)據收集清洗流程。該模型登頂多(duō)模态大(dà)模型榜單證明(mí♥₽ng)了(le)此團隊在多(duō)模态大(dà)模型方面領先的(de)♠₩←←實力。

機(jī)器(qì)人(rén)是(shì)工(gōng)✘λ業(yè)領域系統級應用(yòng)産品• ±，是(shì)“若愚-九天”多(duō)模态大(dà)模型基座賦能'&€←(néng)的(de)重點落地(dì)方向。哈工(gōng±≥β≈)大(dà)目前在機(jī)器(qì)人(rén)領域有(y↔☆×®ǒu)著(zhe)深厚的(de)産學研積累，未來(lái)具★≠←身(shēn)機(jī)器(qì)人(rén)更需要(yào)語音(yīn' π)、視(shì)覺、決策、控制(zhì)等多(duō)模态信息≥÷÷融合形成閉環。“若愚-九天”多(duō)模态大(dà)模型基座将在哈工(gō™•♥©ng)大(dà)機(jī)器(qì)人(rén)®♣'研究積累上(shàng)進行(xíng)進一(yī)步的(de)研究融合，♣₽ Ω目前已和(hé)多(duō)家(jiā)大(dà)型消費(fè↕εi)電(diàn)子(zǐ)/汽車(chē)領域上(shàn• g)市(shì)公司展開(kāi)深度合作(zuò)。

以“若愚-九天”多(duō)模态大(dà)模型基↓ "座，深圳大智若愚科技有限公司有(yǒu)能(néng)力通(tōng)過現(x>∑iàn)有(yǒu)多(duō)模态大(dδ≠<à)模型基座進行(xíng)微(wēi)調，為(wèλ≥≥♣i)不(bù)同領域的(de)用(yòng)戶提供個(gè)性化(hλ∏uà)、定制(zhì)化(huà)服務，提供語言預訓練大(dà)模型 λ↕₽、多(duō)模态預訓練大(dà)模型、垂直領域預訓練大(dà♣₽φπ)模型等能(néng)力，著(zhe)手于建設未來(lái)AI通(tōn✘©↑↕g)用(yòng)型平台和(hé)基礎設施。