中國移動研究院人工智能中心高級工程師 叢鵬宇:王斌原來積累的硬件知識,在做大模型訓(xùn)練過程中,特別是排障過程中,其實發(fā)揮了很重要的作用。有很高的技術(shù)的前瞻性和技術(shù)的敏感性,能夠指導(dǎo)大家從更加廣泛的角度、更加有建設(shè)性的角度來解決問題。
中國信息通信研究院人工智能研究所平臺與工程化部副主任 董昊:九天大模型不僅是我們自主技術(shù)的一種突破,同時也為我們國家大模型的應(yīng)用落地提供了可復(fù)制可借鑒的成熟解決方案。
王斌:我們的大模型的定位,不光是要能夠?qū)懺娮鳟嫞四軌蜃R別傳統(tǒng)的文本類和圖片類知識,它還要能看得懂像這種雷達(dá)、紅外,這種射頻信號。
王斌:在我們這個行業(yè),有個說法叫得開發(fā)者得天下。像國際主流AI芯片,它的開發(fā)者人數(shù)有好幾百萬,它會有很多優(yōu)化的手段,這種優(yōu)化手段會帶來整個訓(xùn)練效率的提升。咱們現(xiàn)在國內(nèi)的AI芯片,它的開發(fā)者人數(shù)可能都不到10萬,可能里面還會有很多缺陷,只能說是一個坑一個坑去蹚,一個坎一個坎去邁。
王斌帶領(lǐng)團隊,收集了近500萬億字符的原始文本數(shù)據(jù),幾乎涵蓋了人類有史以來全量的文本類知識,從中篩選出超10萬億字符的高質(zhì)量訓(xùn)練數(shù)據(jù)集。讓大模型記住這些知識不難,難的是怎么學(xué)會運用,這正是王斌必須邁過的第一道關(guān)卡。
王斌:像一個千億的大模型,我們要拆成18000份,每一個芯片在訓(xùn)練它所負(fù)責(zé)那部分的時候,都要高效地從這些數(shù)據(jù)中把知識萃取出來。
作為中國移動研究院AI技術(shù)專家,王斌有十多年芯片研發(fā)技術(shù)背景,之后又投入人工智能這一新賽道,是我國為數(shù)不多的既精通AI芯片又熟悉AI模型的技術(shù)人員。訓(xùn)練九天大模型這一國之重器的任務(wù)就落在了王斌團隊肩上。
搶抓人工智能發(fā)展的歷史機遇,2023年初,我國提出,根據(jù)通信、電力、交通物流、能源等領(lǐng)域的需求,使用國產(chǎn)軟硬件,打造人工智能大模型,形成自主可控的全新的產(chǎn)業(yè)生態(tài)。
大模型的18000張芯片要學(xué)會理解知識之間的邏輯關(guān)系,還要各有分工,彼此聯(lián)動,逐漸變得聰明起來,王斌帶領(lǐng)團隊給大模型設(shè)計學(xué)習(xí)知識的算法、控制學(xué)習(xí)進(jìn)程、矯正大模型的價值觀。然而,他卻碰到了一個棘手的難題。
王斌:這么大規(guī)模的資源,已經(jīng)執(zhí)行了這么長時間任務(wù),整個效果要清零是多么大的一個打擊。為了解決這個問題,我們必須有一個即時檢測技術(shù)。
從系統(tǒng)設(shè)計到功能模塊開發(fā),近150名工程師歷時一年半時間,寫出了超過120萬行的代碼,構(gòu)建了一套完整的平臺軟件,瞄準(zhǔn)國際先進(jìn)行列,加速追趕。
中國移動研究院人工智能中心高級總監(jiān) 王斌:這是北京市最典型的一個覆蓋居民區(qū)的基站,類似的基站中國移動已經(jīng)開通了686萬臺,這些基站實際上每天會消耗大量的電力。
王斌:大模型的結(jié)構(gòu)跟咱們?nèi)祟惖拇竽X結(jié)構(gòu)是比較類似的,像人類大腦也有差不多1000億個神經(jīng)元,可能不同的神經(jīng)元是負(fù)責(zé)不同的任務(wù)。我們平時做數(shù)學(xué)題用到的神經(jīng)元,跟做語文題用到的神經(jīng)元可能是不一樣的。
目前九天大模型已經(jīng)進(jìn)入了通信、石油生產(chǎn)、農(nóng)業(yè)種植、智能制造等很多領(lǐng)域,正在用智慧賦能新質(zhì)生產(chǎn)力。2025年1月,九天大模型被評為央企大國重器。
半年多,王斌帶領(lǐng)團隊對上萬次大大小小的故障逐個分析,找到每一個故障的根本原因,歸類整理,做出了一份故障處置清單,打造了一套自動檢測軟件,把各類故障的排查恢復(fù)時間從幾天縮短到了十幾分鐘。
爱体育电竞手机版有一位“AI工匠”王斌,他帶領(lǐng)團隊駕馭大規(guī)模國產(chǎn)智算集群,訓(xùn)練出了一套全系統(tǒng)自主可控的九天大模型,打造面向未來的大國重器。
在王斌團隊的努力下,國產(chǎn)AI芯片在萬卡規(guī)模上的訓(xùn)練效率達(dá)到同代國際主流AI芯片水平,為后續(xù)國產(chǎn)芯片在其他領(lǐng)域更廣泛的應(yīng)用打下了堅實基礎(chǔ)。
這個智算集群里的18000張芯片運行時,好像一個龐大的方陣,整齊劃一,共同推進(jìn),只要有一張卡出現(xiàn)問題,就會導(dǎo)致整個方陣混亂,訓(xùn)練任務(wù)失敗。在訓(xùn)練了兩個月的時候,這一巨大方陣就出現(xiàn)了嚴(yán)重故障。王斌帶領(lǐng)技術(shù)骨干扎入18000張卡的數(shù)字深海,一層層排查,直到智算集群最底部。
...游戲版本 V3.5.8 | 大小 59.54M |
系統(tǒng)要求 安卓1.4 | 更新時間 2025-05-09 0-1:29:38 |
語言 中文 | 開發(fā)商 |
適齡范圍 12+ |
修復(fù)bug
不一樣的好游清單
8.7
3.9
8.6
5.2
8.8
3.4
2.1
3.9
7.2
1.8
帶你發(fā)現(xiàn)更多有意思的新游戲
聯(lián)系我們意見反饋隱私政策侵權(quán)投訴防沉迷須知
本公司產(chǎn)品適合10周歲以上玩家使用未成年人家長監(jiān)護
抵制不良游戲 拒絕盜版游戲 注意自我保護 謹(jǐn)防受騙上當(dāng)
適度游戲益腦 沉迷游戲傷身 合理安排時間 享受健康生活
ICP證:ICP備88517552號-1網(wǎng)站地圖
? 2009 - 2024 http://www.qchlzw.com All Rights Reserved.
9.71W人評價