5月27日消息,摩爾線程、無(wú)問(wèn)芯穹聯(lián)合宣布,雙方已經(jīng)正式完成MT-infini-3B 3B(30億參數(shù))規(guī)模大模型的實(shí)訓(xùn),基于摩爾線程國(guó)產(chǎn)全功能GPU MTT S4000組成的千卡集群,以及無(wú)問(wèn)芯穹的AIStudio PaaS平臺(tái)。
本次實(shí)訓(xùn)充分驗(yàn)證了夸娥千卡智算集群在大模型訓(xùn)練場(chǎng)景下的可靠性,同時(shí)也在行業(yè)內(nèi)率先開啟了國(guó)產(chǎn)大語(yǔ)言模型與國(guó)產(chǎn)GPU千卡智算集群深度合作的新范式。
據(jù)悉,這次的MT-infini-3B模型訓(xùn)練總共用時(shí)13.2天,全程穩(wěn)定無(wú)中斷,集群訓(xùn)練穩(wěn)定性達(dá)到100%,千卡訓(xùn)練和單機(jī)相比擴(kuò)展效率超過(guò)90%。
目前,實(shí)訓(xùn)出來(lái)的MT-infini-3B性能在同規(guī)模模型中躋身前列,相比在國(guó)際主流硬件上(尤其是NVIDIA)訓(xùn)練而成的其他模型,在C-Eval、MMLU、CMMLU等3個(gè)測(cè)試集上均實(shí)現(xiàn)性能領(lǐng)先。
無(wú)問(wèn)芯穹正在打造“M種模型”和“N種芯片”之間的“M x N”中間層產(chǎn)品,實(shí)現(xiàn)多種大模型算法在多元芯片上的高效、統(tǒng)一部署,已與摩爾線程達(dá)成深度戰(zhàn)略合作。
摩爾線程是第一家接入無(wú)問(wèn)芯穹并進(jìn)行千卡級(jí)別大模型訓(xùn)練的國(guó)產(chǎn)GPU公司,夸娥千卡集群已與無(wú)穹Infini-AI順利完成系統(tǒng)級(jí)融合適配,完成LLama2 700億參數(shù)大模型的訓(xùn)練測(cè)試。
T-infini-3B的訓(xùn)練,則是行業(yè)內(nèi)首次實(shí)現(xiàn)基于國(guó)產(chǎn)GPU芯片從0到1的端到端大模型實(shí)訓(xùn)案例。
就在日前,基于摩爾線程的夸娥千卡集群,憨猴集團(tuán)也成功完成了7B、34B、70B不同參數(shù)量級(jí)的大模型分布式訓(xùn)練,雙方還達(dá)成戰(zhàn)略合作。
經(jīng)雙方共同嚴(yán)苛測(cè)試,兼容適配程度高,訓(xùn)練效率達(dá)到預(yù)期,精度符合要求,整個(gè)訓(xùn)練過(guò)程持續(xù)穩(wěn)定。
新化月報(bào)網(wǎng)報(bào)料熱線:886 2395@qq.com
相關(guān)文章
最近更新
- 摩爾線程國(guó)產(chǎn)GPU重大里程碑!千卡集群完成30億參數(shù)大模型實(shí)訓(xùn)2024-05-30
- 國(guó)家發(fā)改委:5月29日國(guó)內(nèi)成品油價(jià)格不作調(diào)整2024-05-30
- 天津:進(jìn)一步調(diào)整優(yōu)化差別化住房信貸政策2024-05-30
- 三部門發(fā)布信息化標(biāo)準(zhǔn)建設(shè)行動(dòng)計(jì)劃2024-05-30
- 阿里影業(yè)發(fā)布2024財(cái)年業(yè)績(jī):強(qiáng)勁增長(zhǎng),布局未來(lái)2024-05-30
- 越來(lái)越接地氣的奧樂(lè)齊,是如何下好“生鮮”這部棋?2024-05-29
- 一季度交易額超千億 恒友匯《指引》國(guó)產(chǎn)創(chuàng)新藥出海漸入佳境2024-05-29
- 探索成人玩具新天地:花心貓無(wú)人值守閃電倉(cāng)引領(lǐng)潮流2024-05-29
- 多家上市銀行中期分紅議案獲股東大會(huì)通過(guò)2024-05-29
- 港股市場(chǎng)正回暖 上市儲(chǔ)備企業(yè)數(shù)量持續(xù)增加2024-05-29
- 推動(dòng)房企高質(zhì)量發(fā)展 大名城穩(wěn)健經(jīng)營(yíng)資產(chǎn)持續(xù)優(yōu)化2024-05-29
- 回應(yīng)部分經(jīng)銷商“逼宮”風(fēng)波 保時(shí)捷中國(guó):希望與經(jīng)銷商共同面對(duì)挑戰(zhàn)2024-05-29
- 以便捷“收舊”推動(dòng)積極“換新” 多地加快再生資源回收體系建設(shè)2024-05-29
- 國(guó)資委:推進(jìn)國(guó)有企業(yè)整合重組、有序進(jìn)退、提質(zhì)增效2024-05-29
- 蒙牛焦作工廠再獲殊榮,引領(lǐng)乳制品行業(yè)邁向高質(zhì)量發(fā)展新時(shí)代2024-05-29
- IMO認(rèn)證記憶俱樂(lè)部首批名單公布!更多城市持續(xù)解鎖中2024-05-29
- 恩克巴雅爾(和平)作品《風(fēng)云》(電視劇《風(fēng)云2》主題曲——屠洪剛演唱)2024-05-29
- 一紙“軍令狀”見雄心,2024疆村購(gòu)誓銷300萬(wàn)件助力疆村振興2024-05-28
- 加強(qiáng)能源合作 助力"富礦精開"——2024中國(guó)貴州國(guó)際能源產(chǎn)業(yè)博覽交易會(huì)將于6月20日在貴陽(yáng)盛大舉行2024-05-28
- “為愛前行,微笑騎行”碧然德攜手萬(wàn)豪助力慈善活動(dòng)2024-05-28
- 普融花:人工智能如何顛覆傳統(tǒng)產(chǎn)業(yè)2024-05-28
- 王俊凱的代言帝國(guó)再擴(kuò)張,植物醫(yī)生成為新寵兒2024-05-28
- 第二十屆“文博會(huì)”收官,舒提啦旅行箱大放異彩再“出圈”2024-05-28
- 氣質(zhì)原生美學(xué)是什么?武漢美萊副院長(zhǎng)賀建平為您解答2024-05-28
- 入華5年,奧樂(lè)齊再次提速本地化進(jìn)程2024-05-28
- 全球標(biāo)準(zhǔn)全球車!釔為3正式進(jìn)軍阿聯(lián)酋市場(chǎng)2024-05-28
- 緊抓機(jī)遇搶占市場(chǎng) 汽車零部件企業(yè)擴(kuò)產(chǎn)忙2024-05-28
- 玩轉(zhuǎn)AI!西南大學(xué)人工智能學(xué)院科普課解鎖“神奇的人工智能”2024-05-28
- 3440億!大基金三期成立,或?qū)l(fā)力關(guān)鍵設(shè)備材料零部件投資2024-05-28
- 歌爾股份分拆歌爾微獨(dú)立上市告終止,“果鏈”銷售占比約50%2024-05-28