“GPT的局限是什么?我會(huì)很自信地說,沒有局限。我們相信,GPT模型沒有任何限制,如果投入足夠的計(jì)算資源,構(gòu)建超越人類的AGI并不困難。”
日前,OpenAI CEO奧特曼曝光了更多GPT-5的信息,展現(xiàn)了其對(duì)于GPT算法上的自信,提出GPT實(shí)現(xiàn)AGI(人工通用智能)只需要有足夠的算力。
智算供給不是簡單的機(jī)柜相加
這看起來似乎不難完成,據(jù)此前消息,ChatGPT每日電力消耗高達(dá)50萬千瓦時(shí)以上,來滿足用戶約2億次的請(qǐng)求。以2.5KW的標(biāo)準(zhǔn)機(jī)柜來看,一座約8400個(gè)機(jī)柜的數(shù)據(jù)中心便可以支撐起ChatGPT的運(yùn)作,而當(dāng)前不少數(shù)據(jù)中心建設(shè)規(guī)模已經(jīng)超過萬架。但這樣簡單的計(jì)算并不符合現(xiàn)實(shí)情況。
大模型的算力需求主要是建立在GPU芯片之上,在降本增效、節(jié)能減碳的要求及趨勢下,數(shù)據(jù)中心向著高密度、綠色化的方向發(fā)展,主要職責(zé)也逐步轉(zhuǎn)換為提供智能算力供給,數(shù)據(jù)中心向著智算中心演進(jìn)。
換句話說,一座能夠滿足大模型需求的智算中心脫胎于傳統(tǒng)數(shù)據(jù)中心,但其實(shí)已經(jīng)在多個(gè)層面上又實(shí)現(xiàn)了新的突破,具備高技術(shù)、高算力、高能效、高安全特性,能夠降本增效,這樣才是合格的智算中心,但目前相關(guān)條件并不成熟,技術(shù)、產(chǎn)業(yè)層面上都需要時(shí)間來打磨沉淀。
同時(shí),芯片能耗問題也極為重要,目前,在此方面也有所突破。英偉達(dá)最新推出的Blackwell GPU的訓(xùn)練性能是上一代Hopper GPU的4倍,推理性能是30倍,能源效率約25倍。不過,這樣的優(yōu)化下,B200的能耗依舊達(dá)到了1KW,這可能只是起點(diǎn)。
奧特曼坦言,“除了思考下一代人工智能模型之外,我最近花最多時(shí)間的領(lǐng)域是算力建設(shè),因?yàn)槲以絹碓较嘈庞?jì)算將成為世界上最重要的貨幣。然而,世界還沒有為足夠的計(jì)算做好規(guī)劃,并且未能面對(duì)這個(gè)問題,思考如何以盡可能低成本的構(gòu)建大量算力,是人類想要達(dá)到AGI過程中需要面對(duì)的重大挑戰(zhàn)。”
算力網(wǎng)建設(shè)勢在必行
同時(shí),大模型想要低成本的使用智算中心里的算力,還需要高速互聯(lián)、低成本的網(wǎng)絡(luò)支撐,需要建立巨大、通暢的算力網(wǎng)。
以多模態(tài)大模型Sora為例,視頻數(shù)據(jù)的生成、調(diào)用等,對(duì)集群通信延遲要求更高、帶寬需求暴增,在用戶和云端的傳輸對(duì)帶寬的要求也將大幅增長,800G甚至1.6T光纖網(wǎng)絡(luò)將比預(yù)計(jì)更快普及。這一過程中,成本問題必須得到解決,低成本是高帶寬網(wǎng)絡(luò)應(yīng)用的基礎(chǔ)。
為提升算力調(diào)度水平,降低算力使用成本,算力網(wǎng)絡(luò)的建設(shè)也勢在必行。我國對(duì)此高度重視,據(jù)《關(guān)于深入實(shí)施“東數(shù)西算”工程加快構(gòu)建全國一體化算力網(wǎng)的實(shí)施意見》,到2025年底,1ms時(shí)延城市算力網(wǎng)、5ms時(shí)延區(qū)域算力網(wǎng)、20ms時(shí)延跨國家樞紐節(jié)點(diǎn)算力網(wǎng)在示范區(qū)域內(nèi)初步實(shí)現(xiàn)。
今年政府工作報(bào)告提出,適度超前建設(shè)數(shù)字基礎(chǔ)設(shè)施,加快形成全國一體化算力體系。而我國算力網(wǎng)建設(shè)需要協(xié)同多方面發(fā)展,要順應(yīng)發(fā)展需求、遵循技術(shù)規(guī)律,加強(qiáng)頂層設(shè)計(jì)與規(guī)劃,優(yōu)化數(shù)據(jù)中心建設(shè)布局,要克服多重困難才能實(shí)現(xiàn)算力網(wǎng)的搭建。
由此可見,目前智算中心的建設(shè)還未達(dá)到大模型發(fā)展的需求,即便算法正確,想要實(shí)現(xiàn)AGI,也必須持續(xù)優(yōu)化智算中心的發(fā)展,推動(dòng)算力網(wǎng)構(gòu)建,以提供足夠的算力支撐。
田鑫,專業(yè)的企業(yè)組網(wǎng)服務(wù)商,致力于為企業(yè)提供企業(yè)組網(wǎng)(SD-WAN、MPLS、云互聯(lián)),業(yè)務(wù)云化、數(shù)據(jù)中心、網(wǎng)絡(luò)安全、行業(yè)IT解決方案等相關(guān)服務(wù)。
更多相關(guān)內(nèi)容推薦:
一體化算力網(wǎng)、算電協(xié)同這么干,國家數(shù)據(jù)局首度發(fā)聲
智算競賽白熱化,揭秘運(yùn)營商的智算雄心
國資委:加快建設(shè)一批智能算力中心
5年后,藍(lán)光光盤或?qū)⑹?shù)據(jù)中心市場
云計(jì)算數(shù)據(jù)中心的可持續(xù)發(fā)展優(yōu)勢
2112機(jī)柜 重慶兩江云計(jì)算數(shù)據(jù)中心二期試運(yùn)營
鋰電已逐步成為數(shù)據(jù)中心供備用電源優(yōu)選
智算時(shí)代 新一代高端基礎(chǔ)設(shè)施前瞻布局
劉烈宏:加快構(gòu)建全國一體化算力網(wǎng) 推動(dòng)建設(shè)中國式現(xiàn)代化數(shù)字基座