504、接口響應(yīng)報(bào)錯(cuò)、內(nèi)部服務(wù)錯(cuò)誤……

4月8日下午15:20分左右，不斷有網(wǎng)友報(bào)告騰訊云出現(xiàn)服務(wù)異常，消息迅速登上微博熱搜，話題閱讀量已超90萬。從網(wǎng)友反饋看，故障持續(xù)了約1小時(shí)或更久。

波及地區(qū)節(jié)點(diǎn)

根據(jù)騰訊云健康看板的信息，全球17個(gè)節(jié)點(diǎn)受到了此次故障波及。

中國區(qū)：廣州16款產(chǎn)品異常、上海13款、南京11款、北京12款、成都12款、重慶11款、中國香港12款。

亞太地區(qū)：首爾10款、東京10款、新加坡11款、曼谷10款、雅加達(dá)10款、孟買10款。

歐洲地區(qū)：法蘭克福11款。

美洲地區(qū)：硅谷1款、弗吉尼亞10款、圣保羅未受影響、多倫多1款（云函數(shù)）。

影響服務(wù)范圍

從服務(wù)項(xiàng)目看，此次宕機(jī)事件影響產(chǎn)品包括：云服務(wù)器、消息隊(duì)列CKafka版、微服務(wù)平臺TSF、云函數(shù)、云硬盤、文件存儲、日志服務(wù)、云數(shù)據(jù)庫MySQL、云數(shù)據(jù)庫Redis、數(shù)據(jù)傳輸服務(wù)、負(fù)載均衡、NAT網(wǎng)關(guān)、彈性公網(wǎng)IP、音頻內(nèi)容安全、云開發(fā)CloudBase、騰訊云區(qū)
塊鏈服務(wù)平臺TBaaS等。

騰訊官方回復(fù)

對此，騰訊云16點(diǎn)45分官方回應(yīng)稱，“騰訊云官網(wǎng)控制臺相關(guān)服務(wù)出現(xiàn)異常，工程師正在緊急修復(fù)中。非常抱歉對您造成的影響，若您有任何問題，請隨時(shí)聯(lián)系我們，感謝您的理解與支持！”
  網(wǎng)友用戶吐槽

故障引發(fā)了用戶的大吐槽：

“‘崩’了一個(gè)小時(shí)。”

“程序登不上去了，還以為自己的服務(wù)出問題了。”

“癥狀幾乎和去年阿里云嚴(yán)重宕機(jī)事故一樣：CVM虛擬機(jī)，RDS數(shù)據(jù)庫還可以正常運(yùn)行，但是管控面，特別是和Auth有關(guān)的無一幸免。”這是阿里云的人跳槽去的騰訊云么？”

“csig不是剛裁了一大批嗎?這個(gè)看起來又是裁到哪個(gè)大動脈了？”

“當(dāng)時(shí)阿里云崩了，銷售還和客戶說我們騰訊云不會崩，當(dāng)時(shí)內(nèi)心這個(gè)萬馬奔騰啊，心想了這不廢話嗎，都沒有雙十一場景，怎么崩?這下好了吧，騰訊云銷售們你怎么不在客戶現(xiàn)場笑了?是不愛笑嗎?”

“降本增笑，開猿節(jié)流。”

故障原因分析

在恢復(fù)過程中，騰訊云在微博上宣布了恢復(fù)進(jìn)展。17點(diǎn)16分，騰訊云在微博回應(yīng)稱整體已恢復(fù)，目前，并在官網(wǎng)公告稱原因是“騰訊云官網(wǎng)控制臺相關(guān)服務(wù)出現(xiàn)異常”。

對于故障具體原因，騰訊云表示還需“待查”。業(yè)內(nèi)人士結(jié)合云計(jì)算平臺的架構(gòu)特點(diǎn)和運(yùn)維經(jīng)驗(yàn)，認(rèn)為此類大規(guī)模故障最有可能的原因如下：

1.認(rèn)證授權(quán)系統(tǒng)故障:

云平臺的認(rèn)證授權(quán)體系通常采用集中式架構(gòu),為所有服務(wù)提供統(tǒng)一的認(rèn)證和鑒權(quán)。一旦該系統(tǒng)發(fā)生故障,會導(dǎo)致所有依賴其進(jìn)行認(rèn)證鑒權(quán)的服務(wù)不可用。去年阿里云故障的根因就是其統(tǒng)一認(rèn)證系統(tǒng)RAM的問題。騰訊云的CAM與之類似,也可能是此次事故的"罪魁禍?zhǔn)?quot;。

2.管控鏈路單點(diǎn)故障:

云管控面向所有用戶暴露,流量大且波動大,對可用性要求極高。任何一個(gè)環(huán)節(jié)的故障,都可能導(dǎo)致管控請求無法被正常處理,引發(fā)連鎖反應(yīng)。比如負(fù)載均衡、API網(wǎng)關(guān)、控制層服務(wù)、元數(shù)據(jù)存儲等任一環(huán)節(jié)發(fā)生故障,都可能是此次事故的誘因。

3.運(yùn)維變更操作失誤:

云平臺需要頻繁進(jìn)行版本更新、擴(kuò)容、配置變更等運(yùn)維操作。如果變更操作設(shè)計(jì)不當(dāng)或者失誤,可能釀成重大的可用性事故。去年阿里云事故的直接原因就是研發(fā)人員的一次錯(cuò)誤變更。

4.網(wǎng)絡(luò)故障或異常:

從物理網(wǎng)絡(luò)到覆蓋網(wǎng)絡(luò)再到服務(wù)網(wǎng)格,云平臺網(wǎng)絡(luò)錯(cuò)綜復(fù)雜。網(wǎng)絡(luò)異?？赡軐?dǎo)致部分請求延遲、丟失,引發(fā)服務(wù)異常。網(wǎng)絡(luò)硬件設(shè)備故障、路由錯(cuò)誤、防火墻規(guī)則異常等都可能是誘因。

5.軟件系統(tǒng)bug:

云平臺軟件系統(tǒng)錯(cuò)綜復(fù)雜,難免存在bug。若核心服務(wù)或組件存在關(guān)鍵bug被觸發(fā),也可能導(dǎo)致此類事故。比如死鎖、內(nèi)存泄露、并發(fā)沖突等。

從網(wǎng)友評論看，更多的是表達(dá)了對阿里云、騰訊云等國內(nèi)云企業(yè)太過重視“降本增效”而忽視穩(wěn)定性的擔(dān)憂?；蛟S在“拼價(jià)格”這條道路之外，國內(nèi)云廠商應(yīng)該更多考慮拼技術(shù)、拼穩(wěn)定性。

田鑫，專業(yè)的企業(yè)組網(wǎng)服務(wù)商，致力于為企業(yè)提供企業(yè)組網(wǎng)（SD-WAN、MPLS、云互聯(lián)），業(yè)務(wù)云化、數(shù)據(jù)中心、網(wǎng)絡(luò)安全、行業(yè)IT解決方案等相關(guān)服務(wù)。


更多相關(guān)內(nèi)容推薦：
云計(jì)算數(shù)據(jù)中心的可持續(xù)發(fā)展優(yōu)勢
2112機(jī)柜 重慶兩江云計(jì)算數(shù)據(jù)中心二期試運(yùn)營
鋰電已逐步成為數(shù)據(jù)中心供備用電源優(yōu)選
智算時(shí)代 新一代高端基礎(chǔ)設(shè)施前瞻布局
上海新政：1000億，為算力基礎(chǔ)設(shè)施等領(lǐng)域進(jìn)行貼息
廣東持續(xù)加快算力建設(shè) 到2025年，算力規(guī)模38E，智算50%，國產(chǎn)算力70%
南京：發(fā)算力劵、融入東數(shù)西算，2025年智算超6000P
數(shù)據(jù)中心如何減少對環(huán)境的影響