NVIDIA黃仁勛“挑戰(zhàn)”CPU：GPU訓(xùn)練AI大模型可降低96%成本

(資料圖)

5月29日消息，在剛剛召開的2023年臺(tái)北電腦展上，NVIDIA首席執(zhí)行官黃仁勛進(jìn)行了演講。

在演講中，黃仁勛向傳統(tǒng)的CPU服務(wù)器集群發(fā)起“挑戰(zhàn)”，認(rèn)為在人工智能和加速計(jì)算這一未來方向上，GPU服務(wù)器有著更為強(qiáng)大的優(yōu)勢(shì)。

根據(jù)黃仁勛在演講上展示的范例，訓(xùn)練一個(gè)LLM大語言模型，將需要960個(gè)CPU組成的服務(wù)器集群，這將耗費(fèi)大約1000萬美元（約合人民幣7070萬元），并消耗11千兆瓦時(shí)的電力。

相比之下，同樣以1000萬美元的成本去組建GPU服務(wù)器集群，將以僅3.2千兆瓦時(shí)的電力消耗，訓(xùn)練44個(gè)LLM大模型。

關(guān)鍵詞：