特斯拉創辦人馬斯克昨日發文表示,他旗下的 AI 新創公司 xAI,已經正式推出了其超級 AI 集群「Colossus」,號稱當前世界上最強大的 AI 訓練系統,由 10 萬張輝達 H100 GPU 組成。
(前情提要:一年前才同1100名AI專家抵制開發ChatGPT,馬斯克的xAI傳完成60億鎂融資、加緊訓練Grok 2)
(背景補充:金融時報:馬斯克計畫為 xAI 融資60億鎂,向 OpenAI 發起挑戰)
特斯拉創辦人馬斯克(Elon Musk)於昨(3)日稍晚在其掌控的社交平台 X 上扔出震撼彈,稱他旗下的 AI 新創公司 xAI,已經正式推出了其超級 AI 集群「Colossus」,稱這是當前世界上最強大的 AI 訓練系統:
本週末,xAI 團隊正式上線了我們的 Colossus 訓練集群,從開始到產品上線,我們只用了 122 天。
Colossus 是世界上最強大的 AI 訓練系統,此外,它的規模還將在幾個月內翻倍達到 200k(50k H200)。
我們的團隊,供應商 Nvidia(輝達),以及眾多的合作夥伴,都做出了巨大的貢獻。
This weekend, the @xAI team brought our Colossus 100k H100 training cluster online. From start to finish, it was done in 122 days.
Colossus is the most powerful AI training system in the world. Moreover, it will double in size to 200k (50k H200s) in a few months.
Excellent…
— Elon Musk (@elonmusk) September 2, 2024
目前全球最強大的人工智慧訓練系統
正如馬斯克提到的,Colossus 之所以敢號稱全球最強的 AI 訓練系統,是因為其由 10 萬張輝達 H100 GPU 所組成,且預告未來幾個月這一規模還將翻倍至 20 萬。
對此,推特用戶 AnthonyEveryWhr 就貼出其他幾家 AI 巨頭的 GPU 規模,以幫助網友理解 Colossus 的龐大規模:
- Google AI:90,000 張 GPU;
- OpenAI:80,000 張 GPU;
- Meta AI:70,000 張 GPU;
- 微軟 AI:60,000 張 GPU;
- 輝達 AI:50,000 張 GPU。
另外,輝達也轉發馬斯克推特並評論指出:
很高興看到世界上最大的 GPU 集群在創紀錄的時間內上線,Colossus 由輝達提供支持,在能源效率方面取得了突破性的成就。
同時,有女股神之稱的 ARK Invest 執行長 Cathie Wood 也發文祝賀馬斯克,並表示 xAI 團隊可能還繼續發佈許多重大公告。
延伸閱讀:Nvidia的AI晶片H100有多神?為何一片難求?
用來訓練 Grok-3 ?
目前 xAI 的 Grok-2 早期測試版剛在上個月向用戶推出,它只接受了大約 15,000 個 Nvidia H100 的訓練,但按照某些標準,它已經是最強大的 AI 大型語言模型之一。
未來合理推測 Grok-3 或是更進階的版本將會透過 Colossus 訓練,持續推進 AI 模型的快速發展。
Colossus 有多燒錢?
我們知道,目前輝達的 H100 晶片在市面上供不應求,在台灣,1 台 HGX( 8 張 H100 組成)市場就要約 1,000 萬新台幣。
這樣計算下來,馬斯克的 Colossus 擁有的 10 萬張 H100 總價就高達 1,250 億元台幣,將近 40 億美元。且馬斯克還提到,未來這一規模還將翻倍,意味著該團隊還將再投資幾十億美元購買設備。
值得一提的是,馬斯克於去年 7 月才正式宣告成立 xAI,並開發 AI 聊天機器人 Grok。雖然這是一家新創公司,但早在今年 5 月,《華爾街日報》就曾報導指出,xAI 傳出已經以 180 億美元的 B 輪融資估值,募集了 60 億美元的資金,也讓 xAI 的整體市值上估到 240 億美元。
📍相關報導📍
馬斯克也窮過:每天「只靠1美元過活」18歲獨闖加拿大打零工求學