登入

會員權益

獲取需求

查看名片

專屬客服

尊貴標識

VIP低至1.5U/天

【re:Invent 2024現場直擊】AWS執行長揭運算服務新亮點,專為GAI設計推P6、Trn2和Trn2 UltraServer執行個體

分享

支付動態

2024-12-04

在今日主題演講中,AWS執行長Matt Garman揭露一系列運算新亮點,包括採用Nvidia Blackwell GPU的P6系列EC2執行個體、AWS自研晶片Trainium2的EC2 Trn2執行個體,以及由4個Trn2執行個體組成的Trn2 UltraServer執行個體,可用來訓練兆級參數模型。另外,新一代Trainium3晶片將於明年推出。

不只P6,AWS今日也正式推出採用自研AI加速晶片Trainuim2的EC2執行個體:Amazon EC2 Trn2 Instances,專為生成式AI和深度學習設計。這個執行個體的效能,可比目前的GPU EC2執行個體好上3到4成。(如下圖)

其中,單一個Trn2執行個體由16個Trainium2晶片組成,由NeuronLink高頻寬高速連接,可提供低延遲的20.8 pflops算力,適合用來訓練和部署數十億參數的模型。

但如果AI模型更大,需要更多算力呢?

Matt Garman說,今日揭露的Amazon EC2 Trn2 UltraServers執行個體預覽版,就能滿足大模型訓練和部署需求。這個Trn2 UltraServers由4個Trn2執行個體組成,一樣以NeuronLink高速連接,搭載64顆Trainium2晶片,可提供83.2 pflops和332.8 pflops的密集與稀疏運算效能。(如下圖)


(:AWS)

這個Trn2 UltraServer執行個體,適合用來訓練兆級參數的大模型。

Matt Garman也揭露,AWS聯手AI新創Anthropic,正共同打造名為Project Rainier的Trainium2 UltraServer運算叢集,預計使用數十萬顆Trainium2晶片,將提供5倍Anthropic目前用來訓練模型的算力。AWS預計,Project Rainier屆時將成為世界上最大的AI運算叢集。

關於AWS運算基石的更新,還不只如此。

Matt Garman預告,明年AWS將推出新一代自研AI加速晶片Trainium3,專門為GAI設計。「這將是AWS第一款採用3奈米製程節點,將提供比Trainuim2高出2倍的算力,效能還提高40%。」

免責聲明:
詳情

Please Play Responsibly:

Casino Games Disclosure: Select casinos are licensed by the Malta Gaming Authority. 18+