🔥 PTT.BEST 熱門專區 💬 八卦 Gossiping 😊 希洽 C_Chat 💰 股票 Stock 🏠 房屋 home-sale 🏀 美國職籃 NBA ⚾ 棒球 Baseball 👛 省錢 Lifeismoney 🚗 汽車 car 😡 政黑 HatePolitics 💻 電蝦 PC_Shopping 🥰 韓星 KoreaStar ✨ 英雄聯盟 LoL 🍿 電影 movie 🪖 軍事 Military 📡 通訊 MobileComm 🏀 台籃 basketballTW 🍼 寶媽 BabyMother 🇯🇵 日旅 Japan_Travel 🏭 科技 Tech_Job 👧 女孩 WomenTalk 👻 媽佛 marvel 💳 卡版 creditcard 👉 NS NSwitch 👉 PS5 PlayStation 👉 大氣 TY_Research 👉 婚姻 marriage 👉 台南 Tainan 👉 台中 TaichungBun 👉 Steam Steam 👉 高雄 Kaohsiung 👉 羽球 Badminton 👉 超商 CVS 👉 米哈遊 miHoYo 👉 iOS 👉 兄弟 Elephants 👉 日劇 Japandrama 👉 玄幻 CFantasy 👉 ES e-shopping 👉 WOW 👉 遊戲交易 Gamesale 👉 4X BaseballXXXX 👉 Lakers 👉 韓劇 KoreaDrama 👉 汽車買賣 CarShop 👉 機車 biker 👉 新竹 Hsinchu 👉 美保 BeautySalon 👉 串流 OTT 👉 歐美影集 EAseries 👉 手機交易 mobilesales 👉 裏洽 AC_In 👉 健身 MuscleBeach 👉 MacShop 👉 Lions 👉 FGO FATE_GO 👉 中劇 China-Drama 👉 數位貨幣 DigiCurrency 👉 暗黑 DIABLO 👉 實習教師 studyteacher 👉 航空 Aviation 👉 藝文票券轉售 Drama-Ticket 👉 韓綜 KR_Entertain 👉 美妝 MakeUp 👉 速食 fastfood 👉 手錶 watch 👉 體適能 FITNESS 👉 攝影 DSLR 👉 Headphone 👉 嘻哈 Hip-Hop 👉 轉珠 PuzzleDragon 👉 美食 Food 👉 蔚藍 BlueArchive 👉 數位相機交易 DC_SALE 👉 筆電蝦 nb-shopping 👉 軟工 Soft_Job 👉 汪踢 Wanted 👉 台綜 TW_Entertain 👉 坂道閒聊 SakaTalk 👉 貓咪 cat 👉 日GO BabyProducts 👉 TypeMoon 👉 MLB 👉 職場 Salary 👉 臺劇 TaiwanDrama 👉 海賊王 ONE_PIECE 👉 PMGO PokemonGO 👉 國營 Gov_owned 👉 碧航 AzurLane 👉 家電 E-appliance 👉 布蘭德 Brand 👉 DMMG DMM_GAMES 👉 贈送 give 👉 神魔 ToS 👉 銀行服務板 Bank_Service 👉 原創 YuanChuang 👉 期權 Option 👉 重機 SuperBike
標題: MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive 網址: https://reurl.cc/oVyd9v 內文: 此篇為semianalysis 測試5個月比較 MI300X H100 H200實際使用的效能以及使用上的現況 下面放上作者的發現總結,詳細請看文章 1. 在紙上比較 FLOP/s 和 HBM 頻寬/容量類似於僅透過檢查百萬像素數來比較相機。判斷? 2. Nvidia 的開箱即用效能和體驗令人驚嘆,我們在基準測試期間沒有遇到任何 Nvidia 特 3. AMD 的開箱即用體驗非常難以使用,需要相當大的耐心和努力才能達到可用狀態。 在我們的大多數基準測試中,AMD PyTorch 的公共 AMD 穩定版本仍然存在問題,我們需要解決方法。 4 如果沒有多個 AMD 工程師團隊對我們遇到的 AMD 軟體錯誤進行分類和修復的支持,AMD 的結果將遠低於 Nvidia。 5 . 我們與 Sustainable Metal Cloud 合作在 256 H100 上運行非官方 MLPerf Training GPT-3 175B,以測試不同 VBoost 設定的效果 6. 對於 AMD 來說,公開穩定發布的軟體的真實世界性能與其紙面銷售的 TFLOP/s 相差甚遠。 Nvidia 的現實世界表現也低於其行銷 TFLOP/s,但相差不大。 7. 與 H100/H200 相比,MI300X 的總擁有成本 (TCO) 較低,但在 AMD 軟體的公共穩定版本上,MI300X 的每 TCO 訓練效能較差。如果使用 AMD 軟體的客製化開發版本,情況就會改變。 8. 訓練效能較弱,MI300X的矩陣乘法微基準測試表明,AMD公開發布的軟體在單節點訓練吞吐量上仍落後於Nvidia的H100和H200。 9. MI300X 的效能受到 AMD 軟體的阻礙。 BF16開發分支上的AMD MI300X軟體具有更好的效能 ,但尚未合併到AMD內部儲存庫的主要分支中。當它合併到主分支和 PyTorch 穩定版本時,Nvidia Blackwell 將已經可供所有人使用。 10. AMD 的訓練表現也受到阻礙,因為 MI300X 無法提供強大的橫向擴展效能。這是由於與Nvidia 對其Nvidia 集體通訊庫(NCCL)、InfiniBand/Spectrum-X 網路結構和交換器的強大整合相比,其ROCm 計算通訊庫(RCCL) 較弱,且AMD 與網路和交換硬體的垂直集成程度較低。 11. 許多 AMD AI 庫都是 NVIDIA AI 庫的分支,導致結果不佳和相容性問題。 12. AMD 客戶傾向於僅使用手動製作的核心進行推理,這意味著它們在非常狹窄的明確定義的用例之外的效能很差,並且不存在快速轉移工作負載的靈活性。 ----- Sent from JPTT on my Google Pixel 7 Pro. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.147.134 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1735005906.A.14B.html
Alwen : 連H100都打不贏,好慘ㄛ 12/24 10:11
SSglamr : 卒業 12/24 10:12
tomdavis : NV底層蹲了10年 其他人要幾年內追上也不容易 12/24 10:12
sdbb : 所以obov 早就把AMD 蛋雕 12/24 10:13
pieceioriX : AMD是不是要在沙崙建研發中心? 難怪卒業預定 12/24 10:13
stationary : 難怪教主跳車了 12/24 10:13
zerro7 : H100都已經過時產品還... 12/24 10:13
Alwen : 難怪aws 裡面的人說沒人要用AMD GPU是真的 12/24 10:14
capssan : 簡單來說 AMD卒業 12/24 10:14
Alwen : AMD今年還是負報酬 12/24 10:15
ck6m454 : AMD就垃圾沒人要阿,整年還是跌的不是沒原因 12/24 10:16
baddaddy : amd軟體太差了,沒想到遊戲顯卡的nv driver值5000也 12/24 10:16
baddaddy : 能套在AI上 12/24 10:16
k0611812 : 教主殞落 12/24 10:17
※ 編輯: baddaddy (101.12.147.134 臺灣), 12/24/2024 10:18:00
ck6m454 : GPU和AI沒一個能打 12/24 10:18
goodjop : 一個是已經有長遠計畫 一個只是模仿追尾 是要怎麼比 12/24 10:19
dragonjj : 難怪AMD跌這麼慘...AI上面被海放! 12/24 10:19
NexusPrime : 真 遙遙領先 12/24 10:22
gbman : NV軟體值5000!驅動就看的出來了XD 12/24 10:25
sdbb : Obov應該年初或Q1就把AMD 倒給小兒了 12/24 10:25
CCH2022 : https://i.imgur.com/v4PAPdp.jpeg 12/24 10:26
CCH2022 : 整合度相容度高,NV體驗完勝 12/24 10:26
abc21086999 : 這是什麼AI轉錄之後自動翻譯的文章嗎? 12/24 10:27
abc21086999 : 品質很差 12/24 10:27
sdbb : Obov仍大賺,只漏掉tsla 12/24 10:27
gbman : AMD還是乖乖做PC CPU X3D和遊戲機SOC就好CC 12/24 10:28
OSDim : 驅動值五千QQ 12/24 10:28
junior020486: 陳先生你的科技水平太落後了 12/24 10:28
laogiby : AMD電子垃圾 生產出來浪費電的 12/24 10:31
falcon11 : 這驅動現在大概值500b 12/24 10:38
alcard22 : nv顯卡的驅動價格已經是過去式了XD 12/24 10:38
alcard22 : AMD看起來路還很長遠,看來都反映在股價上了 12/24 10:40
oGsMvP : 卒業 12/24 10:41
GivemeApen : 還好amd賣在190 嘻嘻 12/24 10:42
vincent0911x: 有第一買為什麼要買第二 NV 台G 無限資金買就對了 12/24 10:42
ImCPM : 難怪AMD瘋狂烙賽 12/24 10:43
mopa : cuda豈是說繞就繞得過去的技術 12/24 10:45
luvstarrysky: 不意外阿 ppt吹得多屌 實際就多烙賽 12/24 10:49
KY1998 : 跟h100比報價有差?而且差滿多的? 12/24 10:49
square : AMD的cpu不是一堆人在搶? 12/24 10:49
luvstarrysky: amd還是回去顧好cpu就好吧 市佔都還沒贏過intel 12/24 10:49
Alwen : 星空大師終究還是趕來戰場惹 12/24 10:50
luvstarrysky: 就想開這麼多條線 還打成這個樣子 花一堆錢在AI上 12/24 10:50
luvstarrysky: 結果出這什麼垃圾 12/24 10:50
Vansace : 目前AMD強的是CPU 誰在吹AI跟GPU? 竹竿裝菜刀 12/24 10:52
luvstarrysky: 不要最後把大半的錢砸在AI上 結果CPU也被打趴 12/24 10:52
luvstarrysky: 畢竟CPU那邊也沒有說領先多少 一代可能被追上 12/24 10:53
Vansace : AMD的AI跟GPU 只是希望就算落後 也不要差太多而已 12/24 10:54
Transposon : 星空大在幫呆兒自介歐 12/24 10:55
BruceChen227: NVDL繼續抱! 12/24 10:56
goodjop : 牙膏給GG代工 CUP很快就可以超越AMD了拉 12/24 10:58
luvstarrysky: 對呀 這代intel桌機也才第一代用台積電製程 12/24 11:00
luvstarrysky: 當初AMD剛跟台積電合作時也一堆問題 下一代不就 12/24 11:01
luvstarrysky: 爆發 12/24 11:01
gladopo : 連h100都打不贏快島一島 12/24 11:02
luvstarrysky: 而且intel這一代架構還是用舊的 就MTL的改進版 12/24 11:03
Xray2002 : 驅動值5000梗又能用了嗎 12/24 11:03
aegis43210 : 主要是架構問題,CDNA3不太適合AI運算,等MI350才能 12/24 11:03
luvstarrysky: 下一代完全新架構 amd只要不跟著大改進就會被打趴 12/24 11:03
aegis43210 : 改善 12/24 11:03
gladopo : 產能拿來做9800X3D比較實在啦 12/24 11:03
luvstarrysky: 而且到時intel還有自家18A製程 選擇更為彈性 12/24 11:04
y800122155 : 連CP值都輸 可悲啊 現在各家ASIC都搞起來了 12/24 11:05
y800122155 : AMD還能搶得到什麼?? 12/24 11:05
sky5566 : 好險沒接AMD 12/24 11:08
jerrylin : 難怪AMD崩崩 12/24 11:13
luvstarrysky: amd就每個市場都想分一杯羹阿 硬湊進來被打爛 12/24 11:18
luvstarrysky: 真不知砸一堆錢搞這幹嘛 12/24 11:18
bnn : 99AMD 卒業預定 12/24 11:30
yangcy : 教主已經轉倉*黃BG*了,已經逍遙去卒業寫生了 12/24 11:33
pacino : 難怪a90灰心到連Ptt都不上了 12/24 11:36
Heedictator : 卒 12/24 11:38
Alwen : a90已經去退休環遊世界惹八,身家都十位數惹,連蘋 12/24 11:46
Alwen : 果工作都辭惹 12/24 11:46
a64186401 : 簡單總結 NV屌虐 12/24 11:53
johnjohnlin : 99amd 12/24 11:55
chehsien : MI300很差是早已知了 看MI450有無機會分食Nvidia 12/24 12:12
eriker : amd又不能跑ai模型 買來裝飾的喔 12/24 12:15
CorkiN : 這時間a90大概放假回台灣啦 回台灣的時候幾乎都不 12/24 12:52
CorkiN : 上線的 12/24 12:52
qqpbpp : amd未來價值不在gpu上 12/24 13:49

💰 股票 Stock 版:熱門文章

💰 股票 Stock 版:更多文章