推 roseritter : 大大 前一篇也很好啊 不需要刪吧 讓我們業外聞香 01/29 11:26
推 mongduo : 前一篇提的,這一篇都有啊,刪掉保險一點~推 01/29 11:28
推 metallolly : 七巨頭..是誰的XD 01/29 11:30
推 zoze : 中國燧原科技 聽說不錯 01/29 11:30
推 rebel : edge ai有個問題 目前業界還沒找到殺手級應用 需求 01/29 11:31
→ rebel : 不強的話 很難帶動需求跟價格 01/29 11:31
推 ymlin0331 : all in TQQQ 01/29 11:32
推 a316xxx : 淺顯易懂的優質文 01/29 11:33
推 pponywong : 對岸記得還有一個地平線阿 01/29 11:33
推 thg156yu789 : 發哥太貴了 有其他間嗎 01/29 11:36
台灣有在做GPU的公司 我只知道矽統,
當年矽統 的GPU 差點把nvidia ati(amd) 打趴,
不過那是25年前的故事了,
晶心做risc-v 偏向cpu,
不知道有沒有AI/GPU 的設計,
我也不知道台灣IP公司有沒有AI/GPU 的設計, 像是智原,創意,
所以我無法回答你,
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 11:45:20
推 mabobo : 請問直接買00757也可以嗎? 01/29 11:42
推 aegis43210 : 西台灣做推論的只要沒辦法下GG,就沒希望了,反倒是 01/29 11:47
→ aegis43210 : 做訓練的,有足夠電力還可以大力出奇蹟 01/29 11:47
推 dragonjj : 結論 可以歐印台GG了嗎?製成全都繞不開阿! 01/29 11:49
對, 歐印GG 也可以,
跟歐印TQQQ 一樣,
你最後還是要加入他的
推 dongdong0405: 有料,推 01/29 11:50
→ MacD89 : edge ai 會不會太浪費資源?把運算丟到server算好 01/29 11:50
→ MacD89 : 再傳回來會不會比較有效率? 01/29 11:50
不,
丟server 才是浪費資源,
computer science 吵"中心運算"與"平行運算" 已經吵了百年了,
最終都是平行運算勝利,
把所有計算放在 server 才是最耗資源 最耗水電的,
只有把運算分散到終端用戶,
才是最終最好的解法
比方說,
你買10000支手機 可以有一台 AI server 的算力,
也就是一台AI server 可以支援 10000 個用戶的運算需求,
但是這樣一台AI server 的造價與耗電量是 10000支手機的數百甚至數萬倍
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 11:57:53
推 thbygn98 : 一定需要edge的,很難全不要 01/29 11:53
推 w60904max : tqqq有垃圾車 01/29 11:54
推 kducky : 沒錯 QQQ買滿 01/29 11:55
推 c7683fh6 : 推 歐印10年財富自由 01/29 11:55
推 rebel : 反了吧 推論對算力需求低 有沒有GG影響低 01/29 11:57
→ good5755 : 照這篇買股 allin谷歌? 01/29 11:57
推 Cliffx : tqqq有垃圾車 01/29 11:57
FNGG 等七巨頭ETF 也都有垃圾車呀!
沒辦法呀!
比持有率的話,
TQQQ/QQQ 持有垃圾車的比例還比較低
推 howhow801122: 垃圾車是誰 01/29 12:00
→ booray : edge 功耗更重要啊 不用GG先進製程手機電池哪夠用 01/29 12:01
對,
edge 最在乎功耗
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:04:07
推 ohlong : Edge絕對會是主流 更何況區塊鏈那套也可以拿來用在 01/29 12:03
→ ohlong : 末端算力上 01/29 12:03
推 aegis43210 : 目前大部份模型仍未到剪枝階段,推論仍需要大量算力 01/29 12:04
→ aegis43210 : 所以西台灣做推論的,沒有一家能投資 01/29 12:06
推 JKCCF : 好 ALL IN! 01/29 12:07
推 jamesho8743 : Linux追得上Windows? Firefox追得上chrome? 聯電追 01/29 12:08
→ jamesho8743 : 得上台積電? 01/29 12:08
OpenGL 後來真的追上DirectX,
甚至現在的3A 大作支援OpenGL 更多,
理論上,
open source 與 跨平台cross-platform 最終都會勝過封閉系統,
唯一的例外就是賣水果的那家,
所以信仰最重要
推 energyy1104 : 最優解就是都配 不可能全部用edge也不可能全部用se 01/29 12:10
→ energyy1104 : rver 01/29 12:10
推 ming5566 : 推 01/29 12:11
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:14:34
推 jamie81416 : 這篇才是重點 01/29 12:12
→ jamie81416 : 結論:All in GG 01/29 12:12
推 lrac : 推 01/29 12:13
推 fernmmm : 看起來edge端發展起來關鍵是server成本居高不下 那 01/29 12:14
→ fernmmm : 有沒有什麼劇本是server成本大降 01/29 12:14
推 jamie81416 : 樓上,edge段的發展關鍵是應用,不是server 01/29 12:15
→ MacD89 : 可是使用者更在意自己on premise的功耗太大而不會 01/29 12:15
→ MacD89 : 考慮服務商那邊的功耗成本?所以最後還是都有的吃 01/29 12:15
→ MacD89 : 不過不管edge或server那邊loading會比較重 反正就 01/29 12:15
→ MacD89 : 是gg或成最大贏家 XD? 01/29 12:15
→ jamie81416 : 沒錯R,不管哪個都要GG支援 01/29 12:16
推 strlen : 你各位不要歧視垃圾車 人家還差一點就變AI神車 還有 01/29 12:16
→ strlen : chobits 機械公敵 01/29 12:16
推 jamie81416 : 現階段edge AI還沒噴單純是還沒有殺手級應用 01/29 12:17
推 aspirev3 : 愛普跟邊緣運算有關係嗎 01/29 12:18
推 fernmmm : Edge應用怎麼說 願聞其詳 01/29 12:18
→ fernmmm : 是指在edge或server跑應用性能表現有差嗎? 01/29 12:19
看看這篇 Pixel 8 Pro — the first smartphone with AI built in — is now running Gemini
Nano,
edge 的應用例子, 還可以找到一些其他的例子, 但是不多,
https://store.google.com/intl/en/ideas/articles/pixel-feature-drop-december-2023/?utm_source=sem_bkws&utm_medium=dr&utm_campaign=GS107234&utm_term=Gemini_p8&gad_source=1&gclid=CjwKCAiAk9itBhASEiwA1my_652z4S_MPSOQFZv1YYPbS1dPKWHUvWKNXHz2ZpSX2XbEQUq3oYazWxoCL84QAvD_BwE&gclsrc=aw.ds
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:21:11
推 joygo : 現在就大廠再拼啊,拼出一個最強的需求就會跑去客 01/29 12:20
→ joygo : 戶端了 01/29 12:20
推 jamie81416 : 比較近似的例子,NV的顯卡要用雲端串流還是單張XD 01/29 12:20
→ jamie81416 : GeForce Now就死的差不多了 01/29 12:21
→ joygo : chat gpt讓人看到ai的好用,現在美術應該是第一個 01/29 12:21
→ joygo : 衝擊,再來應該會更多 01/29 12:21
推 fernmmm : 我想表明的點是 如果server成本大降 還有一定要在 01/29 12:23
→ fernmmm : 終端跑AI的必要嗎? 01/29 12:23
推 jamie81416 : 樓上的問題相當於單機版還是雲端版 01/29 12:24
對,
這就是最好的比喻,
以使用者而言,
你覺得是單機版還是雲端版便宜?
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:25:57
→ awss1971 : 結論: All in TQQQ 01/29 12:25
推 a1237759 : 達文西是2019台積cowos團隊用16nm做的東西,說落後 01/29 12:26
→ a1237759 : 十年就誇張了,五年差不多 01/29 12:26
→ a1237759 : 且達文西二代當初率先使用兩層的soic ,領先AMD NV 01/29 12:27
→ a1237759 : 三年,如果不是被封鎖,台積當時可能真的會帶華為打 01/29 12:27
→ a1237759 : 趴AMD 01/29 12:27
達文西第一代研發設計在2015年底到2016年,
當年瞄準目標是A100,
是美國研發團隊研發設計的,
研發團隊在2018年整個解散,
流散到美股七巨頭, AMD 與 阿里巴巴,
tapeout 與 design 的時間本來就會差兩三年,
即使你晶圓代工與製程再怎麼進步,
都無法彌補設計與架構本身的落後
推 jamie81416 : 台灣就All in GG。Sign G翁! 01/29 12:28
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:31:33
推 guanting886 : Server成本再怎麼降也無法一次處理很大的需求 如果 01/29 12:28
→ guanting886 : 都算簡單東西 很浪費那台機器的資源 01/29 12:28
推 beckhon : 大大,你所指有包含特斯拉嗎 01/29 12:28
→ a1237759 : D2在台積試產成功,但無法出貨,華為現在應該就是用 01/29 12:28
推 Eric0605 : 你edge AI都寫MTK了 居然漏了QCOM? 01/29 12:28
補上了,
怨念太深都忘了QCOM
→ a1237759 : 台積同一套在做D1 01/29 12:28
推 ds040302 : 看不懂,推 01/29 12:29
→ guanting886 : 有些Ai或某種較為簡單的處理可以做在專用晶片上 你 01/29 12:30
→ guanting886 : 直接調用上面的資源來算比浪費Server資源算還更有 01/29 12:30
→ guanting886 : 效益而且更快 不用網路 01/29 12:30
→ guanting886 : 用單機版 跟 雲端版 形容算對 但單機版的功能是半 01/29 12:31
→ guanting886 : 殘 01/29 12:31
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:32:52
→ aegis43210 : 目前雲端推論運算就卡在記憶體瓶頸,所以邊緣運算化 01/29 12:33
→ aegis43210 : 是趨勢,尤其是自駕 01/29 12:33
推 prpure : 請問tesla的自駕也算edge ai嗎? 01/29 12:33
推 a1237759 : 我是當初研發團隊的,2018出貨給D1給海思,2019幫海 01/29 12:35
→ a1237759 : 思試產,遇到封鎖團隊也不能說算解散,就是流往其他 01/29 12:35
推 ppuuppu : 推 01/29 12:35
→ a1237759 : 客戶 01/29 12:35
推 fake : Ai應用爆發應該也是會帶動傳統伺服器的成長?畢竟 01/29 12:37
→ fake : 你東西做出來要分享出去還是得經過傳統伺服器 01/29 12:37
→ aegis43210 : 是可以靠模型剪枝來緩解記憶體及網路瓶頸,但現在是 01/29 12:37
→ aegis43210 : 吃力不討好,建模就來不及了 01/29 12:37
推 jamesho8743 : opengl本來在業界就一片天了 directx會紅只是因為wi 01/29 12:38
→ jamesho8743 : ndows和pc game的崛起 經過了幾十年opengl可以扳平 01/29 12:38
→ jamesho8743 : 甚至超過 是因為只要學一套opengl就可以兩邊通用 op 01/29 12:38
→ jamesho8743 : engl在windows上的優化也很成熟和dx沒什麼差距 01/29 12:38
是的,
你的論點拿來套在OpenCL 也適用,
我相信open source 跨平台最終會追上封閉系統的CUDA,
當然信仰無價
推 jamie81416 : 對消費者來說,半不半殘不是關鍵,好用才是 01/29 12:38
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:39:39
推 a1237759 : 海思的design在當時其實一點都弱,又肯砸錢與台積共 01/29 12:38
→ a1237759 : 同開發,台積扶持下追趕曲線非常快 01/29 12:38
→ fake : 另外手機電腦裝上 AI 晶片應該也會需要更強的散熱 01/29 12:39
推 a1237759 : 總之這些廠商都靠台積飛的,叫台積股價飛不起來 01/29 12:40
→ a1237759 : 就 01/29 12:40
推 fake : 台積還是有很大比例是消費品吧 被拖累了QQ 01/29 12:42
推 AoA1 : 好文,推一個 01/29 12:43
→ cccict : 現在企業又因為資安的問題要回去雲端化了,我現在 01/29 12:48
→ cccict : 筆電所有檔案都在one drive,edge除非像電動車有即 01/29 12:48
→ cccict : 時運算的需求才會使用,server的效率跟成本還是比 01/29 12:48
→ cccict : 自建划算,尤其現在都要ESG,還不如讓平台商解決 01/29 12:48
推 rebel : 我還是認為推論不應該消耗太多功耗 會消耗大量功耗 01/29 12:50
→ rebel : 的應用放在手機上就很奇怪 放在插電的pc上比較合適 01/29 12:50
→ rebel : 01/29 12:50
推 Edaw : 推推 01/29 12:51
噓 donkilu : 純噓GOOG 01/29 12:51
推 clisan : 推好文 01/29 12:54
推 france5289 : Andes 有做edge AI相關的產品 01/29 13:00
→ france5289 : 概念是用vector CPU處理AI asic無法加速的operator 01/29 13:00
→ france5289 : 他們最近好像也有推自己的加速器 但不知道有沒有 01/29 13:00
→ france5289 : 客戶(除了跟Meta合作之外) 01/29 13:00
噓 sdbb : 應該是directx追上opengl 01/29 13:02
→ la8day : 現在都vulkan哪有人要用ogl 01/29 13:03
推 ga023630 : 都要歐印 FNGU 會比TQQQ差嗎? 01/29 13:05
推 ProTrader : 幹嘛為了八卦特地刪文 內容很精彩 八卦也很精彩 01/29 13:07
→ ProTrader : 重點是這篇一點都不豪洨 原po哪可能壓力大 01/29 13:08
→ askaa : 靠我沒看到wait大大的八卦文 可惜惹 XDDDDD 01/29 13:08
→ ProTrader : 公司敢裁你就換下一間 01/29 13:09
推 n555123 : 推一下 01/29 13:14
推 sdbb : 最早期,opengl比較像cuda,opengl領先directx cud 01/29 13:23
→ sdbb : a領先opencl 01/29 13:23
推 SRNOB : 完了 看不太懂 我變落後老人了 01/29 13:25
推 y800122155 : MS copilot已經在貢獻營收了欸 01/29 13:27
→ y800122155 : TQQQ FNGU的組合問題應該可以透過買NVD3 FB3 MSF3 A 01/29 13:30
→ y800122155 : AP3 GOO3 AMZ3自己調整吧?! 01/29 13:30
推 speedman : 沒列到M$ 微軟有涉入AI嗎? 算是什麼腳色 01/29 13:37
我列的是硬體部分,
因為台灣只有硬體與IC產業,
M$ 是AI 應用平台的角色,
目前M$ + OpenAI 是AI應用平台的第一名領先者,
GOOG 是AI應用平台的第二名,
GOOG 幾乎在每個AI 的領域都是排第二第三,
缺點是GOOG 沒有任何一個AI 領域是第一名領先者地位
→ karcher : 有內容給推,不過有點高估AI的價值 01/29 13:39
→ y800122155 : 微軟是ChatGPT大股東 市值都超越阿婆了還什麼角色.. 01/29 13:39
推 roseritter : 微軟是openAI大股東,早早引入copilot 01/29 13:40
→ roseritter : 變現能力現在看來海放google 01/29 13:40
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 13:47:06
推 cadaver : 請問大大有TQQQ預計獲利了結的時間點嗎 01/29 13:45
美國總統大選前 也就是 2024年12月前,
都是安全的存股時間點,
選完之後很難說,
我之前說過,
不論是川普或是拜登上台都會是狂人政治,
很難預測發展,
川普就不用說了,
拜登連任之後沒有再選舉的壓力,
追求的是歷史定位,
一定會非常左派作風,
大撒幣給底層人民以及繼續給中產階級加稅,
亂花錢沒有財政節制,
很可能通膨會再起 與金融風暴,
川普在金融與經濟上會處理好很多,
但是川普是狂人而且仇恨值超高
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 13:51:52
噓 a000000000 : 我覺得尼想太多 hbm效能等級的東西要放到edge 01/29 13:48
→ a000000000 : 等葛十年看看 01/29 13:48
推 rebel : 知道你討厭拜 但拜不是一個人就可以控制美國 拜要 01/29 13:57
→ rebel : 灑幣 一堆人就不會同意 他不選了其他人未來都不選 01/29 13:57
→ rebel : 了嗎 01/29 13:57
推 william85 : 推 01/29 14:04
推 roseritter : 那這麼一堆人 之前出來有擋住拜耍腦包嗎 喝 01/29 14:15
推 rebel : 那時沒通膨 現在通膨都燒成什么樣了 拜登最後一波 01/29 14:20
→ rebel : 灑幣不就被擋下來了 01/29 14:20
那時已經有通膨,
大撒幣的名稱還是非常諷刺的"降低通膨法案":
為遏止通貨膨脹惡化以及應對全球氣候變遷問題,美國總統拜登(Joe Biden)於2022年8
月16日簽署通過4,370億美元支出的《降低通膨法案》(The Inflation Reduction Act)
https://stli.iii.org.tw/article-detail.aspx?no=55&tp=1&d=8918
這次大通膨以及2022年股市大跌,
拜登必須負起最大的責任,
當時民主黨躺贏,
所以根本不在乎通膨 亂花錢,
現在被川普壓著打,
就不敢再大撒幣,
但是我對拜登與民主黨有信心,
要是這次選贏一定會大撒幣
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 14:26:14
推 kis28519 : 推 01/29 14:24
推 rebel : 現在的參眾議院又不是都在民主黨手上 認為憑拜登就 01/29 14:29
→ rebel : 可以大灑幣我覺得你想太多 我寧願相信美國的制度而 01/29 14:29
→ rebel : 不是拜或川的個人 01/29 14:29
推 qweaaazzz : 推 01/29 14:44
→ SILee : 你有點扯過頭了。他這陣子都沒有提大撒幣法案主要是 01/29 14:45
→ SILee : 眾院被掐住了,提了也沒用。後面還有更重要的法案讓 01/29 14:46
→ SILee : 他火在燒,輪不到撒幣這件事。 01/29 14:46
推 yaehsin : 推TQQQ 01/29 14:54
推 dangurer : 收到打收到! 01/29 15:10
→ BryceJames : 覺得不可能 edge無法散熱注定只能大模型只能server 01/29 15:16
→ BryceJames : 3 5 年內edge超越server太樂觀 01/29 15:16
→ BryceJames : 而且大模型訓練只會越來越多... 01/29 15:17
推 popcorny : 我2021的MBP跑LLM mistral-7b 已經嚇嚇叫了,edge 01/29 15:25
→ popcorny : 沒有想像中那麼遙遠. 應該很快就大爆發了 01/29 15:25
推 aegis43210 : 訓練是另一回事,在終端訓練也太沒效率 01/29 15:27
終端不做訓練,
終端是做推論,
當大部分應用訓練完成/成熟之後,
就是在終端的推論應用,
這時候需要的是edge AI
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 15:29:09
推 neo5277 : 下個接棒的應該是居家機器人了吧 01/29 15:33
推 previa : 我2008,2009年在用CUDA做GPGPU應用時就覺得OpenCL會 01/29 16:18
→ previa : 有機會超過CUDA,現在已經幾年了。 01/29 16:19
→ previa : 10多年過去了還沒超過,核心還是在開發的編譯優化上 01/29 16:20
→ previa : CUDA/OpenCL都非常依賴數據從CPU<->GPU間的數據搬移 01/29 16:20
→ previa : 好的Compiler會自動搞定一大堆異質架構的存取優化 01/29 16:21
→ previa : 不然早期的CUDA你開發還要去記記憶體架構跟cycle 01/29 16:21
→ previa : 時間差,人工想辦法去interlace 讀取加大平行度 01/29 16:22
→ previa : 真的麻煩。最近幾年沒跟進,不確定現在怎樣了 01/29 16:22
→ previa : 理論上只要克服這點,OpenCL應該就可以追上CUDA 01/29 16:25
→ previa : 但是這也是比較難的點,Vendor自己開發的跟開源的 01/29 16:25
→ previa : 肯定在相容性跟優化上還是有一些差異。 01/29 16:26
→ ProTrader : AMD跟客戶大廠應該會認真做縮小跟CUDA的差距 01/29 16:41
→ ProTrader : 但要說贏過CUDA就很難 至少短時間不可能 01/29 16:42
推 jeff918 : 這樣看起來聯發科的風險 01/29 17:46
→ jeff918 : 會是中國被禁運 01/29 17:46
→ szeretlek945: 上面說大模型越來越多,那有沒有小模型也越來越多, 01/29 17:50
→ szeretlek945: 而且現在好幾篇論文都在寫小模型在特定環境甚至比大 01/29 17:50
→ szeretlek945: 模型的表現好。況且現在注重的是“有效的”參數而不 01/29 17:50
→ szeretlek945: 是越多越好 01/29 17:50
推 ImCPM : 這樣手機pc nb不就要噴爛了 01/29 17:55
除非你要超前部署,
不然還早,
edge AI 快速成長也要一兩年後,
超過 server AI 大概要三五年後,
也就是三五年後有大量的AI應用 與平台之後,
才會開始噴 pc nb 手機
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 18:00:02
推 s1001326 : 請問買SOXL可以嗎? 想要分一點倒TQQQ 01/29 20:48
推 jamesho8743 : opencl要追上cuda還有很長的路要走 重點是這些優化 01/29 21:08
→ jamesho8743 : 最佳化誰來做 這些都是很專精且硬體相關性很強的 以 01/29 21:08
→ jamesho8743 : AI大模型的訓練量差個5%效率就是很多錢 01/29 21:08
→ jamesho8743 : 這也是nvidia贏amd 的原因 硬體就算不輸 軟體的差距 01/29 21:11
→ jamesho8743 : 不是一時半刻可追 01/29 21:11
→ jamesho8743 : 大公司如微軟能自己拉個軟體team來優化amd的硬體 01/29 21:18
→ jamesho8743 : 找到不只會cuda還能精通其他平台的強者 中小公司只 01/29 21:18
→ jamesho8743 : 能乖乖用nvidia 01/29 21:18
推 x3795566 : 蛤 為啥不是SOXL? 01/29 21:48
→ r7544007 : 天下程式一大抄 opencl要贏Nvdia要多生出幾本教科書 01/29 22:38
→ r7544007 : 讓大家抄 01/29 22:38
→ waitrop : 我來寫一本也開課到YouTube 好了 01/30 03:46
推 ohlong : 大家都只想到效能 沒人想到成本的問題 而且llm要切 01/30 09:38
→ ohlong : 分也不是辦不到 如果能切分還能去互相驗證model有 01/30 09:39
→ ohlong : 沒有失真 大公司就不必耗這麼多電力算力成本在可能 01/30 09:39
→ ohlong : 沒什麼投資報酬率的結果上 01/30 09:39
推 ohlong : 但現況edge一定是validation 為主 01/30 09:49
推 NicholasTse3: 巨頭不包含微軟嗎? 01/30 12:30
我說過很多次了,
我在討論的是硬體與IC 晶片的部分,
所以沒有談到微軟
微軟是目前AI 應用平台與模型的領先者,
第一名的地位,
但是我們並沒有討論應用平台與模型
※ 編輯: waitrop (76.103.225.6 美國), 01/30/2024 15:13:56