十大深度学习AI芯片盘点：谁在给大模型供电

做深度学习这行五年，被问最多的不是模型怎么调，是"显卡该买啥"。十大深度学习AI芯片这个榜单，同事群里每季度都要吵一轮。公司机房进新卡那天，我们几个工程佬能围着包装箱研究半小时，跟小学生拆卡包一个心情。今天这篇我就按训练、推理、端侧三条线把主流选手捋一遍。先把丑话说前面：跑分是厂商的脸面，实付价格和软件生态才是你的日子。

先看牌桌：深度学习AI芯片的格局是怎么分的

原子答案：英伟达吃掉了全球AI芯片市场接近九成的份额，训练侧几乎是垄断地位；AMD和英特尔在追赶；国产阵营华为昇腾、寒武纪靠政企订单和推理场景站稳了脚。格局一句话：训练看英伟达，推理百花齐放，端侧各显神通。

给个能查证的数。市场研究机构 IDC 的统计显示，2024 年中国 AI 加速芯片市场里，来自本土供应商的出货量已占到两成以上，而且是同比翻着倍涨的。这个数据我放在IDC 官网，报告原文要付费，摘要公开。格局变化的速度比我两年前预想的快，当时内部聊国产卡，大家的用词还是"能用"，现在已经换成"特定场景真用"。

我自己的体感也在变。前年我们做视觉模型，训练清一色A100；去年一个中等规模的推理服务，直接跑在了国产卡上，迁移成本比想象低。变化是真的。

十大深度学习AI芯片逐个过：训练阵营

原子答案：训练阵营四张牌——H100/H200、B200、AMD MI300X、谷歌TPU。H100是当下事实标准，B200接棒，MI300X靠显存翻盘，TPU只服务谷歌系。

挨个说。H100，80GB HBM3，NVLink把八卡拼成一台机，大厂训练集群的默认选项。我们租过的云上H100实例，八卡机时费贵得让人手抖，但快也是真快。H200是它的显存升级款，141GB，跑长上下文舒服。B200属于Blackwell架构，纸面算力翻倍还多，问题是贵且缺货，普通公司摸不太到。AMD MI300X的打法很鸡贼：192GB显存，比H100大一倍多，大模型推理场景直接堆料取胜，我朋友试过跑70B模型，单卡塞得下，这个体验很香。谷歌TPU不走零售，你用Gemini时它就在后面转，云上也能租，生态绑定深，迁出去费劲。

训练卡的门槛不只是算力。互联带宽、显存容量、软件栈成熟度，三样缺一不可。这是很多跑分党容易忽略的地方。

十大深度学习AI芯片逐个过：推理与国产阵营

原子答案：推理侧是国产卡的主场——华为昇腾910B、寒武纪思元590都在这个赛道吃到订单；加上海光DCU，三家的共同打法是用性价比和服务换生态位。

华为昇腾910B，被内部称为对标A100的国产答卷。CANN软件栈跟CUDA的差距还在，但主流框架的适配这几年补得很快，政企项目里出镜率极高。寒武纪思元590，上市公司里少见的纯AI芯片标的，互联网大厂的推理订单让它这两年活得不错。海光DCU走兼容路线，团队从AMD授权技术起家，迁移动静小，企业客户喜欢这种"少折腾"。聊聊实际体验：我们那台国产推理服务器，吞吐打到了同价位英伟达方案的八成上下，但电费和运维学习曲线多花了小两周。这笔账，量大的时候才划得来。

把十家拢一张表，方便对号入座。主观评价一列纯属个人偏好，不构成采购依据。

插一段跑题的话。上周我拿MacBook外接电源跑一个7B模型，风扇起飞、膝盖发烫，突然就理解了为什么数据中心要建在河边。话说回来，端侧芯片这两年的进步实打实，手机NPU能跑的模型三年前想都不敢敢想，这事我专门写过一篇手机AI芯片是噱头吗，展开聊过。

端侧还有个容易被忽略的角色：Jetson Orin。我们组的机器人demo全靠它，25瓦功耗塞进底盘，视觉模型实时跑。开发板单价不便宜，但比起搭一套云推理再解决断网问题，真省心。

个人玩家的务实建议：跑深度学习到底买什么卡

原子答案：个人预算内闭眼选二手RTX 3090（24GB约四五千元）或全新4090，显存优先于算力。别碰计算卡，别碰矿卡里的Tesla，深度学习对显存大小的敏感远超对峰值算力的敏感。

这是我最想说的部分，网上太多清单在念参数，没人告诉你钱该砸哪。我的经验就三条。显存大于天，24GB能跑的模型规模跟12GB差出一个档位，量化是妥协不是方案。二手3090是穷人法拉利，四五千的价格，24GB显存，训练微调都够用，就是费电、没有质保，买时看散热和成色。想详细算这笔账的，我写过一篇深度学习AI芯片推荐和显存真相，把各显存档位对应的模型规模列全了。第三条，苹果M系列当主力机做深度学习，我个人不推荐，库好吃、生态绕，真上手了你会在环境配置上浪费掉热情。

矿卡的事多说一句。朋友收过三张 Tesla V100，价格诱人，结果没有风扇、没有视频输出，机箱散热改造又是一笔钱。看似便宜的深度学习AI芯片，总有一处把差价找补回去。

企业视角和三个趋势判断

原子答案：企业选型看软件生态和供应安全，不看跑分。三个趋势值得押注：推理侧国产替代加速、显存堆料竞赛继续、端侧NPU吃掉轻量场景。

我们公司去年定采购原则就一条：谁的迁移成本最低选谁。这个逻辑下英伟达依然是默认答案，但国产卡进入了备选池，这在三年前不可想象。趋势上，训练算力的军备竞赛是巨头游戏，跟普通人关系不大；真正的机会在推理降本，这两年各家都在卷，量化技术和推理框架的进步让单位token成本一年降一截。想看推理侧更细的拆解，我之前梳理过白嫖云算力的实操记录，里面对比过几家云平台的卡。供应链的消息面也能参考TrendForce集邦咨询的行业报价，我是当 weekly 刊物看的。

常见问题

十大深度学习AI芯片里，哪款最适合个人入门？

预算四五千选二手3090，八千到一万二选4090，再往下别勉强，先租云卡跑通流程再说。入门阶段瓶颈是代码不是算力，云端按小时付费足够熬过前半年。

国产AI芯片现在能替代英伟达吗？

推理场景可以认真考虑，不少项目的实测吞吐能达到同价位方案的八成左右，加上服务响应快，账算得过来。训练大规模模型还差一截，软件生态和互联带宽是硬差距，短期内改观有限。

为什么深度学习这么看重显存而不是算力？

模型放进显存才谈得上算力，放不进去一切归零。参数量乘以精度字节数再留出激活值的余量，就是最低显存线。卡再快，爆显存就是白搭，这是我交过学费的教训。

苹果M系列芯片能用来跑深度学习吗？

能把玩，不适合当主力。统一内存确实能塞大模型，Metal加速生态这几年也有进步，但主流框架第一适配对象始终是CUDA，出了问题社区资料也少。当第二台机器可以，当生产力不建议。