图片来自Taalas官网

打着“颠覆”的旗子的公司，老是会接二连三涌现。

最近，一家来自加拿大多伦多的芯片“小厂”Taalas引起了AI圈瞻仰。有声息以为，它很可能撬动英伟达利用了多年的AI芯片市集。

{jz:field.toptypename/}

当地时候2月20日，设置于2023年的初创公司Taalas发布了首款家具Taalas HC1芯片，专为Llama 3.1 8B模子优化，经受30芯片集群时完结每秒12000 tokens的推理速率，较传统GPU决议普及50倍能效。

Taalas称，公司通过结构化ASIC技能将芯片定制周期镌汰至两个月，已累计融资2.19亿好意思元。24名敬业的职工的痛苦，参加3000万好意思元，打造出了这款领有“极致的专科化、速率和动力着力”的家具。

Taalas首创东说念主兼CEO是曾任AMD架构师的业界听说东说念主物柳比沙·巴伊奇（Ljubiša Bajić）。

在公司官网的先容著作中，巴伊奇称，这款芯片选择了Meta公司2024年7月推出的开源大模子Llama 3.1 8B四肢运行平台，峰值推理速率接近17000 tokens/秒，比当前市麇集开首进的技能快近10倍，构建成本责怪到正本的1/20，功耗责怪至正本的1/10。

截图来自搪塞平台X

巴伊奇给出了一组测试数据，Taalas我方在Llama 3.1 8B上测试了英伟达的主力家具H200和B200，结果为230 tokens/秒和353 tokens/秒，而Taalas的HC1性能是它们的48倍。

此前这一数据，是由颓靡分析平台Artificial Analysis测出的最高值，来自刚刚完成H轮融资、估值230亿好意思元的Cerebras，为1981 tokens/秒，也仅为HC1的11%。

在实测演示中，大模子对用户问题的详备解答，达到致使超越了“秒回”的水平。

不外，AI在多量回答的刹那间，东说念主类对话者也产生了扑面而来的压迫感。

图片来自Taalas官网

这一号称“打破极限”的施展，果如其言引起了多量的征询。呐喊“颠覆将至”者有之，质疑其过甚其辞、过度营销者亦有之。

令咱们风趣的是，在喧嚣背后，Taalas的技能和家具究竟有何特殊之处？又是否当得起其自称的“寰球上速率最快、成本和功耗最低的推理平台”呢？

将模子径直“刻”在芯片上

在接洽了其首款家具HC1的关联公开信息之后，咱们发现，Taalas的技能蹊径，与当前市集主流的ASIC蹊径比拟，极具颠覆性，号称“邪修版”ASIC。

与英伟达和AMD代表的业界主流GPU通用计较技能蹊径不同，Taalas更接近ASIC（专用集成电路）蹊径。

这一技能蹊径通过为特定应用场景定制硬件遐想，以追求极致能效和成本效益。天然它的适用性、功能丰富度、可互换性，远低于能消释多场景的GPU，但自客岁以来，以谷歌TPU为首，ASIC技能领有成本（TCO）低、打造大模子材干绝不失容等特质，得到了市集认同，出货量大幅普及。

野村证券臆想，2026年，ASIC芯片的总出货量可能会初次越过GPU。而在GPU市集处于两巨头掌握的情况下，大多数芯片初创也齐选择了ASIC蹊径，包括市集驰名度较高的Cerebras、SambaNova，以及，此前刚刚被英伟达将中枢团队纳入囊中的Groq。

巴伊奇在AMD和英伟达齐有任职经验，之前还创立了一家专注于AI芯片研发的独角兽Tenstorrent公司。Tenstorrent通过开源RISC-V架构和软硬件协同遐想，责怪AI计较成本。

而“挑战英伟达掌握地位”，一直是巴伊奇所宣扬的核表情念，亦然Tenstorrent公司备受瞻仰的“牌号”标签。

不外，英伟达的发展，要远好于AMD及各类AI芯片初创公司，巴伊奇也在探索中有了更“极点”的设念念。

2022年至2023年间，巴伊奇迟缓脱离了此前职责，运行霸术创办Taalas。他与他的妻子、曾在AMD任系统工程高等司理莱拉·巴伊奇（Lejla Bajic），以及，曾任AMD高等遐想工程师并在Tenstorrent担任过ASIC遐想总监的德拉贡·伊格纳托维奇（Drago Ignjatovic）成为了Taalas斡旋首创东说念主。

Taalas公司20余东说念主的中枢工程师团队，多数来自AMD、苹果、谷歌、英伟达和TensorRent。

2024年，Taalas公司完成5000万好意思元的首轮融资，并认真出当前公众视线。

巴伊奇强调，Taalas戮力于处理AI发展面对的两大辛勤——“高蔓延”和“天文数字般的算力成本”，并提议“单芯片性能超越袖珍GPU数据中心”这一极具蓄意，致使显得有些“粗莽”的主义。

本钱市集为巴伊奇的蓄意投票。步骤当前，Taalas当前已完成三轮融资，总数越过2亿好意思元。

Taalas奉行“The Model is The Computer”（这句话亦然公司的slogan），不错结识为，将传统“在计较设备上运行模子”的范式，调养为“模子自己成为计较设备”。

技能完结旅途上，Taalas提议“无需软件，径直将模子刻在芯片上”，这与传统的ASIC芯片仍需使用软件，通过编译过程将软件代码蜕变为芯片教唆不同。

Taalas通过EDA（电子遐想自动化）历程，将特定大模子径直蜕变为定制芯片。

也就是说，每款使用Taalas的大模子，齐会领有专属于自身的定制芯片，完结巴伊奇所说的“十足专科化”（Total specialization）。

与此同期，算力也开脱了软件敛迹和编译过程，数据简直不需要在内存和计较单元之间移动，“内存墙”由此消失，推理成本随之大幅责怪，推理速率则权贵普及。

截图来自搪塞平台X

当前来看，Taalas的主要业务操作历程也比较简便。精炼是客户向Taalas提供自身所需的模子，Taalas在一周内将其蜕变为电路遐想，通过台积电代工在两个月内委派专属芯片。

可念念而知，淌若Taalas能为每个主流模子，齐提供出肖似HC1在Llama 3.1 8B上那样的性能飞跃，那么，米兰体育各大厂商很可能会对其家具趋之若鹜。

本体上，包括颓靡东说念主工智能接洽员本杰明·马里（Benjamin Marie）、Devtools创业守护人肖恩·王（swyx）等产业界东说念主士和The Next Platform记者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒体东说念主士，齐已在积极先容Taalas的新家具，看好其出路者不在少数。

Taalas的死穴在哪？

不外，在公论热度落地到商用市集之前，Taalas还有许多问题需要被看到。

早先，Taalas需要面对的是，其家具能否适用更先进、大边界的模子。

2024年，Meta推出Llama 3.1时，发布了8B、70B和405B三种参数边界版块，Taalas选用的是最小的8B。

很显著，在当前大模子进化速率极快、边界越来越大的配景下，Taalas的家具能否匹配，是否面对彰着“天花板”，齐是必须处理的问题。

巴伊奇称，公司将在本年春季推出一款适用中等边界推理模子的家具，届时施展怎样，值得瞻仰。

与此关联的，当前测评体验中，不少质疑声息聚拢在，Taalas让本已不算奢睿的Llama变得“更笨了”。

一些用户发帖称，HC1“幻觉严重”“谜底彰着造作，质料远低于同参数GPU版”，“回答速率快但错得也快”，其实用性欠安。

截图来自搪塞平台X

本体上，关于怎样结识Taalas给出的测试数据，也有较多质疑声息。

一位瞻仰芯片产业的喜爱者对作家暗示，Taalas独特于内置了问题的谜底，是以，计较速率“秒杀”英伟达等一众业界翘楚，可是，将”1+1=2”的问题换为“2*2=？”，它的施展可能就会“掉链子”。

Taalas能在极其有限的特定场景下“秒杀英伟达”，但当前其他英伟达能作念的事，关于Taalas来说可能更难。

更为过失的问题是，Taalas能否跟得上大模子的迭代周期。

一位半导体行业从业者对作家暗示，Taalas的芯片“施展很牛，但当前可能没啥大的用处”，因为大模子还在不断迭代，而Taalas的迭代材干和速率成疑。

该行业东说念主士以为，“要等以后大模子达到某个层级不再大边界、快速迭代了，这种芯片才能有更大舞台”。

而在搪塞平台上的征询中，不少质疑聚拢在HC1“模子锁定”的“只读”阵势导致的“落伍”和“销毁”风险，并以为这是其交易化、边界化的紧要阻遏。

当前，一款顶尖大模子能保执早先上风的时候窗口不外月余，而Taalas委派芯片（而非量产）即使仍是很快，但也需要至少两个月。

改写AI芯片章程的将来已来

救济HC1跳跃性的声息也不在少数。

在知乎的关联征询中，中国科学院计较技能接洽所副接洽员赵永威指出，天然Taalas“当前的情状还莫得应用价值”，但不妨碍它会成为“一颗有历史真谛的芯片”。

他以为，这种“硬连线”的阵势，是将来芯片发展的一大趋势，当前的质疑由Taalas来扛，其后者在膨胀关联想法时就会愈加舍弃。他也涌现，我方方位单元也在接洽肖似技能蹊径，并提到，责怪经济成本，既是关联蹊径的接洽主义，也应该是宣传发力点方位。

驰名科技记者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在著作中提到，Taalas照实需要模子的每一次更新中从头遐想芯片，但其在推理引擎上蚀刻新模子，只需要蜕变遐想中的两层金属，而不是十足销毁。考虑到检会模子的成本高达数十亿好意思元，Taalas芯片的更新成本微不及说念。

摩根以为，在主要模子发布远离时候延长，东说念主们对训练模子依赖度增多时，Taalas芯片有望取得更凡俗的市集认同。

也有一些分析称，收货于低蔓延、低功耗的本性，Taalas确切的用武之地或在于边际推理场景，比如，机器东说念主、自动驾驶汽车，致使高端智高手机等设备中。这些设备不需要运行总共模子，只需要结识运行定制化的模子，而更快的速率和更低的耗尽，显著更成心于产业普及AI大模子。

不外，即就是关联家具能确切边界化地进入市集并大展拳脚，新的情状和问题也会随之涌现。

比如，大模子的底层架构（Transformer）是否会遭受另一场“立异”？这似乎决定着“模子即芯片”技能蹊径的庆幸。还有，生态系统开辟的问题，英伟达天然是硬件公司，但CUDA软件生态和开发者的重度依赖，才是其确切的护城河，而这亦然Taalas看中且格外颠覆的。

但这些齐是后话了，至少当前来看，Taalas距离英伟达还很远处，更遑论“颠覆英伟达”了。关联词，巴伊奇在这条路上依旧轨范不断，Taalas告示，辩论在本年冬季推出第二代HC2家具，将具备更快的推论速率和更强的性能。

届时，一代家具的市集响应和二代家具的迭代恶果，将进一步考证今天各方对这股横空出世的新势力的判断。（作家｜胡珈萌，裁剪｜李程程）

• AI
• 芯片
• 米兰
• 撷秀
• Taalas