从DARPA的CHIPS项目到Intel的Foveros，Chiplet都被视为未来芯片的重要基础技术。简单来说，chiplet技术就像搭积木一样，通过先进的集成技术(如3D集成)将一些具有特定功能的预师管芯集成封装起来，形成一个系统芯片。这些基本的芯片都是小芯片。从这个意义上说，chiplet是一种新的IP复用模式。在未来，以小芯片模式集成的芯片将是一个“超级”异构系统，可以为AI计算带来更多的灵活性和新的机遇。
小芯片是什么意思？小芯片模式简介
小芯片的概念其实很简单，就是硅片级别的复用。要设计一个片上系统，以前的方法是从不同的ip供应商那里购买一些IP、软核(代码)或者硬核(版图)，用自研的模块集成到一个SoC中，然后在一个芯片工艺节点完成芯片设计和生产的全过程。未来，对于某些IP，你可能不需要自己设计生产，只需要买一个别人实现的硅片，然后集成在一个封装里，形成SiP(System in Package)。所以chiplet也是一个IP，但是是以硅片的形式提供的。
chiplet的概念源于DARPA的chips(通用异构集成和IP重用策略)项目。该项目试图解决的主要问题如下：“由于以下因素，最先进的片上系统的单片性质并不总是为国防部或其他低容量应用所接受”。初始原型成本高，对替代材料要求高。为了提高整个系统的灵活性和减少下一代定量产品的设计时间，通用异构集成和知识产权(IP)重用策略(CHIPS)计划试图建立一个新的IP重用范例。"。它的愿景是：“芯片的愿景是一个由分立模块、可重复使用的IP块组成的生态系统，这些模块可以使用现有和新兴的集成技术组装成一个系统。IP模块的模块化和可重用性要求支持芯片生态系统的社区广泛采用电气和物理接口标准。因此，CHIPS计划将开发设计工具和集成标准，以展示模块化集成电路(IC)设计，利用国防部和商业设计和技术的精华。“从这个描述来看，chiplet可以说是一种新的芯片设计模式。要实现这种新的IP复用模式，第一个技术基础就是先进的芯片集成封装技术。SiP的概念很早就有了，在一个硅片上封装多个硅片也有很长的历史。然而，为了实现chiplet的高灵活性、高性能和低成本的愿景，先进的芯片集成技术，如Foveros和英特尔最近提出的3D集成技术是必要的。
3D集成技术使我们的芯片规模能够在三维空间发展，而不是传统的二维空间。因为摩尔定律在二维空间很难继续，所以向三维空间发展也是自然趋势。此外，如下图所示，这种3D集成技术不仅提供了更高的计算密度，还使我们能够重新考虑对系统进行完整的重新思考，这就是小芯片模式带来的新的灵活性，稍后将详细讨论。
这里就不详细讨论3D集成技术的细节了。按照现在的发展，未来几年相关技术会越来越成熟，应该可以为小芯片模式的普及做准备。小芯片和SoC有什么区别？从上面可以看出chiplet和SoC的区别；只有小芯片的应用才能集成到一个SoC中；Chiplet在硅片级别重用；小芯片技术就是像积木一样实现一种新的IP复用模式。
Soc:缩写SoC:System on Chip，称为芯片级系统，也叫片上系统，是指它是一个产品，是一个具有特殊用途的集成电路，包含了一个完整的系统和嵌入式软件的全部内容。
SoC更强调整体。在集成电路领域，它被定义为在单个芯片上组合多个具有特定功能的集成电路而形成的系统或产品，包括完整的硬件系统及其嵌入式软件。这意味着在单个芯片上，就可以完成一个电子系统的功能，而这个系统以前需要一个或多个电路板，以及板上的各种电子器件、芯片和互连线来协同工作。我们在讲集成电路的时候提到了楼宇对平房的集成，SoC可以看作是城镇对楼宇的集成；酒店、餐厅、商场、超市、医院、学校、公交车站以及大量的房屋，共同构成了一个小城镇的功能，满足人们对吃、住、行的基本需求。SoC更多的是处理器(包括CPU和DSP)、存储器、各种接口控制模块和各种互连总线的集成，其典型代表就是手机芯片(见“终端芯片”一词的介绍)。SoC还达不到用单个芯片实现一个传统电子产品的水平。可以说SoC只是实现了一个小镇的功能，而不能实现一个城市的功能。
AI小芯片的优势
总的来说，我个人认为chiplet模式会对AI硬件的长期发展产生非常积极的影响，主要表现在以下几个方面。
第一，工艺选择的灵活性
小芯片模式最大的一个优势就是一个系统可以集成多个工艺节点的硅片。
这也是小芯片模式可能支持快速开发并降低实施成本的重要因素。众所周知，在芯片设计中，并不是最新的技术总是最适合不同用途和不同类型的电路。在目前的单片机系统中，系统只能在一个工艺节点上实现。对于很多功能来说，使用高成本、高风险的最新技术是不必要的，也是非常困难的，比如一些特殊的加速功能和模拟设计。如果小芯片模型成立，那么大家在设计系统的时候会有更多的选择。对于追求性能极限的模块，比如高性能CPU，可以使用最新的技术。特殊的功能模块，如存储器、模拟接口和一些特殊的加速器，可以根据需求选择性价比最高的方案。
这对AI芯片的发展是相当有利的。首先，AI加速本身就是DSA(特殊领域架构)，其架构本身就是针对具体操作定制的，具有很高的效率。即使流程相差一两代，也能满足很多情况的要求。但目前这一领域的初创企业大多面临着流程选择的困境。如果选择先进技术，可能一次投资就把所有投资都耗光了。不选，就好像输在了起跑线上。如果小芯片模式成为主流，大家的工艺选择应该会更加理性，性价比最好而不是最新技术的小芯片会有更多的机会。其次，对于很多可能大幅提升AI计算效率的新兴技术，比如内存计算、模拟计算(包括光计算)，其使用的器件往往只在相对较低的工艺节点上成熟，如何与系统的其他部分集成是一个很大的问题。小芯片模式也可以解决这个问题，所以这些技术的开发者可以以小芯片IP的形式提供产品，并与其他不同工艺的功能模块集成，而不会受到代工工艺进度的限制。
第二，建筑设计的灵活性。
由小芯片组成的系统可以说是一个“超级”的异构系统，为传统的异构SoC增加了新的维度，至少包括空间和工艺选择的维度。首先，如上所述，先进集成技术在3D空间的扩展可以大大增加芯片规模。这对AI计算能力的扩展和成本的降低当然是大有裨益的。第二，结合前述的工艺灵活性，我们在架构设计上可能会有更合理的功能/工艺权衡，有利于AI SoC或AIoT芯片更好地适应应用场景的需求。再次，系统的架构设计，尤其是功能模块之间的互联互通，有更大的优化空间。在目前的AI芯片架构中，数据流是主要瓶颈。HBM(也可以看作是小芯片)可以在一定程度上解决处理器和DRAM之间的数据流问题，但是太贵了。对于云端AI加速，主机CPU和AI加速芯片之间，以及多个加速芯片之间的互联，目前主要是通过PCIe，NvLink，或者直接使用SerDes等等。如果是小芯片模式，硅片的互连，带宽，延迟，功耗都会有很大的提升。此外，目前的片上网络(NoC)是在一个硅片(2D)上，而未来的NoC将在硅片之间扩展，特别是当它与有源内插器结合时，可能会成为3D网络，其路由、拓扑和QoS可以有更多的优化空间。
第三，商业模式的灵活性。
小芯片模式在传统的IP供应商和芯片供应商之外提供了一种新的选择：小芯片硅片供应商。对于目前的AI芯片厂商来说，要么专注于AI加速部分，以ip或外部硬件加速芯片的形式提供产品；要么走垂直领域，做集成AI加速功能的SoC。对于前者，chiplet可以提供一种新的产品形态，增加潜在市场，或者拉长一代产品(流程)的生命周期。对于一些硅变现能力强的厂商，未来可能会演变成专门做小芯片的供应商。对于后者，可以直接集成合适的AI小芯片而不是IP(需要自己做芯片实现)，大大节省了项目开发的时间。
因此，可以预见，AI chiplet将成为AI硬件复用和集成的重要模式。
小芯片模式的挑战
首先，当然是集成技术的挑战。小芯片模式基于先进的封装技术，必须能够实现低成本和高可靠性。这部分主要靠代工和封装厂商。随着先进技术的缓慢部署，封装技术逐渐成为人们关注的焦点。另外，集成技术的挑战来自于集成标准。回到芯片项目，我们可以看到项目的重点是设计工具和集成标准。英特尔的AIB(高级接口总线)是一种硅到硅的互连标准。如果未来能成为行业标准(类似ARM的AMBA总线标准)，小芯片模式可能会更快普及。还有，对于这种“超级”的异构系统，其更大的优化空间也意味着架构优化的难度会大大增加。
除了集成技术，小芯片模式成功的另一大问题是质量保证。当我们选择IP时，除了PPA，最重要的考虑是IP本身的质量。IP本身是否存在bug，接入系统是否会带来问题，是否在真正的硅片上得到验证等等。在目前的IP复用方法中，有比较成熟的测试和验证IP的方法。但对于chiplet来说，这仍然是一个需要探索的问题。虽然，与传统IP相比，chiplet是经过硅验证的产品，本身就保证了物理实现的正确性。但是它还是有良品率的问题，而且如果SiP中有一个硅片出了问题，整个系统都会受到影响，成本很高。因此，集成到SiP中的小芯片必须100%无故障。从这个问题延伸出来，还有如何测试集成SiP的问题。将多个小芯片封装在一起后，每个小芯片可以连接的芯片引脚数量更加有限，有些小芯片可能根本无法从芯片的外部引脚直接接入，这也给芯片测试带来了新的挑战。
最后但同样重要的是，挑战和机遇并存。个人认为，除了推动前面讨论的chiplet模型普及AI硬件之外，还会推动EDA工具的发展。无论是集成技术还是质量保证，小芯片模式的很多问题最终都需要EDA工具的完善来给出答案，这需要EDA工具从架构探索、芯片实现甚至物理设计的全面支持。这也是CHIPS项目专注于设计工具的一个原因。
