ASIP：人工智能芯片的新门类、少数派

编写丨张曙东

一、关于人工智能芯片的分类

1.云天励飞招股说明书及问询回复材料的分类

ASIP（Application Specific Instruction Processor）是一种新型的定制化指令集的处理器芯片，它为某个或某一类型应用而专门设计，通过权衡速度、功耗、成本、灵活性等多个方面的设计约束，设计者可以定制ASIP以达到最好的平衡点，从而适应嵌入式系统的需要。ASIP集合了FPGA和ASIC各自的优点，不仅可以提供ASIC级别的高性能和低功耗，还能提供处理器级别的指令集灵活性，实现可重新编程，更适用于需求尚未被明确定义、需要芯片具备一定通用性和可编程性的应用场景，从而满足AI算法快速更新迭代的需求，并延长芯片的使用生命周期。

ASIC（Application Specific Integrated Circui）则为专用定制芯片的统称，在架构、设计、成本等方面存在更大的多样性，其中VPU是为图像处理和视觉处理设计的定制芯片。ASIC的架构相对简单，性能和功耗与通用型产品相比更低。由于不需要包含FPGA用于实现重构的可配置片上路由与连线，相同工艺的ASIC计算芯片可以拥有FPGA5-10倍的运算速度，实现PPA最优化设计。

与其他类型芯片比，ASIP所具备的优势如下：

2018年智东西公开课上，云天励飞处理器架构总监李炜在《面向AI的ASIP处理器设计》的主题分享中比较了几种CNN IP方案：GPU类（如NVIDIA GPU）、DSP类（如Cadence VP6）、ASIC类（如NVDLA）以及ASIP类（如寒武纪、云天励飞）：

在某些情况下，可能要考虑采用ASIP+ASIC的方式，把ASIC作为ASIP的加速单元来完成某类特定的运算。通常来讲，如果某些运算难以融入当前ASIC处理器的设计中，或者某些运算使用的频率比较高，使用ASIP来计算这些运算不划算时，就可以利用加速器对ASIP进行扩展。因此ASIP处理器的指令集以及硬件架构就需要有一定的扩展能力。

2.寒武纪招股说明书的分类

智能芯片是面向人工智能领域而专门设计的芯片，其架构和指令集针对人工智能领域中的各类算法和应用作了专门优化。智能芯片的性能和能效优势主要集中于智能应用，但不适用于人工智能之外的其他领域。智能芯片不支持双精度浮点运算、图形渲染类运算、无线通信类信号处理运算，且未包含可重构逻辑单元阵列，从而无法像CPU和GPU一样支持科学计算任务、无法像GPU一样支持图形渲染任务、无法像DSP一样支持通信调制解调任务、无法像FPGA一样可对硬件架构进行重构。

通用智能芯片可以支持不同类型、种类智能算法，和CPU、GPU类似，具有指令集。由于具备灵活的指令集和精巧的处理器架构，通用型智能芯片技术壁垒高但应用面广，可覆盖人工智能领域高度多样化的应用场景（如视觉、语音、自然语言理解、传统机器学习等）。

寒武纪智能芯片通过完备的智能处理器指令集及灵活的处理器架构来实现在人工智能领域内的灵活通用性：

在指令集方面，寒武纪智能芯片的设计思想是通过分析和抽象多样化的人工智能算法的计算特征和访存特征，针对性地设计更适用于智能算法的数百条处理器基本指令，并与处理器架构配合实现在人工智能领域内灵活通用的设计目标。在具体设计过程中不仅需要考虑当前各类智能算法的特点，也需要对智能算法未来发展的趋势进行预判，从而抽象出完备高效的智能处理器指令集；通过高维张量、向量、逻辑指令等之间的灵活组合来覆盖对多样化的智能算法，实现人工智能领域内的通用性。（智能芯片的指令通常与人工智能算法中的关键运算操作相匹配）

在处理器架构方面，寒武纪智能处理器包含高维张量计算部件、向量计算部件、传统算术逻辑计算部件，分别用于处理各类智能算法的不同类型操作。高维张量计算部件可对智能算法中核心运算（如卷积运算）进行高效处理，提升整个处理器的能效。而向量运算部件与算术逻辑计算部件（尤其后者）则具有更强的灵活性，可对智能算法中频次不高且高维张量无法支持的运算（如分支跳转等）实现全面覆盖，有力保障了处理器架构的通用性。（对于关键运算操作，智能芯片指令可直接支持，从而实现高效的训练和推理）

二、云天励飞ASIP芯片

1.神经网络处理器

2016年底，公司完成第一代自主研发的NNP100神经网络处理器架构设计、指令集定义和处理器研发，并于2017年基于FPGA商用；2017年底，公司完成第二代自主研发的NNP200神经网络处理器，并于2018年一次流片成功。

公司自研的神经网络处理器采用ASIP技术路线，可以实现定制可编程，多指令并发、多核并行。公司自研指令集针对深度学习算法深度定制。公司处理器配套的一键式工具链包括了定点转化工具、处理器编译器、模拟器以及深度学习SDK等。

2.AI芯片

公司各型号芯片的应用情况如下表所示：

2019年、2020年、2021年1-5月，第二代AI芯片DeepEye1000的出货量分别为1、4894、22226颗，合计27121颗。

相比DeepEye200，DeepEye1000除了集成算力更强、能效比更高的第二代神经网络处理器NNP200之外，还集成了视觉DSP、视频图像编解码器、智能算子引擎和丰富的外设接口，是采用异构多核并行计算架构的视觉AI协处理器芯片，可广泛用于轻量级端侧和边缘计算场景。

第二代芯片DeepEye1000的主要特征及参数具体如下：

基于算法芯片化能力，采用ASIP处理器架构和指令集实现的人工智能芯片，可以高效、灵活地支持多样化的边缘智能计算场景的算法和应用需求，实现系统解决方案的快速市场化部署，在边缘智能计算领域提供有竞争力的芯片产品解决方案。

三、ASIP的设计

李炜的分享显示，AI ASIP处理器架构设计流程包括：算法需求分析、软硬件切割、架构定义、指令集定义、指令集模拟器开发、ISS仿真&架构迭代优化以及微架构和指令集确定，之后就会进入开发阶段。

新思科技高级产品营销经理Markus Willems认为，片上系统（SoC）设计人员正在软件中实现越来越多的功能，以获得灵活性，减轻为了支持不断演化的标准而导致的不确定性，并使同一个芯片能够为众多最终产品提供服务。设计人员的一个选择是构建应用专用的指令集处理器（ASIP），并根据目标应用的需求定制其指令集（ISA）和微架构。

ASIP是软件可编程处理器和应用专用功能单元的组合，其中针对一组功能进行了优化。ASIP设计人员利用并行化和专业化来实现此优化，同时保留完整的C语言可编程性。

并行化使设计可以一次运行多个功能，并且其三种主要形式可以单独或组合应用以增强性能：

①指令级并行化（Instruction-level parallelism），使用正交指令集（如在超长指令字(VLIW)架构中），或编码指令集（它提供了所需的操作并行化，而不需要与VLIW架构相关的开销）。

②数据级并行化（Data-level parallelism），实现向量处理，涉及对多个数据项应用同一指令。

③任务级并行化（Task-level parallelism），（如在多核/多线程实现中）支持具有不同控制流的多个协同算法并行运行。

专业化使设计人员能够通过自定义处理器的流水线、内/外部存储器、寄存器架构和连接，利用一个或多个指令执行功能。设计人员还可以定义应用专用的数据类型和接口。

ASIP只有在设计的市场窗口内能够带来有用的差异化优势时，才值得开发。因此，设计人员需要做三件事，以便快速了解架构选择对其ASIP的影响：

①定义最终应用的代表性基准，以便对正在考虑的架构进行定量比较。基准必须具备：功能规范，描述需要实现的应用内核，基准通常以 C 表示，方便完成实现和架构独立；环境，描述导致执行该基准的激励因素；性能指标，如功耗、性能和目标频率。

②描述候选架构，设计人员需要一种快速简单的方法来定义候选架构，最好使用建模方法，以避免在设计过程早期指定深入的实现细节。设计人员还需要软件工具将基准代码映射到候选架构上，为每个候选架构手动开发新的工具链是不切实际的，所以需要执行自动开发。

③探索设计空间，设计探索包括根据定义的基准评估每个候选架构。

云天励飞招股说明书、问询回复材料

寒武纪招股说明书

《硬件软化：使用应用专用处理器优化现代SoC设计》

《CNN IP新“门类”！ASIP处理器设计指南》