搜索结果: GB/T 45280-2025, GB/T45280-2025, GBT 45280-2025, GBT45280-2025
| 标准编号 | GB/T 45280-2025 (GB/T45280-2025) | | 中文名称 | 人工智能 异构人工智能加速器统一接口 | | 英文名称 | Artificial intelligence - Unified interfaces for heterogeneous artificial intelligence accelerating units | | 行业 | 国家标准 (推荐) | | 中标分类 | L70 | | 国际标准分类 | 35.020 | | 字数估计 | 94,975 | | 发布日期 | 2025-02-28 | | 实施日期 | 2025-02-28 | | 发布机构 | 国家市场监督管理总局、中国国家标准化管理委员会 | GB/T 45280-2025: 人工智能 异构人工智能加速器统一接口
ICS 35.020
CCSL70
中华人民共和国国家标准
人工智能 异构人工智能
加速器统一接口
2025-02-28发布
2025-02-28实施
国 家 市 场 监 督 管 理 总 局
国 家 标 准 化 管 理 委 员 会 发 布
目次
前言 Ⅲ
1 范围 1
2 规范性引用文件 1
3 术语和定义 1
4 缩略语 2
5 概述 2
5.1 接口功能 2
5.2 架构 2
5.3 基本概念 3
6 接入方法 4
6.1 加速器 4
6.2 机器学习框架 4
6.3 运行过程说明 4
7 接口要求 5
7.1 接口执行状态 5
7.2 接口参数 5
7.3 精度 5
7.4 枚举 5
8 接口定义 6
8.1 计算图表示接口 6
8.2 运行时接口 18
8.3 算子表示接口 44
9 符合性测试方法 46
9.1 通则 46
9.2 测试过程 47
9.3 指标及测量方法 48
附录A(规范性) 返回码 51
附录B(规范性) 枚举 54
附录C(规范性) 算子定义 57
附录D(资料性) 领域接口 78
附录E(资料性) 接口示例 83
附录F(规范性) 测试项 85
参考文献 87
前言
本文件按照GB/T 1.1-2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本文件起草单位:中国电子技术标准化研究院、华为技术有限公司、上海人工智能创新中心、北京航
空航天大学、上海燧原科技股份有限公司、北京壁仞科技开发有限公司、上海天数智芯半导体有限公司、
中科寒武纪科技股份有限公司、英特尔(中国)有限公司、深圳云天励飞技术股份有限公司、沐曦集成电
路(上海)有限公司、中国科学院软件研究所、浪潮电子信息产业股份有限公司、北京大学、上海市人工智
能行业协会、华为云计算技术有限公司、上海商汤智能科技有限公司、北京智芯微电子科技有限公司、
平头哥(上海)半导体技术有限公司、杭州海康威视数字技术股份有限公司、中国移动通信集团有限公
司、深圳鲲云信息科技有限公司、龙芯中科技术股份有限公司、南京南瑞瑞腾科技有限责任公司、苏州登
临科技有限公司、南方电网人工智能科技有限公司、美的集团(上海)有限公司、北京大学长沙计算与数
字经济研究院、北京航空航天大学杭州创新研究院、四川华鲲振宇智能科技有限责任公司、山东浪潮科
学研究院有限公司、中国南方电网有限责任公司、西南科技大学、浙江大华技术股份有限公司、北京格灵
深瞳信息技术股份有限公司、北京电子数智科技有限责任公司。
本文件主要起草人:董建、杨雨泽、张亚丽、徐洋、张行程、鲍薇、刘文枫、裴芝林、王莞尔、曹晓琦、
马骋昊、栾钟治、梅敬青、丁瑞全、胡铭珊、程归鹏、王海宁、苏岚、刘梓、孟令中、马珊珊、李斌斌、宿栋栋、
杨超、赵春昊、刘勇、钟普、张艺伯、章放、金镝、蔡权雄、马莞悦、石超、慈红斌、陈柔伊、蔡亚森、贾梦珠、
胡征慧、赵彦钧、李锐、张喜铭、徐欢、俞文心、方贵明、于杰、郭文。
人工智能 异构人工智能
加速器统一接口
1 范围
本文件定义了异构人工智能加速器的统一接口及其语义和使用方法,描述了各加速器为实现此接
口所需的接入方法和试验方法。
本文件适用于人工智能加速器接口的设计和实现,也可为人工智能加速器应用提供参考。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文
件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于
本文件。
GB/T 41867-2022 信息技术 人工智能 术语
GB/T 45087-2024 人工智能 服务器系统性能测试方法
GB/T 17966-2024 信息技术 微处理器系统 浮点运算
3 术语和定义
GB/T 41867-2022界定的以及下列术语和定义适用于本文件。
3.1
< 人工智能 >用来使用人工智能加速器功能的语法和语义定义。
[来源:ISO/IEC/IEEE9945:2009,3.19,有修改]
3.2
具备适配人工智能算法的运算微架构,能够完成人工智能应用运算处理的集成电路元件。
注:在本文件中,在不引起误解的语境中,将人工智能加速器简称为加速器。
[来源:GB/T 41867-2022,3.1.5]
3.3
计算图 computationalgraph
用来表示数学函数,由节点和连接构成的有向图。
注1:节点表示数学运算,即算子。
注2:连接表示数学运算之间的依赖关系。
注3:一个连接联通起始节点和终止节点。
[来源:ISO/IEC/IEEE24765:2017,3.1762.1,有修改]
3.4
算子 operator
函数的名字,或表示行动的数学或逻辑符号。
注:算子由硬件定义,由软件封装。
[来源:ISO/IEC TR17903:2023,3.18,有修改]
3.5
算子端口 operatorport
端口
计算图中,指定连接关联算子输入与输出中数据对应关系的索引值。
4 缩略语
下列缩略语适用于本文件。
BF16:布瑞恩半精度浮点数(BrainFloating-point)
INT8:8位四分之一精度整型 (8-bitquarter-precisionINTeger)
ND:numpyndarry对象 (NumpynDarryobject)
5 概述
5.1 接口功能
异构人工智能加速器的使用,以调用接口的方式完成。接口定义应支持以下功能。
a) 供以下组件使用加速器,或运行在加速器上:
1) 机器学习框架;
2) 模型;
3) 直接使用接口编制的领域业务应用。
b) 用户自定义的操作及其注册、运行。
5.2 架构
异构人工智能加速器统一编程接口架构及组件关系如图1。其中:
a) 计算图表示:定义计算流程构建、解析、编译和运行等相关模型操作;
b) 算子表示:定义数据抽象、存储格式、数据布局形状信息和运算操作;
c) 运行时:定义异构人工智能加速器设备管理、事件管理、内存管理、执行控制、上下文管理及模
型和算子的加载、执行、卸载等功能。
注:图中实线框起的部分对应本文件规定的范畴,虚线框起的部分仅表明本文件定义的统一编程接口所处的位置
及与其他部件或组件的关系,不属于本文件规定的范畴。
图1 异构人工智能加速器统一接口架构
5.3 基本概念
5.3.1 同步和异步
本文件定义的接口包含同步接口和异步接口,其中:
a) 标注为 “异步”的接口,是异步接口;
b) 未做标注的接口,是同步接口;
c) 对同步接口,调用者进程或线程在接口执行完毕后才能执行后续计算;
d) 对异步接口,调用者进程或线程在接口调用后立即执行后续计算,并接受事件通知。
5.3.2 上下文
上下文是人工智能加速器执行相关对象(数据结构)的封装,管理对象的生命周期。上下文的性质
包含:
a) 1个上下文可对应1个计算设备,也可对应在1个系统中的多个计算设备;
b) 用户线程使用上下文管理人工智能加速器执行的对象,通过接口切换线程当前使用的上下文;
c) 1个进程可创建多个上下文,在某些加速器上1个线程同一时刻使用1个上下文;
d) 线程中创建多个上下文时,在某些加速器上线程缺省使用最后创建的上下文;
e) 执行相关对象,包含:
1) 流;
2) 事件;
3) 内存。
不采用上下文封装、管理时,也可构造、保存、使用、管理执行相关的对象。
5.3.3 流
流是由特定人工智能加速器执行的操作序列,流的性质包含:
a) 流是加速器上的实际执行体;
b) 1个线程中可包含多个流,不同的流上的计算任务可并行执行;
c) 多个线程的流在人工智能加速器上相互独立。
5.3.4 事件
事件用于同步多个任务的执行,包含:
a) 不同流的任务;
b) 主机CPU与人工智能加速器间的任务;
c) 不同人工智能加速器间的任务。
注:当同步两个任务的执行顺序时,在先执行的任务后,触发事件,通知另一个任务执行。
5.3.5 内存
本文件中的内存指用于人工智能任务执行的内存,因人工智能服务器的体系结构差异,包含:
a) 人工智能加速器的内存;
b) 人工智能加速器的片外内存;
c) 主存。
注:本文件并不特别规定特定内存的使用或共享机制,该机制由实现本文件定义的接口的人工智能加速器及其适
配的计算系统定义和实现。
6 接入方法
6.1 加速器
加速器研制机构,为通过统一接口使用异构人工智能加速器,接入统一接口,应实施以下工作:
a) 基于已有的加速器模型描述实现库,实现本文件规定的模型操作接口(见8.1);
b) 基于已有的数据预处理、集合通信和运行时库等,实现本文件规定的运行时接口(见8.2);
c) 基于已有的算子库,实现本文件规定的运算接口(见8.3)。
在保证接口功能语义、输入输出参数等相同,以及不影响用户使用的情况下,可按需将部分接口合
并,或者将接口拆分为多个子接口。
6.2 机器学习框架
机器学习框架,如使用本文件规定的统一接口时,应实现框架产出模型格式到本文件定义的统一接
口的解析器,以实现框架产出的模型格式到统一接口的映射。
6.3 运行过程说明
运行时接口为调用硬件加速设备功能而设计,调用运行过程如下:
a) 异步运行单算子,流程宜为:
1) 初始化系统以及申请资源(如计算设备、上下文和流);
2) 申请计算设备输入、输出内存,并完成计算数据准备;
3) 开始算子异步执行,下发任务至计算设备后,异步函数返回;
4) 同步接口等待处理结果,然后将数据从输出内存中复制到调用者(如应用程序的某组件、
服务器中其他部件等);
5) 释放资源(如计算设备、上下文和流等)。
b) 运行计算图时,流程宜为:
1) 初始化系统以及申请资源(如计算设备、上下文和流);
2) (从文件或内存中)加载模型;
3) 申请计算设备输入、输出内存,并完成计算数据准备;
4) 数据预处理(如解码JPG图片后再缩放图片);
5) 推理(以预处理后的数据作为输入);
6) 后处理(如从推理结果中查找最大置信度的类别标识);
7) 如有多项数据待处理,则循环执行上述步骤3)~步骤5);
8) 全部执行结束后,释放资源。
7 接口要求
7.1 接口执行状态
人工智能加速器实现本文件定义的接口,执行状态应满足以下要求:
a) 定义超时的时限值;
b) 调用执行超时,返回超时码;
c) 根据调用语义,实现处理方法;
d) 接口执行返回错误码(非执行成功码)时,由使用接口的程序定义和实现处理策略;
e) 本文件定义的接口的执行返回码,应符合附录A的要求。
7.2 接口参数
输入参数的可选或必选约束,含义如下:
a) 必选:为实现接口功能所必需的参数,当无法提供该参数时,接口无法运行或给出期望的结果;
b) 可选:为实现接口功能可能需要的附加参数,当无法提供该参数或使用其他方式提供参数值
时,接口仍能运行并给出期望的结果。
7.3 精度
各类人工智能加速器在实现、对接本文件定义的接口时,所使用的精度:
a) 应符合GB/T 17966-2024的定义;
b) GB/T 17966-2024定义之外的精度,可由实现者根据实际情况自行选择或定义所支持的
精度。
接口定义中的数据类型(如表25、表26和表81等)是编程时所使用的类型,在不同加速器上可用
不同精度来映射和表示(如布尔在特定加速器上可用INT8精度来承载),由加速器的设计决定。
7.4 枚举
各类人工智能加速器在实现、对接本文件定义的接口时,所使用的枚举应符合附录B的定义。
8 接口定义
8.1 计算图表示接口
8.1.1 计算图构建接口
8.1.1.1 模型解析接口
加速器执行特定格式的模型文件,应使用表1规定的模型解析接口。格式包含机器学习框架的训
练结果模型格式或使用特定中间表示的模型的格式。
表1 解析特定格式模型文件
名称 功能语义描述 参数 输入/输出 可选/必选
解析特定的格式模
型文件
解析 特 定 格 式 模 型 文
件,以便提供对后端硬件
的部署、优化能力
模型文件内存(首)地址a 输入 可选
模型文件内存长度a 输入 可选
模型文件路径b 输入 可选
解析后的模型文件 输出 必选
名字对照表 输入 可选
参数数组 输入 必选
框架类型 输入 可选
a 适用于模型在内存中的情况。
b 适用于模型文件在硬盘中的情况。
8.1.1.2 算子原型构建接口
算子原型规定了在加速器上可运行算子的约束,主要体现算子的数学含义,包含定义算子输入、输
出、属性。通过算子原型构建计算图的流程如下。
a) 注册算子原型。定义算子的要素声明,完整的算子包含算子名称、输入、输出、属性等信息。
b) 创建算子实例,设置算子信息。创建算子实例,并设置算子的输入、输出及属性信息。
c) 创建计算图实例。完成算子定义后,需创建计算图实例,并设置计算图的输入、输出算子,完成
计算图构建。
算子原型构建计算图过程包含表2~表23规定的接口。
表2 注册算子原型
名称 功能语义描述 参数 输入/输出 可选/必选
注册算子原型
定义算子的要素声明:完
整的算子包含算子名称、
输入、输出、属性等信息
算子类型名称 输入 必选
必备输入的名称和类型 输入 必选
可选输入的名称和类型 输入 可选
动态输入的名称和类型 输入 可选
输出的名称和类型 输入 必选
表2 注册算子原型 (续)
名称 功能语义描述 参数 输入/输出 可选/必选
注册算子原型
定义算子的要素声明:完
整的算子包含算子名称、
输入、输出、属性等信息
动态输出的名称和类型 输入 可选
必备属性的名称和类型 输入 必选
可选属性的名称和类型 输入 可选
算子中包含的子图信息 输入 可选
动态算子子图信息 输入 可选
表3 创建算子实例对象
名称 功能语义描述 参数 输入/输出 可选/必选
创建算子实例对象 创建算子实例对象
算子名称 输入 必选
算子实例对象 输出 必选
表4 设置算子输入
名称 功能语义描述 参数 输入/输出 可选/必选
设置算子输入
设置算子输入,即设置由
哪个(源)算子的输出连
到当前(目标)算子输入
目标算子输入的名称 输入 必选
源算子对象 输入 必选
源算子输出的名称 输入 可选
源算子输出的索引值 输入 可选
表5 创建算子动态输入
名称 功能语义描述 参数 输入/输出 可选/必选
创建动态多输入算
子的动态输入
创建动态多输入算子的
动态输入
算子动态输入的名称 输入 必选
算子动态输入的个数 输入 必选
表6 设置算子动态输入
名称 功能语义描述 参数 输入/输出 可选/必选
设置动态多输入算
子的动态输入
设置动态多输入算子的
动态输入,即设置由哪个
(源)算子的输出连到当
前(目标)动态多输入算
子的输入
目标算子动态输入的名称 输入 必选
目标算子动态输入的索引值 输出 必选
源算子对象 输入 必选
表7 创建算子动态输出
名称 功能语义描述 参数 输入/输出 可选/必选
创建动态多输出算
子的动态输出
创建动态多输出算子的
动态输出
算子动态输出的名称 输入 必选
算子动态输出的个数 输入 必选
表8 设置算子属性
名称 功能语义描述 参数 输入/输出 可选/必选
设置算子属性
设置 算 子 属 性 的 属 性
值,算子可以包括多个属
性,初次设置值后,算子
属性值的类型固定,算子
属性值的类型包括布尔、
整型、浮点型等
算子属性名称 输入 必选
属性值 输入 必选
表9 添加算子的控制边
名称 功能语义描述 参数 输入/输出 可选/必选
添加算子的控制边
计算图中某个算子的执
行依赖于其他算子执行
完,用于控制算子的执行
顺序
控制边对应的源算子 输入 必选
表10 删除算子连接
名称 功能语义描述 参数 输入/输出 可选/必选
删除算子连接
删除当前算子与前后算
子之间的所有连接关系
算子名称 输入 必选
表11 构建张量对象
名称 功能语义描述 参数 输入/输出 可选/必选
构建张量对象 张量对象的构造函数
张量描述对象,需要设置张量描
述符
输入 必选
需设置的数据 输入 可选
数据的长度,单位为字节 输入 可选
张量类型的对象 输出 必选
表12 构建张量描述对象
名称 功能语义描述 参数 输入/输出 可选/必选
构建张量描述对象
张量 描 述 对 象 的 构 造
函数
张量形状 输入 必选
张量格式 输入 必选
张量数据类型 输入 必选
张量描述类型的对象 输出 必选
表13 更新算子输入的张量描述
名称 功能语义描述 参数 输入/输出 可选/必选
更新算子输入的张
量描述
根据算子输入名称更新
算子输入的张量描述
算子输入名称 输入 必选
待设置的张量描述对象 输入 必选
表14 更新算子输出的张量描述
名称 功能语义描述 参数 输入/输出 可选/必选
更新算子输出的张
量描述
根据算子输出名称更新
算子输出的张量描述
算子输出名称 输入 必选
待设置的张量描述对象 输入 必选
表15 构建计算图
名称 功能语义描述 参数 输入/输出 可选/必选
构建计算图 构建给定名称的计算图 计算图名称 输入 必选
表16 设置计算图的输出算子
名称 功能语义描述 参数 输入/输出 可选/必选
设置计算图的输出
算子
设置计算图的输出算子
成对的序列,每1对包含输出算
子及其名字
输入 必选
表17 设置计算图的终止节点列表
名称 功能语义描述 参数 输入/输出 可选/必选
设置计算图的终止
节点a列表
设置计算图的终止节点
列表
终止节点序列 输入 必选
a 终止节点需要被执行,但不返回其输出。
表18 判断计算图合法性或能否被执行
名称 功能语义描述 参数 输入/输出 可选/必选
判断计算图的合法
性,是否能被执行
判断计算图是否能被执
行,返回布尔值
TRUE:合 法,能 被 执 行;
FALSE:不合法,不能被执行
输出 必选
表19 按算子名字在计算图中查找算子
名称 功能语义描述 参数 输入/输出 可选/必选
基于算子名称,查找
计 算 图 中 的 相 应
对象
按算子名称,查找计算图
中的对象
算子名字 输入 必选
操作对象 输出 必选
执行返回码(见附录A) 输出 必选
表20 按算子类型在计算图中查找算子
名称 功能语义描述 参数 输入/输出 可选/必选
基于算子类型,查找
计算图中的相应对
象序列
按算子类型,查找计算图
中的对象序列
算子类型 输入 必选
操作对象序列 输出 必选
执行返回码(见附录A) 输出 必选
表21 获取计算图中所有已注册的算子
名称 功能语义描述 参数 输入/输出 可选/必选
返回计算图中所有
已注册的算子
返回计算图中所有已注
册的算子
算子名字序列 输出 可选
执行返回码(见附录A) 输出 可选
表22 返回计算图的名字
名称 功能语义描述 参数 输入/输出 可选/必选
返回计算图的名字 返回计算图的名字
计算图的名字 输出 必选
执行返回码(见附录A) 输出 必选
表23 拷贝计算图
名称 功能语义描述 参数 输入/输出 可选/必选
拷贝计算图
拷贝计算图,填充一个新
的计算图数据结构
新计算图数据结构的引用 输出 必选
8.1.2 计算图修改接口
图修改过程直接优化图的结构,比如将某些特定子图替换成一个大算子,以减少计算步骤、外存访
问、调度时间等,或者在某些算子中间添加一个算子,或者删除计算图中某个算子,以及增、删计算图中
算子间的连接等,此时可以通过计算图修改接口直接将图直接修改成期望的结构。计算图修改包含
表24~表47的接口。
表24 获取算子类型
名称 功能语义描述 参数 输入/输出 可选/必选
获取算子类型 获取算子类型
算子 输入 必选
算子类型字符串 输出 必选
执行返回码(见附录A) 输出 必选
表25 获取算子名字
名称 功能语义描述 参数 输入/输出 可选/必选
获取算子参数名字 获取算子参数名称
算子 输入 必选
算子类型字符串 输出 必选
执行返回码(见附录A) 输出 必选
表26 获取算子指定输入端口对应的对端算子及其输出端口
名称 功能语义描述 参数 输入/输出 可选/必选
获取对端算子及其
输出端口
获取对端算子及其输出
端口
算子 输入 必选
算子输入端口号 输入 必选
对端算子及其输出端口号值对
的序列
输出 必选
表27 获取算子指定输出端口对应的对端算子及其输入端口
名称 功能语义描述 参数 输入/输出 可选/......
|