路径: 主页 > GB/T > 第747页 > GB/T 47476-2026 | 标准编号 | GB/T 47476-2026 (GB/T47476-2026) | | 中文名称 | 智能计算 图计算性能测试方法 | | 英文名称 | Intelligent computing - Test methods for graph computing performance | | 行业 | 国家标准 (推荐) | | 中标分类 | L70 | | 国际标准分类 | 35.020 | | 字数估计 | 22,250 | | 发布日期 | 2026-04-30 | | 实施日期 | 2026-11-01 | | 发布机构 | 国家市场监督管理总局、国家标准化管理委员会 | GB/T 47476-2026: 智能计算 图计算性能测试方法
GB/T 47476-2026 英文版: Intelligent computing - Test methods for graph computing performance
ICS 35.020
CCSL70
中华人民共和国国家标准
智能计算 图计算性能测试方法
2026-04-30发布
2026-11-01实施
国 家 市 场 监 督 管 理 总 局
国 家 标 准 化 管 理 委 员 会 发 布
1 范围
本文件描述了图计算性能的测试方法,包括测试对象、测试指标、测试要求和测试流程。
本文件适用于图查询系统、图分析系统及图学习系统的性能测试。
2 规范性引用文件
本文件没有规范性引用文件。
4 缩略语
下列缩略语适用于本文件。
CPU:中央处理器(CentralProcessingUnit)
GPU:图形处理器(GraphicsProcessingUnit)
I/O:输入/输出(Input/Output)
JDK:Java开发工具包(JavaDevelopmentKit)
SDK:软件开发工具包(SoftwareDevelopmentKit)
SF:比例因子(ScaleFactor)
5 测试对象与测试指标
5.1 测试对象
测试对象包含图查询系统、图分析系统及图学习系统。
5.2 测试指标
5.2.1 图查询系统
a) 吞吐量
吞吐量表示图查询系统单位时间内能完成处理的查询请求数,用于衡量图查询系统的整体并
发处理能力。按照公式(1)计算:
5.2.2 图分析系统
图分析系统性能测试包含以下指标。
a) 算法运行时间
算法运行时间表示图分析系统在选定测试数据集上执行指定图分析算法得出结果所耗费的时
间,用于衡量图分析系统对图分析任务的处理效率。按照公式(5)计算:
5.2.3 图学习系统
图学习系统性能测试包含以下指标。
a) 模型效果
模型效果表示图学习系统在完成图学习训练任务后所得模型的优劣。根据任务类型不同,模
型效果指标有所差异。
1) 对于分类任务,模型效果指标包括精确率、召回率和F1 值,分别按公式(6)~公式(8)
6 测试要求
6.1 通用要求
6.1.1 测试环境
6.1.1.1 测试环境组成
测试环境应包含被测系统、测试驱动系统、测试网络及测试辅助工具,各组成部分如下:
a) 被测系统:待测的图查询系统、图分析系统或图学习系统;
b) 测试驱动系统:包括测试负载(数据)、加载测试负载对被测系统进行性能测试的测试驱动,及
其运行所需的软硬件环境;
c) 测试网络:由用于搭建测试网络环境的网络设备及其配置组成;
d) 测试辅助工具:包括用于数据导入、监控与日志、数据分析等为测试过程提供支持的各类工具。
6.1.1.2 测试环境可比性
不同被测系统的软硬件环境宜保持一致,以保证测试结果的可比较性。
无法保证被测系统硬件环境的一致时,为便于评估被测系统的性能价格比,应披露被测系统的计算
节点数量信息及计算节点软硬件配置信息,其中被测系统计算节点软硬件配置信息具体应包括以下
方面。
a) 软件配置信息:
1) 操作系统类型及版本信息;
2) JDK版本信息(如涉及);
3) MySQL版本信息(如涉及)。
b) 硬件配置信息:
1) CPU信息,包括型号、核心数及主频;
2) 内存信息,包括容量及类型;
3) 硬盘信息,包括类型、容量及接口类型;
4) 网卡信息,包括型号及带宽;
5) 交换机信息,包括型号及交换容量;
6) GPU信息(如涉及),包括型号、核心数、算力、接口类型;
7) 显存信息(如涉及),包括容量、类型及带宽;
8) 专用芯片信息(如涉及),包括型号及主要性能参数。
6.1.2 测试前提条件
在进行正式性能测试前,应验证被测系统的功能正确性。
6.2 图查询
6.2.1 测试代码
被测系统宜采用能灵活表达查询目的查询语言。所编写的用于图查询性能测试的代码应披露,包
含但不限于查询语言、SDK、驱动程序。
6.2.2 测试数据集
用于性能测试的测试数据集应分为两部分,一部分在性能测试前批量加载到图查询系统中用作基
础数据,该部分数据应至少占总数据集的80%,另一部分用作性能测试过程中的测试负载数据,该部分
数据集应不多于总数据集的20%。
测试数据集还应满足以下要求。
a) 测试数据集基于具备代表性的现实图应用数据模型进行构建与生成。数据集模拟真实应用场
景中典型时段的数据状态,体现真实场景数据特征,数据特征包括数据量大小、各类顶点占比、
属性取值、关系分布,以及典型的查询负载模式等。
b) 测试数据集具有可扩展性,能根据不同的SF数值生成不同规模的测试数据集,以适应不同规
模的图查询系统。
6.2.3 测试驱动
测试驱动用于结果校验、性能压测等各阶段的测试过程控制,应满足以下要求:
a) 具备数据加载、负载生成、结果统计、结果验证和报告生成等模块;
b) 具备结果正确性验证、性能压测等功能;
c) 具备参数配置功能,通过参数配置实现测试负载压力大小调整、负载混合比例调整、测试时长
调整;
注:负载混合比例指不同类型操作在测试负载中的配比关系,例如读写操作比例、不同查询复杂度操作比例。
d) 支持加载测试负载数据,作为图查询的输入;
e) 支持性能压测阶段各类查询运行时间统计,并提供自动生成测试报告功能;
f) 提供良好的集成接口,方便被测试系统快速接入。
6.2.4 测试负载
用于性能测试的测试负载,应包含针对点、边、属性和匹配规则的各类查询操作。负载中复杂查询
和简单查询,以及读写的比率、前后顺序及时间间隔应模拟实际应用场景情况。
6.3 图分析
6.3.1 测试代码
被测系统应提供能通过测试驱动调用的测试专用接口或可执行程序。所编写的用于测试驱动调用
的代码应披露。
6.3.2 测试数据集
测试数据集为用于加载到图分析系统中进行算法测试的基础数据,满足如下要求:
a) 测试数据集应采用具备代表性的现实图数据或生成图数据,应体现真实场景数据特征;
b) 测试数据集应包含图拓扑数据,宜包含测试算法的正确运行结果数据,以验证被测系统图算法
的运行结果是否正确。
6.3.3 测试算法
测试算法是用于测试被测系统所包含基础算子模型功能的基准,应满足以下要求:
a) 支持图遍历算法;
b) 支持路径查询算法;
c) 支持重要性分析类算法;
d) 支持社区发现类算法;
e) 支持关联性分析类算法;
f) 支持图匹配算法。
6.3.4 测试驱动
测试驱动用于数据预处理、加载、算法执行、结果输出、结果校验等阶段的流程控制,应满足以下
要求:
a) 具备数据预处理、加载、算法执行、结果输出、结果校验等模块;
b) 支持自定义预处理和加载阶段中间文件格式定义;
c) 支持除结果校验阶段外各阶段运行时间统计;
d) 提供自动生成测试报告功能;
e) 提供灵活流程控制系统,支持测试算法和测试数据配置。
6.4 图学习
6.4.1 测试代码
由于目前未有统一的图学习模型编程语言,被测系统可使用任意能执行图学习模型功能目的语言
或API,所编写的用于性能测试的代码应披露。
6.4.2 测试数据集
用于性能测试的测试数据集应分为两部分:一部分在性能测试前应能批量加载到图学习系统中用
作基础数据,该部分数据应至少占总数据集的80%;另一部分用作性能测试过程中的测试负载数据,该
部分数据集应不多于总数据集的20%。
测试数据集同时满足以下要求:
a) 测试数据集应基于具备代表性的现实图应用数据模型进行构建与生成。数据集应模拟真实应
用场景中动态演化的图结构,应能体现真实场景数据特征,包括各类顶点占比、属性取值,关系
分布及其时序变化趋势,并包含标注信息或可生成标签的机制等;
b) 测试数据集应包含图拓扑数据和对应的特征数据,宜包含测试下游任务对应的正确推理结果
数据,以验证被测系统训练完成的图学习模型推理结果正确。
6.4.3 测试模型
测试模型库是用于测试被测系统所包含的执行计算任务的集成函数功能的基准,应满足以下要求:
a) 支持卷积图神经网络;
b) 支持循环图神经网络;
c) 支持图注意力网络;
d) 支持图残差网络;
e) 支持超图神经网络;
f) 支持异构图神经网络。
6.4.4 下游任务
下游任务库是用于检验被测系统解决实际场景问题性能的基准,应满足如下要求:
a) 支持分类任务;
注1:分类指将图数据中的顶点/边/图本身分成指定或未指定数量的不相交的群组。
b) 支持聚类任务;
注2:聚类指离散的若干个图数据,按照某种规律聚成指定或未指定数量的类别。
c) 支持预测任务。
注3:预测任务主要包含预测链路、标签传播,以及顶点/边/属性的动态变化规律预测。
6.4.5 测试驱动
测试驱动用于数据预处理、加载、模型训练、模型推理、性能汇总等阶段的流程控制,应满足以下
要求:
a) 具备数据预处理、加载、模型训练、模型推理、性能汇总等模块;
b) 支持自定义预处理和加载阶段中间文件格式定义;
c) 支持除结果校验阶段外各阶段运行时间统计;
d) 提供自动生成测试报告功能;
e) 提供灵活流程控制系统,支持测试算子、测试数据和下游任务配置。
7 测试流程
7.1 图查询系统
7.1.1 响应及时率和吞吐量
7.1.1.1 测试目标
本项测试用于确定图查询系统查询操作的响应及时率和系统吞吐量。
7.1.1.2 测试步骤
本项测试步骤如下。
a) 选定测试数据集规模。
b) 导入测试数据集基础数据部分到被测系统,在导入数据完整前提下,应记录数据导入时
长timport。
c) 选定测试负载控制参数、设定响应时间tset_response。
d) 使用测试驱动对被测系统进行测试,应测试至少2h以获得稳定可复现的测试结果。测试开
始前,应对图查询系统进行复位等清理工作,应能使被测系统环境处于最初始状态。测试阶段
分为数据预热、正式测试两个阶段,其中预热阶段所使用的查询语句应与正式测试阶段所使用
的查询语句相互独立,不应重复或等价。测试开始后,在数据预热阶段,应记录数据预热时长
twarm_up,在正式测试阶段,应记录每一个查询操作的请求发出时间tquery_i_start及执行结束时
间tquery_i_end。
e) 测试完成后,计算正式测试阶段每一个查询操作的耗时tquery_i=tquery_i_end-tquery_i_start,并统计查
询操作耗时大于设定响应时间tset_response的查询数量。
f) 计算响应及时率及吞吐量。
7.1.1.3 测试报告
测试报告应包含以下信息。
a) 测试结果信息,包括:
1) 查询操作的响应及时率;
2) 被测系统的吞吐量。
b) 被测系统配置信息,包括:
1) 被测系统计算节点数量及单机或分布式部署结构形态信息;
2) 被测系统计算节点的软件配置信息,详见6.1.1.2a);
3) 被测系统计算节点的硬件配置信息,详见6.1.1.2b);
4) 被测系统采用的图模型。
c) 测试任务信息,包括:
1) 测试数据集信息,包括数据集名称、顶点数、边数、来源及所属领域;
2) 测试负载信息,包括数据集规模、负载混合比例;
3) 测试采用的查询语言。
d) 测试过程信息,包括:
1) 数据导入时长;
2) 数据预热时长;
3) 查询执行时长;
4) 查询操作次数;
5) 查询响应时间分布,包括平均响应时间、响应时间中位数(50%)、90%响应时间、95%响应
时间、99%响应时间及最大响应时间。
e) 被测系统状态信息,包括:
1) 处理器运行状态,包括测试执行过程中CPU平均使用率及最大使用率、GPU平均使用率
及最大使用率(如涉及)、专用芯片平均使用率及最大使用率(如涉及);
2) 存储占用情况,包括数据导入前中后的内存、显存(如涉及)及外存占用情况,以及执行测
试期间和完成后的内存、显存(如涉及)及外存占用情况;
3) I/O情况,包括测试执行过程中的磁盘平均I/O及最大I/O、网络平均I/O及最大I/O。
7.1.2 存储占用
7.1.2.1 测试目标
本项测试用于确定图查询系统在最大吞吐量情况下的存储占用情况,包括内存、显存(如涉及)及外
存占用情况。
7.1.2.2 测试步骤
本项不必单独进行测试,应在执行7.1.1测试时,进行相关记录。
7.1.2.3 测试报告
测试报告至少应包含以下信息。
a) 测试结果信息,包括:
1) 被测系统启动运行稳定10min的内存、显存(如涉及)及外存的存储占用瞬时值;
2) 被测系统数据导入期间的内存、显存(如涉及)及外存的存储占用最大值;
3) 被测系统数据导入完成10min后的内存、显存(如涉及)及外存的存储占用瞬时值;
4) 被测系统在执行测试期间的内存、显存(如涉及)及外存的存储占用最大值;
5) 被测系统测试结束10min时的内存、显存(如涉及)及外存的存储占用瞬时值。
b) 被测系统的存储配置信息,包括内存、显存(如涉及)及外存等存储容量配置。
7.1.3 扩展性
7.1.3.1 测试目标
本项测试用于评估图查询系统在固定查询负载时通过增加计算节点数量提升性能的能力,及在查
询负载与计算节点数量同比例增加时保持性能稳定的能力。
7.1.3.2 测试步骤
本项测试步骤如下。
a) 选定固定规模的测试数据集和基准查询负载。
b) 确定计算节点数量测试序列(宜包括1个、2个、4个计算节点)。
c) 按照以下配置分别执行测试:
1) 在固定基准查询负载条件下,分别以不同计算节点数量运行测试,记录各次测试的执行时
间Tquery_scal_i;
2) 在查询负载与计算节点数量同比例增加的条件下,分别以不同计算节点数量及对应查询
负载运行测试,记录各次测试的执行时间Tquery_scal_j。
d) 根据各组配置的测试结果,计算节点数量增加时的性能加速比,以及查询负载与计算节点数量
同比例增加时的性能保持系数。
7.1.3.3 测试报告
测试报告应至少包含以下信息。
a) 测试结果信息,包括:
1) 计算节点数量增加时的性能加速比;
2) 查询负载与计算节点数量同比例增加时的性能保持系数。
b) 各次测试配置下的被测系统配置信息,被测系统配置信息应包括7.1.1.3b)所规定的内容。
c) 各次测试配置下的测试任务信息,测试任务信息应包括7.1.1.3c)所规定的内容。
d) 各次测试配置下的测试过程信息,测试过程信息应包括7.1.1.3d)所规定的内容。
7.2 图分析系统
7.2.1 算法运行时间
7.2.1.1 测试目标
本项测试用于确定图分析系统在选定测试数据集上执行指定图分析算法得出结果所消耗的时间。
7.2.1.2 测试步骤
本项测试步骤如下:
a) 对选定测试数据集执行数据预处理过程,处理成图分析系统所需中间文件,记录数据预处理阶
段运行时间Tpre_processing;
b) 选定测试算法,给出固定的算法配置参数,使用测试驱动对被测系统执行加载、算法执行、结果
输出等操作,记录被测系统数据加载时间 Ttest_data_load、算法执行时间 Texec、结果输出时
间Toutput;
c) 对b)过程的输出结果进行结果校验,并记录校验结果;
d) 对同一测试算法,执行b)、c)过程3次~5次,计算并记录平均数据加载时间Tavg_pre_processing、平
均算法执行时间Tavg_exec、平均结果输出时间Tavg_output;
e) 对同一测试数据集下多个测试算法,依次执行b)、c)、d)过程。
7.2.1.3 测试报告
测试报告应至少包含如下信息。
a) 测试结果数据,即给定规模测试数据集和测试算法下平均算法执行时间。
b) 被测系统配置信息,应包括7.1.1.3b)所规定的内容。
c) 测试任务信息,包括:
1) 测试数据集信息,包括数据集名称,顶点数、边数、来源及所属领域;
2) 测试算法执行的参数配置;
3) 测试采用的测试语言。
d) 测试过程信息,包括:
1) 给定规模测试数据集和测试算法下的平均数据预处理时间、平均数据加载时间、平均结果
输出时间;
2) 给定规模测试数据集和测试算法下的结果校验正确性......
|