路径: 主页 > GB/T > 第229页 > GB/T 38643-2020 | 标准编号 | GB/T 38643-2020 (GB/T38643-2020) | | 中文名称 | 信息技术 大数据 分析系统功能测试要求 | | 英文名称 | Information technology - Big data - Functional testing requirements for analytic system | | 行业 | 国家标准 (推荐) | | 中标分类 | L67 | | 国际标准分类 | 35.240 | | 字数估计 | 30,320 | | 发布日期 | 2020-04-28 | | 实施日期 | 2020-11-01 | | 引用标准 | GB/T 37721-2019 | | 发布机构 | 国家市场监督管理总局、中国国家标准化管理委员会 | | 范围 | 本标准规定了大数据分析系统的数据准备模块、分析支撑模块、数据分析模块、流程编排模块的功能测试要求。本标准适用于指导大数据分析系统的设计、开发和交付。 | GB/T 38643-2020: 信息技术 大数据 分析系统功能测试要求
GB/T 38643-2020 英文名称: Information technology -- Big data -- Functional testing requirements for analytic system
1 范围
本标准规定了大数据分析系统的数据准备模块、分析支撑模块、数据分析模块、流程编排模块的功
能测试要求。
本标准适用于指导大数据分析系统的设计、开发和交付。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 37721-2019 信息技术 大数据分析系统功能要求
3 术语和定义
GB/T 37721-2019界定的以及下列术语和定义适用于本文件。
3.1
大数据分析系统
在大数据存储和处理系统提供的原始数据和计算框架的基础上,集成了一系列数据分析生命周期过
程中所用工具的系统。
4 缩略语
下列缩略语适用于本文件。
API:应用程序接口
AUC:ROC曲线下方的面积
CPU:中央处理器
GPU:图形处理器
HDFS:分布式文件系统
JSON:JS对象标记
OLAP:联机分析处理
PCA:主成分分析
REST:表述性状态转移
ROC:接受者操作特性
SQL:结构化查询语言
SSD:固态硬盘
XML:可扩展置标语言
5 概述
本标准根据GB/T 37721-2019规定的大数据分析系统的功能要求,给出了相应的测试要求。测试示
例参见附录A。
6 数据准备模块功能测试
6.1 数据抽取功能测试
数据抽取功能测试要求如下:
a) 应测试大数据分析系统数据准备模块是否支持按照需求抽取存放在存储系统中的数据;
b) 应测试大数据分析系统数据准备模块是否对结构化数据、非结构化数据提供不同抽取方法;
c) 应测试大数据分析系统数据准备模块是否提供全量抽取及增量抽取模式;
d) 应测试大数据分析系统数据准备模块是否支持主动抽取和被动追加;
e) 应测试大数据分析系统数据准备模块是否支持定时批量抽取。
6.2 数据清洗功能测试
数据清洗功能测试要求如下:
a) 应测试大数据分析系统数据准备模块是否支持数据一致性;
b) 应通过进行无效数据值删除、修正等操作测试大数据分析系统数据准备模块是否支持处理无
效值;
c) 应通过填充缺失值或删除缺失值对应数据条目等操作测试大数据分析系统数据准备模块是否支
持处理缺失值;
d) 应通过合并重复数据或者删除重复数据等操作测试大数据分析系统数据准备模块是否支持处理
重复数据;
e) 应测试大数据分析系统数据准备模块是否提供清洗前后的数据比对功能;
f) 应测试大数据分析系统数据准备模块是否支持逻辑矛盾、关联性验证、不合理数据的清洗。
6.3 数据转换功能测试
数据转换功能测试要求如下:
a) 应通过对结构化数据进行列转换操作测试大数据分析系统数据准备模块是否支持结构化数据列
转换;
b) 应通过对结构化数据进行行转换操作测试大数据分析系统数据准备模块是否支持结构化数据行
转换;
c) 应通过对结构化数据进行表转换操作测试大数据分析系统数据准备模块是否支持结构化数据表
转换;
d) 应测试大数据分析系统数据准备模块是否支持非结构化数据的结构化处理;
e) 应测试大数据分析系统数据准备模块是否支持对文本、网页类数据的规范化处理,是否支持将文
档类数据转化成单一规范形式;
f) 应通过进行语音和音频输入,检测输入识别结果准确性,测试大数据分析系统数据准备模块是否
支持对语音/音频数据的识别处理;
g) 应通过进行图像输入,检测输入识别结果准确性,测试大数据分析系统数据准备模块是否支持提
取图像信息。
6.4 数据加载功能测试
数据加载功能测试要求如下:
a) 应测试大数据分析系统数据准备模块是否支持把经过清洗和转换之后的数据加载到大数据分析
系统;
b) 应按照加载的目标结构将转换过的数据输入到目标结构中去,测试大数据分析系统数据准备模
块是否支持全量加载;
c) 在目标结构中已经存在数据时,应通过在保存已有数据的基础上增加新的数据,测试大数据分析
系统数据准备模块是否支持增量加载;
d) 应测试大数据分析系统数据准备模块是否支持实时加载或批量加载。
7 分析支撑模块功能测试
7.1 查询功能测试
7.1.1 查询接口测试
查询接口测试要求如下:
a) 应测试大数据分析系统分析支撑模块是否支持通过标准的数据库连接接口进行查询;
b) 应测试大数据分析系统分析支撑模块是否支持RESTAPI查询接口进行查询。
7.1.2 查询优化测试
查询优化测试要求如下:
a) 应通过建立数据索引测试大数据分析系统分析支撑模块是否达到查询加速的效果;
b) 应测试大数据分析系统分析支撑模块是否支持精确查询和模糊查询;
c) 应测试大数据分析系统分析支撑模块是否支持基于规则或者基于成本的查询优化;
d) 应测试大数据分析系统分析支撑模块是否支持数据分片和多副本技术;
e) 应测试大数据分析系统分析支撑模块是否支持通过SQL进行复杂条件高并发查询;
f) 应测试大数据分析系统分析支撑模块是否支持二级索引。
7.2 机器学习功能测试
7.2.1 数据集管理功能测试
数据集管理功能测试要求如下:
a) 应测试大数据分析系统分析支撑模块是否能够将输入数据划分为训练集、验证集和测试集;
b) 应通过将训练、验证过的模型导入到大数据分析系统中,以及将大数据系统中训练所得的模型导
出的操作,测试大数据分析系统分析支撑模块是否提供机器学习模型的导入和导出的功能。
7.2.2 支持算法测试
支持算法测试要求如下:
a) 应测试大数据分析系统分析支撑模块是否支持回归与分类算法;
b) 应测试大数据分析系统分析支撑模块是否支持聚类算法;
c) 应测试大数据分析系统分析支撑模块是否支持协同过滤算法;
d) 应测试大数据分析系统分析支撑模块是否支持降维算法;
e) 应测试大数据分析系统分析支撑模块是否支持频繁......
|