路径: 主页 > GB/T > 第229页 > GB/T 37721-2019 | 标准编号 | GB/T 37721-2019 (GB/T37721-2019) | | 中文名称 | 信息技术 大数据分析系统功能要求 | | 英文名称 | Information technology - Functional requirements for big data analytic systems | | 行业 | 国家标准 (推荐) | | 中标分类 | L67 | | 国际标准分类 | 35.240 | | 字数估计 | 18,187 | | 发布日期 | 2019-08-30 | | 实施日期 | 2020-03-01 | | 发布机构 | 国家市场监督管理总局、中国国家标准化管理委员会 | GB/T 37721-2019: 信息技术 大数据分析系统功能要求
GB/T 37721-2019 英文名称: Information technology -- Functional requirements for big data analytic systems
1 范围
本标准规定了大数据分析系统的数据准备模块、分析支撑模块、数据分析模块和流程编排模块的功
能要求。
本标准适用于大数据分析系统的设计、开发和应用部署。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 35295-2017 信息技术 大数据 术语
3 术语和定义
GB/T 35295-2017界定的以及下列术语和定义适用于本文件。
3.1
大数据分析系统
在大数据存储和处理系统提供的原始数据和计算框架的基础上,集成了一系列数据分析生存周期
过程中所用工具的系统。
3.2
结构化数据
存储在数据库里,可以用二维表结构表示的数据。
3.3
非结构化数据
除了结构化数据之外的没有明确结构约束的数据。
3.4
分布式执行计划
分布式场景下的SQL查询计划,需要根据数据分布特点将SQL拆分成多个切片及多个步骤,提供
调度给多节点并行执行。
4 缩略语
下列缩略语适用于本文件。
API:应用程序编程接口
GPU:图形处理器
JSON:JS对象标记
OLAP:联机分析处理
REST:表述性状态转移
SQL:结构化查询语言
SSD:固态硬盘
XML:可扩展置标语言
5 总体要求
本标准主要从以下4个方面对大数据分析系统的基本功能做出要求:
a) 数据准备模块的功能要求:对原始数据进行预处理,使数据能被上层分析方法直接使用;
b) 分析支撑模块的功能要求:提供建立数据模型和应用模型的算法库或者工具库;
c) 数据分析模块的功能要求:提供数据分析方法或者中间件,将数据准备模块输出的数据以及数
据建模过程中产生的中间数据转变成知识或者决策。
6 数据准备模块功能要求
6.1 数据抽取功能要求
数据抽取模块要求如下:
a) 应支持按照需求将存放在存储系统中的数据进行抽取;
b) 应提供对结构化数据、非结构化数据的不同抽取方法;
c) 应提供全量抽取及增量抽取模式;
d) 应支持主动抽取和被动追加;
e) 应支持定时批量抽取;
f) 宜支持分布式数据抽取,实现数据抽取过程的负载均衡。
6.2 数据清洗功能要求
数据清洗模块要求如下:
a) 应支持数据一致性;
b) 应支持处理无效值,包括无效数据值的删除、修正等;
c) 应支持处理缺失值,包括缺失值的填充或缺失值对应数据条目的删除等;
d) 应支持处理重复数据,包括重复数据的合并或者删除等操作;
e) 应提供清洗前后的数据比对功能,方便使用者检验清洗的效果;
f) 宜支持逻辑矛盾、关联性验证、不合理数据的清洗。
6.3 数据转换功能要求
数据转换模块要求如下:
a) 应支持结构化数据的列转换;
b) 应支持结构化数据的行转换;
c) 应支持结构化数据的表转换;
d) 宜支持非结构化数据的结构化处理;
e) 宜支持对文本、网页类数据的规范化处理,将文档类数据转化成单一规范形式;
f) 宜支持对语音/音频数据的识别处理,将语音的词汇内容转换为计算机可读的输入;
g) 宜支持对图片中的内容转换为字符文本,提取图像信息。
6.4 数据加载功能要求
数据加载模块要求如下:
a) 应支持把经过清洗和转换之后的数据加载到大数据分析系统,为分析功能模块提供数据。
b) 宜支持全量加载:按照加载的目标结构,将转换过的数据输入到目标结构中去。
c) 宜支持增量加载:如果目标结构中已经存在数据,在保存已有数据的基础上增加新的数据。当
一个输入的数据记录与已经存在的记录重复时,丢弃新输入的数据,或者输入记录可能会作为
副本增加进去。
d) 应支持实时加载或批量加载两种方式。
7 分析支撑模块功能要求
7.1 查询功能要求
7.1.1 查询接口要求
查询接口要求如下:
a) 应支持通过标准的数据库连接接口进行查询;
b) 应支持RESTAPI查询接口进行查询。
7.1.2 查询优化要求
查询优化要求如下:
a) 应支持建立数据索引,达到查询加速的效果;
b) 应支持精确查询和模糊查询;
c) 宜支持基于规则或者基于成本的查询优化;
d) 宜支持数据分片和多副本技术优化查询速度;
e) 宜支持通过SQL进行复杂条件高并发查询;
f) 宜支持二级索引。
7.2 机器学习功能要求
7.2.1 数据集管理功能要求
数据集管理功能要求如下:
a) 应提供将输入数据划分为训练集、验证集和测试集的功能;
b) 应提供机器学习模型的导入和导出的功能,支持将训练、验证过的模型导入到大数据分析系统
中,以及将大数据系统中训练所得的模型导出。
7.2.2 支持算法的要求
算法要求如下:
a) 宜支持回归与分类算法;
b) 宜支持聚类算法;
c) 宜支持协同过滤算法;
d) 宜支持降维算法;
e) 宜支持频繁模式挖掘算法;
f) 宜支持神经网络算法;
g) 宜提供机器学习流程的其他组件,包括特征提取、特征转换、特征选择、模型选择、交叉验证、模
型调优等;
h) 宜支持Java、Scala、Python、R等一种或多种语言,二次开发增加新的算子。
7.2.3 模型评估功能要求
宜支持算法模型的评估模块。
7.3 统计分析功能要求
......
|