| 标准编号 | GB/T 38675-2020 (GB/T38675-2020) | | 中文名称 | 信息技术 大数据计算系统通用要求 | | 英文名称 | Information technology - General requirements for big data computing systems | | 行业 | 国家标准 (推荐) | | 中标分类 | L67 | | 国际标准分类 | 35.240 | | 字数估计 | 10,166 | | 发布日期 | 2020-04-28 | | 实施日期 | 2020-11-01 | | 引用标准 | GB/T 21028; GB/T 35295-2017 | | 发布机构 | 国家市场监督管理总局、中国国家标准化管理委员会 | | 范围 | 本标准规定了大数据计算系统的硬件、软件、网络及安全要求。本标准适用于大数据计算系统的开发、设计和运维。 | GB/T 38675-2020
Information technology -- General requirements for big data computing systems
ICS 35.240
L67
中华人民共和国国家标准
信息技术 大数据计算系统通用要求
2020-04-28发布
2020-11-01实施
国 家 市 场 监 督 管 理 总 局
国 家 标 准 化 管 理 委 员 会 发 布
目次
前言 Ⅲ
1 范围 1
2 规范性引用文件 1
3 术语和定义 1
4 缩略语 1
5 硬件要求 2
5.1 硬件组成 2
5.2 计算单元 2
5.3 计算加速单元 2
5.4 存储单元 3
5.5 高速互联单元 3
5.6 管理监控单元 3
5.7 供电单元 4
5.8 结构及散热单元 4
6 软件要求 4
6.1 软件组成 4
6.2 操作系统 4
6.3 虚拟化软件 4
6.4 资源管理软件 5
6.5 通信管理软件 5
7 网络要求 5
8 安全要求 5
前言
本标准按照GB/T 1.1-2009给出的规则起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。
本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本标准起草单位:浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、北京华胜天成科
技股份有限公司、浪潮软件集团有限公司、上海计算机软件技术开发中心、勤智数码科技股份有限公司、
平安科技(深圳)有限公司、内蒙古大学、中国铁道科学研究院集团有限公司、浙江蚂蚁小微金融服务集
团股份有限公司、北京百分点信息科技有限公司。
本标准主要起草人:赵江、苏志远、卫凤林、张群、李瑛、梁钢、黄先芝、李国涛、陈敏刚、陈文捷、李正、
韩梅、李华、马小宁、吴艳华、赵正阳、李克鹏、孙伟。
信息技术 大数据计算系统通用要求
1 范围
本标准规定了大数据计算系统的硬件、软件、网络及安全要求。
本标准适用于大数据计算系统的开发、设计和运维。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 21028 信息安全技术 服务器安全技术要求
GB/T 35295-2017 信息技术 大数据 术语
3 术语和定义
GB/T 35295-2017界定的以及下列术语和定义适用于本文件。
3.1
为大数据系统的存储、处理、分析应用提供基础计算支撑的软硬件系统。
4 缩略语
下列缩略语适用于本文件。
5 硬件要求
5.1 硬件组成
大数据计算系统硬件部分包括计算单元、计算加速单元、存储单元、高速互联单元、管理监控单元、
供电单元和结构及散热单元。
5.2 计算单元
计算单元要求如下:
a) 应有相应措施保证可用性;
b) 应支持多处理器;
c) 应支持硬件状态监控管理、远程管理;
d) 应支持系统内部部件扩展;
e) 应支持多种虚拟化方式;
f) 应支持在停止运行情况下,配置虚拟机的内存数量;
g) 应支持在停止运行情况下,配置扩展内存数量;
h) 每节点内存应不低于8GB;
i) 应支持扩展DDR3、DDR4或以上内存版本标准;
j) 宜支持内存查错/纠错;
k) 宜支持内存镜像/热备;
l) 宜支持PB以上的读写能力;
m) 宜支持系统外部节点扩展;
n) 宜支持在正常运行的情况下横向及纵向在线扩展;
o) 宜支持混合内存架构。
5.3 计算加速单元
计算加速单元要求如下:
a) 应提供专用计算资源,协助计算单元进行运算处理;
b) 应提供大数据应用加速的专用计算资源,专用计算资源应支持通过高速互联单元与计算单元连接;
示例:GPU加速单元、FPGA加速单元、ASIC加速单元等。
c) 应具备多线程并发、流水线等模式的计算处理能力;
d) 应具备独立内存控制器,提供用于加速计算任务的独立内存空间;
e) 应具备高速总线接口与主处理器互连;
f) 运行在计算模块上的主程序应能够配置、使用、管理计算加速单元上的硬件计算资源;
g) 运行在计算模块上的主程序与计算加速单元之间应具有高效的数据交换协议,包括与主CPU
内存地址之间的映射关系;
h) 应支持加速单元扩展,接口类型如PCIe等;
i) 宜支持提供批量部署工具,实现固件升级、生效、证书管理等功能。
5.4 存储单元
存储单元要求如下:
a) 应提供对象、文件、块等多种存储服务方式的一种或多种;
b) 应支持REST、NFS、Samba、iSCSI、定制API等存储访问协议或接口的一种或多种;
c) 应支持存储半结构化数据、结构化数据、非结构化数据等数据类型的一种或多种;
d) 应提供用户数据冗余存储功能;
e) 宜支持分层或分级存储方式;
f) 宜支持压缩、重删、缓存加速、配额、QoS等高级特性;
g) 应支持存储节点级动态扩展伸缩及存储数据再均衡;
h) 应支持在线扩展SATA、SAS、PCIe接口SSD、HDD等,支持热插拔;
i) 宜支持扩展连接FC、iSCSI、NAS等协议的存储系统;
j) 应支持在停止运行情况下,扩展内存的数量;
k) 宜支持在线升级;
l) 宜支持PB以上的读写能力;
m) 可用性应有相应措施保证;
n) 应配置企业级硬盘,以保证可靠性;
o) 应支持故障硬盘的数据重构。
5.5 高速互联单元
高速互联单元要求如下:
a) 应提供计算单元、存储单元与计算加速单元之间的互联;
b) 应提供本地计算加速单元中不同加速卡之间的互联;
c) 应支持TCP/IP等网络协议实现节点之间的互联;
d) 宜支持IPoIB、RDMA等协议实现节点之间的高速互联;
e) 应支持节点之间至少百兆网络的连接;
f) 应支持在停止运行情况下,扩展的计算单元、存储单元、计算加速单元之间实现互联;
g) 支持1Gbps以上带宽;
h) 支持基于网络芯片硬件的数据传输或交换加速功能;
i) 网络端口聚合功能,满足系统对网络带宽的需求,同时可以提高系统可用性。
5.6 管理监控单元
管理监控单元要求如下:
a) 应提供对硬件部分部件运行状态部分参数的监控功能,如CPU温度、电源电压、风扇转速等;
b) 应提供计算单元和计算加速单元使用率的监控功能;
c) 应提供存储单元总容量与使用率的监控功能;
d) 应提供网络流量、网络读写速率的监控功能;
e) 应支持远程登录控制台,监控系统运行状态;
f) 应具备精确故障警告;
g) 应具备硬件使用超过阈值的警告功能;
h) 应支持远程外设挂载与程序安装功能;
i) 应支持系统的日志记录与日志查询;
j) 应支持系统远程日常维护。
5.7 供电单元
供电单元要求如下:
a) 应具备电源冗余控制功能,具备在局部故障时提供电源的能力;
b) 电源模块设计支持热插拔,热更换;
c) 应具备故障报警,并将运行状态提供给监控系统;
d) 应具备加电时序控制功能;
e) 应具备电源负载动态调整技术;
f) 应支持机柜级别集中供电;
g) 应支持N+N或N+M电源冗余模式。
5.8 结构及散热单元
结构及散热单元要求如下:
a) 散热方式应支持风冷方式,宜支持液冷及传导散热方式;
b) 散热效率应由传感器监控,在管理监控单元中可见;
c) 应采用模块化设计;
d) 应采用集中散热技术;
e) 风扇应支持免工具热插拔;
f) 应支持前进风、后出风。
6 软件要求
6.1 软件组成
大数据计算系统软件部分包括操作系统、虚拟化软件、资源管理软件和通信管理软件。
6.2 操作系统
操作系统要求如下:
a) 应支持主流的操作系统类型和主要版本;
b) 应提供操作系统自动化批量部署能力;
c) 应提供人机操作界面;
d) 应支持计算加速单元及驱动程序,提供标准化的编程接口;
e) 应提供系统和设备运行日志及监控信息;
f) 应提供大数据系统各种组件所需的运行环境;
g) 宜具备处理器故障隔离支持功能。
6.3 虚拟化软件
虚拟化软件要求如下:
a) 应支持对计算、存储、网络等物理设备资源的虚拟化,能够以虚拟机形式为大数据系统部署和
运行提供资源;
b) 宜支持基于策略的虚拟机动态调度;
c) 宜支持能够根据虚拟机和物理服务器的资源利用率实现虚拟机的动态迁移;
d) 宜支持多个虚拟机批量操作的能力;
e) 宜支持将虚拟存储卷从虚拟机上卸载,并在保证安全的情况下正常删除虚拟存储卷;
f) 宜支持虚拟化高可用,保证在物理服务器宕机后,虚拟机可迁移到其他物理机上;
g) 宜支持虚拟机模板,以加快大数据各组件的部署;
h) 宜支持虚拟机的CPU、内存、磁盘的扩容或缩容;
i) 宜支持虚拟机网卡、磁盘的QoS;
j) 宜支持虚拟化资源的超售比配置,以最大化利用物理资源支撑大数据业务的运行;
k) 宜支持存储虚拟化多副本策略。
6.4 资源管理软件
资源管理软件要求如下:
a) 应支持对虚拟机资源的监控管理;
b) 应支持对虚拟机资源的安全管理,包括但不限于权限管理、访问控制等;
c) 应支持根据工作负载进行动态资源调配,为大数据系统的任务类型和调度队列提供资源分配
能力;
d) 应提供部署和监控代理软件,按照标准接口向大数据系统提供资源运行状况的相关信息以及
执行各种监控任务;
e) 宜提供支持多种资源模式的自动部署工具,用于自动向基础设施添加新的物理或虚拟资源;
示例:裸机、虚拟机、云服务。
f) 宜支持多种资源的统一管理及池化。
6.5 通信管理软件
通信管理软件要求如下:
a) 应提供标准化的消息和通......
|