| 标准编号 | GB/T 46352-2025 (GB/T46352-2025) | | 中文名称 | 信息技术 分布式存储协议互联技术要求 | | 英文名称 | Information technology - Technical requirement for distributed storage protocol interconnection | | 行业 | 国家标准 (推荐) | | 中标分类 | L70 | | 国际标准分类 | 35.220.01 | | 字数估计 | 14,117 | | 发布日期 | 2025-10-05 | | 实施日期 | 2026-05-01 | | 发布机构 | 国家市场监督管理总局、国家标准化管理委员会 | GB/T 46352-2025: 信息技术 分布式存储协议互联技术要求
ICS 35.220.01
CCSL70
中华人民共和国国家标准
信息技术 分布式存储协议互联技术要求
2025-10-05发布
2026-05-01实施
国 家 市 场 监 督 管 理 总 局
国 家 标 准 化 管 理 委 员 会 发 布
目次
前言 Ⅲ
引言 Ⅳ
1 范围 1
2 规范性引用文件 1
3 术语和定义 1
4 缩略语 2
5 技术架构 2
6 技术要求 3
6.1 总体要求 3
6.2 协议接入服务层 4
6.3 统一语义处理层 5
6.4 可扩展数据对象层 6
参考文献 8
前言
本文件按照GB/T 1.1-2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本文件起草单位:浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、深圳赛西信息技
术有限公司、深圳市江波龙电子股份有限公司、中国移动通信集团有限公司、华中科技大学、成都华为技
术有限公司、北京同有飞骥科技股份有限公司、济南浪潮数据技术有限公司、江苏中天科技股份有限公
司、杭州海康威视数字技术股份有限公司、浙江邦盛科技股份有限公司、重庆大学、西北工业大学、汇钜
存储科技(东莞)有限公司、中移(杭州)信息技术有限公司、深圳市金胜电子科技有限公司、厦门大学、
山东省计算中心(国家超级计算济南中心)、浙江大华技术股份有限公司、深圳众投互联信息技术有限
公司。
本文件主要起草人:李辉、孙伟、鲁璐、杨宏、孟祥瑞、郭雄、冯轶、张春、王芳、冯丹、孟凡辉、刘洋、
孙斌、高喜春、白欣璐、张晓、周丹媛、詹焕、秦伟、张在贵、谌显、张凯、葛永新、史伟强、姜明李、孙金洋、
余海波、陈咸彰、刘雨琪、毛波、赵晓南、李敏、魏佳何、王亚莱、沈嘉琦、贾景润、吴素贞、孔维生、周红彪。
引 言
随着数据量的爆炸式增长,跨协议的多元业务数据访问已成为分布式存储领域的重要发展趋势。
为满足一份非结构化数据被主机上的新型计算多元业务跨文件、对象等协议访问,实现数据实时共享互
通,针对分布式存储系统提出分布式存储协议互联技术。作为一种新的存储实现方式,本文件旨在给出
分布式存储协议互联的技术架构,并规定实现分布式存储协议互联的技术要求,从而满足在面向单一非
结构化数据访问服务设计的传统分布式存储等关键特性不变的基础上,支持非结构化数据多业务跨协
议应用,减少不同协议访问产生的数据副本,最大限度地减少数据流动,降低实时并发访问语义操作损
失,提升业务性能及空间存储数据利用率,进而有助于降低业务持续运行下的能耗,通过单一数据副本
互通共享,提升存储系统的空间效率和整体效能。
信息技术 分布式存储协议互联技术要求
1 范围
本文件规定了分布式存储协议互联技术架构及技术要求。
本文件适用于分布式存储协议互联架构的设计和实现。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1
分布式存储 distributedstorage
通过网络整合分布在多台机器的存储空间资源,构成虚拟存储设备的一种数据存储技术。
[来源:GB/T 36074.3-2019,3.17]
3.2
存储协议 storageprotocol
主机和存储设备间进行传输、访问和存储数据的规则和方法。
注:本文件中的存储协议是指文件存储协议(NFS、SMB/CIFS、POSIX文件操作相关接口规定)、对象存储协议
(S3、SWIFT)和大数据存储协议(HDFS、S3)。这三类分布式存储协议主要应用于非结构化数据应用场景中。
3.3
存储协议之间进行语义操作相互兼容的技术。
注:为满足一份数据能被主机多样应用跨存储协议实时访问,分布式存储基于全局可扩展数据对象层提供全局单
一副本的数据共享存储方式,同时通过统一的存储协议语义映射处理,实现存储协议同时关联接入及语义操
作兼容。
3.4
元数据 metadata
定义和描述其他数据的数据,既包含来自主机应用产生的创建时间、修改时间、类型、访问权限等信
息,也包含分布式存储系统内产生的数据逻辑地址与物理地址映射等信息。
[来源:GB/T 18391.1-2009,3.2.16,有修改]
3.5
统一元数据 unifiedmetadata
融合多协议元数据,形成具有一致数据结构的信息。
注:协议元数据包括目录(文件)、桶(对象)的名称、大小、时间、用户属主等信息。
3.6
按照一定的规则和方式对元数据对象进行归并、处理和存储。
3.7
数据组织 organizationofdata
按照一定的规则和方式对数据对象进行归并、处理和存储。
[来源:GB/T 39362-2020,3.7,有修改]
4 缩略语
下列缩略语适用于本文件。
ACL:访问控制列表(AccessControlList)
NFS:网络文件系统(NetworkFileSystem)
5 技术架构
分布式存储协议互联技术基于全局可扩展数据对象层,提供全局单一副本的数据共享存储方式,同
时通过统一的存储协议语义映射处理,实现存储协议同时关联接入及语义操作兼容。图1给出了分布
式存储协议互联技术架构。
图1 分布式存储协议互联技术架构
分布式存储协议互联技术架构中各层技术的作用如下:
---协议接入服务层:提供文件、对象、大数据服务同时接入以及鉴权认证、负载均衡等功能;
---统一语义处理层:通过元数据映射转换和数据映射转换,提供统一的语义访问接口,实现协议
间语义操作实时转换,实现语义兼容;
---可扩展数据对象层:通过元数据组织和数据组织机制,提供具有一致数据结构的元数据对象和
数据对象,以支撑多协议映射对应一份元数据和数据。
示例:
图2给出了分布式存储协议互联技术的一种实例示意,其中来自文件应用的数据(文件A)由NFS协议写入并提供
文件存储协议服务,文件A通过统一语义处理层完成元数据映射和数据映射后,形成可扩展数据对象层中全局统一的
元数据对象和数据对象,并实现元数据组织和数据组织;当对象应用希望通过S3协议读取文件A时,S3协议通过统一
语义处理层映射到文件A,然后从可扩展数据对象层访问到文件A,最终映射转换为指定S3协议格式的数据内容,实现
文件A以NFS协议写入,S3协议读取。
图2 分布式存储协议互联技术实例示意
6 技术要求
6.1 总体要求
分布式存储协议互联总体要求如下:
a) 应支持文件、对象、大数据应用中的至少两类存储协议同时接入,支持协议标准接口,并提供鉴
权认证,负载均衡等能力;
b) 应提供协议统一语义访问接口,支持与不同存储协议间进行语义接口实时转换;
c) 应使用一致数据结构的元数据对象和数据对象,支持不同协议的数据存储为全局统一的单一
副本,提供数据分布均衡及数据修复重构能力。
6.2 协议接入服务层
6.2.1 存储访问接口
6.2.1.1 文件存储访问接口
对接文件存储应用时,文件存储访问接口要求如下:
a) 应支持的NFS(V3和V4版本)协议,支持对目录、文件(包括附属信息)的创建、打开、关闭、查
找、遍历、查询、设置、删除、重命名、读、写、数据同步等常用接口;
b) 应支持的CIFS/SMB(V1、V2和V3版本)协议,支持对目录、文件(包括附属信息)的创建、打
开、关闭、删除、查询、设置、读、写、数据同步、租约等常用接口;
c) 宜支持POSIX文件操作接口的私有客户端模式,支持对目录、文件(包括附属信息)的创建、打
开、关闭、查找、遍历、查询、设置、删除、重命名、读、写、数据同步等常用接口。
6.2.1.2 对象存储访问接口
对接对象存储应用时,对象存储访问接口要求如下。
a) 应支持S3应用程序编程接口,并应符合:
1) 支持桶创建、列举、删除等常用接口,宜支持桶生命周期、桶策略、桶ACL等功能的设置、
查询等接口;
2) 支持对象的上传、下载、删除、拷贝、移动、列举、查询、分片上传等常用接口。
b) 宜支持Swift接口,并宜符合:
1) 支持账户的创建、查询、修改、删除、容器列举等常用接口,支持容器的创建、查询、修改、删
除、对象列举等常用接口;
2) 支持对象的创建、查询、复制、删除等常用接口。
6.2.1.3 大数据存储访问接口
对接大数据存储应用时,大数据存储访问接口要求如下:
a) 应支持HDFS接口,以文件方式对接存储,支持对目录、文件(包括附属信息)的创建、查找、遍
历、查询、设置、删除、重命名、读、写等常用接口,宜支持配额、快照、ACL等功能;
b) 宜支持S3接口,以对象方式对接存储,接口要求见6.2.1.2。
6.2.2 协议接入功能
协议接入功能要求如下。
a) 同一存储系统内,每个存储设备应提供多协议服务能力,支持多协议同时接入。
b) 应支持协议接入鉴权认证,各协议至少支持一种鉴权认证方式:
1) NFS协议鉴权认证:本地用户、LDAP域或NIS域鉴权认证;
2) CIFS/SMB协议鉴权认证:本地用户、活动目录域或LDAP域鉴权认证;
3) 文件私有客户端鉴权认证:本地用户、LDAP域或NIS域鉴权认证;
4) HDFS协议鉴权认证:本地用户或LDAP域鉴权认证;
5) S3协议鉴权认证:访问密钥/保密密钥或LDAP域认证;
6) Swift支持KeyStone用户认证方式。
c) 宜支持单个协议内负载均衡,文件、对象、大数据应支持单协议内的统一域名访问服务,单协议
内支持负载均衡,提供轮询,连接数或资源负载(CPU、内存、带宽)等至少一种接入均衡方式。
d) 宜支持多协议全局的负载均衡,文件、对象、大数据宜支持协议间的负载均衡,提供连接数或资
源负载(CPU、内存、带宽)等至少一种接入均衡方式。
e) 宜支持业务带宽及每秒操作数的Qos功能,支持客户端、存储节点、用户、目录/桶等至少一种
Qos策略控制,保障多协议业务性能的均衡稳定。
f) 支持协议服务异常自恢复机制,支持节点故障及恢复后协议服务切换迁移机制,切换迁移同时
保证符合负载均衡要求。
6.3 统一语义处理层
6.3.1 统一语义访问接口
根据业务应用需求对接至少两类存储协议时,应满足协议语义兼容。统一语义访问接口要求如下:
a) 元数据操作应支持创建、查找、遍历、删除、重命名、截断、设置、查询等操作,对应文件、
HDFS协议的目录(文件)以及对象协议的桶/容器(对象)的基础语义操作;
b) 数据操作应支持:读、新写、修改写、追加写、删除、截断等操作,对应文件、HDFS协议的文件
以及对象协议的对象的基础语义操作;
c) 元数据及数据语义操作接口支持携带协议本身的用户/权限等扩展的私有信息,语义操作结
果符合扩展信息的要求或限制。
6.3.2 元数据映射
根据协议元数据和统一元数据的相关性,多协议元数据通过映射转换成统一元数据;同样地,统一
元数据也能通过映射转换为指定协议的元数据(元数据映射示意见图3)。元数据映射要求如下:
a) 应支持文件、HDFS协议的目录、文件信息(目录(文件)名称、类型、属主、时间、大小、权限、私
有信息等)映射转换为统一元数据路径及对象信息;
b) 应支持对象协议的桶(对象)信息[租户名、桶(对象)名称、属主、状态、类型、时间、大小、标签、
私有信息等]映射转换为统一元数据路径及对象信息;
c) 应支持统一元数据路径/对象信息映射转换为文件、HDFS协议的目录(文件)信息或对象协议
的桶(对象)信息;
d) 宜支持文件、HDFS协议的用户组、用户(包括域)和权限信息映射转换为统一元数据用户及权
限信息;
e) 宜支持对象协议的租户、用户及权限信息映射转换为统一元数据用户及权限信息;
f) 宜支持统一元数据用户、权限信息映射转换为文件、HDFS、对象协议的用户/租户及权限信息。
图3 分布式存储系统协议互联元数据映射示意
6.3.3 数据映射
将指定范围的不同协议格式的数据内容映射转换成全局统一的数据对象;同样地,数据对象也能映
射转换为指定协议格式的数据内容(数据映射示意见图4)。数据映射相关要求如下:
a) 支持文件、HDFS协议的文件数据内容映射转换为一个或多个数据对象的内容;
b) 支持对象协议的对象数据内容映射转换为一个或多个数据对象的内容;
c) 支持一个或多个数据对象的内容映射转换为文件、HDFS、对象协议的数据内容。
图4 分布式存储系统协议互联数据映射示意
6.3.4 扩展功能
宜支持多协议下访问控制、配额、快照等功能的统一管理,如文件服务为目录设置的配额,对象服务
对应的桶也会生效;或同一个本地用户,文件服务设置本用户访问目录为只读,则本用户访问对象服务
对应的桶也为只读。
6.4 可扩展数据对象层
6.4.1 统一数据结构的元数据对象和数据对象
基于元数据组织和数据组织,实现一种具有一致数据结构的可扩展元数据对象和数据对象,满足语
义层的元数据及数据请求操作,要求如下:
a) 基于元数据和数据的信息量,提供多级索引组织结构,支持在限定信息下通过内部索引定位到
具体对象来进行访问;
b) 通过统一语义处理层的元数据映射和数据......
|