路径: 主页 > GB/T > 第212页 > GB/T 38637.2-2020 | 标准编号 | GB/T 38637.2-2020 (GB/T38637.2-2020) | | 中文名称 | 物联网 感知控制设备接入 第2部分：数据管理要求 | | 英文名称 | Internet of things--Access of sensing and controlling device - Part 2: Data management requirements | | 行业 | 国家标准 (推荐) | | 中标分类 | L79 | | 国际标准分类 | 35.110 | | 字数估计 | 14,148 | | 发布日期 | 2020-07-21 | | 实施日期 | 2021-02-01 | | 发布机构 | 国家市场监督管理总局、中国国家标准化管理委员会 | GB/T 38637.2-2020: 物联网 感知控制设备接入 第2部分：数据管理要求
GB/T 38637.2-2020 英文名称: Internet of things--Access of sensing and controlling device--Part 2: Data management requirements
1 范围
GB/T 38637的本部分规定了物联网感知控制设备接入网关或平台时的数据采集、数据处理、数据
交换和数据安全等数据管理要求。
本部分适用于物联网感知控制设备接入网关或平台时数据管理功能的设计与实现。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 32630-2016 非结构化数据管理系统技术要求
GB/T 33474-2016 物联网 参考体系结构
GB/T 36344-2018 信息技术 数据质量评价指标
GB/T 37025-2018 信息安全技术 物联网数据传输安全技术要求
3 术语和定义
下列术语和定义适用于本文件。
3.1
感知数据
通过数据采集获取的原始数据或在此基础上进行加工处理的表征对象信息的数据统称。
3.2
控制数据
作用于对象的执行控制操作的数据。
3.3
结构化数据
一种数据表示形式,按此种形式,由数据元素汇集而成的每个记录的结构都是一致的并且可以使用
关系模型予以有效描述。
3.4
非结构化数据
不具有预定义模型或未以预定义方式组织的数据。
3.5
半结构化数据
不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语
义元素以及对记录和字段进行分层的一种数据化结构形式。
3.6
脏数据
不在给定的范围内,无实际意义或数据格式非法。
3.7
数据分析
为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
4 概述
4.1 数据管理功能框架
感知控制设备接入网关或物联网平台时的数据管理包括数据采集、数据处理、数据交换和数据安
全,数据管理功能框架如图1所示,具体应用部署时可根据需求进行功能选取。
4.2 感知控制设备接入架构
根据GB/T 33474-2016的物联网概念模型,物联网系统中资源交换域、服务提供域和运维管控域
的软硬件设备通常部署在云端或中心服务器,构成物联网平台。感知控制设备接入物联网平台的框架
如图2所示,感知控制接入设备可通过以下两种方式接入物联网平台:
a) 间接接入:感知控制设备的通信能力有限时,感知控制设备通过网关接入物联网平台。
b) 直接接入:具备直接接入物联网平台功能的感知控制设备可不通过其他逻辑网元,直接与物联
网平台之间进行感知数据和控制数据的交互。
感知控制设备接入网关或物联网平台时可上传感知数据,网关或物联网平台也可向感知控制设备
发送控制数据。本部分仅规范感知控制设备接入网关或物联网平台时的数据管理功能,网关的数据管
理功能主要包括数据存储、数据分析、数据预处理、数据安全,物联网平台的数据管理功能主要包括数据存储、数据分析、数据预处理、数据呈现、数据分发规则制定、数据分发、数据安全。
5 数据采集
5.1 通用要求
感知控制设备中采集的感知数据和执行的控制数据要求如下:
a) 应支持对结构化数据、非结构化数据、半结构化数据等类型数据的采集;
b) 应支持多种异构数据源的接入并实现数据格式的转换。
5.2 感知数据要求
感知数据要求可包括:
a) 感知单元生成并输出感知数据,其内容是感知单元从感知对象上获取的表征数据;如温湿度传
感器生成并输出空气温度、湿度数据,电子血压计生成并输出血压、脉搏数据等。
b) 对于智能感知控制设备感知单元,其输出的感知数据是通信协议封装的二进制数字信号形式,
可使用不同的通信协议封装。
c) 对于非智能感知控制设备感知单元,其输出的感知数据是模拟量形式,可被网关接收和处理。
d) 网关输出的感知数据是经过网关对原始感知数据处理后的数据,对各种不同的感知单元通信
协议进行解析,使用统一的通信协议封装,并以二进制数字信号形式输出处理后的感知数据。
5.3 控制数据要求
控制数据要求可包括:
a) 控制数据传递到控制单元对被控对象实施控制;如控制发电机启动或停机,调整空调的温度设
定值,调整电动机的转速等。
b) 控制数据由物联网平台生成,直接或经网关发给控制单元。
c) 对于智能感知控制设备控制单元,接收的控制数据是通信协议封装的二进制数字信号形式。
d) 对于非智能感知控制设备控制单元,接收的控制数据是模拟量形式。
6 数据处理
6.1 数据预处理
6.1.1 数据异构转换
数据异构转换指从不同协议消息格式承载的数据进行结构转换,转换为感知控制设备、网关或平台
可识别处理的数据结构,要求如下:
a) 应支持感知控制设备或平台的通信协议;
b) 应支持解析指定的感知数据包和控制数据包;
c) 应支持通过协议转换模块进行数据结构转换,实现感知控制设备与网关或平台之间数据互通。
6.1.2 数据抽取
数据抽取指从数据源中提取数据的过程,要求如下:
a) 应支持全量抽取、增量抽取、基于日志抽取等抽取模式,可支持地理空间信息数据的抽取;
b) 应支持数据抽取格式和流程的自定义配置;
c) 对文本、图像、音频、视频等数据特征抽取应符合GB/T 32630-2016中6.4的要求。
6.1.3 数据清洗
数据清洗指利用现有数据挖掘手段和方法将脏数据转化为满足数据质量要求或应用要求的过程。
要求如下:
a) 应支持对错误数据、无效数据、重复数据等异常数据的处理;
b) 应支持对缺失数据进行填补;
c) 应支持对数据不一致性进行监测。
6.1.4 数据质量评估
数据质量评估是针对现有的数据质量问题,通过测试和改善数据综合特征来优化数据使用价值的
过程。数据质量的评估指标及方法见GB/T 36344-2018。
6.2 数据存储
6.2.1 通用要求
数据存储通用要求如下:
a) 应支持时序型数据库存储实时性数据,可用于监测、检查设备所采集的实时数据等;
b) 应支持关系型数据库存储历史性数据,可用于分析优化生产管理过程等;
c) 数据存储前应对数据进行预处理,包括数据清洗与数据质量评估等;
d) 可提供存储调度、存储监控、存储管理的可视化管理界面。
6.2.2 存储调度
存储调度要求如下:
a) 应支持制定存储调度计划,尤其是对存储节点的迁移、扩容、复制、更改、删除等操作进行规划
和执行;
b) 应支持满足不同使用方的需求动态调度存储服务;
c) 应支持存储权限的划分,并通过资源排队、时间划分等机制进行存储服务的优化。
6.2.3 存储监控
存储监控要求如下:
a) 应支持按照需求定制存储监控计划;
b) 应支持存储状态监控;
c) 应支持监控、追踪各存储服务使用方对存储部位执行的所有操作;
d) 应支持存储资源信息、文件信息以及历史操作等数据的获取。
6.2.4 存储管理
存储管理要求如下:
a) 应支持存储分级策略,尤其是支持单机级、跨平台级等级分类的划分;
b) 应支持数据隔离机制,使不同数据使用方的数据相互独立不可见;
c) 应支持各类数据模型融合功能;
d) 应支持本地和远程的数据导入和导出等功能。
6.2.5 存储备份
存储备份要求如下:
a) 应支持备份进程并行的容错机制,备份进程的宕机不影响数据的可用性;
b) 应支持数据备份的集中控制,应针对不同使用要求制定数据备份策略;
c) 应支持镜像备份、冗余备份等方式提高数据存储可靠性;
d) 应支持备份程序与应用程序的分离;
e) 应支持对备份数据进行压缩存储。
6.3 数......
|