
ICS 35.240.01
CCS L 07 23
黑
龙 江 省 地 方 标 准
DB 23/T 3881—2024
网络数据质量管理规范
2024 - 12 - 03 发布
2025 - 01 - 02 实施
黑龙江省市场监督管理局 发 布
DB 23/T 3881—2024
前
言
本文件按照GB/T 1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由中共黑龙江省委网络安全和信息化委员会办公室提出并归口。
本文件起草单位:哈尔滨工业大学、哈尔滨理工大学、黑龙江省网络空间研究中心、国网黑龙江省
电力有限公司电力科学研究院、中国移动通信集团黑龙江有限公司、中国移动通信集团设计院有限公司。
本文件主要起草人:余翔湛、胡智超、刘立坤、葛蒙蒙、陈晓明、史建焘、陈石、王晓萌、苗钧重、
郭明昊、于海宁、叶麟、张大禹、方舟、王孝余、尚方、刘生、史心月、王莹莹、杜勇、郑翘楚、杜刚、
薛克锋、冯琳琳。
I
DB 23/T 3881—2024
网络数据质量管理规范
1 范围
本文件界定了网络数据质量管理的术语和定义,规定了网络数据质量管理的基本准则、总体框架、
网络数据质量管理对象、网络数据质量保障、网络数据质量管理过程以及网络数据质量管理总结。
本文件适用于在通过网络进行收集、存储、使用、加工、传输、提供及公开的各类网络数据的质量
管理。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,
仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本
文件。
GB/T 25069 信息安全技术 术语
GB/T 35273 信息安全技术 个人信息安全规范
GB/T 37988 信息安全技术 数据安全能力成熟度模型
GB/T 39400 工业数据质量 通用技术规范
GB/T 41479 信息安全技术 网络数据处理安全要求
GB/T 43697 数据安全技术 数据分类分级规则
3 术语和定义
GB/T 25069、GB/T 35273、GB/T 37988和GB/T 39400界定的以及下列术语和定义适用于本文件。
3.1
数据
任何以电子或者其他方式对信息的记录。
3.2
一般数据
一般数据指的是不包含敏感信息或个人隐私的普通数据。
3.3
重要数据
重要数据是指对国家安全、经济运行、社会稳定、公共健康与安全等具有重大影响的数据。
3.4
核心数据
核心数据是指对国家安全、国民经济命脉、关键基础设施、社会关键领域、国防建设等具有极高重
要性的数据。
3.5
网络数据
通过网络收集、存储、使用、加工、传输、提供、公开的各种数据。
注: 本文件提及的数据均指网络数据。
1
DB 23/T 3881—2024
[来源:GB/T 41479—2022,3.2]
3.6
网络数据处理
个人和组织针对网络数据开展的一组特定任务的集合,主要包括网络数据的收集、存储、使用、加
工、传输、提供、公开等。
3.7
网络数据处理者
在网络数据处理活动中自主决定处理目的和处理方式的个人和组织。
3.8
数据安全
通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力。
[来源:GB/T 41479—2022,3.4]
3.9
数据质量
数据的一组固有特性满足要求的程度。
注: 固有特性一般指永久性的特性。
[来源:GB/T 39400—2020,3.1]
3.10
网络数据质量管理
指导和控制网络数据处理活动各个环节中的数据质量协调活动。
3.11
数据质量管理工具
运用信息化技术和管理方法来规划、实施与控制数据质量的识别、评价、提升等一系列活动。
4 基本原则
构建覆盖网络数据全生命周期的质量管理体系,确保数据在收集、存储、使用、加工、传输、提供、
公开等各个阶段的准确性、完整性、一致性、可用性、及时性、安全性、合规性和文档化。
5 总体框架
面向网络数据处理场景下的一般数据、重要数据和核心数据,构建网络数据质量管理框架。基于网
络质量描述,针对网络数据处理过程的各个阶段应用网络数据质量评价,规范化每个阶段的数据质量管
理。网络数据质量管理框架见图1。
2
DB 23/T 3881—2024
图1 网络数据质量管理框架
6 网络数据质量管理对象
按GB/T 43697的规定对网络数据进行分类分级,将网络数据质量管理的对象分为一般数据、重要数
据和核心数据,并在数据处理的收集、存储、使用、加工和传输、提供、公开等过程中的对管理对象实
施适宜的质量管理方案。
7 网络数据质量保障
7.1 网络数据质量评价元素
通过识别数据集、用户需求、质量目标中的质量评价元素来描述质量信息。质量评价元素可用于数
据集系列、数据集或数据集内具有相同特征的部分数据,描述数据集满足数据规范中预先设定标准的程
度,并提供定量的质量信息。数据质量评价的元素包括但不限于:
a) 准确性:数据的记录和存储应与实际情况一致。
b) 完整性:数据集的各个部分应保持完整,不得遗漏关键信息,数据在处理过程中不得被篡改或
丢失。
c) 一致性:在不同系统或数据库中的相同数据应保持一致。
d) 可用性:数据应能被有效访问和使用。
e) 及时性:数据应及时被更新和使用。
f) 安全性:应设置数据访问权限,防止数据滥用或泄露,防范未经授权的访问或修改。
g) 合规性:数据的处理应符合相关法律法规和行业标准。
h) 文档化:应对数据的来源、处理方法、变更历史等进行详细记录。
7.2 网络数据质量评价
7.2.1 评价方法
7.2.1.1 直接评价法
直接评价方法通过比较数据与内外部参考信息来确定数据质量,以及采用相应的数据质量管理工具
进行质量评价,具体可分为:
—— 完全检查法:测试数据质量范围内的所有数据项;
3
DB 23/T 3881—2024
—— 抽样检查法:测试数据质量范围内的部分数据项,抽样方法、抽样率及抽样过程应在数据质
量结果中明确体现。
7.2.1.2 间接评价法
间接评价方法通过使用与数据相关的外部知识推断或估计数据质量。
7.2.2 评价流程
网络数据质量评价针对数据处理的每个阶段都有质量评价结果输出,最终汇总分析全生命周期的数
据质量结果,输出数据质量管理报告。网络数据质量评价流程见图2。
图 2 网络数据质量评价流程
7.2.3 评价报告
数据处理的收集、存储、使用、加工、传输和提供、公开的每一个过程中,都需要进行网络数据质
量评价并形成评价报告。
8 网络数据质量管理过程
8.1 数据收集
8.1.1 准确性管理
8.1.1.1 数据收集前明确数据需求和目标,收集的数据类型和范围应与业务需求一致。
4
DB 23/T 3881—2024
8.1.1.2 应具备输入验证机制,避免错误数据的收集。
8.1.1.3 应定期校准数据采集工具和设备,确保采集过程中数据的准确性。
8.1.2 完整性管理
8.1.2.1 在数据收集过程中应无数据丢失。
8.1.2.2 若数据来自多个渠道或来源,合并后的数据应保持完整。
8.1.2.3 应实时监控数据收集过程,及时发现和处理数据丢失、错误或不完整的情况。
8.1.3 一致性管理
8.1.3.1 定义和使用应采用统一的数据格式和标准。
8.1.3.2 若数据从多个平台收集,所有平台的数据标准和格式应保持一致。
8.1.3.3 采集设备和系统的时间应保持同步,避免因时间戳不一致导致的数据错误。
8.1.4 可用性管理
8.1.4.1 应确保数据来源的可靠性和可信度,避免从不可信的渠道收集数据。
8.1.4.2 在收集数据的过程中,应实时执行数据去重和清洗,防止重复数据和无效数据进入数据库。
8.1.4.3 应建立实时反馈和纠错机制,对数据收集过程中出现的问题快速修复。
8.1.5 数据及时性
应根据业务需求设定合理的数据采集频率,确保数据的时效性。
8.1.6 安全性管理
8.1.6.1 在数据收集过程中,应使用加密技术保护数据传输,防止数据在传输过程中被截获或篡改。
8.1.6.2 应设置数据采集过程中的访问权限,确保只有授权人员或系统可以执行数据采集任务。
8.1.6.3 应记录数据采集过程中的所有操作,确保能够追溯和审计任何数据安全问题。
8.1.7 合规性管理
8.1.7.1 数据收集过程应符合法律法规和行业标准。在收集个人数据时,应获得用户的知情同意,并
提供清晰的数据使用说明。
8.1.7.2 应对数据收集过程定期审计。
8.1.8 文档化管理
应对数据收集流程文档化,详细记录每一步骤的标准操作流程和要求。
8.2 网络数据存储
8.2.1 准确性管理
在数据写入存储系统前,应进行数据的校验和验证,数据的格式、内容和来源应符合标准。
8.2.2 完整性管理
8.2.2.1 存储数据时应定期验证数据的完整性,避免数据被篡改或损坏。
8.2.2.2 应定期备份数据,在数据丢失或损坏时可有效恢复数据。
8.2.2.3 宜使用多副本存储或分布式存储系统,在某些存储设备发生故障时可恢复数据。
8.2.3 一致性管理
应确保数据的同步和复制过程正确执行,防止数据不一致或丢失。
8.2.4 可用性管理
5
DB 23/T 3881—2024
8.2.4.1 设计和部署高可用性存储架构,确保数据在系统发生故障、停机或升级时仍然可以被访问和
使用。
8.2.4.2 应对存储系统进行实时监控,及时发现并解决存储故障或性能瓶颈,保证数据的持续可用性。
8.2.4.3 宜制定并定期测试灾难恢复计划,确保在极端情况下恢复数据访问和使用能力。
8.2.5 安全性管理
8.2.5.1 对存储的重要和核心数据应进行加密,在存储介质丢失或被盗时数据受到保护。
8.2.5.2 应采取严格的访问控制措施,只有经过授权的人员和系统可访问或修改数据。
8.2.5.3 应记录所有访问和操作数据的行为,并定期审计日志以检测和防范潜在的安全威胁。
8.2.6 合规性管理
8.2.6.1 应制定并执行数据存储策略,确保数据的存储符合所有适用的法规要求。
8.2.6.2 应设定数据保留期,及时删除不再需要的数据,以减少存储风险和成本。
8.2.6.3 针对个人数据,应遵循“最小化存储原则”,仅存储必要的信息,并符合隐私保护的合规要
求。
8.2.7 文档化管理
8.2.7.1 应详细记录存储数据的来源、格式、结构、保留时间、访问权限等。
8.2.7.2 应对存储系统的架构、流程和操作指南等文档资料进行留存,可辅助数据恢复或调整存储策
略。
8.3 网络数据使用
8.3.1 准确性管理
在数据使用前,应验证数据的准确性。
8.3.2 一致性管理
8.3.2.1 应确保所有使用的数据来自同一数据源,避免数据不一致。
8.3.2.2 分布式系统或多平台环境中使用的数据应与主数据保持一致。
8.3.3 可用性管理
数据在使用过程中应能被随时访问,在关键业务操作中,应保证数据的高可用性。
8.3.4 安全性管理
8.3.4.1 应严格控制数据使用阶段的访问权限,确保只有授权用户或系统能够访问或处理特定数据。
8.3.4.2 应实时监控数据的使用情况,检测异常使用行为,及时采取应对措施。
8.3.4.3 在数据使用过程中,对重要数据和核心数据应进行加密处理,防止数据泄露。
8.3.5 合规性管理
8.3.5.1 涉及个人数据或敏感信息的使用时,应获得明确的授权并确保合规性。
8.3.5.2 应定期审计数据使用情况,所有数据使用活动应符合相关要求。
8.3.5.3 在第三方使用数据时,应签署数据使用协议,明确数据的使用范围、责任和合规要求。
8.4 网络数据加工
8.4.1 完整性管理
8.4.1.1 数据在加工过程中不应丢失或损坏。
6
DB 23/T 3881—2024
8.4.1.2 应设立错误检测机制,及时发现和修复数据加工过程中的异常或错误。
8.4.2 数据合规性管理
8.4.2.1 在数据加工过程中,应严格遵守数据隐私保护法规。
8.4.2.2 数据加工过程应具备可追溯性,并符合合规性审计要求。
8.4.3 文档化管理
对数据加工的每个步骤应进行文档化,记录加工规则、算法、参数配置等,便于后续的管理和审计
工作顺利进行。
8.5 网络数据传输与提供
8.5.1 准确性管理
在数据传输前,应对数据进行全面的验证和校验,确保数据的准确性和完整性,防止错误数据的传
递。
8.5.2 完整性管理
8.5.2.1 数据传输前后,应使用校验和技术验证数据的完整性,确保数据在传输过程中未被篡改或损坏。
8.5.2.2 应实施错误检测和纠正机制,在数据传输过程中及时检测并修正错误。
8.5.3 可用性管理
8.5.3.1 应确保数据传输顺畅,避免传输延迟或中断。
8.5.3.2 应建立数据传输的恢复机制,在传输中断时能够快速恢复传输,确保数据可用性。
8.5.4 及时性管理
8.5.4.1 宜为不同类型的数据设置传输优先级,优先级高的数据在网络拥塞时优先传输。
8.5.4.2 在提供实时或动态数据时,确保数据在提供时是最新的,防止过时数据的传输。
8.5.5 安全性管理
8.5.5.1 应确保传输双方的身份已经过验证,防止未经授权的访问。
8.5.5.2 应使用加密技术保护数据,防止数据在传输中被截获。
8.5.6 合规性管理
8.5.6.1 数据跨境传输时,应遵守相关法规(如数据出境安全评估管理办法等)。
8.5.6.2 应详细记录数据传输过程中的操作日志,包括传输时间、路径、加密方式等,并符合合规性审
计和追溯的要求。
8.5.7 文档化管理
应记录数据传输的相关信息,包括数据发送方、数据接收方、数据传输方式、数据传输起止时间、
传输的数据量等。
8.6 网络数据公开
8.6.1 可用性管理
8.6.1.1 应采用标准化的数据格式公开数据,确保数据易于访问、和使用,并且可以在不同的平台
上无缝集成。
8.6.1.2 应确保公开数据的访问服务具备高可用性,防止因访问量过大或技术故障导致的数据不可用或
服务中断。
7
DB 23/T 3881—2024
8.6.2 数据及时性
8.6.2.1 应建立数据版本管理制度,对数据的版本进行控制,在更新时提供变更日志以便追踪和验证
8.6.2.1 应确保发布的数据版本是最新的。
8.6.3 合规性管理
应建立合规性审查机制,按照相关制度进行审核,审核通过后进行数据公开。
8.6.4 文档化管理
提供详细的文档支持,说明数据的结构、字段定义、使用方法、限制和应用场景,帮助用户有效使
用数据。
9 网络数据质量管理总结
在网络数据处理完成之后,应依据每个阶段的网络数据质量管理情况,从准确性、完整性,一致性、
可用性、及时性等质量评价元素维度对网络数据的收集、存储、使用等各个阶段质量管理进行全面总结。
8
DB 23/T 3881—2024
参 考 文 献
[1] 中华人民共和国网络安全法
[2] 中华人民共和国数据安全法
[3] 中华人民共和国个人信息保护法
[4] 《数据出境安全评估管理办法》,中央网信办,2022
[5] 《促进和规范数据跨境流动规定》,中央网信办,2024
9