ICS 35.040
CCS L 71
中华人民共和国国家标准
GB/T 42382.1—2023
信息技术 神经网络表示与模型压缩
第1部分：卷积神经网络
Information technology—Neural network representation and model compression—
Part 1:Convolutional neural network
2023-03-17发布
2023-10-01实施
国家市场监督管理总局
发布国家标准化管理委员会
GB/T 42382.1—2023
目次
前言 …………………………………………………………………………………………………………………Ⅲ
引言 …………………………………………………………………………………………………………………IV
1 范围 …………………………………………………………………………………………………………………1
2 规范性引用文件 ………………………………………………………………………………………………1
3 术语和定义 ……………………………………………………………………………………………………1
4 缩略语 ……………………………………………………………………………………………………4
5 约定 ………………………………………………………………………………………………………………4
5.1 规则 …………………………………………………………………………………………………………4
5.2 算术运算符 ………………………………………………………………………………………………4
5.3 逻辑运算符 …………………………………………………………………………………………5
5.4 关系运算符 …………………………………………………………………………………………5
5.5 位运算符 ………………………………………………………………………………………………5
5.6 赋值 …………………………………………………………………………………………………………5
5.7 数学函数 ……………………………………………………………………………………………………6
5.8 结构关系符 ………………………………………………………………………………………………7
5.9 解析过程和解码过程的描述方法 ……………………………………………………………………7
6 神经网络模型的语法和语义 …………………………………………………………………………………7
6.1 数据结构 …………………………………………………………………………………………………7
6.2 语法描述 ……………………………………………………………………………………………9
6.3 语义描述………………………………………………………………………………………………15
7 压缩过程……………………………………………………………………………………………………75
7.1 多模型…………………………………………………………………………………………………75
7.2 量化…………………………………………………………………………………………………80
7.3 剪枝 …………………………………………………………………………………………………102
7.4 结构化矩阵 ……………………………………………………………………………………………105
8 解压过程(解码表示)…………………………………………………………………………………112
8.1 多模型 ……………………………………………………………………………………………………112
8.2 反量化 ……………………………………………………………………………………………………118
8.3 反稀疏化/反剪枝操作……………………………………………………………………………128
8.4 结构化矩阵 ……………………………………………………………………………………………131
9 数据生成方法 …………………………………………………………………………………………………138
9.1 定义 …………………………………………………………………………………………………138
9.2 训练数据生成方法 …………………………………………………………………………………139
9.3 多模型 ……………………………………………………………………………………………………145
9.4 量化 …………………………………………………………………………………………………150
9.5 剪枝 ………………………………………………………………………………………………………169
9.6 结构化矩阵 …………………………………………………………………………………………176
10 编解码表示………………………………………………………………………………………………184
10.1神经网络模型权重压缩位流的语法和语义………………………………………………………184
10.2 权重压缩位流的语法描述……………………………………………………………………………189
10.3 权重压缩位流的语义描述……………………………………………………………………………212
10.4 权重压缩位流解析过程………………………………………………………………………………222
10.5 权重压缩位流解码………………………………………………………………………………233
11模型保护……………………………………………………………………………………………………241
11.1 模型保护定义………………………………………………………………………………………241
11.2 模型加密过程…………………………………………………………………………………………242
11.3 模型解密过程………………………………………………………………………………………243
11.4 密文模型数据结构定义………………………………………………………………………………245
附录 A(资料性)专利列表 …………………………………………………………………………………246
参考文献………………………………………………………………………………………………………247
信息技术 神经网络表示与模型压缩
第1部分：卷积神经网络
1 范围
本文件规定了卷积神经网络离线模型的表示与压缩过程。
本文件适用于各种卷积神经网络模型的研制、开发、测试评估过程，以及在端云领域的高效应用。注：对于本文件规定的表示与模型压缩方法不要求机器学习框架原生支持，可以通过转换、工具包等形式支持。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
GB/T 5271.34—2006 信息技术 词汇 第34部分：人工智能 神经网络
3 术语和定义
下列术语和定义适用于本文件。
3.1
编解码表示 codec representation使用压缩技术减少模型的规模。注：具体定义参考编解码表示，见第10章。
3.2
层 layer
神经网络中的分级结构。注：每个网络层包含多个个算子，例如输入层，卷积层，全连接层。
3.3
参考随机向量 reference random vector整个网络共存的基础符号向量。
3.4
多重INT4量化 multiple INT4 quantization一种量化的方式，将一个张量量化为多个INT4张量的组合的量化方式。
3.5
封装表示encapsulation representation支出安全信息和身份验证等接口。注：具体定义参考模型保护，见第11章。
3.6
分块结构化矩阵 block structured matrix可以分为多个块，且每个分块均按照某种规律排列的矩阵。