Q/SY
中国石油天然气集团有限公司企业标准
Q/SY10845—2021
勘探开发数据入湖技术规范
Specification for oil and gas E&P data into data lake
2021－09—07发布
2021－11－15实施
中国石油天然气集团有限公司 发布 Q/SY10845—2021
目 次
前言
1
范围规范性引用文件
2
3 术语和定义 4角色与职责 4.1 数据湖管理员 4.2 数据人湖用户 5 数据人湖管理 5.1 用户权限管理 5.2 客户端标识管理 5.3 数据令牌管理 5.4 目录标识申请 5.5 数据人湖时间勘探开发主数据人湖
2
6
?
6.1 人湖要求 6.2 人湖流程勘探开发业务数据人湖 7.1结构化数据人湖 7.2非结构化数据人湖 7.3时序数据入湖参考文献
H
11 -- 16
19 Q/SY10845—2021
前言
本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的
规定起草，
本文件由中国石油天然气集团有限公司标准化委员会信息技术专业标准化技术委员会提出并归口
本文件起草单位：勘探与生产分公司。昆仑数智科技有限责任公司。勘探开发研究院。 本文件主要起草人：丁建宇、黄文俊、孟令培、王华、项建、任芳、梁肖、李欣、吴立明、曾忠。
曹晨、杨芬、王延峰、苗新康、闫林、李小波、石兵波、邵艳伟、李心浩。
I Q/SY 10845—2021
勘探开发数据入湖技术规范
1范围
本文件规定了油气勘探开发主数据结构化数据、非结构化数据、时序数据人湖的原则和要求。 本文件适用于各油气田企业数据人湖用户及所指定的专业应用系统数据入湖用户（简称数据人湖
用户）向勘探开发梦想云数据湖开展数据人湖工作。
规范性引用文件
卫
本文件没有规范性引用文件
S
3术语和定义
下列术语和定义适用于本文件
3.1
数据湖data lake 勘探开发梦想云架构下的数据存储环境。
3.2
数据入湖 data into data lake 数据源系统向数据湖（3.1）写入数据的行为。
3.3
勘探开发主数据exploration and development master data 与油气勘探开发业务相关的各主数据。包括矿权，组织机构 人员 项目、井、井筒、地质单
元、物探工区、生产层段、 生产设施。设备等数据表。 3.4
勘探开发业务数据 exploration and development business sdata 与油气勘探开发业务相关的各类数据， 包合油气勘探，油气开发，油气生产等数据，数据类型包
括结构化数据。非结构化数据，时序数据。数据湖将半结构化数据按照结构化数据和非结构化数据进行存储。 3.5
勘探开发时序数据 exploration and development time series data 在勘探开发作业中按时间维度所产生的记录数据，包括随钻测井数据，油气流量数据等。
3.6
数据令牌 data token 按照用户权限及入湖数据表，生成数据令牌的特殊编码，绑定到数据人湖的微服务接口中，作为
数据推送的钥匙，保障人湖数据的安全。 Q/SY 10845—2021
4角色与职责
4.1数据湖管理员
数据湖管理员负责数据人湖用户的权限及微服务的使用管理。包括对用户的创建，变更，审核微服务调用授权等相关操作的管理及已人湖数据的目常维护。 4.2数据入湖用户
数据人湖用户负责人湖数据的整理，准备和人湖操作，满足人湖数据质量及人湖时限性要求。
5数据入湖管理 5.1用户权限管理
数据湖管理员根据勘探开发梦想云数据湖建设的用户范围。向数据人湖用户发放用户账号及所需环境信息。 5.2客户端标识管理
数据湖管理员向数据人湖用户发放客户端标识，即clientID，作为数据人湖用户访问数据湖微服务的唯一身份标识。 5.3数据令牌管理
数据入湖应用通过勘探开发梦想云平台申请数据令牌，数据湖管理员审核并发放数据令牌，同时给予构成人湖数据表物理主键的4位编码：作为物理主键ID的数据表编码部分。 5.4 自录标识申请
数据人湖应用通过勘探开发梦想云平台申请目录标识，即diID，作为非结构化数据人湖的数据集标识。 5.5数据入湖时间
按照勘探与生产分公司相关业务部门的管理要求实施数据人湖，可分时限和时序2类： a）时限：日、月、季、年间隔： b）时序：秒，分，时间隔
6勘探开发主数据入湖 6.1入湖要求
勘探开发主数据人湖应符合逻辑主键唯一及微服务调用的相关要求： a）逻辑主键应唯一。 b）遵循数据湖物理主键ID的生成规则。物理主键ID由4位主数据简码2位“油田简
码*9位顺序码*构成，共计15位。其中主数据简码符合表1的规定，油田简码符合表2 的规定。
C）主数据类别代码作为微服务引用的识别码，符合表1的规定。
2 Q/SY 10845—2021
表1主数据内容列表
序号 1 2 3 4 5 6 7 00 9 10 11
主数据简码 MNCL ORGA EPLY ACTI WELL WEBH GEUT
主数据类别名称
主数据类别代码 CD_MINING_CLAIM CD_ORGANIZATION CD_EMPLOYEE
矿权组织机构人员项目
CD_ACTIVITY CD_WELL CD_WELLBORE CD_GEO_UNIT
# 井简地质单元物探工区生产层段生产设施设备
SITE CMPL PRFC EQUI
GEUT CD_COMPLETION CD_PROD_FACILITY
CD_EQUIP
表2 油田简码清单
序号 9 10 11 12 13 14 15 16
序号 1 2 3 4 5 6 7 8
油田简称青海华北吐哈冀东玉门浙江煤层气南方
油田简称大庆辽河长庆西南塔里木新疆吉林大港
油田简码 QH HB TH JD YM
油田简码 DQ LH CQ XN
TL XJ JL DG
ZI MC NF
6.2 入湖流程
6.2.1 总体要求
勘探开发主数据人湖流程应遵循主数据调用。主数据全生命周期管理的要求： a）数据人湖用户从平台调取主数据微服务； b）按照主数据全生命周期内相关属性的变更情况，调用相关的主数据微服务： c）流程中弓用的微服务地址符合表3的规定，微服务填写说明符合表4～表15的规定。
6.2.2 主数据注册微服务标准规范
主数据注册服务是将源数据注册为数据湖主数据的过程，具体的输人及返回参数的格式应符合表4 和表5的规定。
3 Q/SY 10845—2021
表3勘探开发主数据管理微服务列表微服务地址（URL）
序号 微服务类别
请求方式
微服务描述
/api/sys/masterdata/manage/(mdType ]/ [ dataRegion J/registe /api/sys/masterdata/manage/(mdType) f dataRegion /mapping /api/sys/masterdata/manage/( mdType) metadata
主数据注册服务。将源数据注册为数
主数据注册
POST
1
据湖主数据
主数据映射服务，将其他数据应用的主数据映射到已注册的主数据上查询主数据的元数据，指查询指定主数据类型的属性信息
2
POST
主数据映射
主数据查询
3
GET
主数据查询 api/sys/masterdata/manage/fmdType) GET 查询主数据注册/映射情况。与指定
4
数据源对比，按条件查询主数据中符合条件的已注册或映射的数据情况查询已注册的主数据，按条件查询已经注册审核过的主数据，并分页返回验证指定主数据是否存在。指按主数
[dataRegion //checkdata /api/sys/masterdata/manage/( mdType/ fdataRegion /getpagedata /api/sys/masterdata/manage/(mdType// check
主数据查询
GET
GET 据唯一性字段进行查询，检查数据是
6
主数据查询
否已经注册
表4主数据注册微服务输入参数标准规范参数类型
参数名
参数说明
是否必填
国国国团国
mdType dataRegion configld data identity
string string string 数组 string
主数据类型，符合表1的规定注册数据归属油田主数据数据源配置ID，取自获取主数据来源配置列表查询结果的configld 要注册的数据列表身份标识
表5 主数据注册微服务返回参数标准规范参数类型
参数描述
参数说明
结果数据，可以是失败信息。异常情况及数据结果消息，成功、失败及异常返回失败或异常信息结果状态，1表示成功，0表示失败。一1表示异常
retum.resultData retun.resultMessage retum.resultState
object string integer
主数据映射微服务标准规范
6.2.3
主数据映射服务可将其他数据应用的主数据映射到已注册的主数据上，具体的输人及返回参数的格式应符合表6和表7的规定。 6.2.4查询主数据的元数据微服务标准规范
查询主数据的元数据可以得到指定主数据类型的属性信息，具体的输人及返回参数的格式应符合表8和表9的规定。 4