您当前的位置:首页>论文资料>基于唯一ID的自动运维监控体系研究与实现

基于唯一ID的自动运维监控体系研究与实现

资料类别:论文资料

文档格式:PDF电子版

文件大小:2.16 MB

资料语言:中文

更新时间:2024-12-19 17:36:33



推荐标签:

内容简介

基于唯一ID的自动运维监控体系研究与实现 应用研究
数字执本与用
基于唯一ID的自动运维监控体系研究与实现
于卫国吕勤
(银联商务有限公司技术开发中心,上海201203)
摘要:金融行业为适应互联网业务的挑战需要建设自动化运终系统,在传统软件上支持自动化运维系统需要构建以唯一ID为基础的日志和流水体系,进行数据信息的汇聚、关联才能支持大数据平台智能分析、自动应急处理。
关键词:ID;双态IT;自动运维
中图分类号:TP391 1双态系统模型
文款献标识码:A
随着互联网创新企业给传统金融业的带来的压力,传统金融T 互遇到的挑战,联想等十二家企业提出“双态“方法论,使企业植理实现“互联网+"转型。“双态IT"聚焦于企业业务的稳、敏分析,帮助企业IT部门采用传统的集中式和新兴的互联网分布式等信息技术架构,构建一套稳态,敏态和谐共存的新型IT架构。稳态IT的特征是业务按照传统方式经营,战略目标明确,业务流程相对成熟;敏态 IT业务则采用“互联网+“思维模式,业务模式本身处在不断探索、优化、总结的过程,需要通过不断试错来逐步完善。
对于布局在电子商务、金融支付类的传统企业最为迫切的解决快速和高质量的交付问题、自动运维(应急处理、资源管理、问题分析处理)、自动监控等间题,这些企业I治理间态转型,学习敏态的开发、测试和运维一体化涉及组织架构调整难度较大,而对现有系统
优化改造,优化自动运维、自动监控流程更易实现。 2稳态系统运维问题
金融行业传统业务为稳态业务模型,传统IT为IOE架构,每个业务系统为单体应用,内部调用流程固定,系统建设是逐步措积术,未规划内部数据交互格式。按照业务发展的顺序形成了由核心账户向外围渠道、外围增值业务扩展的层次架构
传统企业IT运行中心在运维监控主要面临以下间题。
一是信息孤岛间题。(1)不能综合使用日志和报错信息。运行人员以数据库交易记录为主要依据,未自动关联业务系统内部各模块记录的大量日志和报错信息。(2)不能关设备信息。系统管理员只分析CPU、IO、内存、磁盘空间的静态数据;数据库只分析自身资源使用情况,没有与应用目志和错误信息关联(3)使用系统监控信息、应用目志,数据库记录的运维经验无法与其他运行人员共享,
二是间题分析定位慢。运维以人工判断分析为主,自动化程度低。(1)由于信息孤岛,出现问题后错误信息会大量最产生,很难判断出根源是应用、网络、系统。(2)运行人员分析的日志程序报错信息,交易流水等没有自动关联,运行人员从数据库中查询符合条件的流水集合,确定其中一条记录,选择业务主键,打开日志文件,根据业务主键搜索主机日志中关联记录,根据经验分析日志,给出间题描述。
三是应急响应慢。故障处理、资源扩展人工操作。(1)应急处理时人工根据各类信息判断问题原因,根据应急处理预案进行排查处理,恢复业务,处理时间较长。(2)系统资源只能采用硬件允余,按照最大峰值购买和配置资源,平时浪费资源,一且交易出现爆发增长
收稿日期:2017-06-20
文章编号:1007-9416(2017)06-0056-02 无法应对。
解决传统系统的运维关键在于把各类信息有效汇聚关联。以信息流为切人点,对于每一个内外部交易请求生成目志ID键,该目志 ID键没有业务属性,仅用于标识该请求,并贯穿于整个交易处理环节。在应用数据库中定义业务ID键,业务ID键与志ID键关联。以这两类ID为基础构建大数据分析平台,使数据聚合、关联,建模自动化分析,形成自动执行指令;同时在Ⅱ基础架构支持软件定义资源,配
合指令执行应急策略。 3敏态系统运维
新型互联网企业自动化运维有以下特点。一是用户或业务变化率大,交易量大、瞬间产生巨大流量,要实时分析海量目志、报警信息、交易流。二是系统架构微服务化、服务调用动态化,运维系统智能化发现问题、自动化处理问题、自动隔离问题模块。三是软件定义运维成为发展趋势、运维软件平台PAAS化。
3.1消除信息孤岛
规范日志格式,使用统一的日志方法类库在数据输人和输出的关键点埋点,即规范数据采集位置和深度;部署统一的目志收集服务。建立端到端全栈监控体系,从用户端的各类客户端(手机、 PAD、浏览器)进行采样、到应用服务器信息聚集、再到基础架构(中间件、数据库,网络、服务器、云平台监控数据。
3.2大数据数据分析
使用大数据技术进行数据采集、格式化、集中存储。使用分析弓!
擎,关键字解析处理数据,基于经验沉淀建立分析模型,进行自学习、预测风险、异常预警,从而实现运维分析的实时化、自动化、智能化。
3.3构建快速自动处理机制
以自动化配置的IT基础架构为基础,敏态管理采用微服务架构,云平台、容器技术。主机集群化,虚拟化,据弃小型机,以低成本的 PC分布式集群为基础支持动态扩展。大量使用云平台、容器 DOCKER技术,以便手服务动态扩展。以软件定义服务、软件定义资源为管理手段提升运维响应速度。阿单云平台,AWS等开放云平台都提供的接口调用,可以实现分钟级别的虚拟机申请,而DOCKER 则能够作为秒级的申请和部署。
企业通过构建统一数据、大数据分析、微服务和容器等技术,实现了以数据聚合关联为基础,以建模分析和智能分析为依据,以自动化执行为结果的敏态运维体系。系统运维由手工向智能自动化转变,自动判断系统邮些节点可能有问题,自动隔离,恢复业务。
3.4典型应用
作者简介于卫国(1970一),男,甘肃靖远人,MBA硕士,工程师,研究方向:电子商务、第三方支付系统、网络安全;吕勤(1972一),女,上海,
工程师,研究方向:第三方支付、大数据、软件质量管理。
万方数据
上一章:交交变频器应用性研究 下一章:基于双目视觉的靶丸定位系统设计

相关文章

基于大数据平台的自动化运维及监控技术研究 数据中心自动化运维平台的设计与实现 面向视频监控的软件自动化测试技术与实现探讨 干散货自动清舱监控系统的信息平台设计与实现 基于单片机的水位监控系统的设计与实现 基于GPRS的无线电力监控系统的设计与实现 基于.NET的网络视频监控接口的设计与实现 基于光纤通道的航电总线监控系统设计与实现