云上数据湖让数据“活”起来

云上数据湖 茂名石化作为集团公司首批“数据湖试点+边缘云建设”企业,从2022年9月起实施数据治理及数据湖建设项目,在炼化企业中首次采用“混合架构+虚拟资源”建成云上数据湖。云上数据湖按照集团公司多湖一中台技术路线,涵盖从软硬件基础架构到具体应用的多层次技术生态,具备采、聚、理、用、保、管6大核心能力,为数据汇聚共享、大数据分析应用、价值创造和经营管理模式创新提供了有力支撑。

本报记者 张亚培  通讯员 林家旭 梁伟忠

在集团公司信息和数字化管理部、炼油事业部、化工事业部等部门指导下,历经两年攻关,茂名石化于近日建成了系统内炼化企业首个云上数据湖。数据湖是“存储+处理”数据资源的应用载体。数据湖及配套工具能存储、处理、分析、挖掘企业的日常生产经营数据,进而沉淀企业数据要素。

云上数据湖按照集团公司多湖一中台技术路线,涵盖从软硬件基础架构到具体应用的多层次技术生态,为数据汇聚共享、大数据分析应用、价值创造和经营管理模式创新提供了有力的数据底座支撑。

决心啃下“硬骨头”

为满足不同阶段的信息化需求,集团公司各板块、企业建设了多个技术路线不一的数据平台,在一定程度上支撑了当时的应用建设,但这些数据平台积累的数据和服务的对象各有不同,具备的能力也不尽相同,存在数据流通壁垒、重复建设等问题,导致数据质量不高、用户找数用数难。

为解决这些问题,助力集团公司数字化转型,信息和数字化管理部统筹规划了基于石化智云的工业互联网平台,构建中国石化多湖一中台体系,具备采、聚、理、用、保、管6大核心能力。其中,“多湖”指总部、板块和企业三级数据湖,“一中台”指总部集中部署的数据中台,具备统一的数据治理能力、中台管控能力、数据安全能力和数据服务输出能力。

2022年9月,集团公司批复茂名石化数据湖试点建设项目,以支撑多湖一中台体系建设。由于数据湖建设属于新技术应用,没有可参考的现成案例。项目团队不断摸索、积极攻关,决心啃下这块“硬骨头”,开展技术融合和数据融合研究、测试。

搭建云资源池“大楼”

项目初期没有具体方案,总部牵头咨询相关厂商进行技术交流。根据数据湖作用和存储容量规划,厂商给出计算和存储资源建议——配置38台信创服务器满足调度管理、计算管理、存储管理三个需求,但具体建设方案仍需企业进行多方论证和测试。

2023年6月,项目团队决定开展技术测试,验证ARM模式架构建设数据湖的可行性。通过多次论证,同年8月,他们形成最终的数据湖服务器配置方案:一是形成基于企业边缘云的硬件配置方案,结合2023年企业IT基础设施提升项目云平台,基于边缘云对数据湖进行云化部署;二是按照一云多芯、多云编排、云边协同的混合云能力建设,采用“ARM信创资源池+X86资源池”混合架构模式搭建数据湖,将35台物理服务器虚拟成101台云服务器。

茂名石化企业云平台管理区全部采用信创设备搭建部署,共计13台信创服务器,不仅满足目前云平台建设需求,还为后续资源池扩容、高阶服务部署等奠定了基础。相较于传统物理服务器的IT部署方式,数据湖通过内核虚拟技术上云,在不增加服务器数量及费用的情况下,CPU由2200核增加到3600核,资源提升1.6倍,为企业节省大量硬件成本及后续维护更新费用,提高了单台服务器的资源利用率。

精心“装修”云资源池

搭建好云资源池“大楼”后,项目团队精心“装修”室内,加快在企业边缘云上的数据湖建设。他们遵循集团公司多湖一中台技术路线搭建了云上数据湖,将大数据技术深度融合云计算技术,加强边缘云应用场景云上数据湖建设,有效降低管理复杂性,提高灵活性。

经过两年的攻坚,项目团队成功探索出云上建设数据湖的技术路线,在炼化企业中首次采用“混合架构+虚拟资源”建成云上数据湖,有效解决公司实时数据应用难的问题,增强了数据即时获取、集中共享能力。

为发挥数据湖作用,项目团队积极与计量专业、节能专业的技术骨干对接,成功开发质量流量计数据监控分析应用、能效分析应用等多个场景。

他们对流量计关键参数的数据进行分类提取、整理和分析,实现了油品计量过程中的异常信息快速捕获,有效提升计量过程管控和数据偏差根本原因分析的能力,同时形成《数据治理助力计量数据监控分析效率提升》案例,获评中国石化数据应用优秀案例。

他们积极开发能效分析应用,实现对加热炉、压缩机、空冷风机等关键用能设备和参数进行实时监控分析。在每周二、五茂名石化调度会上,他们都会打开能效分析应用,分析用能参数完成情况,通报班组实时操作变化,督促各单位强化节能优化调节,通过能效实时数据驱动公司能源管理水平提升。

留言板

□茂名石化信息中心经理 邱 军:

虽然我们已建成云上数据湖,但对其的拓展应用仍需加强。下一步,我们要加快开发计量分析等数据应用、数据共享服务组件,拓展数据湖应用场景、验证数据治理成果、提高业务处理效率,充分利用云上数据湖发挥数据要素价值,助力公司降本增效。

信息来源:中国石化报
2024-08-21