太平洋保险家园大数据项目DSG应用（30多个Oracle实时同步到KAFKA）.pdf

立即下载 作者: =_=
上传时间: 2024-07-18
关键词: 数据 项目 系统 平台 家园 生产 业务 太平洋 核心 服务
大小 175.3 KB
描述
迪思杰（北京）数据管理技术有限公司
DSG销售总监 顾利斌 13910969468 1
太平洋保险集团
“家园项目”大数据平台 DSG 应用
（oracle&kafka）
项目背景
根据太平洋保险集团的 IT 建设规划，在 2017 年年底，需要完成“一个太保，
共同的家园”项目（简称家园项目），旨在给客户提供更加便携、全面的服务，
通过一个家园平台，就能够完成所有的服务。
众所周知，太平洋保险的业务范围非常广泛，囊括了产险、寿险、车险等业
务，同时，一个险种又由多个系统共同提供服务。现在要在一个平台上完成这些
服务，数据的汇聚、集中、转换就成了整个项目的核心与难点。
项目需求
根据太保家园项目的最终目标，在一期建设中，需要将太平洋保险集团下
属的寿险，产险，车险等 30 多个核心系统数据，通过实时同步复制的方式，统
一集中到大数据平台。其中涉及数据的转换，标化，清洗，去重等一系列过程，
具体需求如下：
1、 需要将核心数据从 30 多个系统同步到大数据平台的 kafka 组件。
2、 确保数据复制的实时性（秒级）和数据的准确性
3、 复制的数据需要加上时间，操作类型等标签，便于后端应用识别
4、 以生产环境的 dg 库作为数据的汇聚源端，减轻对生产库的影响
5、 入 kafka 的数据格式可灵活配置，以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能，便于核对数据的准确性
迪思杰（北京）数据管理技术有限公司
DSG销售总监 顾利斌 13910969468 2
项目难点
在实现整个家园项目的数据汇聚中，根据项目需求和实际的生产环境情况，
要完成整个数据同步，主要存在以下一些难点：
1. 涉及的业务系统众多。据初步规划，此平台需要接入的核心生产系统有
30 多个，既有 oracle，也有 mysql、db2 等，每个系统的基础平台和数
据格式千差万别，
2. 数据量大。目前整个平台需要的数据容量超过 30T。并且源端业务系统
是非常严格的 7x24 小时系统，这就给初始化带来很大的难度。
3. 网络带宽资源有限。生产环境数据都在上海数据中心，大数据平台在成
都数据中心，中间的网络带宽是所有业务系统共用，因此不能过大占用
带宽资源。
4. 业务量大。数据库每天的归档量均在 800G 以
目录
数据/项目/系统/平台/家园/生产/业务/太平洋/核心/服务/ 数据/项目/系统/平台/家园/生产/业务/太平洋/核心/服务/