迪思杰(北京)数据管理技术有限公司
DSG销售总监 顾利斌 13910969468 1
太平洋保险集团
“家园项目”大数据平台 DSG 应用
(oracle&kafka)
项目背景
根据太平洋保险集团的 IT 建设规划,在 2017 年年底,需要完成“一个太保,
共同的家园”项目(简称家园项目),旨在给客户提供更加便携、全面的服务,
通过一个家园平台,就能够完成所有的服务。
众所周知,太平洋保险的业务范围非常广泛,囊括了产险、寿险、车险等业
务,同时,一个险种又由多个系统共同提供服务。现在要在一个平台上完成这些
服务,数据的汇聚、集中、转换就成了整个项目的核心与难点。
项目需求
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下
属的寿险,产险,车险等 30 多个核心系统数据,通过实时同步复制的方式,统
一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,
具体需求如下:
1、 需要将核心数据从 30 多个系统同步到大数据平台的 kafka 组件。
2、 确保数据复制的实时性(秒级)和数据的准确性
3、 复制的数据需要加上时间,操作类型等标签,便于后端应用识别
4、 以生产环境的 dg 库作为数据的汇聚源端,减轻对生产库的影响
5、 入 kafka 的数据格式可灵活配置,以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能,便于核对数据的准确性
迪思杰(北京)数据管理技术有限公司
DSG销售总监 顾利斌 13910969468 2
项目难点
在实现整个家园项目的数据汇聚中,根据项目需求和实际的生产环境情况,
要完成整个数据同步,主要存在以下一些难点:
1. 涉及的业务系统众多。据初步规划,此平台需要接入的核心生产系统有
30 多个,既有 oracle,也有 mysql、db2 等,每个系统的基础平台和数
据格式千差万别,
2. 数据量大。目前整个平台需要的数据容量超过 30T。并且源端业务系统
是非常严格的 7x24 小时系统,这就给初始化带来很大的难度。
3. 网络带宽资源有限。生产环境数据都在上海数据中心,大数据平台在成
都数据中心,中间的网络带宽是所有业务系统共用,因此不能过大占用
带宽资源。
4. 业务量大。数据库每天的归档量均在 800G 以
数据/项目/系统/平台/家园/生产/业务/太平洋/核心/服务/
数据/项目/系统/平台/家园/生产/业务/太平洋/核心/服务/
-->