江苏省公安厅警综汇聚大数据项目DSG应用（13地市Oracle实时同步到省中心的Greenplum）.pdf
立即下载
=_=
2025-01-17
数据
汇聚
警综
系统
整合
实时
省厅
十三
技术
项目
167.1 KB
迪思杰（北京）数据管理技术有限公司
DSG销售总监 顾利斌 13910969468 1
江苏省公安厅
全省警综汇聚大数据项目 DSG 应用
（oracle&greenplum）
项目概述
随着大数据时代的到来，省厅下辖各级公安机关警综系统采集汇聚的数据量
日益巨大、数据结构更加复杂，增长迅速。目前，省厅还未建立有效的警综系统
数据汇聚手段，原有的数据抽取整合工具在传输海量结构化数据时效率低下，且
无法满足各类数据抽取整合的需要。为解决因数据分散导致的资源共享不及时、
利用率不高等问题，省厅急需开展警综系统数据汇聚整合工具建设，实现对下辖
各级公安机关警综系统的高效抽取汇聚和关联整合，进一步丰富全警实战应用需
要。
需求描述
完成省厅下辖十三个地市警综系统（Oracle）数据实时汇聚到省厅警综系统
集中库（GP）。
省内下辖十三个地市的警综系统进行数据汇聚，数据量目前估算约为
20-24TB左右；
省内下辖十三个地市的警综系统进行数据汇聚，要求数据为实时或准实
时复制，原有数据汇聚整合工具，无法做到实时或准实时的数据汇聚，
并经常发生丢或漏数据的情况；
省内下辖十三个地市的警综系统进行数据汇聚，部分地市有个性化开发，
导致有的地市表结构不完全相同（关键字段是有的），考虑汇聚共性字段；
省内下辖十三个地市的警综系统进行数据汇聚，从地市警综系统生产端
压力考虑，目前采用从警综前置机或备份库上进行数据汇聚，地市前置
库或备份库具体建立技术标准，由省厅统一下发；
迪思杰（北京）数据管理技术有限公司
DSG销售总监 顾利斌 13910969468 2
省内下辖十三个地市的警综系统进行数据汇聚，为了便于对汇聚库资源
进行整合，地市相同表名的数据同步省厅，需要整合到同一个表内；
项目难点
在此项目中，需要实现 oracle 到 GP 之间的数据实时复制，这类解决方
案在整个业界的可选性就不是很多，同时，涉及到的地市和数据量众多，以
及异构数据库之间的各种技术细节，难点众多。根据客户的需求以及现有技
术的特点，该项目主要存在以下几方面的难点：
1. 数据量大。全省 13 个地市的数据预计由 20-30T，这就要求产品在数据的
处理能力上要具有较高的效率。
2. 实时性要求高。为满足汇聚结果实
数据/汇聚/警综/系统/整合/实时/省厅/十三/技术/项目/
数据/汇聚/警综/系统/整合/实时/省厅/十三/技术/项目/
-->