ELK>> cupid-go>> 返回
项目作者： masixun71

项目描述 ：
Data synchronization compensation tool
高级语言： Go
项目地址: git://github.com/masixun71/cupid-go.git
创建时间： 2019-01-29T09:11:40Z
项目社区：https://github.com/masixun71/cupid-go
开源协议：Apache License 2.0
下载




cupid-go

Data synchronization compensation tool

简介

cupid-go是一个消息同步补偿工具，适用于在canal这类的实时同步数据中间件之外的同步补偿工具，也适用于实时缓存这类的及时更新工具，对数据同步进行双保险，一般canal的延迟在毫秒左右，cupid建议设置在秒左右，做补偿专用，canal的消费端嵌入业务代码可以更方便开发和消费，cupid作为更通用的补偿方案,所以建议不要嵌入业务代码，补偿机制采用http回调来保证，失败会重试直到成功，若回调失败会通知（目前采用pushbear微信即时通知,简单即时）。

线上已正常运行版本

  • v0.0.4以上

环境要求

  • 编译源代码建议go版本在1.10以上

安装步骤

1.可选择编译代码或直接下载执行文件

  1. 若采用编译代码，执行
  2. go build  cupid.go

或直接去以下链接下载

https://github.com/masixun71/cupid-go/releases

2.填写一个我们的配置文件（任意目录，要求json）

配置详情 (可参考testConfig.json)

  1.     {
  2.     "workerNumber": 3, //最低值3，前2个进程是manager和callback进程，之后的才是处理进程
  3.     "logDir": "/tmp", //日志目录，进程日志会打印到该目录下
  4.     "failureJobRetrySecond": 10,  //失败队列重试间隔
  5.     "src": {
  6.         "dsn": "user:password@tcp(127.0.0.1:3306)/db?charset=utf8",//数据库dsn配置
  7.         "table": "user",//我们关注的数据库表
  8.         "byColumn": "number",//通过该字段对应des的byColumn，进行比对
  9.         "insert": true, //是否关注insert的数据
  10.         "insertIntervalMillisecond": 2000, //检查insert更新的间隔时间，单位毫秒
  11.         "update": true, //是否关注update数据，若为false，则下面update开头的字段可以不用
  12.         "updateColumn": "update_time", //update为true时必填，更新的字段名，需要添加索引，不然会扫描全表
  13.         "updateIntervalMillisecond": 2000, //update为true时必填,检查update更新的间隔时间，单位毫秒
  14.         "updateScanSecond": 5, //update为true时必填,获取数据的时间间隔，当前时间减去updateScanSecond设的时间为开始时间，当前时间为结束时间
  15.         "updateTimeFormate": "Y-m-d H:i:s", //update为true时必填,数据库里数据更新字段的时间格式
  16.         "cacheFilePath": "/tmp", //若进程有异常退出或者重启，会把当前的遍历信息记录到缓存文件中，重启时直接读取缓存文件
  17.         "pushbearSendKey": "9724-73bdacb319007f53f83d0123"//若需要pushbear推送微信消息，在这填写
  18.     },
  19.     "des": [//des是一个数组，意味着我们可同时比对多个数据表
  20.         {
  21.             "dsn": "user:password@tcp(127.0.0.1:3306)/db2?charset=utf8",//数据库dsn配置
  22.             "table": "user",//我们同步的数据库表
  23.             "columns": { //关注和同步表的字段对应关系
  24.                 "number": "number",
  25.                 "name": "name",
  26.                 "avatar": "avatar"
  27.             },
  28.             "byColumn": "number",//与src的byColumn相呼应，形成关联关系来比对
  29.             "callbackNotification": {
  30.                 "url" : "127.0.0.1:20000/test/callback"//当数据不同步时的回调地址
  31.             }
  33.         }
  34.     ]
  35. }

启动项目

  1. ./cupid -c /tmp/myConfig.json -s 1
  • -c 或者--configPath（必须）: config配置的路径，需要绝对路径 ，对config配置有问题可以看文档或者testConfig.json
  • -s或者--startId(非必须): 起始的数据库表id, 优先级： shell命令传入的start_id > 默认值1

帮助

  1. ./cupid -h

pushbear

pushbear是一个基于微信模板的一对多消息送达服务，使用简单,高效,只需要申请一个key即可。

pushbear官网

回调形式

回调采用的是POST形式，Content-Type 为 application/json

  1. {
  2.     "type" : 1, 
  3.     "srcColumn" : {
  4.         "column1": "1",
  5.         "column2": "2",
  6.         "column3": null
  7.     }
  8. }
  • type, 指的是变更类型，insert是1,update是2
  • srcColumn, 指的是源数据列，会把整个源数据传给你, 需要注意的一点 srcColumn传的值若有的都是string类型，没有则是null

回调接口时的超时时间为3秒

回调失败后会推入失败队列，等待重新回调

supervisord

该项目比较适合搭配supervisord使用,基本上配置文件应该如下

  1. [program:cupid.synchronization-compensation-tool]
  2. directory=/tmp
  3. command=/tmp/cupid -c /tmp/myConfig.json -s 1
  4. numprocs=1
  5. autorestart=true
  6. stopsignal=TERM
  7. stopwaitsecs=2
  8. killasgroup=true
  9. user=nobody
  10. stdout_logfile=/tmp/cupid.synchronization-compensation-tool.log
  11. redirect_stderr=true
  12. loglevel=debug

如果你不用supervisord, 建议重启进程时使用kill -s SIGTERM $master_pid

进程正常退出或异常退出

会将所有失败队列里的任务持久化到本地文件中，以便下次启动时重新推入失败队列重试，持久化配置参见config.json

注意事项

  • 回调接口时，传的srcColumn, 指的是源数据列，会把整个源数据传给你, 需要注意的一点 srcColumn传的值若有的都是string类型，没有则是null
  • 所有在自定义时间间隔失败重试队列超过三次仍未成功的任务会推送到10分钟重试队列里

线上测试

  • pushbear已接入
  • 对线上520w的表数据进行测试，大约25分钟处理加回调完成（回调完全成功不存在重试），内存消耗维持在10MB以下，vmRSS在11MB左右