现在的情况：

现在有65个表，有三种类型的表任务
1、不需要更新的表（有两种任务）：新增任务、加字段任务（一次性全量更新任务）
2、增量更新的表（有四种任务）：新增任务、增量更新任务、加字段任务（一次性全量更新任务）、删除任务
3、全更新的表（有三种任务）：新增任务、全量更新任务、删除任务

一次性全量更新任务，目前还没有开发

所以现在的问题是
1、目前的程序运行起来有350个线程左右，如果再加上新开发的 一次性全量更新任务，那么线程数超过400，相对的数据库连接数基本要到200。
2、现在程序运行时线程数很高，所在在结构上需要进行拆分，目前考虑按照 :新增任务、更新任务、删除任务、一次性更新任务，拆分4个项目工程
3、因为更新数据机制是轮询，所以数据库处于高并发的读写状态，这种压力下我们现在的数据库是1个主节点2个数据节点，负载都在50%左右。
4、现在的情况并没有算上前端帆软的查询，处理数据的并发这么高，一定影响到查询的。查询很慢，并且后端处理数据的时候已经出现很多慢查询了，都是10多秒以上的。

后续必要的调研和处理
1、外部表，调研过了，基本不行，链接过来表的数据需要二次解析
2、sap的kafka连接器，可以实现sap中新增的数据转发到kafka，我们的程序监听kafka就可以处理新增的数据，这样新增任务的轮询就不需要了。这个技术需要调研。
3、数据库扩容，解决负载问题，目前只有1个主节点2个数据节点负载50%。需要试验环境，5个ip，规划1个主节点，4个数据节点，每个数据节点50个segment。

第1点，已经调研过了
第2点，继续调研
第3点，资源需要申请
