20201115问题整理

1、全量、增量和删除任务的问题
问题：
  1、全量更新表：数据量增多周期越来越慢。aufm、konv已停止执行更新删除任务，因为数据量增长速度过快，循环周期过长。
  2、增量更新表：数据量增多周期越来越慢。增量更新首先是一个时间范围去取源表数据0-20rowid，然后取21-40rowid，取到最后的rowid，然后又循环到0-20的rowid。成为一个周期
  随着数据量的增多，rowid的总量会越来越多，所以也会越来越慢。
  3、由于新的表不断的加入，每个表都需要新增更新删除任务，相当于每个表需要占用3个数据库连接，1个新增数据、1个更新任务、1个删除任务。
  目前有64个表，需要数仓占用250个连接，同时相对的sap那边也需要占用250个连接，这种查询压力是很大的，如果减小连接数，那么查询回排队，速度也会降低。
  目前的设计是，一些任务被控制再一个连接内，所以速度进一步降低，如果展开一个表一个任务一个连接，那么数据库有超载查询的风险。

目前的思路：
  1、全量更新和增量更新都，都取一部分的数据更新，比如取最新N条数据进行更新。周期缩短，最新的数据能得到最快的更新。抛弃历史数据的更新

会导致的问题：
  1、N条以外的数据，删除不干净
  2、N条以外的数据，更新不到（如果N=500此时有550条数据需要更新，那么50条数据没有更新到，因为并不知道多少数据需要更新）
  全量更新和增量更新逻辑上处理是相同的，不同的是，增量更新加了时间条件，过滤了大部分数据，缩短了更新周期。
