使用kettle按天抽取数据

使用kettle按天抽取数据

需求背景：

因xx需求要导出数据，研发给到一个A JOIN B JOIN C + dependent query 的复杂查询。直接查询的话，特别慢（可能小时级别都出不来结果）。分析了下这个查询中，如果在where条件中拼上个驱动表的索引列（例如主键列或者create_time列之类）， 可以将join的数据集控制在一个很小的范围内。

这个方法有了后，我们可以用程序去跑，也可以用kettle去跑。

下面是用kettle 按天去跑的案例， 为了演示做了很多精简。

1、生成一个按天的序列（可以参考这个方法 Spoon.bat ，增加如下：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。