命令行增量和自动化专题
Hawk虽然是图形化软件,但依然支持命令行和自动化抓取,本专题讨论如何增量,和自动化定时抓取,以及当遇到错误时(如网络不通,导致一部分请求失败)需要重试的场景。
1.命令行执行
(本特性的测试还不完全,预计2018年11月发布)
由于大多数服务器都基于Linux实现,因此跨平台成为Hawk必备的功能。但Hawk依赖的WPF(一种windows的图形界面技术)只能在windows上运行。 因此为了变通,可在Hawk上图形化设计工作流,并在其他平台上解释xml执行。
- 一种是实现Python的执行器(etlpy),但由于Python和C#的众多区别,会导致很多不兼容性,该方案已放弃。
- 另一种方案,是通过.NetCore实现跨平台,我们采用了本方案。
定时抓取需依赖于Hawk的命令行实现HawkScheduler, 它位于Hawk可执行文件的同目录中。使用如下命令指定要执行的工程文件路径和任务名:
HawkScheduler -p project.xml -t task_name
使用HawkScheduler -h
来获得相关帮助。
注意,由于命令行本身的性质,以下特性将不可用:
- 写入数据表: 将生成可执行文件同目录下,以数据表为名称的txt文件
- TODO:增加其他不可支持的特性
2.增量抓取
增量抓取比较困难,各网站皆有不同,此处我们提供一些技巧。
一种类型是新闻型的,按照时间排列,并更新最新的新闻,最朴素的思路是记录上一次抓取的最后位置。然后在新的一轮抓取中,不停地向前获取,直到发现上一次抓取后中断。
此处需要两个核心技术点:
2.1.保存上一次存储的关键字
首先找到代表数据特征的列(如ID,标题等),能唯一标识该数据。如果找不到唯一的列,可通过合并多列
来组合。
在这一列拖入更新到配置
, 输入要更新的配置的名称column,则在执行时,该模块每经过一行数据,就会自动更新该列的值到全局配置(TODO:路径)中。配合软件的自动保存机制,该值会随时写入配置文件中。
2.2.下次执行时定位到中断点
在任务配置时,添加正则过滤
,正则项的值填写为{column}
,代表从配置中读取该值。
3.定时抓取
在实现命令行功能后,定时抓取也就变得非常简单了。
在Linux平台上,可使用crontab来执行任务,具体可参考这里
在Windows上则可以使用任务计划来执行。可以参考这里
TODO: 增加更细致的写法
4.回补数据方法
本功能简直是神器,Hawk能够精确地记录失败的位置和上下文,并在重试时将配置错误和失败部分补充回来。配置非常简单,但功能很强大。
开启该功能,需要在系统设置中勾选生成错误集合, 则数据清洗在执行时,就会将错误的信息保存到一张新表中,除了当时错误时的参数输入列之外,增加的列如下:
- __SysETL: 产生错误时的任务名
- __SysTime: 错误时间
- __SysERROR: 错误原因
- __SysObjectID: 产生错误的模块唯一ID
出现错误后,可使用如下流程创建补数据任务:
- 根据错误的信息,确定修改的策略,如增加延时,改进参数,修复bug等..
- 添加从数据表生成, 表名为刚才创建的错误表表名。
- 可以按需拖入延时,或其他你希望的过滤,转换等模块
- 拖入重试补数据, 勾选是否要执行原来的执行器。
- 如果想把回补的数据写到另外一张表,则可拖入写入数据表, 或写入数据库. 或任何你想要处理的流程。
在补数据时,尽量使用串行模式,以获取更平稳的表现。可能在补充数据时会再次发生错误,此时只要将写入数据表的名称改为新产生错误的表名即可。
其原理是定位到发生错误的模块,并使用当时的参数重新调用该模块之后的任务。这就是流系统的强大之处。