我们以公共规则中“阿里巴巴产品搜索”为例(这些公共的规则都在github.com/pholcus下面包含,大家可以参考下)。
从代码中可以看到,总体上,我们实例化一个Spider类型的对象,如之前所讲,对象的Name是必须要有的:
RuleTree正是我们的规则端的入口。Root: func可以认为程序在装载好任务后,首先执行的程序入口
这里我们看到,我们通过ctx.Aid函数给规则添加了第一个任务,就是执行key为”生成请求”的AidFunc: func函数,顺着代码,我们可以找到这个函数的代码:
另外,我们可以看到一些关于输出的语句:
pholcus目前支持csv,mongo,mysql和excel四种数据存储方式,这些都可以在见面上手动设置。存储的方式统一都是已Key-Value数据的方式存储。