如果内容页有分页,该如何爬取到完整数据?

    在爬取到所有的分页数据之后,可以在on_extract_page回调函数中将这些数据组合成完整的数据

    1. $spider->on_extract_field = function($fieldname, $data, $page)
    2. {
    3. {
    4. {
    5. $contents = $data;
    6. $data = "";
    7. $data .= $content['page_content'];
    8. }
    9. }
    10. }
    11. };