选择器与模板
对结构稳定的列表页,使用 CSS 选择器或 XPath 即可;详情页字段差异大时,建议维护按域名分组的提取模板,并在单元测试中覆盖典型页面变体。
分页与增量
优先解析「下一页」链接或 API 游标,记录已抓取 URL 哈希避免重复。增量任务只抓取 sitemap 或 RSS 中新增条目,显著降低代理流量成本。
错误处理
- 4xx/5xx 与超时:指数退避重试,必要时切换国家出口。
- 验证码:启用网站解锁器或降低并发。
- 结构变更:监控提取字段空值率,触发告警与模板更新。
Rola IP 按成功请求计费,配合结构化 API 可减少无效重试,降低总体拥有成本。