2 篇博文 含有标签「web-scraping」

上周二，你的 computer-use 智能体表现出色。它登录了供应商门户，点击了五层嵌套菜单，导出了报告，将其附加到工单中，并在不到两分钟内完成了任务。你保存了轨迹。你赞美了模型。你发布了工作流。然而，在那个成功的轨迹中，智能体记住了一个信息：“导出 CSV”操作位于 div.toolbar > div:nth-child(2) > button.btn-secondary:nth-child(4)。

到了周五，供应商推送了重新设计。工具栏现在是一个 flex 容器，次要按钮被放进了下拉菜单，而“导出”这个动作被一个下载图标取代了。你智能体记下的路径现在指向空——或者更糟，它指向了一个现在显示为“删除账户”的按钮。智能体无法分辨其中的区别。两者都是按钮。两者都在同一个选择器位置。周二留下的轨迹不再是记忆，而是一颗地雷。

这个 Demo 只需 20 分钟就能构建完成。你粘贴一个 URL，大语言模型（LLM）读取 HTML，结构化数据就从另一端输出了。这感觉就像网页数据提取的未来已经到来。

然后，你以每小时 1,000 页的速度运行它。成本飙升，屏蔽不断积累，提取出的字段开始以一种看起来不像错误的方式发生偏移——它们看起来像正常数据，直到你的下游流水线已经默默地摄取了三周的垃圾。“LLM 读取页面”的模式并没有错，只是它的定价更适合原型的吞吐量。

智能体（Agentic）网页提取确实解决了传统爬虫无法解决的问题。但要将其扩展到概念验证（PoC）阶段之后，需要理解一组与大多数团队预期不同的故障模式。