Scrapling:Scrapling 是一个为现代网络提供轻松数据提取的自适应 Python 网络抓取框架,能够处理从单个请求到全面并发爬取的所有任务。它具有先进的反机器人绕过功能、智能元素重定位以及内置代理轮换和 AI 集成的全面会话管理。;webpage-mcp:Webpage MCP 将浏览器转变为功能齐全的 MCP 服务器,允许 AI 助手导航页面、截图、点击元素、读取内容、捕获网络流量、运行 JavaScript 等。它使用 Chrome Native Messaging 和 stdio 传输实现安全的本地通信。该项目提供 20 多个工具以及诸如工作流录制、语义搜索和内置浏览器代理 UI 等额外功能。
执行单个网页请求或启动全面的并发网络爬取。
自动化重复的浏览器任务,如表单填写、数据提取和测试