Curates a specialized toolkit of web crawlers and MCP plugins to enhance data freshness and purity f

最近在折腾 OpenClaw，发现制约 Agent 进化的往往不是智商，而是数据“鲜度”和“纯度”。

调研了一圈主流的自媒体和网站采集工具，整理出一份我的私藏清单，建议收藏：
1️⃣ 垂直平台“收割机”
MediaCrawler：国内社媒（红/抖/站/快）的全能爬虫，懂的人都懂。
🔗 https://t.co/piC7zalsx4

Agent-Reach：专门适配 Agent 的社媒数据获取，接入灵活。
🔗 https://t.co/wkhI3DxSrw

wechat_articles_spider：公众号历史文章采集的最佳实践。
🔗 https://t.co/yZ1YTMZBbj

2️⃣ 浏览器即 API（深度交互）
Web-access：补齐了 Claude Code 联网策略，支持 CDP 浏览器操作。
🔗 https://t.co/69afHXZEXu

BB-browser / OpenCLI：把浏览器变成可编程的 API，适合处理各种反爬和动态加载。
🔗 https://t.co/1ub8niBbWk
🔗 https://t.co/hAbVDIQR41

3️⃣ LLM 喂料与结构化
https://t.co/e5Rx1c4RxV：一行代码网页转 Markdown，Jina 依然是目前体验最好的。

Xcrawl：推荐搭配 OpenClaw 使用，现在注册还送 1000 积分，简单省心。
https://t.co/9G4alqHUuH

Crawl4AI：2026 年最火的开源爬虫，专门为 RAG 和 Agent 设计。
🔗 https://t.co/MNAFmo88GE

4️⃣ 搜索与 MCP 生态
Clawhub：提供的 OpenTwitter 和 OpenNews MCP 插件，是 OpenClaw 的原生搭档。
🔗 https://t.co/10rbiC5sSr

Valyu：Brave 免费额度调整后的首选搜索替代品，质量极高。

5️⃣ 知识闭环
Obsidian Web Clipper：所有采集到的精华，最后都要通过它一键沉淀到 Obsidian，形成自己的“第二大脑”。
🔗 https://t.co/ZuZbemrzkY

💡 总结：对于独立开发和内容创作者，我目前的推荐组合是：OpenClaw + Xcrawl (API) + MediaCrawler (本地任务) + Obsidian (笔记)。

大家最近在用哪些好用的爬虫或者 MCP 插件？欢迎在评论区安利，我再去折腾一下！👇