舆情监控开源方案调研
历史快照:下方保留 2026-10-06 记录。当前选型改读 2026-10-07 GitHub 免费热点与评论采集调研,其中重新核验精确 star、固定源码、必需费用与许可。旧“直接接入”不是当前采用或运行结论;MediaCrawler 自定义许可、BettaFish 混合许可及 twscrape 默认凭据存储等须按新证据核对,公共趋势页可访问也不代表完整原帖/评论能力。
资料核验日:2026-10-06。星数、许可证和最近推送时间来自 GitHub API;只读取了公开元数据和页面,没有登录任何平台。
结论
- 直接接入:MediaCrawler(评论,已用于 B 站)、RSSHub 的 twitter 路由、twscrape(单账号)。
- 改编并署名:newsnow、DailyHotApi、twscrape(均为 MIT)。
- 只参考设计:BettaFish(GPL-2.0)的“抽话题 → 定向深爬 → 情感分析”流程;TrendRadar(GPL-3.0)的关键词筛选与推送规则。
- 排除:nitter(已归档);weibo-crawler、Spider_XHS(无许可证)。
候选项目
| 项目 | ★ / 许可 / 最近推送 | 用法 |
|---|---|---|
| MediaCrawler | 66k / 非商业学习许可 / 2026-10-05 | 小红书、抖音、快手、B 站、微博、贴吧、知乎的帖子与评论;本人账号、独立浏览器 |
| BettaFish | 42k / GPL-2.0 / 2026-10-01 | 多 Agent 舆情分析;只参考流程和情感模型 |
| TrendRadar | 63k / GPL-3.0 / 2026-09-13 | 热榜聚合、关键词筛选、推送;只参考规则 |
| newsnow | 22k / MIT / 2026-09-16 | 多平台热榜解析器,可改编 |
| DailyHotApi | 4k / MIT / 2026-03-11 | 热榜聚合 API,备选 |
| RSSHub | 46k / AGPL-3.0 / 2026-10-05 | 已在用;twitter 路由需要账号 token |
| twscrape | 2.8k / MIT / 2026-10-05 | X 搜索、时间线、回复;只用单账号 |
| twikit | 4.7k / MIT / 2026-03-10 | X 客户端备选 |
| nitter | 14k / AGPL-3.0 / 已归档 | 排除 |
| snownlp | 6.6k / MIT / 2020 停更 | 只作情感对照基线 |
X 趋势公开页面
| 页面 | 核验结果 | 结论 |
|---|---|---|
| getdaytrends | robots 无限制;页面返回 200,趋势名可直接解析 | 主入口 |
| trends24 | robots 允许;直接访问返回 403 | 备选,只经本机 Firecrawl 读取,失败即记失败 |
两者只有趋势名和热度量级,没有推文原文。