跳至正文

舆情监控开源方案调研

历史快照:下方保留 2026-10-06 记录。当前选型改读 2026-10-07 GitHub 免费热点与评论采集调研,其中重新核验精确 star、固定源码、必需费用与许可。旧“直接接入”不是当前采用或运行结论;MediaCrawler 自定义许可、BettaFish 混合许可及 twscrape 默认凭据存储等须按新证据核对,公共趋势页可访问也不代表完整原帖/评论能力。

资料核验日:2026-10-06。星数、许可证和最近推送时间来自 GitHub API;只读取了公开元数据和页面,没有登录任何平台。

结论

  • 直接接入:MediaCrawler(评论,已用于 B 站)、RSSHub 的 twitter 路由、twscrape(单账号)。
  • 改编并署名:newsnow、DailyHotApi、twscrape(均为 MIT)。
  • 只参考设计:BettaFish(GPL-2.0)的“抽话题 → 定向深爬 → 情感分析”流程;TrendRadar(GPL-3.0)的关键词筛选与推送规则。
  • 排除:nitter(已归档);weibo-crawler、Spider_XHS(无许可证)。

候选项目

项目★ / 许可 / 最近推送用法
MediaCrawler 66k / 非商业学习许可 / 2026-10-05小红书、抖音、快手、B 站、微博、贴吧、知乎的帖子与评论;本人账号、独立浏览器
BettaFish 42k / GPL-2.0 / 2026-10-01多 Agent 舆情分析;只参考流程和情感模型
TrendRadar 63k / GPL-3.0 / 2026-09-13热榜聚合、关键词筛选、推送;只参考规则
newsnow 22k / MIT / 2026-09-16多平台热榜解析器,可改编
DailyHotApi 4k / MIT / 2026-03-11热榜聚合 API,备选
RSSHub 46k / AGPL-3.0 / 2026-10-05已在用;twitter 路由需要账号 token
twscrape 2.8k / MIT / 2026-10-05X 搜索、时间线、回复;只用单账号
twikit 4.7k / MIT / 2026-03-10X 客户端备选
nitter 14k / AGPL-3.0 / 已归档排除
snownlp 6.6k / MIT / 2020 停更只作情感对照基线

X 趋势公开页面

页面核验结果结论
getdaytrends robots 无限制;页面返回 200,趋势名可直接解析主入口
trends24 robots 允许;直接访问返回 403备选,只经本机 Firecrawl 读取,失败即记失败

两者只有趋势名和热度量级,没有推文原文。

原始 Markdown