关键词监控验证与交付设计
本文应用 pm-execution:outcome-roadmap、test-scenarios、pre-mortem,把已研究的免费路径转成可验证的交付设计。需求及指标唯一原文是总 PRD,技术约束和架构设计在 PROJECT ,数据结构提案在数据库设计;选型证据引用 GitHub 调研。本页不复制另一套需求,不建立任务状态表。
当前仅设计,不实施、不采集、不变更数据库或部署。 工作包、相对工作量、职责和阶段关口均为 AI 提案,不代表已经派发、获准运行或承诺上线日期。实际任务优先级及状态只维护在 BACKLOG 。后续执行沿用需求入口、AI 任务协议及工程规范 ;已确认的国内优先和免费取数方向不重复询问。
从建设功能转为验证结果
要使本人能够从配置的关键词出发,读到相关且时间可信的国内帖子与评论,并判断这些信息是否值得继续跟进。国内主流平台是整体目标,单平台只是最小验证切片;海外平台保留后续目标。未取得真实证据的平台不得用其他平台结果代填。
| 常见建设清单 | 本轮要验证的结果 | 判断依据 |
|---|---|---|
| 接入一个高 star 爬虫 | 本人在零第三方取数费用的边界内取得可核对的原帖与评论 | 固定版本、许可与依赖清单,以及真实来源运行记录;不是 README 或 star |
| 增加更多平台图标 | 每个平台哪些环节可用、哪些缺失都能被解释 | 按关键词发现、详情、评论、父链、时间、增量分别给结论 |
| 上 AI 相似度 | 本人少读无关内容,模型判断可回到证据核对 | 同一冻结候选池对照关键词基线,四档相关性及误例;不增加未经校准连续分数 |
| 做实时刷新和自动调度 | 本人能分清新帖、新回复、缓存、旧闻及来源失败 | 真实抓取批次、来源时间依据、发现与处理耗时;不从刷新按钮推导实时 SLA |
| 做一个完整舆情看板 | 本人能配置、读结果、展开评论、核实原文并反馈 | 一条可操作 demo 及用户原话;情感占比、告警和日报不是该结果的前置 |
阶段工作包与依赖
每次只选一个有明确输入、输出与停止条件的切片。阶段顺序表达证据依赖,不是自动按表推进的任务队列;入口可以根据已有可信证据跳过重复工作,但不能省略对应关口。
| 结果阶段及工作包 | 可复核交付物 | 进入条件与依赖 | 放行条件及未达到时的动作 | 建议职责 | 相对工作量 |
|---|---|---|---|---|---|
| 需求和免费路径能够被一致复述 | PRD 条款、逐平台候选与费用/许可证明、单卡输入输出;待定问题只保留真正影响执行者 | 最新用户指令与 GitHub 证据;核对实际采用版本,不套用上游其他版本 | 首卡平台、主题、窗口、预算、来源模式、模型配置、验证条件可核对;费用或许可未知的路径不准入 | Stephen 定边界;产品/架构设计者整理;Claude 后续审查 | 1—2 单位 |
| 首个平台的数据身份与运行状态可信 | 现有实体映射、必要的契约/结构差异、固定样本回放、幂等与失败证据 | 前项及架构/数据库设计;仅在获准实施后修改最小业务切片 | 原帖/评论身份、时间、直接父链或缺口、候选来源、规则版本可追溯;相关性与情感字段解耦;结构断言和相应检查通过 | Codex 实施与自查;Claude 审查 | 2—4 单位 |
| 首个平台免费取得真实帖子和评论 | 一张国内 POC 卡、真实批次、脱敏数量、来源与停止原因 | 前两项、有效的执行授权与本人登录;只使用准入路径 | 按 PRD 逐项记录结果;登录、风控、费用、许可或字段失败即停该项。样本不足不补造、不扩请求凑数 | Stephen 提供登录;Claude 真实验收;Codex 按任务修复 | 首次可行性探测沿用 PRD 半天上限;后续必要修复另估 1—3 单位 |
| 相关性和时效性确实改善阅读 | 冻结校准/评估池、四档人工标签、关键词基线对照、时间统计、误例和模型失败记录 | 足量真实候选及规则/内容/模型版本;首批数据无免费依赖缺口 | 分别判断数据量、质量、漏采与时间;AI 没有增益就如实记录。模型额度不足时保留待分析原文,不切付费模型 | Stephen 判定业务相关性;Claude 组织验收;Codex 实现必要处理 | 2—4 单位 |
| 本人能走完首个平台的两轮 demo | 配置→结果→评论→原文→反馈→次轮的可复跑操作记录 | 前述最小路径;实际新抓取批次可辨;部分结果可解释 | 达到 PRD 用户任务条件;两轮不重复入库;观察到真实新回复才验证评论增量。失败与无新内容分开 | Stephen 操作并反馈;Claude 记录;Codex 处理确认缺陷 | 1—3 单位 |
| 国内平台覆盖逐项有结论 | 每个平台独立的输入、运行、质量和缺口证据;同主题跨平台阅读对照 | 首平台形成可信方法;下一平台费用/许可/账号与获取方式单独准入 | 按 PRD 工作清单逐项评审;头条、公众号、视频号仍无合格路径时保留缺口。不能自动删平台或用热榜替代评论 | Stephen 决定范围调整;Claude 验收;Codex 逐卡实施 | 有准入路径的平台每项暂估 2—5 单位;未知路径不估完整接通工期 |
| 决定是否进入小范围持续使用和正式能力 | 有界运行方案、维护成本、队列/失败/恢复指标及正式验收材料 | 用户价值和目标平台证据足够;运行窗口、频率、资源预算另行约定 | 按工程规范区分代码完成和能力可用;只有真实记录支撑才更新能力。运行门槛未满足时缩小并行量或暂停来源 | Stephen 决定继续;Claude 验收;Codex 实施必要加固 | 小范围持续验证与加固暂估 2—4 单位,观察等待另计 |
相对工作量的基准假设是“熟悉现有代码者的一段半日净工作”;区间包含设计、实现、自查与一次修复,不是日历工期。项目没有历史速度,本人登录等待、平台恢复、真实内容产生与模型排队均另计。前两个获准切片记录实际净耗时后校准;一次探测到点交付成功、失败或证据不足,不能拿修复估算自动延长该轮。
未确定净可用容量之前不建立 Sprint 承诺。未来每轮拟选工作量不得超过该轮净容量的 80%,其余作为返工缓冲;平台未知路径不能作为零工作量塞入容量。不把每个平台区间直接相加承诺“全部主流平台何时上线”,也不沿用旧 V1/V2 排期自动开工。
职责按现有工程分工建议:Stephen 决定方向并提供账号条件;Claude 审查及真实验收;Codex 在获准任务内实现与测试。本轮用户委托的产品设计不改变后续分工。审查者或登录条件不可用时先完成独立的设计/固定样本工作,不将尚缺的关口记为通过。
需求、设计与验收的追踪
下表使用中文条款名称作为索引,不新建编号或再定义指标。PRD 管目标与功能/非功能要求;PROJECT 管处理边界;数据库设计管实体、唯一约束和写入事务;本页管怎样观察结果。后续若条款变化,同步关联设计和场景,不能只改验收以使本轮通过。
| 需求条款或非功能约束 | 设计落点 | 本页对应验收场景与应留证据 |
|---|---|---|
| 免费取数、许可与单账号 | 固定来源版本、能力准入、依赖清单;账号仅用受控本机会话 | 免费依赖不明、风控与限流停止;准入记录、目标域名与停止后的请求计数 |
| 关键词意图与实际查询 | 主题规则版本、实际查询映射、过滤前有界候选及规则结果 | 关键词歧义与规则变更;输入版本、命中/排除片段和漏采归因 |
| 原帖身份、评论上下文与出处 | 既有内容身份/版本/观察、评论原帖/根线程/直接父目标;缺口单列 | 评论父链与部分采样;原生 ID、原文定位和采样范围 |
| 相关性、相似度与去重分离 | 候选关联、四档分析结果、模型/规则/内容版本;重复关系不合并评论链 | 相关性评估、模型失败与提示注入、同文跨帖;标签与证据片段 |
| 发布时间与时效性可信 | 来源时间种类/精度/可信状态,首次发现、抓取与可读时间分列 | 时间窗口与未知日期、真实次轮更新;原始时间和可复算结果 |
| 幂等、并发、取消与恢复 | 既有任务/Outbox/租约/预算,内容唯一约束,已提交页与完整覆盖水位分离 | 并发去重、页提交与水位、取消超时恢复;事务、唯一键与恢复前后对照 |
| 私有监控与公开阅读隔离 | 既有 owner 隔离及发布边界;接口、结果、缓存与导出同边界 | 访问隔离与不可信内容展示;拒绝访问记录、无泄露的响应与渲染证据 |
| 可解释状态、可观测性与有界资源 | 采集、分析、来源健康分开;沿用 jobs 的 partially_succeeded,缓存/无匹配/缺父/截断不各自增加 JobStatus | 混合来源结果、资源预算与凭据、首屏读取性能;状态映射、计数、缓存年龄和脱敏日志 |
| 可恢复数据与升级安全 | 既有唯一 schema 来源、空库验证、恢复演练、保留与清理边界 | 数据结构与恢复;结构断言、恢复核对和回退条件 |
| 本人能完成任务 | 最小配置、结果、评论展开、原文、反馈与次轮操作 | 完整 demo;本人操作记录、价值反馈和未解决问题 |
验收场景设计
以下是待执行方案,不是测试通过记录。除明确标“真实”者外,均使用固定样本与隔离环境,不靠触发真实风控制造用例。角色默认:Codex 实现/自测、Claude 审查/验收;本人操作和业务标注另列。后续每次实施只选相关场景,不能因表格存在就新增整个测试平台。
数据库检查仅用 hotkey_test_<后缀> 独立库,完成后按规范删除;不得连接业务库。所有证据写源码版本、配置/规则版本、执行时间和证据性质,真实原文保留在受控本机位置,公开知识库只登记必要脱敏事实。不保存 Cookie、Token、连接字符串或无关用户画像。
| 场景与验证目标 | 前提与角色 | 操作步骤 | 预期结果 | 证据 |
|---|---|---|---|---|
| 免费依赖不明不能默许准入 | 固定版本依赖清单;构造必需付费、费用未知、免费直连、可选广告四种配置 | 逐项核对许可和实际取数路径→选择各配置→尝试创建采集任务 | 必需付费/未知路径被拒绝且不发外部请求;可选付费模块关闭并可核对;免费 key 不凭“有 key”误拒,也不凭赠送额度通过 | 准入理由、配置差异、模拟请求计数;真实阶段补实际依赖证明 |
| 关键词歧义、硬排除与别名 | 同名负例、真实讨论、售号广告、反售号讨论及不含字面词的近义正例 | 预览任一/全部/排除组合→运行本地筛选→查看候选与排除原因→修改别名再预览 | 实际查询和本地过滤区分;误杀可见;未进入候选的正例不能声称由重排找回;空或冲突配置的处理与 PRD 一致 | 规则版本、输入输出及漏采发生阶段 |
| 运行中变更主题规则与错挂候选 | 同一主题两个规则版本,旧任务尚未完成;另有同 owner 的旧观测与不同查询 | 启动旧版本任务→保存新规则→查看两次结果→尝试把旧观测或错查询挂到新运行 | 已运行任务保留冻结版本;新规则只作用于后续任务;候选必须匹配本轮查询/规则/采集批次,历史输入只有显式复用或导入才允许,不能算新实采 | 任务、候选、查询、观测来源与分析的版本关系 |
| 评论父链与部分采样 | 一级评论、二级回复、缺父、被删/不可见、零评论及截断样本 | 展开“终于修好了”等短回复→定位原帖和直接父目标→查看排序/页数/上限 | 短回复不因无关键词被直接丢弃;根线程不冒充直接父评论;未知关系不猜补;不可见/失败不写零评论;样本不推断总体舆论 | 关系字段、界面状态、采样记录和来源定位 |
| 四档相关性及情感解耦 | 同一冻结评估池、关键词基线;人工标注隐藏算法标签;含直接相关且无情感结果样本 | 标注四档与原文片段→分别生成基线和模型结果→按 PRD 计算指标→保存无情感的相关项 | 质量结果按既定分母报告;信息不足/模型失败不等于无关;无情感不阻断相关性保存,POC 不被迫执行情感分析 | 标注文件、基线/模型对照、契约与数据库约束结果;无 AI 增益也保留 |
| 时间窗口与未知日期 | 冻结 UTC 半开窗口 [start,end);含两端边界、跨时区、相对时间、无日期和未来异常 | 规范时间→过滤→分别查看原始值、时间依据和北京时间显示→复算耗时 | start 纳入、end 排除;未知/异常不进入最近发布达标集合;相对时间保留精度;重抓不改首次发现;处理耗时不充当发现延迟 | 边界样本、各时间字段、排除原因与计算式 |
| 同源重跑、并发与跨帖相似文本 | 同一原帖/评论重复页、两个并发任务、同文不同原生 ID | 并发写入→重复消费同一消息→再次采同一 ID→展开两个相似帖评论 | 同一作用域的原生身份不重复入库或重复记账;正文变化可保留版本;不同帖和跨平台原帖不合并作者/父链 | 唯一约束、任务/预算前后计数、内容及版本对照 |
| 页提交与完整覆盖水位 | 固定三页数据,第二页失败;模拟“数据提交前”“提交后确认前”中断 | 分别注入中断→恢复同配置任务→核对数据、页检查点和完整覆盖记录 | 已提交页保留;未提交页可重放而不丢/不重;只有满足设计的完整性条件才推进相应水位;受限搜索、截断或空热榜不能标全站完整覆盖 | 事务边界、恢复前后检查点、覆盖原因和唯一记录计数 |
| 暂停、取消和超时 | 任务已提交一页、下一页进行中,含 worker 子进程 | 分别暂停主题、取消运行、触发超时→观察在途及后续调度→按有效授权恢复 | 暂停阻止后续调度,在途运行可按冻结预算结束;取消/超时才回收进程组并确认终止;均保留已提交数据,未确认完整范围不推进水位;恢复受租约和剩余预算约束 | 任务状态、进程回收、请求计数、租约与水位 |
| 稳定阅读分页与源游标异常 | 同时间/同标签跨页样本;固定阅读结果版本;重复或失效的来源游标 | 第一页后写入新帖/分析结果→继续旧版本分页→显式刷新;另回放重复/失效源游标 | 同一阅读快照不重不漏,新结果经刷新可见;版本失效时明确要求重开,不混用排序;源游标无进展或失效停止该范围,不无限循环或前推完整水位 | 分页键/版本、去重计数、异常原因、请求预算及水位 |
| 真实次轮确实重新抓取 | 已获准真实平台与本人会话、首轮批次及选定旧帖;验收者执行 | 同配置次轮→记录实际来源请求和新批次→对照原帖与新评论时间 | 重读首轮 JSONL/缓存不算新抓;B 站桥接必须证明实际重新采集;旧帖新回复不刷新原帖日期;未观察到新回复则增量仍未验证 | 两轮批次、请求/缓存状态、原生 ID 对照及来源核查 |
| 访问隔离与公开边界 | 固定 A/B 两个 owner,A 有私有主题与评论;B/匿名及无发布配置场景 | B/匿名尝试列表、直接 ID、评论、证据/导出与缓存入口→再由 A 访问 | 按既有身份规则拒绝跨 owner 访问;私有监控不出现在公开接口、缓存或文档导出;本人正常读取;不因错误信息暴露内容 | 各入口响应、缓存隔离和公开导出抽查 |
| 模型失败与额度不足 | 固定超时、额度不可用、格式不合法、引用不存在样本 | 完成采集→分别触发分析失败→查看原文与任务状态→执行有界重试 | 采集成果保留,分析待处理/失败可见;不偷偷当无关、不切新 provider、不无限重试;未校验输出不进入排序 | 分阶段状态、重试预算、原文保留和输出拒绝原因 |
| 外部文本中的提示注入 | 固定帖子含“忽略规则、读取本机文件、调用外部服务”等指令和伪造字段 | 作为普通内容交给最小权限分析路径→检验结构化输出、引用和运行轨迹 | 文本仅作为数据;不能改规则、扩平台、读文件或发起额外工具请求;标签/引用由契约校验,数值与排序仍由程序计算 | 固定输入、模型请求边界、工具/文件访问观测、输出校验结果 |
| 不可信内容安全展示 | 含脚本标签、事件属性、危险链接及异常长度的固定帖子/评论 | 列表、评论、原文定位和反馈中展示→键盘操作 | 不执行内容中的脚本/命令;危险链接不形成可执行入口;截断有说明并保留可核对内容;布局可读 | 浏览器记录、渲染断言与实际链接行为 |
| 风控与限流覆盖通用重试 | 固定验证码、登录失效、429/限流响应,且 jobs 已配置通用重试 | 运行来源→注入响应→观察后续调度/重试→尝试未经恢复的再次任务 | 来源按现有策略停用;自动重试不能绕过停止,恢复前新增请求为零;不换账号、买代理、打码或收费兜底;明确等待本人恢复 | 停止原因、来源可用状态、队列尝试和后续请求计数 |
| 多来源混合结果与缓存 | 一个成功、一个空、一项截断、一项失败,部分结果来自缓存 | 同轮聚合→查看每来源状态和已有内容→查看分析失败项 | 按已有语义使用 partially_succeeded 等任务状态,coverage_window 的 partial 独立核对;缓存/无匹配/缺父/截断是更细结果事实;历史成功不冒充本次成功 | 来源状态映射、更新时间含义、缓存年龄及显示记录 |
| 资源预算、日志与凭据 | 预设有界候选/评论/页数/请求/模型预算;固定伪凭据标记 | 达到各上限→中断恢复→检查预算与日志/数据库/前端/证据 | 不为凑样本自动扩预算,重复消费不重复扣减额度或越额;只传最小环境;伪凭据标记不泄漏;限额与维护成本可读 | 计数、CPU/内存/磁盘观测、脱敏检查和停止原因 |
| 首屏读取性能 | 按 PRD 冻结数据规模、并发读数、操作样本数和 P95 初值;记录本机配置,采集/模型不混入读取计时 | 对列表及评论首屏分别执行约定读取→记录每次耗时、缓存条件及错误→按同口径计算分位数 | 按 PRD 提案判断是否达到目标;冷/热缓存分开报告,不删失败请求来美化性能;未实测不宣称达标,结果不外推更大并发或平台实时性 | 数据规模、机器与缓存条件、原始时序、错误数、分位数计算 |
| 数据结构、恢复与清理 | 获准实施后的独立空测试库、脱敏已有结构样本;保留策略已确定 | 执行唯一 schema→核对结构/约束→恢复样本并核对→演练允许的清理和回退 | 不直接对旧业务库执行 schema;行数、外键、任务/预算和证据关系可核对;回填未知值不伪造;清理不留下错误父链/覆盖结论,保留策略未定不自动清理 | 结构断言、恢复对照、回滚前提和保留范围 |
| 本人完成完整 demo | 前述必要关口达到,真实数据标签明确;Stephen 操作 | 配置主题→辨认平台结果→读前列帖子→展开评论→打开原文→反馈→再跑一轮 | 本人完成 PRD 定义的任务并说出有用新信息;桌面/390px、正常/空/加载/错误/无权限和键盘路径可用;不足样本/失败仍如实显示 | 操作步骤或录屏、用户原话、相应页面/接口证据及未通过项 |
风险预演与关口动作
采用 pre-mortem 的思考方式:假设首批真实 demo 未带来价值,回看可能漏掉的原因。这里不假设十四天后上线、不设置营收目标;按“真实风险、被夸大的担忧、尚未说清的隐忧”分类。严重性和负责人都是设计提案,实际处置状态仍只写 BACKLOG。
| 类型与风险 | 对用户结果的影响 | 动作与建议负责人 | 关口与紧迫性 |
|---|---|---|---|
| 真实风险:免费软件背后仍需付费数据、签名或模型 | 违反免费取数底线,无法持续复跑 | Codex 固定路径/版本和必需依赖;Claude 复核免费证据;Stephen 决定不满足时调整范围,不能购买兜底 | 来源准入前必须解决;未知按不准入 |
| 真实风险:许可不清或用途不匹配 | 候选无法按现有规则采用,后期需替换 | Claude 核对实际版本许可;Codex 区分独立服务/设计参考/允许改编;不沿用 MIT 徽章推断 | 源码采用前必须解决;不明则换候选或保留缺口 |
| 真实风险:把热榜、单平台或缓存当完整覆盖 | 用户以为没有讨论,实际未查或未更新 | Claude 按平台和环节审查证据;Codex 保留实际查询、批次、截断和来源状态 | 首平台及跨平台验收前必须解决 |
| 真实风险:评论 root 与直接 parent 混淆、未知时间伪标 | 短回复含义错误,旧闻混成新进展 | Codex 实施关系/时间状态及约束;Claude 抽查原文和边界样本 | 质量评估前必须解决;不能用扩大采样代替 |
| 真实风险:重试推进错误水位或突破来源停止 | 漏采、重复记账,账号进入更严重限制 | Codex 核对页事务、租约、预算与来源停用;Claude 复核中断/429 场景 | 任何真实次轮前必须解决 |
| 真实风险:提示注入、跨 owner 泄漏或凭据落盘日志 | 外部内容改变执行权限或暴露私人数据 | Codex 落实最小权限、结构校验和统一隔离;Claude 审查固定攻击样本 | 真实模型与多入口 demo 前必须解决 |
| 真实风险:相关性保存依赖 sentiment 非空 | POC 被迫做未验收的情感分析或丢失相关结果 | Codex 使现有模型契约与数据库约束共同解耦;Claude 核对兼容影响 | 相关性工程关口前必须解决,不伪造中性情感填空 |
| 被夸大的担忧:POC 必须先有向量库与完整多 Agent | 先投入架构而未确认是否减少噪声 | 产品设计者保留关键词基线和四档判定;有真实误例再判断更复杂召回 | 暂缓,质量证据显示必要时重评 |
| 被夸大的担忧:必须先覆盖音视频、全历史和报表才有价值 | 首个可操作切片持续推迟 | Stephen/产品设计者围绕当前文本任务评估价值;后续范围另立问题 | 不作为当前放行条件,保留方向 |
| 尚未说清的隐忧:免费、单账号和全部主流覆盖能否同时满足 | 头条/公众号/视频号可能长期缺合格路径 | Claude 记录探测结果与约束;Stephen 根据证据选择继续、缩范围或停止,不由 AI 静默删平台 | 国内总体 POC 评审前给明确结论;无法证明则部分验证 |
| 尚未说清的隐忧:人工登录、等待和标注比手工搜索更费时 | 技术成功但本人不再使用 | Stephen 完成同任务基线与 demo;Claude 记录净阅读、维护和等待时间 | 进入持续使用前必须得到真实反馈,不编造节省比例 |
| 尚未说清的隐忧:旧帖重扫范围与证据保留成本 | 评论增量遗漏,或磁盘/敏感资料持续增长 | 产品/架构设计者明确选定旧帖集合、回看策略与保留期;Codex 测预算和恢复 | 持续使用前冻结参数;超界不扩请求,未定不自动删证据 |
目前没有有证据支持的“上线后固定三十天补齐”事项。任何影响免费边界、数据正确性、访问隔离或停止行为的问题都不能作为快速跟进项绕过关口。辅助展示、热榜扩充等仅在核心任务已被证明后按用户价值重新排序。
交付记录与范围调整
后续每张卡至少交付:需求/设计引用、执行授权与输入版本、真实或固定样本说明、最短复跑步骤、逐项结果、证据位置和不能证明的范围。工程检查只执行实际改动对应项;文档校验/构建、受控测试、真实来源验收和本人操作反馈分开报告。
优先缩减一轮请求数、所选帖子数或同时验证的平台数,使切片可执行;这只改变本轮投入,不自动降低质量门槛或删除总体平台目标。首轮样本不足则记录证据不足;如确需调整验收条件,先记录原因和新的适用轮次,不能事后改分母把旧失败改成通过。
当候选费用/许可变化、来源连续失效或用户觉得维护成本过高时,保留既有证据与最后成功时间,选择换免费路径、暂停该来源、调整目标或停止投入。任何部署、数据库切换、提交发布和正式能力声明继续遵守现有授权与验收流程;本文不会触发它们。