Files
meida_backend/tests
xsl a4d59aca30 feat(llm): four-tier daily budget degradation with manual override
把单一日预算熔断升级为架构 §13.3 的四档分级降级(T-P1-25b / NFR-COST-02):

- budget.py:新增 BudgetTier 配置模型与档位判定(current_tier/tier_name/
  blocked_scenes)。阈值相对 LLM_DAILY_BUDGET_CENTS:warn ≥60% 只告警;
  degrade_secondary ≥80% 拒 hd_export/report_regen;degrade_generation ≥90%
  追加拒 hairstyle/tryon;block_all ≥100% 拒全部非 critical、allow 名单
  (默认 agent_chat)放行。高档位 blocked 取「截至当前档的并集」(架构原文
  「追加拒绝」)。critical 场景全档豁免但照常计成本。
- 手动 override:Redis 键 llm:budget:override(值 "1"~"4"),优先于成本水
  位,读不到/非法则忽略;set_override TTL 到当日 UTC+8 24 点,跨预算日必然
  失效。CostCounter 协议相应增加 set/delete。
- 指标:Gauge llm_budget_tier + Counter llm_budget_blocked_total{scene}
  挂到共享 REGISTRY 随 /metrics 暴露;档位上升沿只告警一次
  (budget_tier_raised,实例内记 last_tier)。
- errors.py 新增 SceneDegradedError(tier2/3 拒绝);gateway.py 调用点换成
  ensure_scene_allowed(保留 ensure_within_budget 兼容入口);agent.py 映射
  LLM_SCENE_DEGRADED(60006);100% 档维持 DailyBudgetExceededError/60003 语义。
- 单测:新增 tests/unit/test_tiered_budget.py(27 例:四档边界、各档放行/
  拒绝、critical 豁免、override 加严/放宽/非法值/TTL、配置驱动)。
- 集成:tests/integration/test_vertical_slice.py 新增用例——预算 1 分 +
  block_all allow 清空 + Redis 注入当日成本,POST /agent/chat 返回 60003,
  断言 bl_ledger 中 consume(refunded,-1)+refund(committed,+1) 净和为 0,
  覆盖「reserve 之后才熔断 → refund」路径;fixture 重构为共享
  FakeProvider/fake_client,断言语义未弱化。

门禁:ruff check/format、mypy(packages/llm strict + 其余包)、lint-imports、
单测 196 passed、集成 4 passed。

偏差说明:
1. tests/unit/test_gateway.py 的 test_daily_budget_rejects_non_critical_
   scenes_before_spending 把被测场景 AGENT_CHAT 换成 REPORT_COPY(test_daily_
   budget.py 同用例换 tryon):block_all 档默认 allow=["agent_chat"](架构
   「仅保留纯文本对话」)后 agent_chat 在 100% 档不再被拒,原场景选择与新
   语义冲突;断言本身(进 provider 前被拒)未弱化。
2. 集成测试的 block_all 档配置为 blocked="*"+allow=[](文档示例为
   blocked=["agent_chat"]):后者按档位规则会走 SceneDegradedError/60006,
   前者才能按设计走既有 60003 语义(文档允许二者取其一且"按上面设计应为
   60003")。
2026-08-14 16:27:21 +08:00
..

tests/

目录 内容 依赖
unit/ 领域逻辑、LLM 网关、脱敏、错误码 无。不许连库、不许发网络请求
integration/ 带 PostgreSQL / Redis 的链路 make up,或 testcontainers
golden/ 黄金集回归(检索 / 规则 / 报告) 尚未建立,见下
make test-unit                       # 默认只跑 unit(integration 自动跳过)
MEIDA_RUN_INTEGRATION=1 uv run pytest -m integration

覆盖率门槛

pytest 对 packages/llm 与 packages/domain 统计覆盖率,低于阈值即失败。 这两个包是 mypy strict 的范围,也是业务正确性的核心,其他层靠集成测试覆盖。

绝对不要做的事

  • 不要在单测里调用真实的 DeepSeek。scripts/smoke.sh 是唯一会真的花钱的 入口。单测用 httpx.MockTransport 或 tests/unit/test_gateway.py 里的 FakeProvider。
  • 不要 time.sleep()。熔断器、预算闸门都支持注入时钟。
  • 不要断言日志文本。断言行为。

黄金集(还没建,但这是最重要的一道防线)

架构 §16.2:

AI 改代码时最容易破坏的是那些「没有断言保护的隐性行为」。检索链路和规则引擎 必须有一套固定输入 → 期望输出的样本集。

M2 落地知识库时必须同步建立(FR-KB-11,≥ 100 条用例): 检索 Top-5 命中率 ≥ 80%、硬过滤零漏、规则命中正确性、报告结构完整性、 硬性禁忌违反数 = 0。指标退化即阻断合并。

已覆盖的关键不变量

测试 保护的是什么
test_prompt_cache_prefix.py 固定前缀不含易变 token,否则输入成本翻数倍
test_daily_budget.py 日成本超限时拒绝非关键调用,不是只告警
test_gateway.py 路由、故障转移、熔断、结构化重试、每次调用都记成本
test_quota_domain.py 预扣三段式;退还幂等;服务端硬校验
test_task_state.py 任务状态机没有非法跃迁
test_log_redaction.py 手机号 / 令牌 / 密钥 / 诊断结论不进日志
test_response_envelope.py 每个错误码都有文案;配额文案不含价格字样