xsl
67d9754823
tests/golden：JSON 用例 + 阈值配置 + runner（规则 pass_rate=1.0、检索 0.8 起步）+ pytest 壳；规则/检索两子集种子，Agent/报告子集占位（T-P2-11）。 实现： - runner.py 为普通模块（不依赖 pytest）：加载/执行/指标（pass_rate、 first_hit_in_top3）/逐用例差异明细；test_golden.py 只是薄壳（marker=golden， 无 MEIDA_RUN_INTEGRATION 时整体 skip）。用例与 expect 的未知键一律判 fail（封闭词汇表，防断言静默失效）。 - 规则子集 13 例（rules_cases.json，走 packages.rules DSL/evaluate）： 含 3 个硬禁忌场景（无条件合规硬拦、正式场合硬拦、复合优先级链 100硬>95禁忌>90体型>50趋势）+ 禁忌压制/维度隔离/多规则叠加/温度边界/ 缺字段静默/include 子集语义等。 - 检索子集 13 例（retrieval_cases.json，DeterministicEmbedder+hybrid_search）： 含 7 个 must_miss 红线场景（禁忌体型/draft/archived/场景外/类型外/组合红线）。 种子实体以 golden: 前缀命名，跑前先删（幂等重跑）；跑后也删——CI 防线 5c 与集成测试共用长活库，留下假实体会破坏其它用例对结果列表的精确断言。 确定性策略：query=目标 chunk 原文（余弦距离 0 必排第 1）+ 每例独立 marker token（gqNN）隔离关键词路；检索参数（1024 维/top_k 50/默认 RRF 权重）钉死在 runner，不读 env。 - thresholds.json：规则 pass_rate_min=1.0（硬结论子集一条不许退）； 检索 pass_rate_min=0.8 + first_hit_in_top3_min=0.8 起步。 - README.md：四子集 330 例规划、两格式 spec、加用例流程、阈值口径与 “为什么规则必须 1.0”。 测试： - MEIDA_RUN_INTEGRATION=1 pytest -m golden --no-cov：2 passed（规则 13/13=1.0，检索 13/13=1.0、first_hit_in_top3=13/13）；连续重跑幂等， 跑后库内 golden:% 残留为 0；不设 env 时 2 skipped；基线单测 473 passed、 集成 38 passed 不受影响；ruff check/format、lint-imports 全绿。 - 阻断语义自证（已改回，提交里只有正确版本）：临时把规则用例 user-taboo-overrides-trend-recommendation 的 must_avoid 改成不存在的 取值并把 hard_blocks_nonempty 翻转为 true → 规则子集 12/13=0.9231 <1.0 fail，明细输出“must_avoid 未命中：期望 top[length=九分裤脚]，实际 avoid=[top[length=[短款, 露脐]]]”与“hard_blocks_nonempty 期望 True， 实际 False（硬拦截规则：无）”；再临时破坏 3 条检索用例（2 条 must_hit 换成不存在的实体名、1 条 must_miss 加入本应命中的实体）→ 检索子集 10/13=0.7692<0.8 fail，明细含“must_miss 红线违规：golden:r12-good 出现在第 1 位——硬过滤零漏被破坏”。验证完三条全部改回，复跑全绿。 （注：检索阈值 0.8 起步，单条退化 0.92 尚不拦截、≥3 条即拦截，符合 种子期口径；规则阈值 1.0 单条即拦截。） 偏差说明：无
53 lines
2.0 KiB
Python
53 lines
2.0 KiB
Python
"""黄金集回归 pytest 入口（marker=golden；无 MEIDA_RUN_INTEGRATION 时整体 skip）.
|
||
|
||
薄壳（任务文档 §3.4）：加载/执行/指标/明细全部在 ``runner.py``——本文件只把
|
||
``SubsetReport`` 的指标对齐 thresholds，退化时把逐用例明细完整抛给 CI 日志。
|
||
|
||
Run: MEIDA_RUN_INTEGRATION=1 .venv/bin/pytest -m golden --no-cov（即 make golden）
|
||
"""
|
||
|
||
from __future__ import annotations
|
||
|
||
import os
|
||
from collections.abc import AsyncIterator
|
||
|
||
import pytest
|
||
|
||
from packages.shared.db import dispose_engine
|
||
from tests.golden import runner
|
||
|
||
pytestmark = [
|
||
pytest.mark.golden,
|
||
pytest.mark.skipif(
|
||
not os.getenv("MEIDA_RUN_INTEGRATION"),
|
||
reason="需要真实 PostgreSQL/pgvector：MEIDA_RUN_INTEGRATION=1（make golden）",
|
||
),
|
||
]
|
||
|
||
|
||
@pytest.fixture(autouse=True)
|
||
async def _hermetic_engine() -> AsyncIterator[None]:
|
||
"""每个用例前后重建全局 engine：asyncpg 连接绑定创建它的事件循环，
|
||
pytest-asyncio 给每个用例一个新 loop，复用池里旧连接会报
|
||
"attached to a different loop"（与 tests/integration 同一处理）。"""
|
||
await dispose_engine()
|
||
yield
|
||
await dispose_engine()
|
||
|
||
|
||
def test_rules_subset_meets_thresholds() -> None:
|
||
"""规则子集阈值 = 1.0：核心结论由规则产出，一条不许退（README 详述原因）."""
|
||
report = runner.run_rules_subset()
|
||
assert report.pass_rate >= report.pass_rate_min, f"规则黄金集指标退化：\n{report.summary()}"
|
||
|
||
|
||
async def test_retrieval_subset_meets_thresholds() -> None:
|
||
"""检索子集 0.8 起步：pass_rate 与 first_hit_in_top3 双指标对齐阈值."""
|
||
report = await runner.run_retrieval_subset()
|
||
detail = report.summary()
|
||
assert report.pass_rate >= report.pass_rate_min, f"检索黄金集指标退化：\n{detail}"
|
||
rate = report.first_hit_in_top3_rate
|
||
assert rate is not None and rate >= report.first_hit_in_top3_min, (
|
||
f"检索黄金集 first_hit_in_top3 指标退化（或无用例声明该指标）：\n{detail}"
|
||
)
|