xsl
aa1287d83d
DeterministicEmbedder（可换 BGE-M3 的接口位）+ kb_chunk 双索引写入 + 硬过滤→向量→关键词→RRF 重排管线 + kb_gap 缺口埋点（T-P2-03/04/06，TD-08）。 实现： - embedding.py：EmbeddingProvider Protocol + DeterministicEmbedder （sha256 种子→归一化 1024 维假向量，同文本同向量/异文本近似正交） + build_embedding_provider 工厂（未知模型名抛 CONFIG_ERROR）。 - repo.py：upsert_chunks（整实体先删后插，逐行带 embedding_model/version， 可重跑判据 T-P2-03）；hybrid_search（§8.3 CTE：硬过滤 published/ entity_types/occasion/avoid_body_shapes → <=> 余弦 topN → ts_rank topN → RRF）；record_gap（咨询锁串行化同 query+filter_ctx 的 hit_count 递增）。 - rerank.py：RRF/权重/新鲜度纯数学（独立于 SQL 以便单测逐项断言）。 - service.py：RetrievalService.search 编排 embed→检索→（空结果）gap 埋点， SearchOutcome.degraded 标记降级。 测试：单测 +30（test_embedding 确定性/维度/归一化/工厂拒绝、test_rerank 公式逐项断言、test_retrieval_service 编排打桩）；集成 +5 （test_hybrid_retrieval：禁忌实体同文最近向量仍零出现、draft 零出现、 关键词路径、换模型整组替换、kb_gap hit_count=2、partial 索引 EXPLAIN 验证）。 全绿：ruff / mypy(retrieval+shared+domain) / lint-imports / 268 单测 / 21 集成。 偏差说明： 1) 新增 rerank.py（任务文档只点名 embedding/repo/service，但重排数学必须 不连库可单测，独立模块是最低成本实现，仍属 packages/retrieval/**）。 2) upsert_chunks 的 upsert 粒度是实体（先删后插）：kb_chunk 无业务自然键， 行级 ON CONFLICT 不可行；换模型名=新版本整组替换，不留旧版本残向量。 3) 禁忌过滤用 COALESCE(attrs->avoid_body_shapes, '[]')兜底：jsonb NULL 的 ? 运算结果是 NULL，直接 NOT 会把未声明禁忌的好实体一并排除。 4) 关键词路过滤用 tsv @@ tsquery 而非 ts_rank>0：ts_rank 对不匹配文本返回 ~1e-20 正 epsilon，阈值过滤会把无关 chunk 全放进关键词路。 5) RRF 分量按 1/(k+1) 归一到 (0,1]，使 0.45/0.2/0.25/0.1 权重量纲可比 （原始倒数 0.45×1/61 与规则项 0.25×1 完全不可比）。
35 lines
1.0 KiB
Python
35 lines
1.0 KiB
Python
"""混合检索：硬过滤 → 向量召回 → 关键词召回 → RRF 重排 + 缺口埋点（架构 §8.3）.
|
|
|
|
进程内包，被 agent / report 的 service 调用，没有 HTTP 路由。
|
|
硬过滤零漏（FR-KB-06）与向量化可重跑（T-P2-03）的保证都在
|
|
``repo.py`` 顶部注释里，改代码前先读。
|
|
"""
|
|
|
|
from __future__ import annotations
|
|
|
|
from packages.retrieval.embedding import (
|
|
DETERMINISTIC_MODEL_NAME,
|
|
DeterministicEmbedder,
|
|
EmbeddingProvider,
|
|
build_embedding_provider,
|
|
)
|
|
from packages.retrieval.repo import ChunkInput, hybrid_search, record_gap, upsert_chunks
|
|
from packages.retrieval.rerank import RecallRow, ScoredChunk
|
|
from packages.retrieval.service import RetrievalService, SearchOutcome, UserContext
|
|
|
|
__all__ = [
|
|
"DETERMINISTIC_MODEL_NAME",
|
|
"ChunkInput",
|
|
"DeterministicEmbedder",
|
|
"EmbeddingProvider",
|
|
"RecallRow",
|
|
"RetrievalService",
|
|
"ScoredChunk",
|
|
"SearchOutcome",
|
|
"UserContext",
|
|
"build_embedding_provider",
|
|
"hybrid_search",
|
|
"record_gap",
|
|
"upsert_chunks",
|
|
]
|