xsl aa1287d83d feat(retrieval): hybrid search over pgvector with hard filters and gap tracking
DeterministicEmbedder(可换 BGE-M3 的接口位)+ kb_chunk 双索引写入
+ 硬过滤→向量→关键词→RRF 重排管线 + kb_gap 缺口埋点(T-P2-03/04/06,TD-08)。

实现:
- embedding.py:EmbeddingProvider Protocol + DeterministicEmbedder
  (sha256 种子→归一化 1024 维假向量,同文本同向量/异文本近似正交)
  + build_embedding_provider 工厂(未知模型名抛 CONFIG_ERROR)。
- repo.py:upsert_chunks(整实体先删后插,逐行带 embedding_model/version,
  可重跑判据 T-P2-03);hybrid_search(§8.3 CTE:硬过滤 published/
  entity_types/occasion/avoid_body_shapes → <=> 余弦 topN → ts_rank topN
  → RRF);record_gap(咨询锁串行化同 query+filter_ctx 的 hit_count 递增)。
- rerank.py:RRF/权重/新鲜度纯数学(独立于 SQL 以便单测逐项断言)。
- service.py:RetrievalService.search 编排 embed→检索→(空结果)gap 埋点,
  SearchOutcome.degraded 标记降级。

测试:单测 +30(test_embedding 确定性/维度/归一化/工厂拒绝、test_rerank
公式逐项断言、test_retrieval_service 编排打桩);集成 +5
(test_hybrid_retrieval:禁忌实体同文最近向量仍零出现、draft 零出现、
关键词路径、换模型整组替换、kb_gap hit_count=2、partial 索引 EXPLAIN 验证)。
全绿:ruff / mypy(retrieval+shared+domain) / lint-imports / 268 单测 /
21 集成。

偏差说明:
1) 新增 rerank.py(任务文档只点名 embedding/repo/service,但重排数学必须
   不连库可单测,独立模块是最低成本实现,仍属 packages/retrieval/**)。
2) upsert_chunks 的 upsert 粒度是实体(先删后插):kb_chunk 无业务自然键,
   行级 ON CONFLICT 不可行;换模型名=新版本整组替换,不留旧版本残向量。
3) 禁忌过滤用 COALESCE(attrs->avoid_body_shapes, '[]')兜底:jsonb NULL
   的 ? 运算结果是 NULL,直接 NOT 会把未声明禁忌的好实体一并排除。
4) 关键词路过滤用 tsv @@ tsquery 而非 ts_rank>0:ts_rank 对不匹配文本返回
   ~1e-20 正 epsilon,阈值过滤会把无关 chunk 全放进关键词路。
5) RRF 分量按 1/(k+1) 归一到 (0,1],使 0.45/0.2/0.25/0.1 权重量纲可比
   (原始倒数 0.45×1/61 与规则项 0.25×1 完全不可比)。
2026-08-14 20:12:27 +08:00

meida_backend · 美搭服务端

「美搭」智能穿搭美学助手的服务端。当前状态是工程地基 + 一条打通的纵向切片 (登录取 token → 配额预扣 → 真实调用 DeepSeek → 记成本 → 提交配额), 业务域大多只有目录与 README,见各 packages/*/README.md。

技术选型与分层依据见仓库外的《技术架构文档》《技术选型与调研报告》,本文只讲怎么跑起来。

快速开始

cp .env.example .env          # 填入 DEEPSEEK_API_KEY
make install                  # uv sync + 装 pre-commit
make up                       # PostgreSQL(pgvector) + Redis,端口 55432 / 56379
make migrate                  # 建表并创建 vector 扩展
make run                      # http://localhost:8000/api/v1/docs

验证真实链路(会产生真实 API 费用,是唯一花钱的入口):

make smoke

它会起依赖、迁移、拉起 API、发一次真实对话,然后把 ob_ai_call 的成本行与 bl_ledger 的配额流水打出来。跑通即证明「计量 + 配额 + 大模型」三者串通。

目录结构

目录 职责
apps/api HTTP 入口。只做鉴权、校验、幂等、配额、统一响应,不放业务规则
apps/worker Celery 长耗时任务入口
packages/domain 纯领域逻辑,不许 import 任何框架与 I/O
packages/llm 大模型网关:场景路由、Prompt 版本、结构化输出、成本计量、预算熔断
packages/shared 配置、日志脱敏、DB、Redis、错误码、中间件
packages/<业务域> identity / billing / task / agent / kb / retrieval / report …
services/ 需要独立伸缩的重型服务(换装、抠图、视觉),V1 为占位
prompts/ 按 <prompt_id>/<version>.txt 归档,与 ob_ai_call.prompt_version 对应
migrations/ Alembic;CI 强制 upgrade → downgrade → upgrade 往返可用

依赖方向由 lint-imports 强制(pyproject.toml 的 [tool.importlinter])。 apps → packages → domain 是单向的,业务包也不得绕过网关直连 provider。

提交前

make check      # lint + typecheck + imports + test + secrets,与 CI 同一套

单测不连库、不发网络请求。需要真实中间件的用例在 tests/integration, 默认跳过,用 make test-integration 显式开启。

两件容易踩的事

  • Prompt 固定前缀不许含时间戳、随机值等易变内容。 命中缓存的输入单价只有未命中的 约 1/30,前缀被污染会让输入成本翻数十倍。LLM_CACHE_PREFIX_MODE=strict 下启动即失败。
  • DeepSeek 自 2026-08-17 起峰谷定价,高峰(北京时间 09:00-12:00、14:00-18:00) 单价是空闲时段的 2 倍。单价配两套,由 packages/llm/cost.py 按调用时刻选择; 成本在调用当时算好落库,事后不按当前价重算。
S
Description
No description provided
Readme
1.4 MiB
Languages
Python 98.4%
Jinja 0.7%
Shell 0.5%
Makefile 0.3%