xsl a044ea2e47 feat(retrieval): TTL+LRU result cache with generation-based invalidation
TtlCache(全输入进键/惰性过期/容量逐出/命中零 DB)+ search 接线
(空结果不缓存,保住 gap 埋点)+ invalidate_cache 真实现(T-P2-10)。

实现:
- packages/retrieval/cache.py(新建):CacheKey 全输入进键(query/body_shape/
  occasion/entity_types 排序归一/rule_boost 排序序列化哈希/top_k/失效代数);
  TtlCache 惰性过期 + OrderedDict LRU(超限 popitem 最旧)+ hits/misses/
  evictions 计数与 stats();clock 可注入(单测免 sleep,默认 monotonic);
  asyncio 单循环不加锁的前提写在模块 docstring;正确性红线(只缓存不可变
  值、命中零 DB)同处。纯逻辑,不 import 任何项目内模块(值类型由 service
  以 PEP 695 泛型注入,避免循环依赖)。
- packages/retrieval/service.py:__init__ 加 keyword-only cache=None(默认
  禁用,行为与现状一致,既有调用点不受影响);from_settings 按 Settings
  装配进程级共享缓存(retrieval_cache_enabled=False → None;TTL/容量变化
  时重建);search() 在 embed 之前查缓存——命中直接返回(零 DB、零 embed),
  写入与命中都做防御性拷贝(results 是 list,调用方拿不到缓存内引用),
  仅有结果时写缓存(空结果不缓存,record_gap 每次都跑);invalidate_cache()
  签名不变:自增 repo.INVALIDATION_VERSION(代数失效,旧代键永不命中,
  与 T12 的契约保持)+ 清空共享实例(仅为立即回收内存,失效正确性只
  依赖代数)。repo.py 未做任何改动。

测试:
- 单测 tests/unit/test_retrieval_cache.py(21 例,fake repo/embedding +
  注入时钟,不连库):同参二连查零 DB 且结果相等、键分量矩阵(query/
  occasion/body_shape/entity_types/rule_boost/top_k 任一变化 → miss)、
  TTL 过期边界(60.0 过期/59.9 命中)、LRU 逐出与命中率/计数、空结果
  不缓存且 gap 埋点每次触发、invalidate_cache() 代数失效(含自增语义
  保留断言)、cache=None 与现状一致、from_settings 装配开关与共享实例、
  rule_boost 哈希确定性。全量单测 494 passed(基线 473 + 新增 21)。
- 集成 tests/integration/test_retrieval_cache.py(2 例,真实 PG + pgvector):
  发布新实体 + invalidate_cache() 后同参检索立即可见(失效前缓存仍只吐
  旧实体,证明缓存在工作——T-P2-10 验收语义);不失效、TTL=1s 到期
  (asyncio.sleep 1.1s)后新实体自然可见(双路径验收)。集成全量 40 passed。

偏差说明:无(invalidate_cache() 在代数失效之外顺带清空共享缓存实例,
失效正确性只依赖代数,清空仅为立即释放内存)。
2026-08-14 21:16:51 +08:00

meida_backend · 美搭服务端

「美搭」智能穿搭美学助手的服务端。当前状态是工程地基 + 一条打通的纵向切片 (登录取 token → 配额预扣 → 真实调用 DeepSeek → 记成本 → 提交配额), 业务域大多只有目录与 README,见各 packages/*/README.md。

技术选型与分层依据见仓库外的《技术架构文档》《技术选型与调研报告》,本文只讲怎么跑起来。

快速开始

cp .env.example .env          # 填入 DEEPSEEK_API_KEY
make install                  # uv sync + 装 pre-commit
make up                       # PostgreSQL(pgvector) + Redis,端口 55432 / 56379
make migrate                  # 建表并创建 vector 扩展
make run                      # http://localhost:8000/api/v1/docs

验证真实链路(会产生真实 API 费用,是唯一花钱的入口):

make smoke

它会起依赖、迁移、拉起 API、发一次真实对话,然后把 ob_ai_call 的成本行与 bl_ledger 的配额流水打出来。跑通即证明「计量 + 配额 + 大模型」三者串通。

目录结构

目录 职责
apps/api HTTP 入口。只做鉴权、校验、幂等、配额、统一响应,不放业务规则
apps/worker Celery 长耗时任务入口
packages/domain 纯领域逻辑,不许 import 任何框架与 I/O
packages/llm 大模型网关:场景路由、Prompt 版本、结构化输出、成本计量、预算熔断
packages/shared 配置、日志脱敏、DB、Redis、错误码、中间件
packages/<业务域> identity / billing / task / agent / kb / retrieval / report …
services/ 需要独立伸缩的重型服务(换装、抠图、视觉),V1 为占位
prompts/ 按 <prompt_id>/<version>.txt 归档,与 ob_ai_call.prompt_version 对应
migrations/ Alembic;CI 强制 upgrade → downgrade → upgrade 往返可用

依赖方向由 lint-imports 强制(pyproject.toml 的 [tool.importlinter])。 apps → packages → domain 是单向的,业务包也不得绕过网关直连 provider。

提交前

make check      # lint + typecheck + imports + test + secrets,与 CI 同一套

单测不连库、不发网络请求。需要真实中间件的用例在 tests/integration, 默认跳过,用 make test-integration 显式开启。

两件容易踩的事

  • Prompt 固定前缀不许含时间戳、随机值等易变内容。 命中缓存的输入单价只有未命中的 约 1/30,前缀被污染会让输入成本翻数十倍。LLM_CACHE_PREFIX_MODE=strict 下启动即失败。
  • DeepSeek 自 2026-08-17 起峰谷定价,高峰(北京时间 09:00-12:00、14:00-18:00) 单价是空闲时段的 2 倍。单价配两套,由 packages/llm/cost.py 按调用时刻选择; 成本在调用当时算好落库,事后不按当前价重算。
S
Description
No description provided
Readme
1.4 MiB
Languages
Python 98.4%
Jinja 0.7%
Shell 0.5%
Makefile 0.3%