a044ea2e4721581f5489f7a4c5c14c0469b68ee1
TtlCache(全输入进键/惰性过期/容量逐出/命中零 DB)+ search 接线 (空结果不缓存,保住 gap 埋点)+ invalidate_cache 真实现(T-P2-10)。 实现: - packages/retrieval/cache.py(新建):CacheKey 全输入进键(query/body_shape/ occasion/entity_types 排序归一/rule_boost 排序序列化哈希/top_k/失效代数); TtlCache 惰性过期 + OrderedDict LRU(超限 popitem 最旧)+ hits/misses/ evictions 计数与 stats();clock 可注入(单测免 sleep,默认 monotonic); asyncio 单循环不加锁的前提写在模块 docstring;正确性红线(只缓存不可变 值、命中零 DB)同处。纯逻辑,不 import 任何项目内模块(值类型由 service 以 PEP 695 泛型注入,避免循环依赖)。 - packages/retrieval/service.py:__init__ 加 keyword-only cache=None(默认 禁用,行为与现状一致,既有调用点不受影响);from_settings 按 Settings 装配进程级共享缓存(retrieval_cache_enabled=False → None;TTL/容量变化 时重建);search() 在 embed 之前查缓存——命中直接返回(零 DB、零 embed), 写入与命中都做防御性拷贝(results 是 list,调用方拿不到缓存内引用), 仅有结果时写缓存(空结果不缓存,record_gap 每次都跑);invalidate_cache() 签名不变:自增 repo.INVALIDATION_VERSION(代数失效,旧代键永不命中, 与 T12 的契约保持)+ 清空共享实例(仅为立即回收内存,失效正确性只 依赖代数)。repo.py 未做任何改动。 测试: - 单测 tests/unit/test_retrieval_cache.py(21 例,fake repo/embedding + 注入时钟,不连库):同参二连查零 DB 且结果相等、键分量矩阵(query/ occasion/body_shape/entity_types/rule_boost/top_k 任一变化 → miss)、 TTL 过期边界(60.0 过期/59.9 命中)、LRU 逐出与命中率/计数、空结果 不缓存且 gap 埋点每次触发、invalidate_cache() 代数失效(含自增语义 保留断言)、cache=None 与现状一致、from_settings 装配开关与共享实例、 rule_boost 哈希确定性。全量单测 494 passed(基线 473 + 新增 21)。 - 集成 tests/integration/test_retrieval_cache.py(2 例,真实 PG + pgvector): 发布新实体 + invalidate_cache() 后同参检索立即可见(失效前缓存仍只吐 旧实体,证明缓存在工作——T-P2-10 验收语义);不失效、TTL=1s 到期 (asyncio.sleep 1.1s)后新实体自然可见(双路径验收)。集成全量 40 passed。 偏差说明:无(invalidate_cache() 在代数失效之外顺带清空共享缓存实例, 失效正确性只依赖代数,清空仅为立即释放内存)。
meida_backend · 美搭服务端
「美搭」智能穿搭美学助手的服务端。当前状态是工程地基 + 一条打通的纵向切片
(登录取 token → 配额预扣 → 真实调用 DeepSeek → 记成本 → 提交配额),
业务域大多只有目录与 README,见各 packages/*/README.md。
技术选型与分层依据见仓库外的《技术架构文档》《技术选型与调研报告》,本文只讲怎么跑起来。
快速开始
cp .env.example .env # 填入 DEEPSEEK_API_KEY
make install # uv sync + 装 pre-commit
make up # PostgreSQL(pgvector) + Redis,端口 55432 / 56379
make migrate # 建表并创建 vector 扩展
make run # http://localhost:8000/api/v1/docs
验证真实链路(会产生真实 API 费用,是唯一花钱的入口):
make smoke
它会起依赖、迁移、拉起 API、发一次真实对话,然后把 ob_ai_call
的成本行与 bl_ledger 的配额流水打出来。跑通即证明「计量 + 配额 + 大模型」三者串通。
目录结构
| 目录 | 职责 |
|---|---|
apps/api |
HTTP 入口。只做鉴权、校验、幂等、配额、统一响应,不放业务规则 |
apps/worker |
Celery 长耗时任务入口 |
packages/domain |
纯领域逻辑,不许 import 任何框架与 I/O |
packages/llm |
大模型网关:场景路由、Prompt 版本、结构化输出、成本计量、预算熔断 |
packages/shared |
配置、日志脱敏、DB、Redis、错误码、中间件 |
packages/<业务域> |
identity / billing / task / agent / kb / retrieval / report … |
services/ |
需要独立伸缩的重型服务(换装、抠图、视觉),V1 为占位 |
prompts/ |
按 <prompt_id>/<version>.txt 归档,与 ob_ai_call.prompt_version 对应 |
migrations/ |
Alembic;CI 强制 upgrade → downgrade → upgrade 往返可用 |
依赖方向由 lint-imports 强制(pyproject.toml 的 [tool.importlinter])。
apps → packages → domain 是单向的,业务包也不得绕过网关直连 provider。
提交前
make check # lint + typecheck + imports + test + secrets,与 CI 同一套
单测不连库、不发网络请求。需要真实中间件的用例在 tests/integration,
默认跳过,用 make test-integration 显式开启。
两件容易踩的事
- Prompt 固定前缀不许含时间戳、随机值等易变内容。 命中缓存的输入单价只有未命中的
约 1/30,前缀被污染会让输入成本翻数十倍。
LLM_CACHE_PREFIX_MODE=strict下启动即失败。 - DeepSeek 自 2026-08-17 起峰谷定价,高峰(北京时间 09:00-12:00、14:00-18:00)
单价是空闲时段的 2 倍。单价配两套,由
packages/llm/cost.py按调用时刻选择; 成本在调用当时算好落库,事后不按当前价重算。
Languages
Python
98.4%
Jinja
0.7%
Shell
0.5%
Makefile
0.3%