xsl
a4d59aca30
把单一日预算熔断升级为架构 §13.3 的四档分级降级（T-P1-25b / NFR-COST-02）：
- budget.py：新增 BudgetTier 配置模型与档位判定（current_tier/tier_name/
blocked_scenes）。阈值相对 LLM_DAILY_BUDGET_CENTS：warn ≥60% 只告警；
degrade_secondary ≥80% 拒 hd_export/report_regen；degrade_generation ≥90%
追加拒 hairstyle/tryon；block_all ≥100% 拒全部非 critical、allow 名单
（默认 agent_chat）放行。高档位 blocked 取「截至当前档的并集」（架构原文
「追加拒绝」）。critical 场景全档豁免但照常计成本。
- 手动 override：Redis 键 llm:budget:override（值 "1"~"4"），优先于成本水
位，读不到/非法则忽略；set_override TTL 到当日 UTC+8 24 点，跨预算日必然
失效。CostCounter 协议相应增加 set/delete。
- 指标：Gauge llm_budget_tier + Counter llm_budget_blocked_total{scene}
挂到共享 REGISTRY 随 /metrics 暴露；档位上升沿只告警一次
（budget_tier_raised，实例内记 last_tier）。
- errors.py 新增 SceneDegradedError（tier2/3 拒绝）；gateway.py 调用点换成
ensure_scene_allowed（保留 ensure_within_budget 兼容入口）；agent.py 映射
LLM_SCENE_DEGRADED(60006)；100% 档维持 DailyBudgetExceededError/60003 语义。
- 单测：新增 tests/unit/test_tiered_budget.py（27 例：四档边界、各档放行/
拒绝、critical 豁免、override 加严/放宽/非法值/TTL、配置驱动）。
- 集成：tests/integration/test_vertical_slice.py 新增用例——预算 1 分 +
block_all allow 清空 + Redis 注入当日成本，POST /agent/chat 返回 60003，
断言 bl_ledger 中 consume(refunded,-1)+refund(committed,+1) 净和为 0，
覆盖「reserve 之后才熔断 → refund」路径；fixture 重构为共享
FakeProvider/fake_client，断言语义未弱化。
门禁：ruff check/format、mypy（packages/llm strict + 其余包）、lint-imports、
单测 196 passed、集成 4 passed。
偏差说明：
1. tests/unit/test_gateway.py 的 test_daily_budget_rejects_non_critical_
scenes_before_spending 把被测场景 AGENT_CHAT 换成 REPORT_COPY（test_daily_
budget.py 同用例换 tryon）：block_all 档默认 allow=["agent_chat"]（架构
「仅保留纯文本对话」）后 agent_chat 在 100% 档不再被拒，原场景选择与新
语义冲突；断言本身（进 provider 前被拒）未弱化。
2. 集成测试的 block_all 档配置为 blocked="*"+allow=[]（文档示例为
blocked=["agent_chat"]）：后者按档位规则会走 SceneDegradedError/60006，
前者才能按设计走既有 60003 语义（文档允许二者取其一且"按上面设计应为
60003"）。
69 lines
2.4 KiB
Python
Executable File
69 lines
2.4 KiB
Python
Executable File
"""``POST /agent/chat`` — the vertical slice.
|
|
|
|
One request exercises: JWT auth → quota reserve → LLM gateway (routing, prompt
|
|
version, cache-prefix check, daily budget) → ``ob_ai_call`` cost row → quota
|
|
commit/refund → unified envelope. Streaming (SSE, FR-AGT-01) is intentionally
|
|
out of scope for the scaffold.
|
|
"""
|
|
|
|
from __future__ import annotations
|
|
|
|
import uuid
|
|
|
|
from fastapi import APIRouter
|
|
|
|
from apps.api.deps import AgentServiceDep, CurrentUserId
|
|
from apps.api.schemas import ChatRequest, ChatResponse, ChatUsage
|
|
from packages.llm.errors import (
|
|
AllProvidersFailedError,
|
|
CachePrefixViolationError,
|
|
DailyBudgetExceededError,
|
|
SceneDegradedError,
|
|
StructuredOutputError,
|
|
)
|
|
from packages.shared.errors import AppError, ErrorCode
|
|
from packages.shared.response import ok
|
|
|
|
router = APIRouter(prefix="/agent", tags=["agent"])
|
|
|
|
|
|
@router.post("/chat", summary="Single-turn styling chat (non-streaming)")
|
|
async def chat(
|
|
payload: ChatRequest,
|
|
user_id: CurrentUserId,
|
|
agent: AgentServiceDep,
|
|
) -> dict[str, object]:
|
|
request_key = payload.request_key or uuid.uuid4().hex
|
|
try:
|
|
result = await agent.chat(user_id=user_id, message=payload.message, request_key=request_key)
|
|
except DailyBudgetExceededError as exc:
|
|
raise AppError(ErrorCode.LLM_DAILY_BUDGET_EXCEEDED) from exc
|
|
except SceneDegradedError as exc:
|
|
# 分级降级（§13.3 tier2/3）：该场景今日被关停，但平台未爆预算
|
|
raise AppError(ErrorCode.LLM_SCENE_DEGRADED) from exc
|
|
except StructuredOutputError as exc:
|
|
raise AppError(ErrorCode.LLM_STRUCTURED_OUTPUT_FAILED) from exc
|
|
except AllProvidersFailedError as exc:
|
|
raise AppError(ErrorCode.LLM_ALL_PROVIDERS_FAILED) from exc
|
|
except CachePrefixViolationError as exc:
|
|
raise AppError(ErrorCode.LLM_PROMPT_CACHE_VIOLATION) from exc
|
|
|
|
return ok(
|
|
ChatResponse(
|
|
reply=result.reply,
|
|
provider=result.provider,
|
|
model=result.model,
|
|
prompt_id=result.prompt_id,
|
|
prompt_version=result.prompt_version,
|
|
call_id=str(result.call_id),
|
|
usage=ChatUsage(
|
|
tokens_in=result.tokens_in,
|
|
tokens_out=result.tokens_out,
|
|
tokens_cached=result.tokens_cached,
|
|
latency_ms=result.latency_ms,
|
|
cost_cents=str(result.cost_cents),
|
|
),
|
|
quota_remaining=result.quota_remaining,
|
|
).model_dump()
|
|
)
|