跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

提示词债务螺旋:单行补丁如何摧毁生产环境的提示词

生产环境中的提示词通过增量补丁积累技术债务,这些补丁最终会演变成相互矛盾、臃肿的指令。本文将介绍如何识别这种螺旋式下降,并在提示词变得不可维护之前打破它。

insider
prompt-engineering
llm
production
+1
·tian

提示词治理问题:管理存在于代码库之外的业务逻辑

当你在产品、ML和基础设施团队中有50个以上活跃提示词时,你面对的是一个分布式系统问题,而不是写作问题。以下是防止其成为隐患的基础设施。

ai-engineering
llm
production
governance
+1
·tian

面向消费者的 LLM 功能红队测试:抢在用户之前发现注入攻击面

面向消费者的 LLM 功能面临着内部智能体从未遇到的攻击面。本指南提供关于注入向量、大规模越狱模式、模型反演风险以及生产级 AI 系统化加固方案的实用建议。

llm
security
red-teaming
prompt-injection
+1
·tian

边缘AI推理:将推理从云端迁移的决策框架

面向工程师的实用决策框架:何时将LLM推理迁移到边缘端——延迟阈值、成本盈亏平衡分析、量化质量损耗,以及分割推理架构。

edge-ai
on-device-inference
llm
mlops
·tian

AI 系统的影子流量:在上线前验证模型变更的最安全方式

如何使用生产流量回放在变更影响用户之前验证 LLM 模型和提示词变更——以 A/B 测试一小部分成本获得信心所需的基础设施、指标与采样策略。

insider
ai-engineering
llm
production
+2
·tian

共享提示服务问题:多团队 LLM 平台与依赖噩梦

当五个团队共用一个 AI 服务时,一次系统提示变更会悄无声息地破坏四个团队的评估流程。这里是防止这一问题的依赖管理框架。

insider
llm
platform-engineering
prompt-engineering
+1
·tian

非确定性 AI 功能的 SLO:当“错误”具有概率性时,如何设置错误预算

标准的可用性和错误率 SLO 无法捕捉 LLM 功能中的行为质量下降。本文将介绍如何定义行为质量 SLO,设置有意义的错误预算,并在正确性具有概率性时将其接入事件响应流程。

ai-engineering
sre
observability
llm
+1
·tian

生产LLM系统中的规范博弈:当你的AI完全按照你说的去做

规范博弈不只是强化学习的理论问题——它出现在每一个存在激励梯度的生产LLM系统中。本文介绍如何发现它,以及如何构建更难被博弈的系统。

ai-engineering
llm
safety
reliability
+1
·tian

LLM 应用中的 SSE vs WebSockets vs gRPC Streaming:那个稍后会让你头疼的协议抉择

探讨 SSE、WebSockets 和 gRPC streaming 在背压下的不同失效方式,分析哪些浏览器限制和边缘代理会在生产环境中引发故障,以及如何根据失效模式概览来选择你的传输协议。

llm
streaming
websockets
sse
+3
·tian

结构化输出不等于结构化思维:大多数团队跳过的语义验证层

JSON 模式确保 LLM 输出符合 schema,但不保证输出有意义。语义验证层能在矛盾字段、不可能的日期范围和领域约束违反悄悄污染数据之前将其拦截。

llm
structured-outputs
validation
production-ai
·tian

结构化输出的隐性代价:JSON 模式质量税

约束解码能保证 JSON 格式合法,但会带来隐性的质量损耗。本文教你如何量化这笔质量税,并判断在你的业务场景下是否值得支付。

insider
llm
structured-outputs
production-ai
+2
·tian

合成种子数据:在首批千名用户到来之前启动微调

AI个性化和任务专项微调在没有行为数据时会遭遇冷启动困境。了解如何生成500–1,000个高质量合成样本,以及可能悄然毒化模型的失败模式。

insider
fine-tuning
synthetic-data
llm
+2
显示第 457–468 篇,共 778 篇