跳转到主要内容

778 含有标签「llm」

Posts tagged "llm" on TianPan.co.

查看所有标签

·tian

过度规格化系统提示词的质量税

臃肿的系统提示词不只是花费更多——它们会让模型变蠢。本文介绍如何衡量提示词肥胖并在不引发回退的情况下进行精简。

prompt-engineering
llm
cost-optimization
ai-engineering
·tian

你的 RAG 懂文档,但它不懂你的工程师所知道的。

大多数企业级 RAG 系统只索引书面文档,忽略了真正驱动决策的隐性知识。本文将探讨如何构建能够捕获工程师核心知识的系统,以免这些宝贵财富随人员流失而消失。

insider
rag
knowledge-management
enterprise-ai
+2
·tian

Temperature 是产品决策,不是模型旋钮

LLM temperature 控制输出方差——而这种方差直接影响用户信任、参与度和行为。大多数团队将其视为技术默认值,但其实并非如此。

llm
production-ai
product-engineering
ai-ux
·tian

大规模 Text-to-SQL:上线之前没人告诉你的那些事

Text-to-SQL 演示很容易构建,生产部署却截然不同。Schema 歧义、权限提升以及 80% 的基准测试差距,揭示了大多数团队忽略的工程层。

ai-engineering
sql
agents
security
+1
·tian

转录层的谎言:为何你的多模态管道会在下游产生幻觉

将ASR和OCR输出视为可信文本会悄无声息地污染下游LLM推理——解决之道不是更好的模型,而是在整个管道中保留置信度分数。

ai-engineering
multimodal
llm
production-ai
·tian

AI 事故复盘中的“责任消失”难题

当 AI 系统性能下降时,责任往往会同时散布在模型、Prompt、检索、评估和基础设施等多个环节。本文提供了一套归因框架,帮助你在复盘演变成简单的“模型变了”这种借口之前,将事故精准锁定到具体层级。

ai-engineering
observability
incident-response
llm
+1
·tian

AI 原生 API 设计:当后端开始概率性思维,REST 为何失效

REST 是为快速、确定性后端而生的。LLM 服务速度慢、具有概率性且任务耗时长——而真正在生产环境中经得住考验的接口模式,与传统 HTTP API 设计截然不同。

insider
api-design
llm
streaming
+1
·tian

AI 值班手册:当 Bug 是一次错误预测时的故障响应

传统运行手册在症状是'输出感觉不对'时会失效。这是一套专为生产环境中 AI 系统设计的实用分诊决策树、升级标准和复盘格式。

insider
mlops
incident-response
llm
+2
·tian

没人会提前搭建的AI运维仪表盘

延迟和错误率覆盖的LLM功能故障空间不足20%。以下是你的APM仪表盘默默忽略的五种生产故障模式,以及真正能发现问题的信号层级体系。

insider
ai-engineering
observability
monitoring
+2
·tian

聊天机器人、Copilot 还是 Agent:改变你架构决策的分类学

选错 AI 交互范式——聊天机器人、Copilot 还是 Agent——会造成无法靠调整提示词来修复的架构债务。本文深入分析应在写下第一行代码之前就驱动这一决策的信任模型、上下文窗口策略和错误恢复需求。

insider
ai-agents
architecture
llm
+1
·tian

隐性反馈陷阱:为什么参与度指标在 AI 质量上具有误导性

点赞评价、点击率和满意度得分通常会系统性地偏向听起来自信的 AI 输出,而非准确的输出。本文将探讨为什么参与度指标会随着时间的推移让 AI 变得更糟,以及哪些行为信号才能真正追踪质量。

insider
ai-evaluation
rlhf
product-metrics
+1
·tian

LLM 本地开发循环:在不耗尽 API 预算的情况下实现快速迭代

如何使用录制回放模式、确定性 Fixtures 和分层测试策略,为 LLM 应用构建快速的内部循环 —— 且无需在每次代码变更时耗费大量 API 预算。

insider
llm
testing
developer-experience
+1
显示第 469–480 篇,共 778 篇