跳转到主要内容

26 含有标签「data-engineering」

Posts tagged "data-engineering" on TianPan.co.

查看所有标签

·tian

崩溃是承重性的:大语言模型 (LLM) 的容错性如何掩盖了破碎的数据契约

流水线曾通过崩溃来强制执行数据契约。然而,作为消费者的 LLM 却能应对畸形的输入,从而将明显的故障转变为无声的质量下降 —— 本文将介绍如何通过验证门和金丝雀断言来恢复告警机制。

llm
data-engineering
reliability
ai-engineering
·tian

你的上下文流水线需要一份新鲜度 SLA

大多数 “幻觉” 其实是伪装下的新鲜度事故。上下文窗口是基于十个上游数据源的物化视图 —— 它像任何其他数据流水线一样,需要血缘追踪、新鲜度 SLA 和回填计划。

insider
ai-engineering
context-engineering
data-engineering
+2
·tian

你的数据 Agent 需要一个统一的营收定义

Text-to-SQL Agent 的失败在于语义而非语法。基准测试显示,语义层能将 Agent 的准确率从 84% 提升到接近 100% —— 为什么你为 BI 构建了一半的指标层,正是你的数据 Agent 所缺失的工具契约。

insider
ai-engineering
data-engineering
llm
+1
·tian

模型崩溃始于你自己的数据湖

记录的 LLM 输出悄然成为了下个季度的训练数据。本文探讨模型崩溃是如何在你自己的数据湖中发生的,以及如何通过溯源标记、隔离区和尾部评估(tail evals)来打破这一反馈循环。

ai-engineering
llm
data-engineering
fine-tuning
·tian

源文档更新从未同步到向量索引的那些 Embedding

你的 embedding 流水线在创建文档时能够正常触发,但在编辑时却失效了。数月后,检索系统依然在提供源文档早已不再认可的内容 —— 而唯一的告警竟是用户将这些错误内容反馈给了客服。

rag
vector-database
embeddings
retrieval
+1
·tian

被你的智能体拙劣重造的特征存储

AI 智能体在每一轮对话中都在重新推导相同的事实——流失风险、账户账龄、订阅层级——没有缓存,没有共享定义,也没有时间点正确性。为什么这会让它们变成一个破碎的特征流水线,以及如何修复它。

ai-agents
feature-store
mlops
data-engineering
+1
·tian

回填问题:为什么智能体记忆需要像数据库一样进行迁移

智能体记忆是一个生产环境数据库,每当你改进其格式时,它都会发生偏移。在旧记忆悄然失效之前,请对记录进行版本控制,编写真实的迁移脚本,并完成回填。

agent-memory
schema-migration
data-engineering
llm-agents
+1
·tian

你的向量索引是一个没有失效策略的缓存

向量索引是你源数据的派生副本,这使得它成为了一个会过时的缓存:修改内容永不自动同步、已删除的文档留下“残影”、被撤销的权限导致泄露。为什么 RAG 的可靠性是一个缓存失效问题,而不是相似度搜索问题。

insider
rag
vector-database
ai-engineering
+1
·tian

RAG 数据契约问题:摄取管道如何悄然破坏检索质量

Schema 漂移、嵌入模型更新和过时文档可能在数周内悄然降低 RAG 检索质量,而不产生任何错误日志。数据契约和摄取层监控能在用户察觉之前阻止质量腐化。

insider
rag
retrieval
data-engineering
+2
·tian

你的 AI 功能可靠性受限于无人负责的上游 ETL 流水线

大多数 AI 质量退化实际上是伪装成 AI 问题的上游数据问题。数据契约、血缘关系和结对轮值机制能将隐形的 ETL 接缝转化为一等公民工件。

insider
data-engineering
etl
ai-reliability
+2
·tian

没人召集的索引策略委员会:超越一次性迁移的 RAG 语料库治理

大多数 RAG 的失败并非模型失败,而是治理失败。本文探讨语料库治理的四个维度——法律、新鲜度、作者信任、所有权,以及决定你的检索索引是产品界面还是共享收件箱的索引策略规范。

rag
llm
ai-governance
data-engineering
+1
·tian

LLM 驱动的数据迁移:大规模实践中真正有效的方法

一篇面向工程师的实践指南,介绍如何使用 LLM 完成 Schema 迁移和 ETL 自动化——涵盖静默失败模式、分层验证架构、基于 Schema 的提示方式,以及何时不应用 LLM 替代传统流水线。

insider
data-engineering
llm
etl
+2
显示第 1–12 篇,共 26 篇
1 / 3下一页