跳转到主要内容

26 含有标签「data-engineering」

Posts tagged "data-engineering" on TianPan.co.

查看所有标签

·tian

LLM 作为数据工程师:AI 驱动的 ETL 中的静默失败

LLM 可以处理手工编码的 ETL 流水线容易忽略的杂乱数据边缘情况,但它们也会在没有任何错误信号的情况下生成极具误导性的错误转换。这里有一套验证、沙盒和监控技术栈,旨在确保 AI 增强的 ETL 在生产环境中的安全运行。

ai-engineering
data-engineering
etl
llmops
·tian

AI Agent 的 ORM 阻抗失配:为什么数据层才是真正的瓶颈

ORM 和 REST API 是为人类交互模式设计的 —— 单实体读取、延迟加载和会话范围内的事务。而 AI Agent 根本不按这种方式运作。本文将探讨为什么你的数据层正在悄悄扼杀 Agent 的性能,以及你该如何应对。

ai-agents
data-engineering
orm
api-design
+1
·tian

生产环境中的Text-to-SQL:自然语言查询为何在Schema边界失败

为什么Text-to-SQL的供应商演示效果完美,而生产部署却一团糟——以及真正能缩小这一差距的工程技术。

ai-engineering
llm
sql
data-engineering
·tian

嵌入刷新问题:像数据库工程师一样运营向量存储

超过60%的RAG故障源于过期向量,而非错误提示词。如何运用数据库工程原则——CDC、漂移检测、零停机模型迁移——保持向量索引与数据源同步。

rag
vector-search
data-engineering
production-ai
·tian

LLM 驱动的数据流水线:那个没人做基准测试的 ETL 层

大多数 LLM 基准测试衡量的是聊天机器人的质量。但企业在 LLM 上的大部分支出其实都投入到了批量处理流水线中 —— 而几乎没有人去衡量这些流水线是否真的有效。

insider
data-engineering
llm
etl
+2
·tian

AI数据版本控制:团队发现得太晚的数据集-模型耦合问题

模型回退了通常意味着上游数据变了——本文介绍血缘图模式,让你在浪费一周重新调优提示词之前,就能将生产降级追溯到数据根因。

mlops
data-engineering
ai-infrastructure
data-versioning
·tian

大规模代理式网页数据提取:当智能体取代爬虫时

AI 智能体解决了传统爬虫无法解决的实际问题,但“LLM 读取页面”的原型在每小时 1,000 页的规模下会崩溃。本文介绍了在生产环境中真正起作用的混合架构、成本模型和监控设计。

web-scraping
agents
data-engineering
llm-infrastructure
·tian

标注人力工程:你的标注员就是生产基础设施

大多数 ML 团队把标注当作采购问题来对待,实际上这是一个基础设施问题。本文介绍如何用与生产系统同等的严谨度来运营标注工作。

insider
machine-learning
data-engineering
mlops
+1
·tian

当大语言模型(LLM)在数据归一化方面超越基于规则的系统时(以及何时无法超越)

LLM 在处理凌乱生产数据的长尾问题上比规则系统表现更好 —— 但其成本往往令大多数团队感到意外。本文将介绍在生产环境中真正经得起考验的混合架构、成本计算模型以及验证模式。

insider
data-engineering
llm
production
+1
·tian

LLM 作为 ETL 原语:AI 不仅是产品功能,更是数据管道的核心

大多数团队都在产品中构建 AI 功能。而真正的变革正悄然发生在数据管道内部。在这里,LLM 大规模地对记录进行分类、增强、去重和路由——从而创造出那些仅关注产品的团队无法复制的复合数据资产。

insider
data-engineering
llm
etl
+2
·tian

大规模语料库策展:为什么你的 RAG 质量上限取决于你的文档质量下限

大多数 RAG 失败并不是模型故障,而是数据故障。本文探讨文档质量如何决定你的检索上限,以及在生产环境中语料库卫生究竟意味着什么。

insider
rag
llm
information-retrieval
+2
·tian

你的 Embedding 流水线是关键基础设施——请像对待主数据库一样对待它

生产环境中的 embedding 流水线会悄无声息地出故障——在不触发任何告警的情况下返回看似合理却错误的结果。本文介绍 CDC 到 embedding 的架构、模型迁移策略以及监控体系,帮助你的向量索引达到与主数据库同等级别的可靠性。

embeddings
vector-databases
data-engineering
rag
显示第 13–24 篇,共 26 篇