1. LLM 推理：关键理念与局限性 探讨推理在大型语言模型（LLM）中的关键作用，重点介绍关键进展、局限性以及对 AI 开发的实际影响。

2. 安全可信的 AI 代理与基于证据的 AI 政策 探索 AI 能力的指数级增长及其相关风险。了解稳健、公平和注重隐私的 AI 系统，以及基于证据的政策建议，以确保安全的 AI 开发。

3. 代理 AI 框架 发现代理 AI 框架的变革潜力，简化自主系统的开发。了解其在不断发展的 AI 领域中的应用、优势和挑战。

4. 生成式 AI 的企业趋势 探索生成式 AI 的最新企业趋势，重点关注机器学习、多模态系统和 Gemini 模型的进展。了解解决当前局限性的策略。

5. 复合 AI 系统和 DSPy 探讨复合 AI 和 DSPy 的 AI 系统演变。了解模块化架构如何通过优化的编程技术增强控制、效率和透明度。

6. 软件开发的代理 探索代理在软件开发中的变革作用，强调其对工作流程的影响、挑战以及技术创新的未来。

7. 企业工作流程代理 探讨 LLM 驱动的代理在企业工作流程中的潜力，重点关注生产力、决策制定和未来的挑战。

8. 统一神经和符号决策 探索神经和符号决策方法的整合，解决 LLM 的关键挑战，并为推理和规划提出创新解决方案。

9. 开源基础模型 分析开源基础模型在推动创新中的关键作用。发现 API-only 模型带来的挑战以及研究和合作的机会。

10. 衡量代理能力与 Anthropic 的 RSP 了解 Anthropic 的责任扩展政策（RSP），重点关注 AI 安全、能力测量以及负责任开发中的挑战。

11. 安全可信的 AI 代理 深入探讨 AI 系统中误用和故障的风险，并探索确保稳健、公平和注重隐私的 AI 开发的策略。

关键主题​

• 大型语言模型（LLM）的指数增长及其能力。
• AI 系统相关的广泛风险。
• 确保 AI 的可信度、隐私和一致性面临的挑战。
• 基于科学和证据的 AI 政策的重要性。

广泛的 AI 风险​

• 误用/恶意使用：诈骗、虚假信息、生物武器、网络攻击。
• 故障：偏见、系统错误造成的伤害、失去控制。
• 系统性风险：隐私、劳动力市场影响、环境问题。

AI 安全 vs. AI 安保​

• AI 安全：防止 AI 系统造成的伤害。
• AI 安保：保护 AI 系统免受外部威胁。
• 对抗性环境：安全机制必须能抵御攻击。

AI 的可信度问题​

• 鲁棒性：安全有效的系统，包括对抗性和分布外鲁棒性。
• 公平性：防止算法歧视。
• 数据隐私：防止敏感数据的提取。
• 一致性目标：确保 AI 系统有用、无害且诚实。

训练数据隐私风险​

• 记忆化：从大型语言模型中提取敏感数据（如社会安全号码）。
• 攻击：训练数据提取、提示泄露和间接提示注入。
• 防御：差分隐私、去重和鲁棒训练技术。

对抗性攻击和防御​

• 攻击：
  • 提示注入、数据投毒、越狱。
  • 虚拟和物理环境中的对抗性例子。
  • 利用 AI 系统的漏洞。
• 防御：
  • 提示级防御（例如，重新设计提示，检测异常）。
  • 系统级防御（例如，信息流控制）。
  • 通过形式验证的安全设计系统。

安全设计的系统​

• 主动防御：构建可证明安全的系统。
• 挑战：难以应用于非符号组件，如神经网络。
• 未来系统：混合符号和非符号系统。

AI 政策建议​

关键优先事项：​

1. 更好地理解 AI 风险：

   • 全面分析误用、故障和系统性风险。
   • 边际风险框架评估 AI 对社会的影响。

2. 增加透明度：

   • 标准化的 AI 设计和开发报告。
   • 示例：数字服务法案，美国行政命令。

3. 开发早期检测机制：

   • 实验室内对抗性场景测试。
   • 部署后监测（例如，不良事件报告）。

4. 缓解和防御：

   • 安全 AI 的新方法。
   • 加强社会对误用的抵御能力。

5. 建立信任并减少碎片化：

   • 协作研究和国际合作。

行动呼吁​

• 未来 AI 政策的蓝图：
  • 风险向量和政策干预的分类。
  • 针对社会风险的条件响应。
• 多方利益相关者合作：
  • 推进科学理解和基于证据的政策。

资源：Understanding-ai-safety.org

Anthropic 的历史​

• 成立：2021 年，作为一家公益公司（PBC）。
• 里程碑：
  • 2022 年：Claude 1 完成。
  • 2023 年：Claude 1 发布，Claude 2 上线。
  • 2024 年：Claude 3 上线。
  • 2025 年：在可解释性和 AI 安全方面取得进展：
    • 宪法 AI 的数学框架。
    • 潜伏代理和叠加的玩具模型。

负责任的扩展政策 (RSP)​

• 定义：确保 AI 能力安全扩展的框架。
• 目标：
  • 为安全决策提供结构。
  • 确保公众问责。
  • 在安全决策上进行迭代。
  • 为政策制定者提供模板。
• AI 安全等级 (ASL)：仿照生物安全等级 (BSL) 处理危险生物材料，调整安全性、安全性和操作标准与模型的灾难性风险潜力。
  • ASL-1：较小的模型：无重大灾难性风险（例如，2018 年的 LLMs，国际象棋 AI）。
  • ASL-2：当前大型模型：危险能力的早期迹象（例如，有限可靠性的生化武器指令）。
  • ASL-3：高风险模型：具有重大灾难性误用潜力或低级自主性的模型。
  • ASL-4 及更高：推测性模型：涉及灾难性风险或自主性质的定性升级的未来系统。
• 实施：
  • 安全挑战和方法。
  • 案例研究：计算机使用。

衡量能力​

• 挑战：基准测试变得过时。
• 示例：
  • 相对于人类的任务完成时间：Claude 3.5 在几秒钟内完成任务，而人类开发者需要 30 分钟。
  • 基准：
    • SWE-bench：评估现实世界的软件工程任务。
    • Aider 的基准：代码编辑和重构。
• 结果：
  • Claude 3.5 Sonnet 在关键基准测试中优于 OpenAI o1。
  • 更快且更便宜：$3/Mtok 输入，相比 OpenAI o1 的 $15/Mtok 输入。

Claude 3.5 Sonnet 亮点​

• 代理编码和游戏开发：设计用于在现实场景中提高效率和准确性。
• 计算机使用演示：
  • 编码：展示了先进的代码生成和集成。
  • 操作：展示了具有安全考虑的操作任务。

AI 安全措施​

• 关注领域：
  • 扩展治理。
  • 能力测量。
  • 与学术界合作。
• 实际安全：
  • ASL 标准实施。
  • 部署保障措施。
  • 第一年的经验教训。

未来方向​

• 扩展和治理改进。
• 增强的基准和学术合作。
• 解决可解释性和潜伏代理风险。

关键趋势​

• 能力飞速提升：自 2018 年以来，LLMs 快速发展。
• 访问减少：从开放的论文、代码和权重转向仅限 API 的模型，限制了实验和研究。

为什么访问很重要​

• 访问推动创新：
  • 1990 年代：数字文本推动了统计 NLP。
  • 2010 年代：GPU 和众包推动了深度学习和大型数据集的发展。
• 访问级别定义了研究机会：
  • API：像认知科学家一样，测量行为（提示-响应系统）。
  • 开放权重：像神经科学家一样，探测内部激活以实现可解释性和微调。
  • 开源：像计算机科学家一样，控制和质疑系统的每个部分。

基础模型的访问级别​

1. API 访问

   • 作为通用功能（例如，总结、验证、生成）。
   • 启用问题解决代理（例如，网络安全工具、社会模拟）。
   • 挑战：弃用和有限的可重复性。

2. 开放权重访问

   • 实现可解释性、蒸馏、微调和可重复性。
   • 突出模型：Llama、Mistral。
   • 挑战：
     • 测试模型独立性和权重修改带来的功能变化。
     • 现有模型的蓝图限制。

3. 开源访问

   • 体现创造力、透明度和协作。
   • 示例：GPT-J、GPT-NeoX、StarCoder。
   • 由于计算和数据限制，与封闭模型相比仍存在性能差距。

关键挑战和机遇​

• 开源障碍：
  • 发布网络衍生训练数据的法律限制。
  • 重新训练所需的显著计算资源。
• 扩展计算：
  • 集中闲置的 GPU。
  • 像 Big Science 这样的众包努力。
• 新兴研究问题：
  • 架构和数据如何塑造行为？
  • 扩展定律能否预测更大规模的性能？

反思​

• 大多数研究发生在 API 和固定权重的限制下，限制了探索。
• 开放权重模型在可解释性和实验方面具有巨大价值。
• 开源努力需要集体资金和基础设施支持。

最终结论​

访问塑造了基础模型创新的轨迹。为了释放其全部潜力，研究人员必须质疑数据、架构和算法，同时探索新的协作和资源整合模式。

LLMs 的关键挑战​

• 在需要复杂规划的任务中存在困难（例如，旅行行程、会议安排）。
• 随着任务复杂性的增加，性能下降（例如，更多城市、人员或约束）。

三个提议的解决方案​

1. 扩展法则
   • 增加数据、计算和模型规模。
   • 局限性：推理/规划任务的高成本和收益递减。
2. 混合系统
   • 将深度学习模型与符号求解器结合。符号推理是指使用明确的符号、规则和逻辑解决问题和做出决策的过程。这是一种基于明确定义的关系和表示进行推理的方法，通常遵循形式逻辑或数学原理。
   • 方法：
     • 端到端集成：统一的深度模型和符号系统。
     • 数据增强：神经模型为求解器提供结构化数据。
     • 工具使用：LLMs 作为外部求解器的接口。
   • 典型例子：
     • MILP 求解器：用于有约束的旅行规划。
     • Searchformer：训练 Transformers 模仿 A* 搜索。
     • DualFormer：动态切换快速（启发式）和慢速（深思熟虑）推理。
     • SurCo：结合组合优化和潜在空间表示。
3. 新兴符号结构
   • 探索神经网络中出现的符号推理。
   • 发现：
     • 神经网络在算术任务中表现出傅里叶样模式。
     • 梯度下降产生与代数结构一致的解决方案。
     • 在复杂任务中出现的环同态和符号效率。

研究意义​

• 神经网络自然学习符号抽象，为改进推理提供潜力。
• 混合系统可能代表**适应性（神经）和精确性（符号）**之间的最佳平衡。
• 高级代数技术最终可能取代梯度下降。

总结​

决策 AI 的未来在于利用神经适应性和符号严谨性。混合方法在解决需要感知和结构化推理的任务中最具前景。

关键主题和背景​

企业工作流

• 自动化水平从脚本化工作流（变化最小）到代理工作流（自适应和动态）。
• 企业环境，如由 ServiceNow 支持的环境，涉及复杂的重复性任务，如 IT 管理、CRM 更新和日程安排。
• 采用 LLM 驱动的代理（例如，API 代理和Web 代理）通过利用多模态观察和动态行动等能力来改造这些工作流。

用于企业工作流的 LLM 代理

• API 代理
  • 利用结构化的 API 调用提高效率。
  • 优点：低延迟，结构化输入。
  • 缺点：依赖预定义的 API，适应性有限。
• Web 代理
  • 模拟人在网页界面上的操作。
  • 优点：更大的灵活性；可以与动态 UI 交互。
  • 缺点：高延迟，容易出错。

WorkArena 框架

• 为真实的企业工作流设计的基准。
• 任务范围从IT 库存管理到预算分配和员工离职管理。
• 由 BrowserGym 和 AgentLab 支持，在模拟环境中进行测试和评估。

技术框架​

代理架构

• TapeAgents 框架

  • 将代理表示为可恢复的模块化状态机。
  • 具有结构化日志（“磁带”）用于记录动作、思考和结果。
  • 促进优化（例如，从教师到学生代理的微调）。

• WorkArena++

  • 扩展 WorkArena，增加更多组合性和挑战性的任务。
  • 评估代理的能力，如长期规划和多模态数据集成。

基准

• WorkArena：约 20k 个独特的企业任务实例。
• WorkArena++：专注于组合工作流和数据驱动的推理。
• 其他工具：MiniWoB、WebLINX、VisualWebArena。

评估指标

• GREADTH（扎根、响应、准确、纪律、透明、帮助）：
  • 优先考虑现实世界代理的性能指标。
• 任务特定成功率：
  • 例如，通过微调的学生评估表单填写助手的成本比 GPT-4 低 300 倍。

工作流中代理的挑战​

• 上下文理解
  • 企业任务需要理解信息的深层层次结构（例如，仪表板、知识库）。
  • 基准中的稀疏奖励使学习复杂化。
• 长期规划
  • 子目标分解和多步骤任务执行仍然困难。
• 安全和对齐
  • 来自恶意输入的风险（例如，对抗性提示、隐藏文本）。
• 成本和效率
  • 缩小上下文窗口和模块化架构是降低计算成本的关键。

未来方向​

增强模型

• Centaur 框架：
  • 将 AI 与人类任务分开（例如，AI 负责内容收集，人类负责最终编辑）。
• Cyborg 框架：
  • 促进 AI 和人类之间的紧密合作。

统一评估

• 呼吁建立一个元基准来整合跨平台的评估协议（例如，WebLINX、WorkArena）。

代理优化的进展

• 利用 RL 启发的技术进行微调。
• 模块化学习框架以提高泛化能力。

知识工作的机会​

• 自动化重复的、低价值的任务（例如，日程安排、报告生成）。
• 将多模态代理集成到企业环境中以支持决策和战略任务。
• 通过人机协作模型提高生产力。

这一综合内容连接了企业工作流代理的理论和实践元素，展示了其变革潜力，同时解决了当前的局限性。

软件的影响​

• 软件正在改变各个行业，正如 Marc Andreessen 在 2011 年所预测的那样。
• 使每个人都能编写软件以实现其目标的潜在影响。

软件开发工作流程​

• 时间分配：
  • 17% 编码
  • 36% 修复错误
  • 10% 测试
  • 8% 文档/评审
  • 14% 沟通
  • 15% 其他任务

开发工具​

• Copilots：
  • 编写代码的同步支持（例如，GitHub Copilot）。
• 开发代理：
  • 用于编码的自主工具（例如，SWE-Agent，Aider）和更广泛的任务（例如，Devin，OpenHands）。

编码代理的挑战​

• 定义环境。
• 设计观察/行动空间。
• 文件定位和代码生成。
• 规划、错误恢复和确保安全。

软件开发环境​

• 实际环境：
  • 源代码库、任务管理软件、办公工具、沟通工具。
• 测试环境：
  • 专注于编码，有时包括浏览任务。

指标和数据集​

• Pass@K (Chen et al., 2021)：衡量生成代码通过单元测试的成功率。
• 语义重叠指标：
  • BLEU, CodeBLEU, CodeBERTScore。
• 关键数据集：
  • HumanEval, ARCADE, SWEBench, Design2Code。

文件定位的解决方案​

1. 用户输入：依赖有经验的用户指定文件。
2. 搜索工具：集成搜索功能（例如，SWE-Agent）。
3. 库映射：预构建的映射（例如，Aider repomap）。
4. 检索增强生成：结合检索到的代码和 LMs。

规划和恢复​

• 硬编码流程：文件定位、补丁生成等的预定义步骤。
• LLM 生成的计划：使用 LMs 进行规划和执行（例如，CodeR）。
• 重访错误：基于错误信息的自动修复（例如，InterCode）。

安全措施​

1. 沙盒：限制执行环境（例如，Docker）。
2. 凭证管理：最小特权原则。
3. 事后审计：使用 LMs 和其他工具进行安全分析。

未来方向​

• 增强代理训练方法。
• 扩展人机协作方法。
• 解决超越编码的更广泛软件任务。

资源​

• OpenHands 仓库：GitHub

单一语言模型的主要挑战​

• 难以控制、调试和改进。
• 每个 AI 系统都会犯错。
• 模块化系统（复合 AI）解决了这些挑战。

复合 AI 系统​

• 模块化程序将语言模型用作专用组件。
• 示例：
  • 检索增强生成。
  • 多跳检索增强生成。
  • 组合报告生成。
• 优势：
  • 质量：可靠的语言模型组合。
  • 控制：通过工具进行迭代改进。
  • 透明度：调试和用户可见的归因。
  • 效率：使用较小的语言模型并卸载控制流。
  • 推理时扩展：寻找更好的输出。

DSPy 中语言模型程序的结构​

• 模块：

  • 为任务定义策略。
  • 示例：MultiHop 使用链式思维和检索。

• 程序组件：

  • 签名：任务定义。
  • 适配器：将输入/输出映射到提示。
  • 预测器：应用推理策略。
  • 指标：定义目标和约束。
  • 优化器：优化指令以实现期望的行为。

DSPy 优化方法​

1. Bootstrap Few-shot：

   • 使用拒绝采样生成示例。

2. 扩展 OPRO：

   • 通过提示优化指令。

3. MIPRO：

   • 使用贝叶斯学习联合优化指令和少样本示例。

DSPy 的主要优势​

• 简化语言模型的编程。
• 优化提示以提高准确性和效率。
• 在 AI 系统中实现模块化和可扩展性。

经验教训和研究方向​

1. 自然语言编程：
   • 程序更准确、可控且透明。
   • 高级优化器引导提示和指令。
2. 自然语言优化：
   • 有效的基础和信用分配至关重要。
   • 优化指令和演示提高性能。
3. 未来方向：
   • 专注于模块化、更好的推理策略和优化的语言模型使用。

总结​

• 复合 AI 系统使语言模型模块化且可靠。
• DSPy 提供构建、优化和部署模块化 AI 系统的工具。
• 强调模块化和系统化优化以推动 AI 进步。

生成式 AI 的关键趋势​

• 机器学习进步重新定义计算能力
• 计算和硬件需求的演变
• 扩展（计算、数据、模型规模）改善结果

AI 能力的进展​

• 图像识别
  • 示例：“豹”分类，90.88% 准确率（ImageNet）
  • AlexNet 初始性能：63.3%
• 语音识别
  • 在 LibriSpeech test-other 数据集上的性能提升

Transformers 和基础模型​

• 关键技术
  • 自回归训练
  • 使用数万亿标记进行预训练
  • 示例：“猫坐在垫子上”
• 优化
  • 监督微调 (SFT)
  • 来自人类反馈的强化学习 (RLHF)

Gemini 模型​

• 项目启动于 2023 年 2 月
• Gemini 1.0 发布：2023 年 12 月
• Gemini 1.5 发布：2024 年 2 月
• 特点
  • 跨文本、图像和视频的多模态推理
  • 长上下文能力（最多 1000 万标记）
  • 降低幻觉率

企业 AI 趋势​

1. 随着数据需求的减少，加速 AI 开发
2. 从单一模态系统向多模态系统过渡
3. 从密集模型架构向稀疏模型架构转变
4. 可扩展和灵活平台的重要性
5. API 成本下降
6. LLMs 和搜索的集成

定制化和效率​

• 技术
  • 微调和参数高效调优（例如，LoRA）
  • 蒸馏以优化性能和延迟
• 挑战
  • 在部署中平衡成本、延迟和性能
• 函数调用
  • 集成 API、数据库和外部系统
  • 应用：数据检索、工作流程、客户支持

解决限制​

• 问题
  • 冻结的训练数据导致知识过时
  • 高幻觉率
  • 不一致的结构化输出
• 解决方案
  • 检索增强生成 (RAG) 框架
  • 以私有、新鲜和权威数据为基础
  • 带有引用的结构化输出

生成式 AI 的未来​

• 增强的多模态推理和扩展的上下文能力
• 优化以降低成本和提高可扩展性
• 改进输出的基础性和事实准确性

介绍​

• 两种 AI 应用：

  • 生成式 AI：创建文本和图像等内容。
  • Agentic AI：自主执行复杂任务。这是未来。

• 关键问题：开发人员如何使这些系统更易于构建？

Agentic AI 框架​

• 示例：

  • 应用包括个人助理、自主机器人、游戏代理、网络/软件代理、科学、医疗保健和供应链。

• 核心优势：

  • 用户友好：自然直观的交互，输入最少。
  • 高能力：高效处理复杂任务。
  • 可编程性：模块化和可维护，鼓励实验。

• 设计原则：

  • 统一抽象，整合模型、工具和人机交互。
  • 支持动态工作流、协作和自动化。

AutoGen 框架​

https://github.com/microsoft/autogen

• 目的：构建 Agentic AI 应用的框架。

• 关键特性：

  • 可对话和可定制的代理：简化了具有自然语言交互的应用构建。
  • 嵌套聊天：处理内容创建和推理密集型任务等复杂工作流。
  • 群聊：支持多个代理的协作任务解决。

• 历史：

  • 始于 FLAML（2022 年），成为独立项目（2023 年），每月下载量超过 20 万，广泛采用。

应用和示例​

• 高级反思：
  • 用于协作优化任务的双代理系统，如博客写作。
• 游戏和策略：
  • 会话国际象棋，代理模拟战略推理。
• 企业和研究：
  • 在供应链、医疗保健和科学发现中的应用，如 ChemCrow 用于发现新化合物。

AutoGen 的核心组件​

• Agentic 编程：
  • 将任务分解为可管理的步骤，以便于扩展和验证。
• 多代理编排：
  • 支持具有集中或分散设置的动态工作流。
• Agentic 设计模式：
  • 涵盖推理、规划、工具集成和内存管理。

代理设计中的挑战​

• 系统设计：
  • 优化多代理系统以进行推理、规划和多样化应用。
• 性能：
  • 在保持弹性的同时平衡质量、成本和可扩展性。
• 人机协作：
  • 设计安全有效的人机交互系统。

开放问题和未来方向​

• 多代理拓扑：
  • 高效平衡集中和分散系统。
• 教学和优化：
  • 使用 AgentOptimizer 等工具使代理能够自主学习。
• 扩展应用：
  • 探索软件工程和跨模态系统等新领域。