Eko团队 投稿量子位 | 公众号 QbitAI开云kaiyun

抢先OpenAI的“Operator”，清华、复旦、斯坦福等谈判者荟萃起来整了个大活～

他们提倡了一个名为“Eko”的Agent修复框架，修复者只需用精真金不怕火的代码和天然讲话，就能快速构建可用于坐蓐的“臆造职工”：

Agent不错收受用户的电脑和浏览器，代替东谈主类完成多样任务。

而这个操作，恰是之前OpenAI被爆出的“Operator”所能终了的。爆料称OpenAI将会这个月发布“Operator”，面前平直被截胡了。

更为关节的是，谈判团队还把Eko给开源了。

来望望Eko是若何让使命经由自动化的。

比如自动在雅虎财经上网罗纳斯达克的最新数据，包括主要股票的价钱变化、市值、来往量，分析数据并生成可视化叙述：

再举例：

现时登录页面自动化测试：正确的账户和密码是：admin / 666666请连忙组合用户名和密码进行测试，以考据登录考据是否正常使命，举例：用户名弗成为空、密码弗成为空、用户名不正确、密码不正确终末，尝试使用正确的账户和密码登录，考据登录是否告捷生成测试叙述并导出

计帐现时目次下大于1MB的总共文献

这是若何终了的？

开源版“臆造职工”修复框架

这项演技的中枢本领翻新有三点：

羼杂智能体默示：提倡了“Mixed Agentic representation”，通过无缝勾通抒发高线索策画的天然讲话（Natural Language）与修复者低线索终了的法子讲话（Programming Language）。跨平台Agent框架：提倡环境感知架构，终了合并套框架和编程讲话，同期撑捏浏览器使用、电脑使用、当作浏览器插件使用。坐蓐级打扰机制：现存Agent框架多量强调自治性（Autonomous），即无需东谈主类打扰，而Eko框架提供了显性的坐蓐级打扰机制，确保智能体使命流不错随时被中断和调治，从而保险东谈主类对坐蓐级智能体使命流的有用监管和治理。

环境感知架构（Environment-Aware Architecture）

主要场景包括：

i）浏览器使用：主要专注于通过图形用户界面（GUI）来操作网页和浏览器中的元素，常见的终了形势包括截图和网页索求本领。

ii）电脑使用：与浏览器不同，Node.js 自动化则主要面向敕令行界面（CLI）操作和文献系统管制，往常还会引入GUI感知能力。

Eko的跨平台修复是通过其环境感知架构（Environment-Aware Architecture）终了的，这一架构由三个关节线索组成：通用中枢（Universal Core）、环境特定器具（Environment-Specific Tools）和环境桥接（Environment Bridge）。

通用中枢：这一层提供了与环境无关的基本功能，如使命流管制、器具注册管制、LLM（大讲话模子）集成和钩子系统。环境特定器具：每种环境（如浏览器延迟、Web 环境、Node.js 环境）齐提供了优化的器具集。环境桥接：这一层追究环境的检测、器具注册、资源管制和安全端正，确保不同平台之间大致凯旋互动和通讯。安全性和拜谒端正：Eko针对不同环境实施了符合的安全要领。浏览器延迟和Web环境齐接管了严格的权限端正和API密钥管制，而Node.js环境则允许改革常的系统级拜谒，基于用户权限进行文献操作和敕令本质，在需要时会在本质前央求用户证据。

自动器具注册：通过 loadTools() 等器具，Eko自动注册适用于现时环境的器具，这使得修复者不错在多个环境中无缝地切换，并确保器具的正确加载。

线索化主义（Hierachical planning）

团队提倡线索化感知框架，将任务的拆解分为两层，包括Planning layer和Execution layer。

其中Planning layer追究将用户的需求（天然讲话或代码讲话默示）和现存器具集拆解成一个有界限特定讲话（Domain-specific language）默示的任务图（Task graph）。

任务图是一个有向无环图，刻画了子任务之间的依赖关系。该任务图由LLM一次性合成。在Execution layer中，凭证每个任务调用LLM来合成具体的本质行为和器具调用。

多步合并优化：当Eko检测到两次本质齐是对LLM的调用时，会触发框架的自动合并机制，将两次调用的system prompt自动整合，合并成一次调用。从而加速推理速率。

视觉-交互身分荟萃感知（Visual-Interactive Element Perception）

视觉-交互身分荟萃感知框架（VIEP）是一种新颖的浏览器感知处置决议，通过将视觉识别与元素高下文信息勾通，显赫提高了在复杂网页中的任务精度和效果。

它通过索求网页中的交互元素（如A11y树），并将其映射到界限特定讲话（DSL），生成高效的伪HTML代码，简化了元素的表征。

不同于传统的A11y+Screen shot决议，VIEP在视觉信号方面，引入了Set-of-Mark，确保每个元素的视觉记号符与伪HTML中的记号符逐一双应，提高了元素识别的精度。

为了优化性能，截图辩认率被压缩至原始的60%，同期画质压缩至50%，减少了资源奢靡，同期保捏了弥散的识别质地。

与传统的HTML默示比拟，VIEP通过简化交互元素和生成紧凑的伪HTML结构，幸免了平直处理广泛HTML本色的支出。举例，Google首页的HTML从22万字符减少至仅1,058个字符，大幅提高了处理速率和准确度。

VIEP不仅优化了性能，缩短了资本，还提高了跨环境顺应性，确保自动化操作在不同浏览器和操作系统中巩固运行。

坐蓐级的可打扰机制

在构建AI驱动的自动化系统时，修复者经常需要监控任务的本质情况，随时调治行为，或在必要时进行打扰。

天然“钩子”是软件修复中的常见意见，但在Eko中，它们承担了专有的变装——在AI自动化和东谈主工监督之间架起了一座桥梁。

陋劣来说，不错在Workflow本质前后插入我方的逻辑，比如考据输入、处理完毕、以至重试失败的任务。

代码如下：

Eko提供三种不同层级的钩子，每个层级齐具有专有的作用：

使命流钩子（Workflow Hooks）这些钩子位于使命流的最表层，用于举座端正和监控自动化经由的启动和完毕。举例，你不错在使命流脱手之前进行资源运行化，或在使命流完毕后进行计帐和处理最终完毕。

子任务钩子（Subtask Hooks）这些钩子位于使命流的中间层，允许你在每个子任务脱手前和完毕后进行监控和处理。举例，你不错在每个子任务前记载日记，或在职务完成后对中间完毕进行处理。

器具钩子（Tool Hooks）这是最细粒度的钩子，允许你在每个器具本质前后进行考据和修改。举例，你不错在器具本质前考据输入参数，或在器具本质后处理复返完毕。

钩子不错匡助修复者及时优化使命流，提高自动化系统的精度和效果。

举例，在本质某些任务时，修复者不错通过钩子对输入数据进行考据，耀眼作假信息传入系统；或在职务完成后，处理和升沉完毕，以便更好地愚弄输出。钩子还能匡助修复者网罗本质数据，进行性能分析，识别瓶颈并优化自动化经由。

除了通例的监控和调试功能，Eko的钩子系统还撑捏更翻新的使用场景。

举例，在一些关节任务本质时，钩子不错暂停使命流并恭候东谈主工审批；在AI决策出现问题时，修复者不错通过钩子进行东谈主工打扰或隐蔽AI的判断，确保业务经由的顺畅。

作家简介

陆逸文，清华大学博士生，谈判兴味为具身智能平台和智能体。

罗卓伟，FellouAI首席工程行家，面前从事东谈主工智能联系界限使命。

马骁腾，清华大学自动化系博士后，博士毕业于清华大学。主要谈判兴味为强化学习和智能体。

陈家棋，复旦大学硕士生，斯坦福大学拜谒学生学者。主要谈判界限为计较机视觉和智能体。

Homepage：https://eko.fellou.ai/Github link：https://github.com/FellouAI/ekoDocs：https://eko.fellou.ai/docs/开云kaiyun