Claude 3.5重磅升级，AI像人类一样操作电脑了！
昨天，OpenAI 头号竞争对手 Anthropic 推出了 “computer use” 功能。再次引爆人工智能圈子。
据了解，Claude 3.5 Sonnet属于中等尺寸模型，介于Haiku和Opus两者之间，其在前代的基础带来了更好的性能，并且编码、视觉和自然语言理解能力更强。Anthropic方面公布的信息显示，在其内部基准测试中，Claude 3.5 Sonnet不仅处理输入的速度是前代Claude 3 Opus的两倍，在编码挑战方面也超越了后者、修复了64%的代码错误。此外测试结果还显示，Claude 3.5 Sonnet在9个总体类别中的7个类别、5个视觉任务中的4个任务上，击败了GPT-4o、Gemini 1.5 Pro等竞争对手。
那么，圈友们一定想问：咱们国内有这样的人工智能技术么？
据调研，还真的有，而且比Anthropic 的Claude 3.5整整提前了一个年多。早在去年，2023 年 的8 月，国人团队有一家叫：实在智能”的人工智能公司 ，已率先推出国内外首个 “实在 Agent” 智能体。
实在 Agent不仅能像人一样操作电脑，还能操作手机！
那么，我们来进一步了解下能操作电脑的AI：Claude 3.5和实在Agent
一、关于Claude 3.5 Sonnet：
开发人员可以通过 Anthropic 的 API、 Amazon Bedrock 和 Google Cloud 的 Vertex AI 平台试用Computer Use 。
功能特性解析：
Claude 模型通过 API 实现了令人惊叹的像人一样操作电脑的能力。它能够观看屏幕截图，精准地移动光标，在需要的位置点击按钮，还能使用虚拟键盘输入文本。这种操作方式真正模拟了人类与计算机交互的方式，让 AI 助手不再局限于专门定制的工具，而是可以直接使用为人类设计的各类软件。
例如，在多个演示视频中，Claude 可以丝滑地执行打开软件、网页搜索、文本输入、编写代码、下载文件、debug、查找网页表格并填入信息等任务。
实验阶段表现：
目前，Anthropic 的 Computer use 功能处于实验阶段，确实存在一些不足之处。操作速度较慢，一些简单的操作如滚动、拖拽和缩放等，对 Claude 来说仍具有相当的挑战性。
在基准测试中，Claude 在 OSWorld 电脑操作评估测试中获得了 14.9% 的成绩，远超其他 AI 模型的 7.8% 最高分，但与人类的 70 - 75% 的水平相比仍有相当大的差距。当用户提供更多完成任务所需的步骤时，Claude 的得分可以提升到 22.0%。
在软件工程方面，新版 Claude 3.5 Sonnet 在 SWE-bench Verified 评测中的得分从 33.4% 大幅跃升至 49.0%，一举超越了包括 OpenAI o1-preview 在内的所有公开可用模型。在零售领域的 TAU-bench 测试中，其表现从 62.6% 提升到 69.2%，在难度更高的航空领域测试中也从 36.0% 提升至 46.0%。
开发者反馈与未来展望：
官方提前发布这项功能，是为了获取开发者的反馈。随着开发者的积极参与，预计这一功能将随着时间逐渐改进。未来，Computer use 功能有望变得更快、更可靠、更容易使用。Anthropic 可能会进一步优化 Claude 的操作速度，减少错误的发生。
同时，可能会通过更多的训练和优化，让 Claude 在处理复杂任务时更加得心应手，逐渐接近人类的操作水平。例如，在处理一些需要快速响应的任务时，Claude 可能会更加高效地移动光标、点击按钮和输入文本。此外，随着技术的不断进步，可能会有更多的软件和工具被 Claude 熟练掌握，为用户提供更加丰富和便捷的服务。
二、实在智能的：“实在Agent”
“实在智能” ，就已率先推出国内外首个 “实在 Agent” 智能体。
它不仅能像人一样操作电脑，还能操作手机！
实在Agent(智能体)是国内外首个产品化商用落地的自主流程智能体，是业界独创的AI办公助理，将助力企业步入高效、智能的未来办公新时代。它是基于自研的塔斯大模型，能精准理解用户意图，将用户口语化描述的任务拆解为流程和步骤，自动操作电脑/手机/车机屏幕上的各种软件和APP，实现 “一句话完成工作 ”。
此外，实在Agent通过自然语言操作软件的创新功能，还可降低残障人士和老年人群使用手机APP和电脑软件的门槛，为特殊人群提供了便利和辅助。
应用实例说明：
在一个办公场景中，如果你想将销售人员的业绩排序，并把结果通过钉钉发送给张总，过去需要找到桌面上的表格，打开进行排序，再保存关闭后发给张总。现在打开实在 Agent 智能体，输入“读取桌面上的销售业绩清单，按照销售人员统计销售金额并从高到低排序，将结果文件通过钉钉发送给张总”，实在 Agent 即可自动完成。
告诉实在 Agent 需求，它会将自然语言自动拆解生成流程。
不需要 API，通过 RPA 和 ISSUT 来完成打开钉钉、查找发送人、完成发送。
产品特性概述：
实在智能的 RPA-Agent 将 RPA 的自动化能力与 Agent 智能体的自主决策能力完美融合。它以 TARS 大模型为 “脑”，具备强大的文本生成、语言理解、知识问答和逻辑推理能力。同时，ISSUT(智能屏幕语义理解)技术作为 “眼”，能够支持对电脑、手机、平板等屏幕的理解，精准找到所要操作的屏幕画面上的输入框、登录按钮或者聊天窗口等。
而 RPA/IPA 则如同 “手脚”，负责执行具体的操作任务。这种独特的组合使得实在智能的 RPA 智能体能够自主拆解任务、感知当前环境、执行并且反馈、记忆历史经验，实现真正的超自动化。例如，当用户发出 “我要买一台笔记本电脑，帮我推荐下” 的指令时，RPA 智能体可将其拆解成 “登录购物网站，查询笔记本电脑品牌、配置、价格等信息，完成产品推荐” 等多个步骤并加以自动实现。
广泛应用场景：
实在智能的 RPA-Agent 在企业办公、客户服务、金融、电商等多个领域都有着广泛的应用。在企业办公领域，它成为员工的智能办公助手，可自动处理日常的行政事务，如撰写邮件、安排会议、整理文件等，减轻员工的工作负担，提升办公效率。
在财务、人力资源等部门也能发挥重要作用，例如进行财务数据的统计分析、协助招聘流程等。在客户服务领域，作为智能客服，它能够快速响应客户的咨询和问题，提供准确的解答和解决方案，改善客户体验。无论是在线客服还是电话客服，都能大大提高服务的质量和效率。
在金融领域，它应用于风险评估、欺诈检测、投资分析等业务流程中，能够快速处理大量的金融数据，识别潜在的风险和机会，为金融决策提供有力支持。在电商领域，它帮助电商企业进行商品推荐、库存管理、订单处理等。通过对用户行为和偏好的分析，精准地为用户推荐商品，提高销售转化率，同时优化库存管理，降低成本。
未来发展前景:
随着技术的不断进步，实在智能的 RPA-Agent 未来发展前景十分广阔。它将在更多的行业和领域得到应用，为人们带来更多的便利和价值。其智能化程度将不断提高，能够处理更加复杂和多样化的任务，甚至具备一定的创造性思维。例如，在未来可能能够根据用户的需求自动设计广告文案、策划营销活动等。
同时，与其他技术的融合也将更加紧密，如与物联网、大数据等技术相结合，发挥出更大的协同效应。在企业数字化转型的浪潮中，实在智能的 RPA-Agent 将成为不可或缺的重要力量，推动企业实现业务流程的自动化和智能化，提升企业的核心竞争力，助力企业在激烈的市场竞争中取得优势。
三、两者对比与思考
Anthropic 的 Computer use 和实在智能的 RPA-Agent 两者虽在功能特性、技术应用、进展阶段、未来趋势存在异曲同工之处，但都推动从 “用户适应软件” 到 “软件适应用户” 的转变，可以预见未来，它将颠覆传统的软件使用方式，为用户带来巨大的便利。
相似点：十分便捷、智能
便捷性：两者都致力于实现一句话操作电脑，为用户带来极大的便利，让用户无需再进行复杂的软件操作流程，仅通过自然语言指令就能完成各种任务。
智能性：都具备较高的智能水平，能够理解用户的指令并转化为计算机可执行的操作。例如，Anthropic 的 Claude 可以将指令翻译成计算机指令，实在智能的 RPA-Agent 能自主拆解任务并执行。
差异点：应用功能、场景
功能侧重：Anthropic 的 Computer use 主要侧重于模拟人类操作电脑的方式，通过观看屏幕截图来实现移动光标、点击按钮、输入文本等操作。而实在智能的 RPA-Agent 则更注重将 RPA 的自动化能力与 Agent 智能体的自主决策能力融合，以 TARS 大模型为 “脑”，ISSUT 技术为 “眼”，RPA/IPA 为 “手脚”，实现超自动化。
应用场景：Computer use 在一些特定的软件开发和研究等场景中表现出色，适合开发者使用。实在智能的 RPA-Agent 应用场景更加广泛，涵盖企业办公、客户服务、金融、电商等多个领域。
8月22日，《每日经济新闻》记者从业内获悉，中国证券业协会近期起草形成《关于修改〈首次公开发行证券网下投资者管理规则〉的决定（征求意见稿）》，并于近日开始征求行业意见。该修订规则拟定于10月1日开始实施。
安永华中区审计服务副主管合伙人汤哲辉认为，以产业驱动为代表的并购重组得到了监管鼓励和市场欢迎，龙头、链主也更积极开展产业并购，可以预见上市公司的并购将更加活跃，未来会有更多标杆性的并购案例落地。
未来，AI操作电脑工具的演进趋势预计将体现在以下几个核心方面。首先，这些工具的智能化水平将显著提升，得益于人工智能技术的持续进步，它们将能够更准确地解读用户指令，并胜任更多高难度任务。例如，即便面对含糊不清的指令，AI工具也能进行智能推断并执行相应操作。
其次，AI操作电脑工具将实现与更多前沿技术的集成，包括虚拟现实(VR)、增强现实(AR)、物联网(IoT)和大数据分析等。这种跨技术的融合将使用户享受到更加丰富和互动的操作体验，同时通过技术间的协同作用，进一步提升工作效率。
最后，个性化服务将成为AI操作电脑工具的一大亮点。这些工具将更加专注于根据用户的具体习惯和偏好提供定制化服务。例如如何用股票进行筹资，它们能够根据用户的工作模式和个性化需求，自动优化软件界面和操作流程，从而为用户提供更为贴心和便捷的服务体验。