Open-AutoGLM

Readme in English

👋 加入我们的 微信 社区

👋 关注智谱 AI 输入法 X 账号

🎤 进一步在我们的产品 智谱 AI 输入法 体验“用嘴发指令”

AutoGLM 实战派 开发者激励活动火热进行中，跑通、二创即可瓜分数万元现金奖池！成果提交 👉 入口

懒人版快速安装

你可以使用Claude Code，配置 GLM Coding Plan 后，输入以下提示词，快速部署本项目。

访问文档，为我安装 AutoGLM
https://raw.githubusercontent.com/zai-org/Open-AutoGLM/refs/heads/main/README.md

项目介绍

Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架，它能够以多模态方式理解手机屏幕内容，并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备，以视觉语言模型进行屏幕感知，再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求，如“打开小红书搜索美食”，Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制，并支持在登录或验证码场景下进行人工接管。同时，它提供远程 ADB 调试能力，可通过 WiFi 或网络连接设备，实现灵活的远程控制与开发。

⚠️ 本项目仅供研究和学习使用。严禁用于非法获取信息、干扰系统或任何违法活动。请仔细审阅 使用条款。

与其他自动化工具集成

Midscene.js

Midscene.js 是一款由视觉模型驱动的开源 UI 自动化 SDK，支持通过 JavaScript 或 Yaml 格式的流程语法，实现多平台的自动化。

目前 Midscene.js 已完成对 AutoGLM 模型的适配，你可以通过 Midscene.js 接入指南 快速体验 AutoGLM 在 iOS 和 Android 设备上的自动化效果。

模型下载地址

其中，AutoGLM-Phone-9B 是针对中文手机应用优化的模型，而 AutoGLM-Phone-9B-Multilingual 支持英语场景，适用于包含英文等其他语言内容的应用。

Android 环境准备

1. Python 环境

建议使用 Python 3.10 及以上版本。

2. 手机调试命令行工具

根据你的设备类型选择相应的工具：

对于 Android 设备 - 使用 ADB

1. 下载官方 ADB 安装包，并解压到自定义路径
2. 配置环境变量

• MacOS 配置方法：在 Terminal 或者任何命令行工具里

  # 假设解压后的目录为 ~/Downloads/platform-tools。如果不是请自行调整命令。
  export PATH=${PATH}:~/Downloads/platform-tools
  

• Windows 配置方法：可参考 第三方教程 进行配置。

对于鸿蒙设备 (HarmonyOS NEXT版本以上) - 使用 HDC

1. 下载 HDC 工具：
   • 从 HarmonyOS SDK 下载
2. 配置环境变量

• MacOS/Linux 配置方法：

  # 假设解压后的目录为 ~/Downloads/harmonyos-sdk/toolchains。请根据实际路径调整。
  export PATH=${PATH}:~/Downloads/harmonyos-sdk/toolchains
  

• Windows 配置方法：将 HDC 工具所在目录添加到系统 PATH 环境变量

3. Android 7.0+ 或 HarmonyOS 设备，并启用 开发者模式 和 USB 调试

1. 开发者模式启用：通常启用方法是，找到 设置-关于手机-版本号 然后连续快速点击 10 次左右，直到弹出弹窗显示“开发者模式已启用”。不同手机会有些许差别，如果找不到，可以上网搜索一下教程。
2. USB 调试启用：启用开发者模式之后，会出现 设置-开发者选项-USB 调试，勾选启用
3. 部分机型在设置开发者选项以后, 可能需要重启设备才能生效. 可以测试一下: 将手机用USB数据线连接到电脑后, adb devices 查看是否有设备信息, 如果没有说明连接失败.

请务必仔细检查相关权限

4. 安装 ADB Keyboard(仅 Android 设备需要，用于文本输入)

注意：鸿蒙设备使用原生输入方法，无需安装 ADB Keyboard。

如果你使用的是 Android 设备：

下载 安装包 并在对应的安卓设备中进行安装。 注意，安装完成后还需要到 设置-输入法 或者 设置-键盘列表 中启用 ADB Keyboard 才能生效(或