Open-AutoGLM 保姆级指南:一句话让手机替你比价下单
Open-AutoGLM 保姆级指南:一句话让手机替你比价下单
【免费下载链接】Open-AutoGLMNo description, website, or topics provided项目地址: https://gitcode.com/zai-org/Open-AutoGLM
想买一瓶洗发水,是京东便宜还是淘宝便宜?这类"先比价再下单"的活儿其实很机械:开应用、搜索、看价格、换应用、再搜索、比较、下单。如果把手机交给一个"会看屏幕、会点按"的程序,你完全可以不动手。智谱AI 开源的 Open-AutoGLM 做的就是这件事——它是一个手机端 Agent 框架,给它一句"对比这件商品在京东和淘宝的价格,选便宜的下单",它就自动操作手机跑完整个流程,支持淘宝、京东、拼多多在内的 50 余款主流国内应用,电商场景是它最扎实的方向之一。
📋 把任务写成一句话
比如,你可以把任务写成:
"对比这款洗发水在京东和淘宝的价格,选择更便宜的那个下单。"
这句话会被拆解成一份步骤清单:
- 启动京东应用,搜索目标商品,记下价格
- 回到桌面,打开淘宝,搜索同款商品
- 比较两个平台的价格
- 在更便宜的平台进入详情页,完成下单
其中购物车环节有个小窍门:如果购物车里已有商品,提示词要求模型先点"全选"、再点"取消全选",把勾选状态复位干净,然后才去勾自己要买的那件,避免把购物车里的其他东西一起误下单。这条规则就写在中文提示词文件 phone_agent/config/prompts_zh.py 里。
如果想真正跑起来,在项目根目录执行一条命令即可(把--base-url换成你模型服务的地址):
python main.py --base-url http://localhost:8000/v1 "对比这款洗发水在京东和淘宝的价格,下单更便宜的"🔌 第一步:先让手机能被"摸到"
Agent 再聪明,也得先能碰到你的手机。Android 路线最简单。
USB 连接只要开三个开关
- 开启开发者模式:在"设置 → 关于手机"里连续点击"版本号"多次
- 开启 USB 调试:进入"设置 → 开发者选项",打开"USB 调试"
- 安装 ADB Keyboard:一个让程序能输入中文的输入法,装完记得在输入法列表里启用;鸿蒙设备走原生输入,无需安装
用手机数据线连上电脑后,在终端跑adb devices,能看到设备序列号就说明通了。
无线远程调试怎么配
不想一直插线的话,确认手机和电脑在同一个 WiFi 下,在开发者选项里打开"无线调试",记下界面上显示的 IP 地址和端口:
然后在电脑终端执行adb connect加上手机上看到的 IP 和端口(形如adb connect 192.168.1.100:5555),再用adb devices确认连接成功。
iPhone 用户走另一条路:借助 Xcode 和 WebDriverAgent 完成设备接入,重点是把项目签名配置好:
具体操作看官方的 iOS 配置指南。
🧠 屏幕背后在忙什么
一个任务的完整过程,走的是同一个四步循环,手机上的每一个小动作都对应一轮:
- 读屏——程序先截一张当前屏幕的图,相当于 Agent 的"眼睛"
- 理解——视觉语言模型看图,判断现在停在什么页面、下一步该干什么
- 规划——模型给出具体的动作:点哪个坐标、输入什么文字、启动哪个应用
- 执行与核对——指令通过 ADB(安卓的标准调试通道)发到手机上,再截一次图核对结果,进入下一轮
模型有两档可选:AutoGLM-Phone-9B针对中文手机应用优化,AutoGLM-Phone-9B-Multilingual面向英文及多语言内容。只用国内电商应用的话,前者就够。
另外有两个内置的保险:遇到支付这类敏感操作,它会先征求你的确认;遇到登录、验证码场景则主动暂停,交回给你手动处理,完成后它再接手继续。
📱 电商应用的映射藏在这里
Agent 说"打开京东"时,底层是按应用的包名去调起系统的。这份"名字 → 包名"的对照表在 phone_agent/config/apps.py 里,三大电商平台的条目是:
- 淘宝:
com.taobao.taobao - 京东:
com.jingdong.app.mall - 拼多多:
com.xunmeng.pinduoduo
想知道你的设备到底支持哪些应用,执行python main.py --list-apps即可。鸿蒙设备有单独的映射文件 apps_harmonyos.py,覆盖 60 余款原生应用与系统应用。
❓ 卡住了先看这三个高频问题
adb devices是空的:先查数据线,不少线只能充电不能传数据;换根线、换个 USB 口,别忘了手机上弹出的授权框要点"允许"- 能打开应用但点击没反应:部分品牌需要同时打开"USB 调试(安全设置)",回开发者选项里核对两个开关
- 文字输不进去:ADB Keyboard 装了没启用,到"设置 → 输入法"里打开它,Agent 需要输入时会自动切过去
🚪 下一步做什么
- 先把手机连上,用
adb devices确认能看到设备 - 准备模型服务:自己部署
AutoGLM-Phone-9B,或直接用已部署好的第三方模型服务,后者对新手更友好 - 用轻任务验收:"打开微信,给文件传输助手发一条部署成功"是不错的测试题
- 跑通之后,再抛出真正的比价下单任务
最后提醒一句:项目面向研究与学习使用,涉及真实付款的操作,建议最后一步留给你自己确认。
【免费下载链接】Open-AutoGLMNo description, website, or topics provided项目地址: https://gitcode.com/zai-org/Open-AutoGLM
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考