9.1 它是怎么工作的:看 → 想 → 点
Computer Use 的工作循环三步:
- 看:截取当前屏幕,像你一样"看到"页面上的按钮、输入框、数据
- 想:理解画面内容,判断下一步该点哪、该输入什么
- 点:模拟鼠标点击、键盘输入,执行操作,然后再看、再想、再点
它和传统"按键精灵"类工具的区别:老工具认的是写死的位置和规则,页面一改版就失灵;Computer Use 认的是画面本身,只要人眼能认出来的按钮,它通常也能认出来。对界面三天两头改版的电商后台来说,这一点很值钱。
开始前:确认插件在位
Computer Use 以官方插件形式提供。按第 2 章接入包装机的用户已经装好了(第 7 步那个脚本干的就是这事);订阅登录的用户跟它说一句"装一下 Computer Use 插件"就行。首次使用按提示给系统授权(它需要"看屏幕"和"操作键鼠"的权限,这是干活的前提)。