9.1 它是怎么工作的:看 → 想 → 点

Computer Use 的工作循环三步:

  1. :截取当前屏幕,像你一样"看到"页面上的按钮、输入框、数据
  2. :理解画面内容,判断下一步该点哪、该输入什么
  3. :模拟鼠标点击、键盘输入,执行操作,然后再看、再想、再点

它和传统"按键精灵"类工具的区别:老工具认的是写死的位置和规则,页面一改版就失灵;Computer Use 认的是画面本身,只要人眼能认出来的按钮,它通常也能认出来。对界面三天两头改版的电商后台来说,这一点很值钱。

开始前:确认插件在位

Computer Use 以官方插件形式提供。按第 2 章接入包装机的用户已经装好了(第 7 步那个脚本干的就是这事);订阅登录的用户跟它说一句"装一下 Computer Use 插件"就行。首次使用按提示给系统授权(它需要"看屏幕"和"操作键鼠"的权限,这是干活的前提)。