我們先看一下軟件控制能力。屏幕背后也是一個世界，所有的軟件都在里面。我們要知道畫面上到底有什么樣的元素或者物體，我能夠對它做什么——先解決識別問題，再解決操作問題。通過操作系統底層解決識別問題時，我們會發現各種各樣的軟件是沒有辦法識別的，有時識別出來的就是一個大的框，有時是多個細粒度的元素粘連在一起，這樣就無法進行軟件操作。例如菜單中可能包含多個級別的小菜單，如果不能做到細粒度的準確識別，就無從談起對軟件的完美操控。

因此，我們希望開發出的工具普適性是非常強的，而不是只能給若干類軟件做適配。而且軟件會升級，技術架構會變更，這種情況下傳統的 RPA 很難做到完美適配。現在很多 RPA 公司受限于技術的瓶頸，會被局限在某一個行業里。所以我們希望我們的 RPA 產品能夠變成通用化的產品，變成真正自動化的工具。

另一方面，環境的影響也非常大。在不同的操作系統下，不同的軟件組合情況，面臨的拾取和識別問題也是各種各樣的。

此外，在操作方式上，如果 RPA 技術只能通過寫腳本的方式實現，那么它依然是非常小眾的，只有程序員能夠使用，這距離辦公環境下「人人可用」的目標還有非常大的距離。

那么我們就要思考：如何能讓用戶非常簡單地使用上 RPA 技術。例如當操作系統底層的識別不行的時候，很多工作都要依賴計算機視覺的方法，但要使用不同的組件。這對用戶來講，成本非常高。于是我們考慮把這兩種技術融合到一起，以實現一種對用戶來講非常自然的過程——即用戶不需要考慮什么時候使用計算機視覺，什么時候借助操作系統底層。這里就要解決非常多的技術難點。

首先是要解決精度問題。無論是多么細微的目標，或是多么復雜的目標，我們都要識別出來。如果我們想把使用門檻降到最低，那就要把不同的技術整合在一起。在速度方面，用計算機視覺的方式識別，效率天然會比底層要低一些。那么如何能夠讓用戶有一致的體驗呢？那就要在不損失很多準確率的前提下把模型變得很小，以便于在 CPU 的環境上穩定運行，這樣能節省掉很多硬件資源。因為用戶不會為了使用 RPA 產品單獨采購 GPU（圖形處理器）。

我們知道在軟件層面，特別是涉及到計算機視覺時，界面的 DPI（圖像分辨率）是不一樣的。假設我在一臺電腦上設計了一個流程，現在要部署到 100 臺電腦上，不同電腦的分辨率可能不一樣，操作系統環境可能不一樣，顯示器的大小也可能不一樣。我們要解決的問題是在這些差別的情況下保證軟件的穩定運行，替換分辨率也能保持一致。在界面大小上，當我們把一個軟件界面進行拖拽的時候，界面會發生形變，這種情況下我們還要能找到操作的元素，這就涉及到形變重識別的問題。

面對這么多復雜的挑戰，我們在業界首先提出了「融合拾取」的概念，并將這一技術實現出來。僅圍繞提升軟件控制能力就有十幾項的難點，我們都申請了相應的專利來解決。現在我們再拆解一下，看看其中的具體難點。

下圖是一個融合拾取運行的情況，畫面上有很多類軟件，包括網頁、CS 架構的軟件、還有操作系統原生的畫面。在這種情況下，傳統的 RPA 要用不同的組件來控制它，而且效率是非常不一樣的，使用 CV 方法的效率就會很低。而我們實現的融合拾取方法可以在四種應用之間無縫切換，體驗一致。對于辦公環境里復雜的要求，融合拾取技術可以做到非常完美的控制。

第二個要解決的是成本問題。我們在不能提供 GPU 環境的情況下，想把模型變小，這就用到了剪枝、蒸餾、量化等方案把模型構建出來。對于計算量不能太大的情況，我們也設立了元素相似度的色彩空間映射方法來降低計算量，在算力層面盡量把技術做到極致。

還有一塊是跨分辨率、畫面變化與重疊的情況，為了能夠識別出原來識別的對象，我們把 CV 領域行人重識別的概念引入進來，采用基于 ReID 的技術并做了大量優化，最終取得了非常好的效果。對拾取層面來說，我們要把界面的布局做相應拆解（涉及圖像語義理解），然后做檢測，最后再做匹配。每一個環節都有相關的技術在發揮作用，其中的挑戰來源于多個方面：準確度、穩定性、唯一性。這些是需要持續打磨的，是一個與技術強結合的問題。

RPA 的瓶頸還遠不止這些。例如在運行的穩定性方面，軟件環境里有時會出現彈窗，而配置流程時沒有預見到這個情況，流程可能就會被卡住，這種情況下我們需要系統能夠自動識別到彈出了一個非常規的窗口，然后把它關掉，這樣就有了輔助流程的概念。并且當按鈕背后的 ID 發生變化時，或者說顏色發生了變化，系統還能以最大概率把它找出來，讓流程運行下去，這個問題也要通過多種算法來解決。去年我們聯合機器之心針對這個問題做了一個評測，在 360 軟件庫里隨機抽取了一些軟件，面向多個指標進行評測，結果表明我們在這項技術上是遙遙領先的。