在科技不斷演進的今天，人工智能技術的應用正迎來一場前所未有的革命。其中，Agent技術以其獨特的代碼解析方式和大型模型的集成，正在引領電商行業向智能化、高效化發展。Agent技術作為一種突破性的智能體認證技術，通過瀏覽器插件解析代碼，從而驅動對瀏覽器內部網頁的操作。與傳統的視覺識別方式不同Agent以其獨特的技術路徑，已然成為電商行業的一項創新利器。

 

那么，如何才能通過應用Agent技術換來降本增效？未來Agent技術走向何方？Agent技術會給電商企業帶來哪些助益？

 

帶著這些問題，極新聯合北京電子商務協會打造了《預見·2024年直播電商展望》系列訪談欄目，本期對話邀請了實在智能創始人&CEO孫林君為我們解釋Agent技術是什么以及如何將Agent技術應用到電商領域。

 

實在智能創始人&CEO孫林君

 

以下為對話實錄，經極新整理分為以下幾個模塊：

“實在智能的初心，便是在人機協同時代打造各種各樣的數字員工”“最大的問題是大模型業務拆解的合理性”

"為了滿足用戶需求不斷創新就是我們的目標"

 

01

有夢想，有技術

 

“實在智能的初心，便是在人機協同時代打造各種各樣的數字員工”

 

極新：請您為我們介紹一下實在智能的Agent應用

 

孫林君：實在Agent智能體是基于“TARS（實在智能自研垂直系列大模型）+ISSUT（智能屏幕語義理解技術）”雙模引擎，有“大腦”，更有“眼睛和手腳”的超自動化智能體。

 

實在Agent智能體的核心工作流程主要包括：自主拆解任務、感知當前環境、執行并且反饋、記憶歷史經驗等。用戶可通過文本指令或對話聊天的方式直接生成數字員工，Agent操作PC電腦并自主完成工作任務。實在Agent智能體大大提升了Agent本身的落地執行過程中的精準度，實現了“所說即所得”的生成式自動化，將數字員工技術推向了更高層次。這在全球Agent領域也是不多見的，也是RPA領域的首創。簡單來說，實在Agent智能體將RPA帶到了超低門檻的全新境界，也為大模型的落地應用開創了令人眼前一亮的形式。

 

極新：眾多同行嘗試短期內發布Agent都以失敗告終，實在智能能夠獲得成功的優勢在哪里？

 

孫林君：因為我們有技術積累，在實在智能創立之前，我們專注于計算機視覺領域，那時我們自己研發技術積累龐大的參數，能夠彌補目前大模型的參數空缺問題。

 

我們能夠快速推出Agent，與三代產品的不斷改進密切相關。最開始，RPA是一種低代碼的技術，通過設計器把組件拼裝出一個流程，這便是我們第一代的產品模式。

 

第二代產品類似于遠程桌面，任何軟件在這個遠程桌面里打開都能夠被自動識別，然后通過算法去引導用戶。這樣的流程配置不再需要程序員了，但卻需要人的經驗，讓具體的工作流程一步一步被參數自動填入。整個流程的構建過程變成了錄制人的工作過程再進行識別，像人的眼睛一樣，識別對象，再組件對它進行操作。我們在那時已經沉淀了一種技術，叫智能屏幕語義理解。

 

今年推出第三代產品時，我們發現大模型不僅有很強的任務拆解能力和推理能力，它還可以通過微調學會使用工具。我們把智能屏幕語義理解技術和大模型結合起來，通過這項技術指導大模型操作。比如建立一個表格后，大模型能夠根據指令意圖調用相應的組件做數據采集。這一代產品，實現了機器人幫我們做流程，也就是實現了人機協同。而我們實在智能的初心，便是在這個人機協同時代打造各種各樣的數字員工。

 

極新：Agent和TARS模型的關系是怎么樣的？TARS大模型現在應用情況如何？

 

孫林君：兩者的關系分為三個方面。第一個是對任務常識性的拆解；第二個推理后如何去做；第三個是使用工具的來完成任務。

 

TARS大模型在給客戶私有化部署時，我們提供大模型的能力，在絕大多數情況下，已經可以起到一個平替作用，但是在業務的通識性理解上，我們還要進一步增強。在金融領域我們有大量的金融數據，訓練了兩個版本的模型，一個是7b的，一個是13b。13b的模型落地實踐時效果尚可。

 

我們的 Agent在完成自動化的流程性任務上很有優勢，因為他可以把一個任務拆解成具體的過程，然后再把這個過程一步一步的操作式的完成。

 

02

有挑戰，有堅持

 

“最大的問題是大模型業務拆解的合理性”

 

極新：整個Agent的研發過程中，最大的挑戰是什么？

 

孫林君：最大的問題是大模型業務拆解的合理性，也就是讓大模型對任務理解到位。Agent框架都會通過外部知識庫，引入一些新知識并產生理解，進而能夠操作系統。我們在外掛知識庫做了不少的創新，對于同樣一個大模型，給出更好的提示，工作質量更高，推理出來的東西質量就更高。

 

把計算機，視覺技術和大模型的結合過程中也有很多的這個挑戰，包括結合的精度問題，如果一次性的推理不合理，便需要修正原來的意圖，也就是要修改我們的計劃流程。這需要通過算法來完善。

 

我們把這些算法都結合起來，并且我們要讓Agent的開發基于多種模式，比如登陸區域，我可以通過第二代的產品模式填上參數，讓它也能運行。但通過第三代產品，支持打斷，支持修改，所以就是在這里面是有很多的機遇與挑戰。

 

極新：商業化落地這一塊您是怎么考慮的？

 

孫林君：我們現在主要面向金融、運營商、電商以及一些能源制造相關的行業。我們有上百家渠道，這些渠道會在其他行業去擴展。因為擁有一些智能學習技術，我們的軟件的適用性是是更強的。

 

我們選擇這些行業與它們的特性有關系。比如說金融行業客戶接受新事物或者接受新技術的速度更快一些，所以就優先選了金融行業。另外像電商是在SaaS的平臺上經營，所以它是比較容易做規模化的復制的。再比如說運營商的經營是很穩健的，有很強的政企渠道。

售賣模式上面發生了深刻的變化，用戶可以直接大量購買我們的產品。比如說一個公司有100人，可以每個人給配一個智能助理。這樣一來，agent就會變成了一種企業必備的一種生產資料，就像電腦一樣普遍。

 

03

有需求，有創新

 

"為了滿足用戶需求不斷創新就是我們的目標"

 

極新：面向未來的話，大家實際應該具備哪些核心的競爭力？

 

孫林君：一家公司，創新能力非常重要。做Agent的公司很多，但是真正能夠做出來的很少，本質就在于，所擁有的技術是不是真正能夠做一個產品出來。對我們來說，我們會找到一條現實的路徑，用最可能的方式把我們愿景當中的數字員工構建出來。

 

在我看來2024年應該是Agent元年，當然，當前我們正處在從人工過渡到人機協同、再到機器完全自主完成的過程中，不能把它當成一個無所不能的東西，這是不符合實際的預期。但是它在某些垂直的領域上可以做得很好。

 

極新：能以電商為例，解釋Agent在垂直領域能夠做的很好的原因嗎？

 

孫林君：在電商行業，很多時候會遇到商家在不同的平臺上經營的情況，一旦退款，就需要多個平臺退款。

 

同樣的事可能需要做七八遍，但有了Agent便只需要一遍。它可以替代我們在七八個平臺上去操作。由于Agent的泛化能力很強，很多工作做起來就更加容易。它對于平臺的適應性也很強的，原先在淘寶上搜一個什么東西，把指令詞直接改成京東，它完全可以很順暢操作。

 

極新：您作為一個創業者的心路歷程是怎樣的？

 

孫林君：對我們來說，在做第一代RPA產品的時候，市面上99%的廠商都認為這已經是RPA產品的終極形態了。因為低代碼就要有一個設計器。

 

有人意識到用戶本質上需要的不只是這樣。用戶不想做程序員，而是需要一種自己就能做流程的系統。

 

便出現了第二代產品。從我帶著它做，到我只給一個指令它就能自己做，這是用戶的本質需求，這便衍生出Agent。也可以說，為了滿足用戶需求而不斷創新就是我們第一考慮的，就是我們的目標。

 

整理 | 圣雄&夢婕

編輯 | 云舒

出品｜極新＆北京電子商務協會