原文來源：新智元
圖片來源：由無界 AI生成
將LLM應(yīng)用于基于智能體的仿真的動機(jī)是什么? 在環(huán)境感知、人類協(xié)調(diào)、行為生成和評估中的挑戰(zhàn)有哪些?一文為你講清。
基于智能體的建模與仿真已發(fā)展成為模擬復(fù)雜系統(tǒng)的強(qiáng)大工具，提供了對涌現(xiàn)行為和多樣智能體之間互動的洞見。
將大語言模型整合到基于智能體的建模和仿真中，為增強(qiáng)仿真能力提供了有希望的途徑。
本文調(diào)研了在基于智能體的建模與仿真中利用大語言模型的領(lǐng)域格局，考察了它們的挑戰(zhàn)和有希望的未來方向。
論文地址：https://arxiv.org/abs/2312.11970
在這項(xiàng)綜述中，由于這是一個跨學(xué)科領(lǐng)域，我們首先介紹基于智能體的建模與仿真以及大語言模型賦能智能體的背景。
然后，我們討論將大語言模型應(yīng)用于基于智能體的仿真的動機(jī)，并系統(tǒng)分析在環(huán)境感知、人類協(xié)調(diào)、行為生成和評估中的挑戰(zhàn)。
最重要的是，我們提供了大語言模型賦能的基于智能體的建模與仿真在多種場景下的最新工作綜述，這些場景可分為四個領(lǐng)域：網(wǎng)絡(luò)、物理、社會和混合，涵蓋了現(xiàn)實(shí)世界和虛擬環(huán)境的仿真。
最后，由于這個領(lǐng)域是新的且快速發(fā)展的，我們討論了開放性問題和有希望的未來方向。
仿真作為一種計(jì)算工具，涵蓋了通過使用數(shù)學(xué)公式、算法或計(jì)算機(jī)生成的表示來模擬現(xiàn)實(shí)世界過程或系統(tǒng)，以模仿其行為或特征。
基于智能體的建模與仿真專注于通過模擬個體智能體及其在環(huán)境中的相互作用來模擬復(fù)雜系統(tǒng)。
它通過賦予這些智能體特定的行為、屬性和決策能力來運(yùn)作，使我們能夠檢查由智能體相互作用和環(huán)境動態(tài)產(chǎn)生的涌現(xiàn)現(xiàn)象。
仿真的重要性跨越多個領(lǐng)域，是理解、分析和預(yù)測實(shí)際生活中可能難以或無法直接觀察的復(fù)雜現(xiàn)象的寶貴工具。
它促進(jìn)了實(shí)驗(yàn)、假設(shè)測試和情景分析，提供了在不同條件下系統(tǒng)行為的洞見，并在經(jīng)濟(jì)學(xué)、生物學(xué)、社會學(xué)和生態(tài)學(xué)等領(lǐng)域的決策過程中提供幫助。
獲得和使用語言的能力是區(qū)分人類和其他生物的關(guān)鍵方面。大語言模型（LLMs）的出現(xiàn)是機(jī)器學(xué)習(xí)中的一個最新里程碑，展示了在自然語言處理任務(wù)和文本生成方面的巨大能力。
利用它們強(qiáng)大的能力，LLMs在通過更細(xì)膩和現(xiàn)實(shí)的方式表示智能體的決策過程、溝通和適應(yīng)模擬環(huán)境方面顯示出了提升基于智能體仿真的前景。
將LLMs整合到基于智能體的建模和仿真中，有潛力豐富仿真的真實(shí)性和復(fù)雜性，可能會深入洞察系統(tǒng)行為和涌現(xiàn)現(xiàn)象的原因如下：
首先，LLM 智能體可以根據(jù)環(huán)境做出自適應(yīng)反應(yīng)并執(zhí)行任務(wù)，而無需預(yù)定義的明確指令。其次，LLM 智能體具有很強(qiáng)的智能，可以像人一樣做出反應(yīng)，甚至主動采取具有自導(dǎo)向的規(guī)劃和調(diào)度的行動。
LLM智能體的行動空間既不局限于文本，對于文本，工具用法和內(nèi)部行動模塊允許代理采取各種行動。
最后，LLM智能體可以與人類或其他智能體進(jìn)行互動和交流。
憑借以上三點(diǎn)優(yōu)勢，LLM智能體已被廣泛接受使用。
從這個角度看，LLM智能體顯然可以作為一種新的模擬范例，賦予代理以人類水平的智能。
由于LLM智能體的巨大潛力，近來這一領(lǐng)域的研究工作呈現(xiàn)出蓬勃發(fā)展的態(tài)勢。
然而，迄今為止，還沒有一份綜述能系統(tǒng)地總結(jié)相關(guān)工作、討論尚未解決的問題，并為重要的研究方向提供一瞥。
在本綜述中，我們分析了為什么大語言模型在仿真的基本問題中至關(guān)重要，尤其是對于基于智能體的仿真而言。
在討論了如何在這一新范式中設(shè)計(jì)智能體之后，我們仔細(xì)而廣泛地討論并介紹了各個領(lǐng)域的現(xiàn)有著作，其中大部分是近期發(fā)表的。
本綜述的貢獻(xiàn)可歸納如下。
- 我們首先回顧了基于大語言模型的智能體建模與仿真的現(xiàn)有著作。
與現(xiàn)有方法相比，我們系統(tǒng)地分析了為什么大型語言模型可以作為基于智能體建模與仿真的先進(jìn)解決方案。
具體而言，我們首先從自主性、社會能力、反應(yīng)性和主動性四個方面廣泛闡述了基于智能體的建模與仿真對智能體能力的要求。
然后，我們分析了大型語言模型如何應(yīng)對這些挑戰(zhàn)，包括感知、推理和決策、適應(yīng)性和異質(zhì)性。
- 我們將基于智能體的建模與仿真分為物理、網(wǎng)絡(luò)、社會和混合四個領(lǐng)域。
這四個領(lǐng)域可以涵蓋主流的仿真場景和任務(wù)，之后我們介紹了相關(guān)的工作，對如何設(shè)計(jì)仿真環(huán)境以及如何構(gòu)建由大型語言模型驅(qū)動的仿真代理進(jìn)行了詳細(xì)的討論。
- 除了這一新領(lǐng)域的現(xiàn)有工作外，我們還討論了四個重要的研究方向，包括改進(jìn)仿真的擴(kuò)展性、開放仿真平臺、魯棒性、倫理風(fēng)險等，相信這將對未來的研究有所啟發(fā)。
大語言模型和LLM驅(qū)動的智能體
大語言模型（LLMs），如 ChatGPT、Gemini、LLaMA、Alpaca和GLM，是語言模型的最新范式，從早期的統(tǒng)計(jì)語言模型發(fā)展到神經(jīng)語言模型，再到預(yù)訓(xùn)練語言模型，最后發(fā)展到大型語言模型。
憑借數(shù)十億個參數(shù)和廣泛的預(yù)訓(xùn)練語料庫，LLM不僅在文本生成、總結(jié)、翻譯等自然語言處理任務(wù)中表現(xiàn)出驚人的能力，而且在解決數(shù)學(xué)問題等復(fù)雜推理和規(guī)劃任務(wù)中也表現(xiàn)出驚人的能力。
在大規(guī)模語料庫上進(jìn)行的預(yù)訓(xùn)練為零點(diǎn)泛化奠定了基礎(chǔ)。此外，預(yù)訓(xùn)練模型還可以針對特定任務(wù)進(jìn)一步微調(diào)，以適應(yīng)特定的應(yīng)用場景。
此外，在過去一年中，大型語言模型（如ChatGPT和GPT-4）的進(jìn)步已經(jīng)實(shí)現(xiàn)了類似人類的推理能力，這是一個里程碑，現(xiàn)在被認(rèn)為是人工通用智能（AGI）的種子。
具體來說，獲取和使用語言的能力是我們?nèi)祟悈^(qū)別于其他生物的一個關(guān)鍵方面。語言是我們與環(huán)境互動的最重要機(jī)制之一，語言為高級能力奠定了基礎(chǔ)。
因此，由于在感知環(huán)境和做出決策方面具有類似人類的智能，構(gòu)建大型語言模型賦能的智能體是大有可為的。
首先，LLM智能體能夠根據(jù)環(huán)境做出自適應(yīng)反應(yīng)并執(zhí)行任務(wù)，而無需預(yù)定義的明確指令。此外，在模擬過程中，LLM智能體甚至可以形成新的想法、解決方案、目標(biāo)等。
例如，AutoGPT在給出一組可用工具和最終任務(wù)目標(biāo)時，可以自動安排計(jì)劃，體現(xiàn)了LLM在構(gòu)建智能體方面的巨大潛力。
同時，BabyAGI創(chuàng)建了一個運(yùn)行無限循環(huán)的LLM驅(qū)動腳本，該腳本持續(xù)維護(hù)任務(wù)列表，其中每個任務(wù)都由ChatGPT API根據(jù)任務(wù)上下文完成。
其次，LLM智能體具有足夠的智能，可以像人類一樣做出反應(yīng)，甚至主動采取行動，進(jìn)行自我導(dǎo)向的規(guī)劃和調(diào)度。環(huán)境輸入并不局限于文本，
最近的多模態(tài)融合模型還可以輸入其他類型的信息，如圖像或音頻。LLM 智能體的行動空間既不局限于文本，對于文本，工具使用能力允許智能體采取更多行動。
最后，LLM 智能體具有與人類或其他人工智能智能體互動和交流的能力。在仿真，尤其是基于智能體的仿真中，代理的交流能力將個體仿真提升到了群體層面。
一個 LLM 驅(qū)動的智能體可以生成文本，另一個智能體可以接收并理解文本，進(jìn)而為智能體之間或人類與智能體之間可解釋的交流提供基礎(chǔ)。
此外，社區(qū)層面的模擬需要智能體的異質(zhì)性，而 LLM 智能體可以滿足這些要求，在社會中扮演不同的角色。
由LLM智能體構(gòu)建的人工社會可以進(jìn)一步揭示具有集體智能體行為的蜂群智能體的出現(xiàn)，類似于人類社會中的群體智慧。
如上所述，仿真系統(tǒng)廣泛采用了基于智能體的建模范式，這就要求智能體具有高級能力，很好地激發(fā)了大語言模式智能體在仿真場景中的應(yīng)用。
基于智能體建模和仿真的LLM關(guān)鍵能力
基于智能體建模與仿真的大語言模式關(guān)鍵能力 如上所述，基于智能體的建模與仿真是許多領(lǐng)域仿真的基本方法，但它仍然面臨幾個關(guān)鍵挑戰(zhàn)。
大語言模式驅(qū)動的智能體不僅能滿足基于智能體的仿真要求，還能依靠其強(qiáng)大的感知、推理、決策和自我進(jìn)化能力來解決這些限制，如圖1所示。
感知?
基于智能體的建模與仿真的核心是模擬單個智能體如何與環(huán)境進(jìn)行交互，這就要求智能體能夠準(zhǔn)確感知來自上述環(huán)境的各類信息。至于大語言模型賦能的智能體，語言能力能使智能體直接或間接地理解和應(yīng)對多樣化的環(huán)境。
一方面，理解和生成文本的基本能力使智能體能夠進(jìn)行復(fù)雜的對話、談判和信息交換，并支持直接交互。另一方面，智能體與環(huán)境之間的界面可以通過文本進(jìn)行操作，從而實(shí)現(xiàn)間接交互。
當(dāng)然，除了智能體與環(huán)境的視角外，這種能力也支持不同智能體之間的交流。
值得一提的是，僅僅具備與環(huán)境和其他智能體互動的能力還不足以實(shí)現(xiàn)類人模擬。更具體地說，還要求基于大型語言模型的智能體 "設(shè)身處地"，從而讓智能體想象自己確實(shí)身處環(huán)境之中。
也就是說，LLM 智能體應(yīng)能從 "第一視角視線"出發(fā)，理解、感知并響應(yīng)不同情境下的不同需求、情感和態(tài)度。這種能力能使模型更好地理解來自環(huán)境或其他智能體的信息，并產(chǎn)生更真實(shí)的反應(yīng)。
推理和決策?
傳統(tǒng)基于代理的仿真面臨的一個關(guān)鍵挑戰(zhàn)是，基于規(guī)則甚至基于神經(jīng)網(wǎng)絡(luò)的代理不夠智能。也就是說，智能體無法做出正確或最優(yōu)決策，如在交通仿真中選擇擁擠的道路，或在社交網(wǎng)絡(luò)仿真中發(fā)送錯誤的信息。
這可以解釋為，傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的人工智能仍不如真人智能。相比之下，大語言模型賦能的智能體則表現(xiàn)出更強(qiáng)的推理能力，使其能夠在模擬中做出更明智的決策并選擇合適的行動。
盡管能做出合適的決策，但大型語言模型賦能的智能體支持更好的基于智能體的建模和仿真的另一個關(guān)鍵優(yōu)勢是自主性。
只需有限的指導(dǎo)、規(guī)定和目標(biāo)，配備大型語言模型的智能體就能自主采取行動，為給定目標(biāo)制定計(jì)劃，甚至實(shí)現(xiàn)新目標(biāo)，而無需顯式編程或預(yù)定義規(guī)則。
也就是說，自主性使LLM智能體能夠根據(jù)實(shí)際情況動態(tài)調(diào)整自己的行動和策略，有助于提高仿真的真實(shí)性。
自適應(yīng)學(xué)習(xí)和演化?
對于基于智能體的建模與仿真而言，系統(tǒng)始終具有不確定性和不可控性。
換句話說，與模擬初始階段相比，環(huán)境和智能體的狀態(tài)可能完全不同。正如《瑞普·凡·溫克爾》（Rip Van Winkle）的古老故事所講述的那樣，一個人在山中睡著了，醒來后發(fā)現(xiàn)周圍的世界在他沉睡期間發(fā)生了巨大的變化。
也就是說，在長期的社會網(wǎng)絡(luò)模擬中，環(huán)境是不斷變化的；智能體應(yīng)該能夠適應(yīng)新的環(huán)境，制定的決策策略可能會大大偏離其原來的策略。
顯然，自適應(yīng)學(xué)習(xí)和進(jìn)化對于傳統(tǒng)方法來說具有挑戰(zhàn)性，但幸運(yùn)的是，基于大型語言模型的智能體可以解決這個問題。
具體來說，憑借不斷從新數(shù)據(jù)中學(xué)習(xí)并適應(yīng)不斷變化的語境的能力，LLM 智能體可以隨著時間的推移不斷演化行為和決策策略。
智能體可以吸收新信息，分析數(shù)據(jù)中新出現(xiàn)的模式，并根據(jù)情境中的學(xué)習(xí)相應(yīng)地修改自己的反應(yīng)或行動，這反映了現(xiàn)實(shí)世界實(shí)體的動態(tài)性質(zhì)。
這種適應(yīng)性通過模擬智能體在應(yīng)對不同刺激時的學(xué)習(xí)曲線和行為演變，增強(qiáng)了模擬的真實(shí)性。
異質(zhì)性和個性化?
俗話說，一人之肉，眾人之毒。對于基于智能體的仿真來說，具有異質(zhì)個體的復(fù)雜社會或經(jīng)濟(jì)系統(tǒng)，智能體的異質(zhì)性至關(guān)重要。
具體來說，在基于智能體的建模和仿真中，智能體的異質(zhì)性涉及表現(xiàn)個體之間的不同特征、行為和決策過程。與傳統(tǒng)仿真方法相比，基于智能體的仿真因其能夠適應(yīng)不同的規(guī)則或參數(shù)而脫穎而出，具體討論如下。
首先，現(xiàn)有方法的參數(shù)設(shè)置極其復(fù)雜。在
這些模型中，影響智能體行為的變量繁多--從個人特征到環(huán)境因素--使得選擇和校準(zhǔn)這些參數(shù)變得十分困難。這種復(fù)雜性往往會導(dǎo)致過度簡化，影響模擬在描述真實(shí)異質(zhì)性方面的準(zhǔn)確性。
此外，獲取準(zhǔn)確、全面的數(shù)據(jù)為參數(shù)選擇提供信息也是另一項(xiàng)挑戰(zhàn)。也就是說，現(xiàn)實(shí)世界中能捕捉到不同情境下不同個體行為的數(shù)據(jù)可能很有限，或者很難收集到。
此外，根據(jù)真實(shí)世界的觀察結(jié)果驗(yàn)證所選參數(shù)以確保其可靠性，也增加了另一層復(fù)雜性。
其次，規(guī)則或模型無法涵蓋異質(zhì)性的所有方面，因?yàn)楝F(xiàn)實(shí)世界中的個體非常復(fù)雜。使用規(guī)則驅(qū)動智能體行為只能捕捉到異質(zhì)性的某些方面，但可能缺乏深度，無法囊括多樣化行為、偏好和決策過程的全部內(nèi)容。
此外，隨著模型能力的提高，試圖在單一模型中涵蓋異質(zhì)性的所有方面未免過于理想化。
因此，如何平衡模型的簡潔性和智能體建模的準(zhǔn)確性成為基于智能體建模和仿真的關(guān)鍵挑戰(zhàn)，從而導(dǎo)致對智能體異質(zhì)性某些方面的過度簡化或忽視。
與傳統(tǒng)方法不同的是，基于LLM的智能體支持：1）通過內(nèi)部類似人類的認(rèn)知復(fù)雜性來捕捉復(fù)雜的內(nèi)部特征；2）通過提示、上下文學(xué)習(xí)或微調(diào)來實(shí)現(xiàn)專業(yè)化和定制化特征。
結(jié)語
基于智能體的建模與仿真是各領(lǐng)域復(fù)雜系統(tǒng)建模的重要方法之一。
大語言模型的最新進(jìn)展重塑了基于智能體的建模與仿真范式，為構(gòu)建類似人類的智能體而不是由簡單規(guī)則或有限智能神經(jīng)模型驅(qū)動的智能體提供了新的視角。
在本文中，我們首先對基于智能體的大語言模型建模與仿真進(jìn)行了綜述。我們系統(tǒng)地分析了基于智能體的建模與仿真為什么需要 LLM 智能體，以及如何應(yīng)對關(guān)鍵挑戰(zhàn)。
隨后，我們廣泛總結(jié)了網(wǎng)絡(luò)、物理、社會和混合四個領(lǐng)域的現(xiàn)有工作，仔細(xì)闡述了如何設(shè)計(jì)仿真環(huán)境、如何構(gòu)建大語言模型賦能的智能體，以及基于智能體的仿真要觀察和實(shí)現(xiàn)什么。
最后，考慮到現(xiàn)有研究尚未解決的局限性和這一快速發(fā)展的新領(lǐng)域，我們討論了有待解決的問題，并指出了重要的研究方向，希望能對未來的研究有所啟發(fā)。
參考資料：
https://arxiv.org/abs/2312.11970
