1. BloombergGPT的核心突破在于構(gòu)建超3,000億詞例的金融訓(xùn)練數(shù)據(jù)集

2. BloombergGPT的開發(fā)對(duì)于所有垂直領(lǐng)域都有重要意義

文：白話華爾街丨ID：WallstreetTalk

(資料圖片)

字?jǐn)?shù)：1268字，閱讀時(shí)長(zhǎng)：3分鐘

近日，由ChatGPT引發(fā)的生成式AI熱潮也蔓延到了金融行業(yè)。3月30日，全球商業(yè)、金融信息和財(cái)經(jīng)資訊領(lǐng)域的供應(yīng)商彭博（Bloomberg）發(fā)布了一篇關(guān)于BloombergGPT發(fā)開情況的研究論文，詳細(xì)介紹了這一專注于金融領(lǐng)域的大規(guī)模生成式人工智能模型。

和OpenAI的ChatGPT將從根本上顛覆書面交流一樣，BloombergGPT也將徹底改變金融行業(yè)。

“核心突破在于構(gòu)建了超3,000億詞例的金融訓(xùn)練數(shù)據(jù)集”

根據(jù)Bloomberg的公告，BloombergGPT大語言模型（LLM）專門針對(duì)各類金融數(shù)據(jù)進(jìn)行訓(xùn)練，從而全方位地支持金融領(lǐng)域的各種自然語言處理（NLP）任務(wù)。這些任務(wù)可能包括但不限于快速地分析財(cái)務(wù)數(shù)據(jù)、協(xié)助進(jìn)行風(fēng)險(xiǎn)評(píng)估，以及自動(dòng)執(zhí)行會(huì)計(jì)和審計(jì)任務(wù)等。

該模型將幫助彭博改進(jìn)現(xiàn)有的金融NLP任務(wù)，如市場(chǎng)情緒分析、實(shí)名實(shí)體識(shí)別、新聞分類和問題回答等。除此之外，BloombergGPT還可以調(diào)動(dòng)彭博終端（Bloomberg Terminal）上的海量數(shù)據(jù)，將人工智能的全部潛力應(yīng)用到金融領(lǐng)域。

BloombergGPT基于彭博研究人員開創(chuàng)的混合訓(xùn)練法，通過將金融數(shù)據(jù)與通用數(shù)據(jù)集結(jié)合起來訓(xùn)練模型，既可以在金融基準(zhǔn)上取得最佳結(jié)果，同時(shí)也可以在通用LLM基準(zhǔn)上保持足夠的競(jìng)爭(zhēng)力。

坐擁彭博在數(shù)據(jù)創(chuàng)建、收集和整理方面的資源，BloombergGPT是迄今為止規(guī)模最大的專業(yè)領(lǐng)域數(shù)據(jù)集之一。

在過去的40多年里，彭博積累了充斥大量金融用語的文檔，其開發(fā)團(tuán)隊(duì)從這個(gè)由大量英文金融文檔組成的數(shù)據(jù)庫中提取并創(chuàng)建了一個(gè)包含3,630億詞例（token）的金融數(shù)據(jù)集。該數(shù)據(jù)集又與另外一個(gè)包含3,450億詞例的公共數(shù)據(jù)集疊加，形成一個(gè)包含超7,000億詞例的大型訓(xùn)練語料庫。

彭博的研究團(tuán)隊(duì)利用該語料庫的一部分內(nèi)容訓(xùn)練了純解碼器（decoder-only）因果語言模型，包含500億個(gè)參數(shù)，并對(duì)訓(xùn)練出的模型進(jìn)行了基準(zhǔn)測(cè)試。

金融領(lǐng)域的NLP任務(wù)采用了彭博的自有基準(zhǔn)，各類通用NLP任務(wù)則采用了市面上流行的基準(zhǔn)，如BIG-bench Hard、 Knowledge Assessments、Reading Comprehension以及Linguistic Tasks。

測(cè)試結(jié)果顯示，BloombergGPT在金融任務(wù)上的表現(xiàn)遠(yuǎn)超類似規(guī)模的開發(fā)模型，而在一般NLP基準(zhǔn)上的表現(xiàn)也達(dá)到甚至超過了平均水平。

“所有垂直領(lǐng)域都將受益”

彭博在公告中表示，基于LLM的人工智能在許多領(lǐng)域都已經(jīng)展示出了應(yīng)用潛力，然而金融領(lǐng)域的復(fù)雜性和獨(dú)特的術(shù)語意味著需要有一個(gè)專攻金融專業(yè)的模型。BloombergGPT的推出意味著，金融行業(yè)在基于LLM的人工智能開發(fā)和應(yīng)用方面已經(jīng)邁出了第一步。

彭博首席技術(shù)官Shawn Edwards表示，小樣本學(xué)習(xí)、文本生成和對(duì)話系統(tǒng)等，都是生成式LLM模型如此迷人的原因，而首個(gè)專注于金融領(lǐng)域的LLM模型將具有巨大價(jià)值。BloombergGPT能幫助人們處理許多新型的應(yīng)用，不僅比定制化模型的表現(xiàn)好，而且即開即用，能夠大大縮短上線時(shí)間。

關(guān)于BloombergGPT的發(fā)布，彭博研究團(tuán)隊(duì)在論文中表示，雖然業(yè)內(nèi)無法對(duì)未公開的模型進(jìn)行全面評(píng)估，但發(fā)布模型很可能會(huì)導(dǎo)致不良用途。特別是像BloombergGPT這樣的接受了大量新聞稿、媒體報(bào)道和其他文件訓(xùn)練的模型，發(fā)布以后將面臨很高的被模仿濫用的風(fēng)險(xiǎn)，而且很容易受到數(shù)據(jù)泄漏攻擊。出于這些原因，彭博研究團(tuán)隊(duì)寧可謹(jǐn)慎行事，并遵循其他一些LLM開發(fā)人員的做法，不發(fā)布BloombergGPT。

盡管如此，彭博在訓(xùn)練和評(píng)估BloombergGPT方面的見解和經(jīng)驗(yàn)將有助于加深人們對(duì)LLM模型的理解，對(duì)那些希望構(gòu)建某一領(lǐng)域特定模型的從業(yè)者起到借鑒作用。

參考資料

1.Bloomberg, Introducing BloombergGPT, Bloomberg’s 50-billion parameter large language model, purpose-built from scratch for finance

2.Bloomberg, BloombergGPT: A Large Language Model for Finance

3.Fox Business, Bloomberg unveils finance-focused AI model Bloomberg GPT

BloombergGPT論文閱讀原文 https://arxiv.org/pdf/2303.17564.pdf

【免責(zé)聲明】

海投全球及旗下各自媒體賬號(hào)對(duì)所分享內(nèi)容觀點(diǎn)保持中立，不對(duì)其準(zhǔn)確性提供任何明示或暗示的保證，僅供讀者學(xué)習(xí)參考之用，禁止用于商業(yè)用途，且無投資指導(dǎo)意義。本聲明適用于海投全球全部原創(chuàng)與轉(zhuǎn)載文章，聲明的最終解釋權(quán)歸海投全球所有。謝謝！

關(guān)鍵詞：