iNFTnews iNFTnews
  • 首页
  • 7*24快讯
  • NFT导航
  • 联系我们
  • 注册
  • 登录
首页 › AI › 金融圈注意了 BloombergGPT来了

金融圈注意了 BloombergGPT来了

大力水手
2023-03-31 14:43:33AI阅读 22,224

金融圈注意了 BloombergGPT来了-iNFTnews

ChatGPT引爆的AI热潮也“烧到了”金融圈,彭博社重磅发布为金融界打造的大型语言模型(LLM)——BloombergGPT。

3月30日,根据彭博社最新发布的报告显示,其构建迄今为止最大的特定领域数据集,并训练了专门用于金融领域的LLM,开发了拥有500亿参数的语言模型——BloombergGPT。

报告显示,该模型依托彭博社的大量金融数据源,构建了一个3630亿个标签的数据集,支持金融行业内的各类任务。该模型在金融任务上的表现远超过现有模型,且在通用场景上的表现与现有模型也能一较高下。

一般来说,在NLP领域,参数数量和复杂程度之间具有正相关性,GPT-3.5模型的参数量为2000亿,GPT-3的参数量为1750亿。

金融圈注意了 BloombergGPT来了-iNFTnews

关于BloombergGPT

报告指出,研究人员利用彭博社现有的数据,对资源进行创建、收集和整理,通过构建迄今为止最大的特定领域数据集来完成BloomberGPT,并基于通用和金融业务的场景进行混合模型训练:

彭博社主要是一家金融数据公司,数据分析师在公司成立的四十年的时间里收集了大量的金融文件,拥有广泛的金融数据档案,涵盖了一系列的主题。

我们将这些数据添加到公共数据集中,以创建一个拥有超过7000亿个标签的大型训练语料库。

使用这个训练语料库的一部分,我们训练了一个具有彭博风格的,达500亿参数的模型,该模型是根据Hoffmann和Le Scao等人的指导方针设计,基于通用和金融业务的场景进行混合模型训练。

结果表明,我们的混合训练方法使我们的模型在金融任务上的表现大大超过了现有的模型,而在通用场景上的表现则与之相当甚至优于现有模型。

金融圈注意了 BloombergGPT来了-iNFTnews

1.BloombergGPT优势:特定领域模型仍有其不可替代性且彭博数据来源可靠

在论文中,彭博社指出,现阶段,通用的自然语言处理模型可以涵盖许多领域,但针对特定领域模型仍有其不可替代性,因彭博社的大多数应用均为金融领域,着手构建了一个针对金融领域的模型尤其优势,同时可以在通用LLM基准测试上保持竞争力:

除了构建金融领域的LLM外,本文的经验也为其他研究领域的专用模型提供了参考。我们的方法是在特定领域和一般数据源上训练LLM,以开发在特定领域和通用基准上表现优异的模型。

此外,我们的训练数据不同于传统的网络爬取数据,网络上的数据总有重复和错误,但我们的数据来源可靠。

金融圈注意了 BloombergGPT来了-iNFTnews

2.BloombergGPT的训练数据集:

BloombergGPT的训练数据库名为FINPILE,由一系列英文金融信息组成,包括新闻、文件、新闻稿、网络爬取的金融文件以及提取到的社交媒体消息。

为了提高数据质量,FINPILE数据集也使用了公共数据集,例如The Pile、C4和Wikipedia。FINPILE的训练数据集中大约一半是特定领域的文本,一半是通用文本。为了提高数据质量,每个数据集都进行了去重处理。

金融圈注意了 BloombergGPT来了-iNFTnews

对金融领域的理解更准

报告指出,在金融领域中的自然语言处理在通用模型中也很常见,但是,针对金融领域,这些任务执行时将面临挑战:

以情感分析为例,一个题为“某公司将裁员1万人”,在一般意义上表达了负面情感,但在金融情感方面,它有时可能被认为是积极的,因为它可能导致公司的股价或投资者信心增加。

金融圈注意了 BloombergGPT来了-iNFTnews

报告指出,从测试来看,BloombergGPT在五项任务中的四项(ConvFinQA,FiQA SA,FPB和Headline)表现最佳,在NER(Named Entity Recognition)中排名第二。因此,BloombergGPT有其优势性。

测试一:ConvFinQA数据集是一个针对金融领域的问答数据集,包括从新闻文章中提取出的问题和答案,旨在测试模型对金融领域相关问题的理解和推理能力。

测试二:FiQA SA,第二个情感分析任务,测试英语金融新闻和社交媒体标题中的情感走向。

测试三:标题,数据集包括关于黄金商品领域的英文新闻标题,标注了不同的子集。任务是判断新闻标题是否包含特定信息,例如价格上涨或价格下跌等。

测试四:FPB,金融短语库数据集包括来自金融新闻的句子情绪分类任务。

测试五:NER,命名实体识别任务,针对从提交给SEC的金融协议中收集金融数据,进行信用风险评估。

对于ConvFinQA来说,这个差距尤为显著,因为它需要使用对话式输入来对表格进行推理并生成答案,具有一定挑战性。

金融圈注意了 BloombergGPT来了-iNFTnews

ChatGPT为彭博点赞

华尔街见闻就这个问题专门询问了ChatGPT,ChatGPT认为BloombergGPT是一项很有意义的技术进步:

它是专门为金融领域开发的一种语言模型,可以更好地处理金融领域的数据和任务,并且在金融领域的基准测试中表现出色。

这将有助于金融从业者更好地理解和应用自然语言处理技术,促进金融科技的发展。同时,BloombergGPT还可以为其他领域的语言模型的发展提供参考和借鉴。总的来说,BloombergGPT是一个有益的技术创新。

金融圈注意了 BloombergGPT来了-iNFTnews


来源:华尔街见闻

免责申明:凡iNFTnews网注明“来源:XXX ”或“编译:XXX”的文/图等稿件,均为本站转载/翻译内容,如涉及作品内容、版权及其它问题,请联系本站!本站转载/翻译出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性,且不构成任何投资及应用建议。

收藏(0)
不想加密资产白白闲置 DeFi的收益来源及背后风险必须了解
上一篇
真正重要的监管重点是什么?一文探讨加密治理和监管优先事项
下一篇
再想想
暂无评论
2023年 9月
一 二 三 四 五 六 日
 123
45678910
11121314151617
18192021222324
252627282930  
« 7月    
最新文章
Secure Business M&A With Software For Secure Business M&A
11111
共建Web3.0链上生态,汇付天下加速布局新赛道
Tiger VC DAO公布一周年投资标的,即将开启二级基金
加入NFT社群,了解更多NFT信息
标签
a16z Axie Infinity Bored Ape Yacht Club Coinbase CryptoPunk DappRadar Decentraland ENS Facebook GameFi Loot Meta Metamask Metaverse NBA Top Shot NFT游戏 NFT音乐 OpenSea play-to-earn Polygon Rarible Roblox The Sandbox Twitter VeVe Web3 以太坊 佳士得 元宇宙 加密艺术 加密货币 区块链 收藏品 数据 版权IP 科普 腾讯 苏富比 英伟达 蚂蚁链 融资 行业报告 观点 谷歌 资讯
搜索大战白热化:微软全面开放Bing Chat,谷歌或实现个性化搜索
liurui
15,912 0
面对AI“龙卷风”破坏力,白宫“软着陆”欧盟“硬防御”
liurui
14,853 0
“游戏+AI”的故事,“三七互娱们”还能讲多久?
liurui
21,366 0
ChatGPT与教育的未来
大力水手
22,195 0
  • 0
  • 0
关于我们

iNFTnews.com是一家垂直在NFT领域的全球性资讯平台,为您提供全面、专业且有品质的NFT、元宇宙、链游等相关信息资讯,致力于成为您开启NFT世界的第一站。

友情链接
吾爱元宇宙 链新
更多
寻求报道 隐私政策 工作机会 版权申明 联系我们
Copyright © 2021-2023 iNFTnews. 专业的NFT信息资讯平台 浙ICP备2021024901号
  • 首页
  • 7*24快讯
  • NFT导航
  • 联系我们
# 元宇宙 # # Metaverse # # 收藏品 # # 资讯 # # NFT游戏 #
大力水手