百度更新成绩单:千帆大模型平台月活企业近万家

作者:小编 更新时间2023-09-12 10:30:41 点击数:

自3月份推出文心一言,时隔六个月,百度智能云交出大模型服务的成绩单。9月5日,百度智能云对外公布,千帆大模型平台上月活企业数已近万家,覆盖金融、制造、能源、政务、交通等行业的400多个场景。并且百度智能云千帆大模型平台升级到2.0版本,升级后平台纳管的国内外主流大模型达到42个,对于除文心大模型之外的第三方大模型,千帆平台不只是简单的接入,还提供中文增强、性能增强、上下文增强等能力。另外,百度还透露将在不久后推出文心大模型4.0版本。

值得关注的是,在大模型应用方面,百度智能云基于文心大模型重构了四大行业解决方案,分别是数字政府解决方案——九州、金融解决方案——开元、工业解决方案——开物、智能交通解决方案——ACE3.0。

据介绍,因为目前大模型在产业落地还处于早期,很多企业不知道该怎么用大模型,所以百度智能云率先在政务、金融、工业、交通四大行业打造了“行业样板间”。

纳管42个国内外主流大模型

百度智能云千帆大模型平台是百度智能云在3月推出的全球首个一站式的企业级大模型生产平台,不仅提供基于文心一言或者第三方开源大模型的大模型服务,还提供全套工具链和开发环境,帮助企业开发自己的专属大模型。

“任何新技术的真正落地,都需要相应的方法论和工具的支撑。”百度集团执行副总裁、百度智能云事业群总裁沈抖表示,“我们用了半年时间,不断沉淀经验、积累工具,对千帆平台做了大量升级,让千帆大模型平台更好用、更贴心。”

升级后的百度智能云千帆大模型平台2.0纳管了国内外主流大模型达到42个,还预置了41个高质量有行业特色的数据集,预装了知识问答、客服对话、代码助手等10个精选应用范式,大幅降低企业使用、训练和推理大模型的门槛。对于除文心大模型之外的第三方大模型,千帆平台不只是简单的接入,还提供中文增强、性能增强、上下文增强等能力。比如,原来要用英文对话效果才好的Llama2等国外大模型,现在用中文也一样好。

千帆大模型升级后的工具链也变得更丰富和更全面,贯穿大模型完整的生命周期,也更加轻量化、敏捷化。过去验证大模型的效果至少需要一周时间,现在基于一站式的工具链,只需一天就可以跑通一个模型并看到效果。值得关注的是,千帆平台的工具链里内置了103套高质量的Prompt模板,还有自动化Prompt工程能力,做起来会更方便、更轻松。

据介绍,千帆平台还持续升级了算力服务,进一步降低用户的算力成本和时间成本。万卡集群训练大模型时,常规方法下,工程师们有30%~40%的时间都花在容错和故障恢复上。现在,使用百度智能云自研的集群组网故障管理机制,使模型有效训练时间达到95%以上。基于分布式并行训练策略,千帆平台在万卡规模集群中的加速比可以达到 95%,充分释放集群的整体算力。千帆平台还兼容国内外主流芯片和操作系统,算法可以最小的修改成本运行。

打造千帆平台产业样板间

“因为大模型在产业落地尚属早期,很多企业不知道该怎么用大模型,百度智能云率先在政务、金融、工业、交通四大行业打造了‘行业样板间’。”百度方面表示。

此次,百度智能云带来了基于文心大模型重构的政务、金融、工业、交通四大行业解决方案,分别是数字政府解决方案——九州、金融解决方案——开元、工业解决方案——开物、智能交通解决方案——ACE3.0。

以九州为例,依托文心政务大模型重构的九州跨越了数智鸿沟,围绕“一网统管、一网通办、一网协同”的数字政府建设的核心理念,通过大模型提供的能力助力打造城市治理“新”范式、便民利企“新”体验、政府办公“新动能”。

在城市治理方面,过去,城市管理者只能针对少数高频场景、固定指标进行城市运行情况的分析;现在,大模型将各类事件连接盘活,用一句话、一个问题动态生成所需场景和指标,发现问题根源;并且大模型可以基于以往的案例、历史处置经验,及相关的知识沉淀训练,给大模型训练之后,在新的事件发生后可以实时提供决策辅助和处置建议。

百度智能云智慧城市总经理刘捷对记者举例解释道,大模型之前在城市治理上,主要涉及到两个大的环节,一个是一屏观全域,一个是一网管全城。在原来一屏观的产品当中,只能针对预设的指标、场景、数据进行对应的分析。比如今年数字经济被提到新的高度,就要在原来一屏观的产品中重新录入数字经济指标的各项数据,没有大模型之前的方式,先要做数据的收集,从各个部门去收集数据然后人工整理,再基于数据做对应的分析,如果想把这些数据做成指标上屏的话,还要去做开发工作等等。过程和流程非常烦琐,且耗时耗力。“有了大模型能力之后就会变得更加简单,因为数字经济相关的数据其实已经存在于业务系统当中,只需要通过大模型把这些数据激活并重新融合,就可以因需、灵活地进行指标统计分析,让静态的数据‘动’起来。”刘捷说道。

涉及到具体事件的处理上,以前主要靠办案人员个人的经验,有了大模型之后也将发生改变。比如发生噪音扰民事件投诉后,12345的一个坐席人员,以前只能根据自己的经验派发到相应的主管部门,在系统知识库中手动寻找有类似案件及处理办法,处理过程依赖于个人经验及对业务的熟悉程度,业务不熟的工作人员处理过程耗时可能比较长。“大模型则可以根据实时事件,自动生成处置建议,包括案件与哪些部门有关,应该分派到哪个部门,依据法律条文应该如何向老百姓解释等。”刘捷对记者说道,“因为大模型学习了以前非常多的类似案件,包括案件的处置情况,学习之后就将之前个人的经验、知识变成了实时智能的系统。”

大模型的使用也将有助于提高政府的办事服务效率。在帮老百姓办事方面,某一线城市2022年政务咨询服务量达185万人次,绝大部分都是人工服务,服务人员的工作量非常繁重,服务人员人力不足已是办事服务进一步提质增效面临的瓶颈。造成这种情况的原因在于,市民咨询办事时的口语化诉求无法直接对应到各类政策指南中的政务术语,需要专业人员来“翻译”引导;现在,大模型可以更精准地理解市民的办事诉求,同时可以把所有的政务知识和术语融会贯通,并将诉求问题与政府政策文件、办事指南进行对应,从而更快、更准确地给予回复或办事指导,让每个人都有了专属的咨询、办事助手,对话交流几分钟就把事情办好,让办事服务有了“唠家常”一样的全新体验。

刘捷透露,如今各地政府部门对于政务大模型的关注度非常高,因为大模型的赋能能够解决在政府领域长期受到困扰的一些问题。大模型与城市治理、政务服务、政务办公业务融合,所带来的管理应用模式变革和显著提效能力都受到了非常高的关注。目前,百度也正在与多地政府合作,共同探索在相关场景下的大模型应用试点。

如海淀城市大脑正在基于“九州”探索多项AI原生应用,进行场景试点打磨,目标是能针对任意主题,通过简单对话就可以将各类事件连接盘活,快速生成指标统计、数据对比,总结出市民最关注的事情,数分钟内给出处置建议。海淀区人民政府党组成员、副区长徐振涛表示:“对于大模型技术,我们正积极筹划,从基础设施建设和场景应用两个层面不断探索,百度文心大模型等国内领先的大模型参与其中。”