百度大模型加速市场化。


(资料图片仅供参考)

6月6日,百度在成都举办了文心大模型技术交流会,会上,百度智能云推出“Comate”代码助手,并正式开放邀测。

从介绍中可以看到,代码助手“Comate”可以实现代码的快速补齐、自然语言推荐代码、自动查找代码错误,全面提升开发者研发效率。之后,开发者可以通过插件等形式,在主流开发软件中使用“Comate”代码助手。

同时在活动现场,百度智能云也公布了大模型业务的新进展。

文心一言方面,3月开始内测两个月以来,百度文心一言的推理性能已经提升10倍;基于文心千帆大模型平台提供的完备的工具链,文心一言的高性能模式“文心一言-Turbo”推理服务性能已经提升了50倍,目前企业可以在文心千帆大模型平台上申请测试“文心一言-Turbo/ErnieBot- Turbo” 高性能模式。

此外,文心千帆也在数据导入/任务标注、Prompt管理器、强化学习机制、大模型插件产线、大模型评估、大模型压缩等等能力上进行了持续升级,同时还能支持更多第三方大模型。

1.推出大模型时代的代码助手Comate

具体来看,“Comate”代码助手可以实现编码、回看、测试等全流程的辅助编码。比如,在编写程序时,可实现代码智能搜索、推荐、自动补全;也可查找代码错误;同时,在测试阶段,也可基于代码直接生成单元测试脚本,实现代码验证。

与国外的开发工具相比,“Comate”基于文心大模型在中文理解上的独特优势,可以理解代码中的中文注释,并通过上下文触发、语义触发等能力,完成相应指令,更匹配中国开发者的习惯。

据了解,Comate的研发最早可以追溯到2021年,当时百度云在基于文心大模型进行代码辅助工具的研究,2022年4月,Comate进行了内测,2022年9月代码辅助工具开始在百度内部开发中全面应用。

“Comate”代码助手背后是高质量Github代码库以及百度内部代码的积累。目前,“Comate”覆盖了30余种编程语言,包含 C/C++、Python、Java等多个主流语言。此外,“Comate”支持程序员最常使用的主流IDE,开发者可以通过插件等形式,在不同软件中使用“Comate”。“Comate”可确保推理单次请求300ms左右。

现场,百度智能云AI平台副总经理施恩还使用“Comate”进行了实时演示,并生成了“贪吃蛇”小游戏。演示中可以看到,“Comate”自动联系上下文理解指令,补全代码,并在多条推荐代码之间切换,选择合适代码,直接生成了可运行的“贪吃蛇”小游戏。

百度智能云对Comate的产品规划是:

第一阶段主要实现辅助代码撰写,目前开发者已经可以通过自然语言的方式写代码;

第二阶段,“Comate”将在特定领域、场景的自然语言代码生成;

第三阶段将实现全领域的自然语言开发。

百度智能云AI平台副总经理李景秋告诉「甲子光年」,从整体落地效果来看,目前百度内部,Comate的采纳率达到30%-50%,最高有50%的代码由Comate生成。她也提到,这大大增加了工程师的编码质量和效率,“以百度的工程师为例,原本更高级别的T6工程师开发的代码,现在T5、T4的工程师也可以开发出来。”

2.百度千帆大模型再升级

文心千帆大模型平台是一站式企业级大模型平台,能够提供包括文心一言在内的大模型服务,提供开发AI应用的各种工具链及整套环境,还支持各类第三方的开源和闭源的大模型。

此次,文心千帆也进行了最新升级,推出了文心一言的高性能模式——ErnieBot-turbo,并在数据标注、调优、插件市场和服务部署方向进行全面迭代:

借助ErnieBot-turbo大模型,一方面可以批量生成标注数据,大大降低数据标注成本;另一方面在一些高频、核心场景,其推理服务的整体性总共提升了50倍。

大模型调优方面,ErnieBot-turbo大模型支持SFT训练;同时针对不同场景和效果提供多种训练方式。

插件市场方面也有了新的动作,百度透露,文心千帆将开放插件协议,能够让第三方企业基于插件协议共享插件。比如能源企业,就可以通过插件的方式,给他提供检索增强的样板,把内部的数据完全接入,同时实现更好的大模型效果。

服务部署的升级上,百度宣布在整体服务部署上可以支持ERNIE Bot、ERNIE Bot-Turbo、Bloom等大模型服务,支持对模型进行评估、压缩及部署,且还能支持基于应用的QPS分流。

Prompt工程方面,百度千帆目前升级提供一部分预制的Prompt模板,支持Prompt模板的增删改查,支持参数插值的调用模板,支持通过服务接口形式调用Prompt模板,用于获得更好的推理效果。

未来,基于文心千帆不断的升级,百度也将把大模型商业化落地真正落地到不同场景。目前,面向企业市场,文心千帆有公有云服务和私有化部署两种落地模式。

其中,公有云提供推理、微调、托管三种服务模式面向不同开发能力和不同需求的企业和开发者。比如,通用大模型或者微调出来的行业大模型,都可以直接托管在百度智能云的云端。

私有化部署支持软件授权、软硬一体、租赁服务三种交付模式。

软件授权指的就是,百度智能云将打包的AI软件系统授权给客户,由客户自行搭建部署在本地的数据中心或私有云环境中,百度负责软件的安装调试、培训与维护支持等;企业自己需要具备AI运维能力,并承担相应的服务器成本。

软硬一体模式交付成本和价格最高,指的是百度智能云提供包括AI软件系统授权、配置AI服务器集群、存储系统交付等整体解决方案的部署、调试和日常的技术支持与维护。租赁模式相对价格没那么高,指的是百度智能云提供机器和平台的租赁,训练完客户的数据,百度将自己的设备回收。

百度智能云AI平台副总经理施恩告诉「甲子光年」,目前,软件授权和软硬一体是百度智能云优先推进的模式,也是市场主流的模式,同时对百度而言这两种交付模式也更标准化。

大模型将进一步拉动AI公有云市场的增长,接下来,百度智能云也有机会借此进一步乘势追击,进一步收窄与头部云厂商的差距。

推荐内容