科大讯飞刘聪：算法将成为大模型竞争关键_世界关注

• 2023-05-08 20:15:40 来源：科技日报

(资料图片仅供参考)

科技日报实习记者 都芃

“我们致敬、学习Open AI，但也在努力超越。”5月6日下午，科大讯飞在合肥正式发布讯飞星火认知大模型。发布会后，科大讯飞研究院院长刘聪在接受科技日报记者采访时表示，在算力提升遭遇瓶颈，训练数据数量、质量有限的情况下，算法在大模型研发中的关键作用愈加凸显。“算法优势是讯飞星火大模型的核心竞争力，能够弥补目前国内大模型研究在算力和数据方面的不足。”刘聪说道。

不久前，Open AI创始人及CEO奥特曼在麻省理工学院接受采访时表示，大语言模型的规模已接近极限，并非越大越好。他认为，大模型发展不应一味追求参数数量，未来大模型或以多个小模型相互协作的方式运行。刘聪也表示，现阶段大模型的基础理论已十分明晰，更像是一种系统性的复杂工程，“如何将其中的每一个环节‘做透’，通过算法的优化，将每一部分组合在一起发挥更大作用将是接下来发展重点。”

算法、算力、数据被认为是大模型研发中必不可少的三大基础要素，也是制约大模型成果水平的关键因素。

在谈到数据问题时，刘聪坦承，当下能够使用的中文训练数据，在数量和质量上较英文数据仍有一定差距。“我们有时候开玩笑地讲，同样是网络论坛数据，英文论坛内容质量相对较高，中文论坛内容最后往往变成了吵架。”但他也表示，污点数据问题在全世界范围内都存在，如何清洗污点数据考验着各家大模型的算法水平。讯飞星火认知大模型给出的解决方案之一是中英文混合训练。在发布会现场的实景演示中，讯飞星火认知大模型在英文问答中出现了一个小差错，在英文回答中混入了一个中文单词。针对这一问题，刘聪并未回避，他直言，“由于我们是完全真实的实景演示，难免会出现小bug（故障）。出现这一问题的原因是我们采取了中英文混合训练模式。”刘聪表示，借助这一训练模式，英文数据可以与中文数据相互补充、验证，一定程度上弥补单语种数据集的不足。“我们认为，中英文混合训练才会出现真正的‘智能涌现’。”

刘聪认为，对于大模型研究，算力并非决定性因素。“算力当然要有，但并非像大家认为的，必须要有上万块GPU（图形处理器）才可以做。我们可以通过算法的提升来优化对算力的需求。”科大讯飞董事长刘庆峰介绍，在算力自主可控方面，科大讯飞已联手华为、寒武纪等企业，让大模型建立在安全可控的国产算力平台之上。“面对各种可能的风险，我们已有所准备，目前的升级计划不会受到影响。”刘庆峰表示，未来要努力打造大模型全生态自主可控。同时他也指出，大模型研究不能闭门造车，要从全世界获取数据，学习全世界的知识。而针对影响大模型性能效果以及价值观不正确的问题数据，要借助算法进行严格清洗，确保最终价值导向正确。“科大讯飞将秉持源头创新、自主可控、信息安全、人文伦理的原则，在保护伦理和安全的前提下健康发展。”刘庆峰强调。

标签：

推荐阅读

猜您喜欢