Silo AI面向欧洲推新开源语言模型“Poro”

芬兰赫尔辛基的人工智能初创公司Silo AI本周发布了Poro，这是一个旨在提升欧洲语言多语言人工智能能力的新开源大型语言模型（LLM）。Poro是计划中的首个开源模型，旨在最终涵盖欧盟所有24种官方语言。这些模型由Silo AI的SiloGen生成人工智能部门和图尔库大学的TurkuNLP研究小组共同开发。

Silo AI的首席执行官Peter Sarlin在接受VentureBeat采访时表示:“这是数字主权的问题，你希望确保有模型捕捉到价值基础、文化和语言。最终，这是关于价值创造，确保不仅欧洲，而且任何公司都能创造价值，能够创建在欧洲内部和在组织内部保持的专有模型。”

Poro34B模型拥有34.2亿参数，以芬兰语中“驯鹿（reindeer）”一词命名，采用BLOOM变压器架构和ALiBi嵌入。它在覆盖英语、芬兰语以及编程语言如Python和Java的21万亿标记多语言数据集的分区上进行训练。Poro目前正在芬兰卡亚尼的LUMI，欧洲最快的超级计算机上进行训练，该计算机提供了512个AMD Instinct MI250X GPU，能够提供74拍千亿次的计算能力。

Sarlin表示，Poro的设计目的是解决为欧洲低资源语言（如芬兰语）训练性能卓越的核心挑战。通过利用跨语言训练方法，模型能够利用来自高资源语言(如英语)的数据。

作为对透明度的承诺的一部分，SiloGen将通过Poro Research Checkpoints计划记录Poro的训练进展。Sarlin解释说:“我们将在模型训练的各个阶段发布检查点，这是相当新颖的做法。目前还没有类似的倡议提供如此透明的模型训练信息。”根据Silo AI发布的基准数据，Poro在仅完成30%的训练时就取得了最先进的结果。

Sarlin相信像Poro这样的开源模型代表了人工智能的未来，为主要科技公司封闭的模型提供了透明和道德的替代方案。他说:“我个人认为最终会有很多开源替代品。未来最安全的道路是实际上走向开源，并完全了解这些模型是如何构建的以及架构是什么。”

Silo AI计划在整个训练过程中继续发布定期的Poro检查点。最终目标是创建一整套覆盖所有欧洲语言的开源模型家族。如果初步结果有任何迹象，Poro可能很快将对大科技公司构成竞争压力。

Poro代表了Silo AI与芬兰图尔库大学之间持续合作的一部分。该合作将Silo AI的应用人工智能专业知识和计算资源与图尔库大学在多语言语言建模研究方面的领导力相结合。Sarlin表示，这代表了行业和学术界如何共同推动人工智能能力发展，特别是对于低资源的欧洲语言。

Poro的发布标志着自然语言处理领域开放协作和透明度的新时代。Poro Research Checkpoints等倡议为整个社区提供了先前被科技巨头封锁的工具和见解的访问途径。Sarlin说:“我们与安联、劳斯莱斯、本田、飞利浦等大型品牌合作。我们听说这些大型企业对最终的法规会是什么样子以及他们可以使用哪些模型非常关切。”

如果Poro兑现其承诺，它可能使人们能够以民主的方式访问性能卓越的多语言模型，为欧洲提供了一个与美国科技公司系统相抗衡的本土替代方案。尽管仍处于早期阶段，但Poro在将语言人工智能从专有领域引入开源方面代表着一个重要的里程碑。