全新AI模型家族登场:完全可复现的开源语言模型OLMo 2

发布于:2024-11-29 ⋅ 阅读:(29) ⋅ 点赞:(0)

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

本周二,由已故微软联合创始人保罗·艾伦创立的非营利AI研究机构AI2发布了OLMo 2系列模型 (https://allenai.org/olmo),这是其OLMo(Open Language Model,开源语言模型)系列的第二代模型。这一发布引起关注,因为OLMo 2是少数可以完全从头复现的AI模型之一。虽然“开源”语言模型市场已不乏选择(如Meta的Llama),但OLMo 2符合开放源码倡议组织(OSI)对开源AI的定义,即开发所用的工具和数据均为公开可用。

开放源码倡议组织(OSI)是一个长期致力于定义和推广开源标准的机构,其AI开源定义在今年10月最终定稿。而AI2早在今年2月发布的首个OLMo模型便已符合该标准。

“OLMo 2的开发从头到尾采用公开且可访问的训练数据、开源训练代码、可复现的训练方案、透明的评估方法和中间检查点等,”AI2在博客中写道。“通过公开分享数据、方案和研究成果,我们希望为开源社区提供资源,帮助其探索新的创新方法。”

OLMo 2 模型家族亮点

OLMo 2系列包括两个模型:一个具有70亿参数(OLMo 7B),另一个具有130亿参数(OLMo 13B)。参数数量大致反映了模型解决问题的能力,通常参数越多,模型的性能越好。

与大多数语言模型一样,OLMo 2 7B和13B可以执行一系列基于文本的任务,如回答问题、总结文档和编写代码。

为了训练这些模型,AI2使用了包含5万亿个标记的数据集。标记代表原始数据的最小单元;100万个标记大约相当于75万字。训练数据集包括经过质量筛选的网站、学术论文、问答论坛以及“人类生成与合成生成”的数学练习题。

AI2表示,这些训练数据使得OLMo 2模型在性能上与Meta最新的Llama 3.1等开源模型具有竞争力。“与早期的OLMo模型相比,OLMo 2的所有任务性能都有显著提升。值得注意的是,OLMo 2 7B的表现优于Llama 3.1的8B模型,”AI2在声明中写道。“OLMo 2可以说是迄今为止最好的完全开源语言模型。”

完全开源,商用友好

OLMo 2模型及其所有组件可以从AI2官方网站下载,并使用Apache 2.0许可证发布,这意味着它们可以用于商业用途。

不过,最近围绕开源模型的安全性也引发了广泛讨论。例如,Llama模型据称被中国研究人员用于开发军事防御工具。当我在今年2月采访AI2工程师Dirk Groeneveld时,他承认存在滥用的可能性,但他认为开源模型的好处最终大于潜在的风险。

“是的,开源模型可能会被不当使用或用于意料之外的用途,”他表示。“然而,这种方法也促进了技术进步,有助于开发更具伦理性的模型;开源是验证和复现的前提条件,因为只有完全开放才能实现这些目标;同时它还减少了日益集中的权力分配,创造了更公平的访问机会。”

总结

OLMo 2的发布标志着开源AI领域又迈出了一大步。它不仅为开发者提供了一个性能强大的工具,还以其完全可复现的特性和透明化的开发方式树立了开源AI的新标杆。在技术快速发展的今天,这种开放与创新的理念无疑为AI社区注入了更多可能性。