Falcon 180B:开源人工智能语言模型突破界限,但有一个值得注意的警告

Falcon 180B:开源人工智能语言模型突破界限,但有一个值得注意的警告

在快节奏的人工智能世界中,Falcon系列再次打破壁垒,凭借最新神童Falcon 180B超越了Meta和Google等行业领导者。

Meta 卓越的 LLaMA 2 拥有 700 亿个参数,如今在 Falcon 大型语言模型面前黯然失色,Falcon 大型语言模型拥有 1800 亿个参数,经过前所未有的数据量训练,标志着人工智能领域的新巅峰。

拥抱脸揭开了重大变化的里程碑

Hugging Face AI 社区在其博客上宣布了这一具有里程碑意义的发布,宣布 Falcon 180B 在 Hugging Face Hub 上可用。Falcon 系列的最新成员带来了多查询关注等创新功能,增强了其管理在 3.5 万亿个代币上训练的 1800 亿个参数的能力。

规模和性能的飞跃令人担忧

此版本代表了开源模型历史上最长的单周期预训练,这是在 Amazon SageMaker 的推动下通过 4,096 个 GPU 同步运行近 700 万个 GPU 小时实现的里程碑。

然而,必须强调此版本带来的重大变化 - 删除 Apache 2.0 许可证。这种改变可能会限制模型的开源性质,从而在进步中造成重大缺陷。

通过预订来衡量卓越标准

Falcon 180B 展现了非凡的能力,在开放模型排行榜上获得了高分,并在各种基准评估中与谷歌的 PaLM-2 等商业巨头几乎持平。

然而,取消 Apache 2.0 许可证带来了不确定性的阴影,引发了人们对未来协作潜力和作为人工智能技术发展基石的开源精神的质疑。

充满潜力但需

猜你喜欢

转载自blog.csdn.net/iCloudEnd/article/details/132774983