超2万亿参数！现代版BERT问世 可免费下载使用

近日，Hugging Face、英伟达和约翰霍普金斯大学的专家合作推出了一项全新的技术成果——ModernBERT。该模型是在BERT的基础上进行了改进的，旨在提高效率并支持处理更长的上下文。根据开发团队公布的数据，ModernBERT在多种测试中都取得了目前业界领先的水平。

ModernBERT是由超过2万亿个Token训练而成的，因此在分类测试和向量检索测试中都表现出色。目前，开发团队已经发布了两个版本的ModernBERT模型：一个拥有1.39亿参数，另一个拥有3.95亿参数。

该项目目前已经上线，并可以免费下载使用。如果对ModernBERT感兴趣或者想了解更多相关信息，请访问官方网站。