这篇论文介绍了ModernGBERT,一个由维尔茨堡大学研究团队开发的高性能德语编码器模型家族(1.34亿和10亿参数版本)。研究将ModernBERT的创新架构应用于德语,同时通过LLM2Vec方法将德语解码器模型转换为编码器以进行对比研究。在SuperGLEBer和MTEB等基准测试中,ModernGBERT 10亿参数模型不仅超越了之前最先进的德语编码器,还在性能和参数效率方面优于转换后的编码器。研究团队还证明了更大模型能有效利用大规模单语语料库,为德语自然语言处理提供了全透明、高性能的资源。
至顶网 科技行者 2025-05-30 11:16:04