双曲预训练语言模型

同参数量更强

在双曲空间而非欧氏空间中建模语言的结构化特征，同等参数和数据量下性能超越传统模型。

Weize, Chen · 韩旭 · Lin, Yankai · Kaichen, He · Xie, Ruobing · Zhou, Jie · 刘知远 · 孙茂松

IEEE/ACM Transactions on Audio Speech and Language Processing 2024

技术优势

同参数更强

模型在双曲空间中运行，能够更好地捕捉文本的层级结构，因此在相同参数量和训练数据下，多种任务上的表现都优于欧氏空间的模型。

不涨成本

该方案不依赖于扩大模型规模或增加训练数据，而是通过改变表示空间的几何形态来提升性能，从而避免了高昂的计算和存储开销。

应用场景

• 自然语言处理：为各类NLP模型提供更契合文本结构的表示空间，在不增加资源的情况下提升基准表现。
• 智能问答系统：利用层级化表示更好地捕捉问题与答案间的语义关联，提升问答系统的准确率。
• 文本生成：在双曲空间中编码句法结构，辅助生成更连贯、结构更合理的文本。
• 语音助手：通过更强的语言理解能力支撑意图识别和回复生成，提升语音助手的响应质量。