自抄袭对比解码策略

原创性提升

通过对比自抄袭提示引导模型惩罚非原创候选,提升生成文本的原创性。

Kaixin, Lan · 77444325 · Wong, Derek F. · Yabo, Xu · Chao, Lidia S. · Zhao, Cecilia Guanfang

2024

参数信息

抄袭模板数量
3

技术优势

显著减少抄袭片段

通过在模型最终层前施加对比解码惩罚,超过三个词的非原创序列出现频率明显下降。

无需修改模型

策略集成在最终层之前,与大多数现有 PLM(T5、GPT、LLaMA)兼容,无需进一步调整。

利用提示即可实现

通过设计三种抄袭模板引导业余模型,使模型自动识别非原创候选并施加惩罚,无需任何额外训练。

应用场景