Majority Bit-Aware Watermarking For Large Language Models

文章主要内容和创新点主要内容本文针对大型语言模型（LLMs）生成文本的水印技术，聚焦多比特水印方案中文本质量与解码准确性的权衡问题，提出了两种新方法：MajorMark和MajorMark+。现有多比特水印技术为保证解码准确性，需限制“绿色列表”（preferred token sets）的大小，但这会降低生成文本的质量；若扩大绿色列表，又会因依赖token频率计数解码而降低准确性。MajorMark通过“多数比特感知编码”构建绿色列表，确保绿色列表比例γ≥0.5（期望更高），同时采用基于聚类的解码策略，不依赖token频率计数，从而在提升文本质量的同时保证解码准确性。MajorMark+进一步将消息分块，对每个块独立编码并确定性解码，进一步优化文本质量和解码准确性。实验表明，两种方法在解码准确性和文本生成质量上均显著优于现有多比特水印基线。创新点多数比特感知编码：利用消息中多数比特（majority bit）构建绿色列表，理论上保证γ≥0.5，且期望γ=0.5+1/√(2πb)，无需调优γ超参数，提升文本质量。聚类解码策略：不依赖绿色列表中token的频率计数，通过聚类分析预定义词汇分片的token出现次数实现解码，使解码准确性不受绿色列表大小影响。分块优化（MajorMark+）：将消息分块后独立编码，提升期望γ（0.5+1/