Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketb...

文章主要内容和创新点主要内容本文聚焦于身份感知的篮球视频字幕生成任务，提出了一种基于大语言模型（LLM）的球员中心多模态提示生成网络（LLM-IAVC）。该模型旨在从视觉角度准确识别球员身份，解决现有方法中球员身份错误或缺失的问题。模型核心包含三个模块：身份相关信息提取模块（IRIEM）：由球员识别网络（PIN）和双向语义交互模块（BSIM）组成。PIN从视频中提取球员视觉特征和姓名；BSIM将球员特征与视频内容关联，实现 mutual enhancement。视觉上下文学习模块（VCLM）：捕捉视频关键上下文信息，辅助理解整体动态背景。基于LLM的解码器：将上述模块输出整合为多模态提示，引导LLM生成包含球员身份的字幕。为支持研究，本文构建了NBA-Identity数据集，包含9,726个视频、321名带 bounding box 的球员及9类主要事件。实验在NBA-Identity和VC-NBA-2022数据集上验证了模型的先进性能。创新点提出LLM-IAVC模型：以球员为中心，联合利用球员身份特征和视频上下文信息，通过多模态提示引导LLM生成身份感知字幕，无需额外知识辅助。构建NBA-Identity数据集：是目前最大的身份感知体育视频字幕数据集，涵盖9类主要事件