TIPSv1-So400m/14图像特征提取指南：cls_token、register_tokens与patch_tokens三分钟看懂

【免费下载链接】tipsv1-so400m14项目地址https://ai.gitcode.com/hf_mirrors/google/tipsv1-so400m14点击查看免费下载TIPSv1-So400m/14 是谷歌开源的 TIPS 对比式视觉-语言模型中的 So400m 尺寸版本一次encode_image调用即可输出三种图像特征cls_token整图嵌入、register_tokens第二个 CLS/寄存器 token、patch_tokens逐 patch 空间特征。本文带你 3 分钟看懂三者的含义与用法零样本分类、图像检索、空间可视化都能直接上手。 TIPSv1-So400m/14 是什么一分钟速览TIPSText-Image Pre-training with Spatial awarenessICLR 2025是一组对齐图像与文本嵌入的对比学习模型最大亮点是不仅输出整图一个向量还把逐 patch 的空间特征与文本对齐。So400m/14 的核心规格如下项目数值视觉编码器ViT-So400m27 层patch 大小 14文本编码器27 层 Transformer嵌入维度1152原生分辨率448×448共 1024 个 patch参数量413M 视觉 448M 文本更多变体S/14、B/14、L/14、g/14与详细信息见 README.md模型超参数见 config.json。 一图看懂encode_image 的三大输出调用out model.encode_image(pixel_values)会返回一个包含三个字段的TIPSv2ImageOutput定义见 modeling_tips.py输出形状batch1含义典型用途cls_token(1, 1, 1152)整图全局嵌入与文本塔对齐零样本分类、图文检索register_tokens(1, 1, 1152)第二个 CLS token寄存器 token用合成描述训练研究、辅助信号patch_tokens(1, 1024, 1152)每个 14×14 patch 的空间特征定位、分割、特征可视化cls_token图文对齐的主力它用网页 alt-text图片替代文本训练是与文本编码器对齐的那个向量——做相似度、检索、零样本分类时默认选它。register_tokens多出来的第二个座位TIPS 的视觉编码器带有一个额外 CLS tokennum_register_tokens: 1见 config.json它用合成描述synthetic captions训练与文本塔的对应关系不同多数场景不必用它做研究或需要第二路全局信号时再考虑。patch_tokensTIPS 的差异化能力448 ÷ 14 3232×32 1024 个 patch每个 patch 都有一个 1152 维向量。把它 reshape 成(32, 32, 1152)就得到一张二维空间特征图可用来做 grounding、分割和特征可视化。 快速上手三分钟跑通图像特征提取一键安装依赖pip install transformers torch torchvision sentencepiece scikit-learn requests加载模型from transformers import AutoModel model AutoModel.from_pretrained(google/tipsv1-so400m14, trust_remote_codeTrue) model.eval()编码图像 编码文本import requests from PIL import Image from torchvision import transforms # 注意只 ToTensor() 缩放到 [0, 1]不需要 ImageNet 归一化 image Image.open(bus.jpg).convert(RGB) transform transforms.Compose([transforms.Resize((448, 448)), transforms.ToTensor()]) out model.encode_image(transform(image).unsqueeze(0)) print(out.cls_token.shape) # (1, 1, 1152) — 整图嵌入 print(out.patch_tokens.shape) # (1, 1024, 1152) — 逐 patch 空间特征 text_emb model.encode_text([a photo of a bus, a photo of a cat]) print(text_emb.shape) # (2, 1152) 两个最常用的实战配方配方一零样本图像分类用 cls_tokenimport torch.nn.functional as F classes [bus, car, dog, cat] cls F.normalize(out.cls_token[:, 0, :], dim-1) text_emb F.normalize(model.encode_text(classes), dim-1) similarity cls text_emb.T print(classes[similarity.argmax()]) # 预测类别配方二空间特征可视化用 patch_tokens PCAimport numpy as np from sklearn.decomposition import PCA feat out.patch_tokens[0].detach().cpu().numpy() rgb PCA(n_components3, whitenTrue).fit_transform(feat).reshape(32, 32, 3) rgb 1 / (1 np.exp(-2.0 * rgb)) # sigmoid 缩放到 [0, 1]对比度更好把rgb保存成图片就能看到特征图在图像上的空间分布——这正是 TIPS spatial awareness 的直观体现。❓ 常见问题 FAQQ做图文相似度该用哪个 tokenA用cls_token。它是与文本编码器对齐训练的那个register_tokens用合成描述训练语义对应关系不同别混用。Q为什么算相似度前要用F.normalizeATIPS 输出的特征未做归一化L2 归一化后点积才等价于余弦相似度。Q图像尺寸必须是 448 吗A原生分辨率是 448×448但只要是 patch 大小 14 的整数倍即可模型会自动对位置编码做插值实现见 image_encoder.py。Q文本分词器在哪里A仓库内的 tokenizer.model 是 SentencePiece 词表输入统一转小写最长 64 token分词实现见 text_encoder.py。 关键文件速查文件作用README.md用法示例与模型家族对照表modeling_tips.pyencode_image/encode_text入口与输出结构image_encoder.pySo400m ViT 定义27 层、register1config.json视觉/文本编码器超参数嵌入维度、层数等configuration_tips.py配置解析含num_register_tokenstokenizer.modelSentencePiece 分词器词表✅ 总结cls_token 整图嵌入图文匹配、零样本分类的首选register_tokens 第二个 CLS合成描述训练偏研究方向patch_tokens 1024 个 patch 的空间特征TIPS 的差异化能力定位、分割、可视化嵌入维度 1152原生分辨率 448×448patch 大小 14算相似度前先F.normalize图像只需缩放到 [0, 1] 无需额外归一化记住这三件套的角色分工你就可以用 TIPSv1-So400m/14 开始提取图像特征了 赞分享【免费下载链接】tipsv1-so400m14项目地址https://ai.gitcode.com/hf_mirrors/google/tipsv1-so400m14点击查看免费下载相关推荐NohBoard终极指南5个简单步骤打造专业级键盘可视化工具NohBoard终极指南5个简单步骤打造专业级键盘可视化工具 想要在直播或录制视频时展示你的按键操作吗NohBoard正是你需要的免费开源键盘可视化工具这AnyLanguageModel 对接 OpenAIChat Completions 与 Responses 双 API 详解AnyLanguageModel 对接 OpenAIChat Completions 与 Responses 双 API 详解 AnyLanguageModeLune安全指南10个技巧保护你的Luau脚本免受常见安全威胁Lune安全指南10个技巧保护你的Luau脚本免受常见安全威胁 Lune是一个独立的Luau运行时专为编写和运行Luau程序而设计。作为一个用Rust构建的上一篇SQLFlow 连接 MySQL 实战指南datasource 配置、Docker 部署与本地测试环境搭建下一篇Windows AirPods体验增强如何让你的蓝牙耳机在PC上如虎添翼创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考