内参、深度、位姿想加就加：map-anything-fp16任意输入组合指南，解锁最强重建精度

【免费下载链接】map-anything-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-fp16点击查看免费下载map-anything-fp16 是运行在 Apple Silicon 上的 float16 MLX 版 3D 重建模型一次前向推理即可从单张或多张图像预测出米制点云、深度、相机位姿与内参。它的最大亮点在于每张图片的内参intrinsics、深度图depth、相机位姿camera poses三类辅助输入都可以自由组合、按需添加帮你把重建精度拉到最高。一、map-anything-fp16 能做什么这是 MapAnythingMeta 与 CMU 联合发布3DV 2026的非官方 float16 转换版推理代码由 mlx-vlm 提供。给定任意数量的图像模型一次infer就能输出每个视角的输出字段形状含义pts3d(1, H, W, 3)米制世界坐标点云depth_z(1, H, W, 1)米制深度图camera_poses(1, 4, 4)OpenCV 约定 cam2world 位姿intrinsics(1, 3, 3)相机内参矩阵conf(1, H, W)逐像素置信度mask(1, H, W, 1)有效像素掩码关键特性是**米制metric**输出——不需要额外标定尺度重建结果直接带真实距离。二、三类可选输入详解 模型把几何先验当作一等公民除了图片本身每个视角还可以附加三种信息。1. 内参intrinsics相机内参矩阵 K3×3描述了焦距与主点。如果你有镜头标定数据例如手机 EXIF 换算的 K 矩阵直接传入可以显著提升射线方向与深度估计的几何一致性。2. 深度图depth_z任意的逐像素深度图。可以是激光雷达点、LiDAR、其他深度模型的输出甚至粗略估计值都可以——模型会用 config.json 中的depth_encoderdense_rep_encoderpatch_size14将其编码为密集特征。3. 相机位姿camera_poses支持两种写法4×4 变换矩阵OpenCV cam2world 约定四元数 平移向量(quats_xyzw, trans)并可附加is_metric_scale: False表示尺度未知的相对位姿对应的编码器在 config.json 中定义cam_rot_quats_encoder旋转cam_trans_encoder平移。三、任意组合每张图片各加各的 ✅这是 map-anything 系列最有意思的设计组合是逐视角独立的。第 0 张图可以三个全给第 1 张只给内参第 2 张只给位姿——完全合法。views processor.preprocess([ {img: image0, intrinsics: K0, depth_z: depth0, camera_poses: pose0}, {img: image1, intrinsics: K1}, {img: image2, camera_poses: (quats_xyzw, trans), is_metric_scale: False}, ]) predictions model.infer(views)常见组合建议手持/手机拍摄只提供内参 K让模型自己推位姿和深度车载/机器人数据位姿或 VIO 估计 深度全给重建精度最高普通照片什么都不加纯 feed-forward 也能出米制结果提示输入越多先验重建越稳但给错数据比不给更糟宁缺毋滥。四、最快上手两行代码跑通import mlx.core as mx from mlx_vlm import load model, processor load(mlx-community/map-anything-fp16) views processor.load_images(path/to/images) # 文件夹或图片列表 mx.eval(predictions : model.infer(views)) print(predictions[0][depth_z].shape)需要 mlx-vlm 支持mapanything模型的版本0.7.4 之后新增。命令行一把梭结果写入predictions.npz和彩色点云points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-fp16 --images path/to/images --output out五、精度与速度fp16 到底损失了多少在 Apple M5 Max、518×294 分辨率下实测详见 README.md精度与 float32 PyTorch 参考对比深度尺度归一化后中位数相对误差 5e-5 ~ 2e-4米制尺度误差 1e-4 ~ 1.2e-3与参考实现自身的混合精度水平相当。速度视角数MLX本模型PyTorch MPS 混合精度10.06 s0.13 s40.23 s0.47 s80.48 s1.73 s161.10 s5.27 s322.89 s11.3 s模型体积约 2.65 GB只有 float32 原版的一半。编码器主体DINOv2 ViT-g 前 24 层 16 层多视角 transformer跑 float16 矩阵乘残差流与归一化保持 float32各预测头保持 float32。⚠️一个隐藏坑M5 及以后 GPU 默认用 TF32 精度跑 float32 矩阵乘会让 float32 头部成为最大误差源。命令行示例中的MLX_ENABLE_TF320就是为此设置代价只有几毫秒强烈建议保留。六、配置速查文件里都有什么文件作用config.jsongeometric_input_config定义内参、深度、位姿、尺度四类几何编码器cam_prob、depth_prob等概率项均为 1.0表示推理时全部启用preprocessor_config.json输入预处理fixed_mapping模式resolution_set: 518图像统一映射到 518 基准分辨率model.safetensors2.65 GB 权重1.13B float16 参数 95M float32 参数DPT/位姿/尺度头README.md完整用法示例与精度、速度基准数据七、常见问题 FAQ ❓Q可以用在商业项目吗A本仓库权重遵循 CC BY-NC 4.0仅限非商业使用。商业用途请查看同社区的 Apache 2.0 许可版本mlx-community/map-anything-apache-fp16。Q必须提供内参吗A不需要。所有几何输入都是可选的纯图像 → 米制 3D就是它的招牌能力。Q视角数越多越好吗A多视角能互相校正位姿与深度但推理时间随视角数近似线性增长32 视角约 2.9 秒 M5 Max按内存与时间预算取用即可。总结map-anything-fp16 把有先验就用先验这件事做到了极致内参、深度、位姿三选一、二三组合、全都要全部支持且逐图独立。如果你有标定数据或传感器信息就大方地喂给它如果没有纯前向推理一样能拿到米制级重建。配合 MLX 在 Apple 芯片上 2~5 倍于 PyTorch MPS 的速度优势它是当前 Mac 上做多视角 3D 重建multi-view stereo、深度估计、相机位姿估计非常值得试的一个选择。赞分享【免费下载链接】map-anything-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-fp16点击查看免费下载相关推荐minGPT混合精度FP16训练加速与内存优化minGPT混合精度FP16训练加速与内存优化 引言为什么需要混合精度训练 在深度学习模型训练中内存消耗和计算速度一直是制约模型规模扩展的关键瓶颈。传统深度学习NLP预训练fastai混合精度训练FP16/BF16加速深度学习训练fastai混合精度训练FP16/BF16加速深度学习训练 想要在有限的GPU内存下训练更大的模型希望加速深度学习训练过程fastai的混合精度训练正是您人工智能深度学习机器学习计算机视觉NLPpts3d、深度、置信度怎么用map-anything-fp16的6大预测输出一篇讲透pts3d、深度、置信度怎么用map anything fp16的6大预测输出一篇讲透 map anything fp16 是 Meta MapAnythin上一篇Biome性能优化终极指南为什么它是Web开发最快的工具链下一篇dotenv 终极指南如何在 Node.js 项目中高效管理环境变量创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考