DINOv3 完整指南从模型选型到特征提取的 4 步实践21M 到 7B 全覆盖【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3 是 Meta AI Research 发布的一族自监督视觉基础模型核心卖点是高质量密集特征不需要微调它的输出特征就能直接用于分类、分割、检测、匹配等大量视觉任务。这篇文章不走5 分钟跑通的路线而是回答两个更实际的问题这么多模型该挑哪个拿到特征之后到底怎么用全文只给你最短可运行的代码片段重点讲清每一步为什么这么做。30 秒认识 DINOv3用三句话说清楚它是什么一个模型家族包含 6 种规格的 ViT从 21M 参数的小模型到 6.7B 的旗舰和 4 档 ConvNeXt覆盖不同算力预算。自监督预训练在 16.89 亿张网络图像LVD-1689M上学到通用视觉表示没有用任何人工标注。主打密集特征除了整图一个向量它对图中每个 16×16 的 patch 都给一个特征向量这是它区别于普通分类 backbone 的关键也是下游任务无需微调的底气。官方仓库里附带的 notebooks/ 就是它的能力展示台对前景物体做 PCA 可视化、训练线性前景分割器、跨图密集/稀疏匹配、无参数视频分割跟踪。你可以从这些 notebook 入手先感受特征长什么样再决定怎么用。为什么它值得当视觉底座选底座模型时我们通常关心三件事DINOv3 在每件事上都给了明确答案特征可直接复用冻结特征 一个轻量头kNN、线性层就能出结果省掉大规模微调的标注和算力成本。对应的评估脚本在 dinov3/eval/knn.py 和 dinov3/eval/linear.py。密集性patch 级特征让匹配、分割、跟踪这类空间任务天然可用而不是只能做整图分类。分辨率灵活ViT 主干内置 RoPE 位置编码实现见 dinov3/layers/rope_position_encoding.py推理时可以偏离 224×224 的预训练尺寸高分辨率适配不需要重训。如果你的场景是手里只有少量标注但任务很多样这类底座的价值会非常明显。DINOv3 模型选型先回答 3 个问题打开 hubconf.py 或 dinov3/hub/backbones.py你会发现可选入口远不止vits / vitb / vitl三档。挑模型前先想清楚三个问题算力够不够、要不要卷积风格、数据域是不是卫星图。问题一ViT 选哪一档所有 ViT 都是 16 的 patch 大小区别在嵌入维度、深度和 FFN入口名参数量嵌入维度 × 深度FFN适合场景dinov3_vits1621M384 × 12MLP快速实验、资源受限dinov3_vits16plus29M384 × 12SwiGLU小模型的精度增强版dinov3_vitb1686M768 × 12MLP日常开发的主力档dinov3_vitl16300M1024 × 24MLP精度敏感的最终方案dinov3_vitl16plus~380M1024 × 24SwiGLU大模型精度再拔高dinov3_vith16plus840M1280 × 32SwiGLU顶级精度需求dinov3_vit7b166.7B4096 × 40SwiGLU多卡集群、旗舰基座选择逻辑很直白原型期用 S 或 B 验证想法交付期再上 L 或 H 换精度。plus后缀版本用的是 SwiGLU 激活同档位下通常略强但内存占用也更高显存紧张时别硬上。问题二要不要 ConvNeXt 系列如果你习惯卷积风格的结构部署生态更成熟、或对平移更鲁棒可以选 Distill 蒸馏出来的 ConvNeXttiny29M、small50M、base89M、large198M。它们的参数预算大致对应 ViT 的同档但密集特征质量整体弱于 ViT 同档——如果你的任务强依赖 patch 特征如跟踪、匹配优先 ViT如果主要做整图分类、部署约束多ConvNeXt 是务实的选择。问题三数据域是不是卫星影像DINOv3 提供了两套预训练权重入口相同、靠weights参数区分见 dinov3/hub/backbones.py 里的Weights枚举LVD-1689M网络图像默认权重ViT 全系 ConvNeXt 全系可用。SAT-493M卫星影像只有vitl16和vit7b16两档。如果你的输入是遥感、卫星图务必切到这套权重——它不仅参数不同预处理归一化参数也不一样这一点后面会专门提醒。最短路径加载模型PyTorch Hub 四步走官方推荐用torch.hub.load从本地仓库加载DINOv3 的权重需要先到官方渠道申请访问、拿到下载 URL这里不再赘述。完整流程四步第 1 步拿到代码。加载模型需要本地克隆仓库PyTorch 是唯一硬性依赖训练评估代码建议 PyTorch ≥ 2.7.1 并带 CUDAgit clone https://gitcode.com/GitHub_Trending/di/dinov3 dinov3第 2 步加载主干。weights传你申请到的权重 URL 或本地路径import torch model torch.hub.load( ./dinov3, dinov3_vitb16, sourcelocal, weights你的权重URL或本地路径, )第 3 步准备预处理。网络图像权重用标准 ImageNet 归一化mean 0.485/0.456/0.406std 0.229/0.224/0.225卫星权重换成 mean 0.430/0.411/0.296、std 0.213/0.156/0.143。两者搞混精度会无预警地下降。第 4 步前向推理。model.eval()后直接喂 batch后面特征怎么用一节会给最小示例。这样做的目的torch.hub一次调用就把架构定义、权重下载、state dict 校验全部封装好了你不需要关心dinov3_vitb16背后那 20 多个超参数它们都写死在 backbones.py 里。DINOv3 特征提取两种输出的用法这是本文的重点。DINOv3 一次前向其实给了你两种特征用途完全不同。全局特征class token整图一个向量直接调用模型走的是分类头路径输出对应 class tokenwith torch.no_grad(): cls_feat model(x) # x: [B, 3, 256, 256]整图一个向量适合线性/逻辑回归分类、检索、kNN。官方线性评估入口见 dinov3/eval/linear.py。局部特征patch token每个 patch 一个向量DINOv3 的核心价值在这。通过get_intermediate_layers取最后一层或指定层的 patch token实现见 dinov3/models/vision_transformer.pywith torch.no_grad(): (patch_feat,) model.get_intermediate_layers(x, n1, reshapeTrue) # 224x224 输入时: patch_feat.shape [B, 1024, 14, 14]vitl16 为例n1表示取最后 1 层reshapeTrue把 token 序列折回空间网格方便你做逐像素的任务。拿这套特征你可以匹配两图对应 patch 算余弦相似度密集匹配与稀疏匹配都有官方演示notebooks/dense_sparse_matching.ipynb分割前景/背景二分、语义分割线性探针流程在 dinov3/eval/segmentation/跟踪帧间 patch 相似度的非参数视频分割notebooks/segmentation_tracking.ipynb。记住一个判断准则任务关心图是什么用 class token关心哪里是什么用 patch token。从特征到任务官方自带的能力包不想自己搭评估流程的话仓库按任务分好了目录每个目录都配了run.py入口和 YAML 配置语义分割dinov3/eval/segmentation/ADE20K 线性探针 M2F 解码器推理单目深度dinov3/eval/depth/NYUv2 线性深度目标检测dinov3/eval/detection/DETR 风格解码器接 DINOv3 backbone文本对齐dinov3/eval/text/dino.txt 方法做零样本分割。此外还有开箱即用的预训练任务头都需要旗舰 ViT-7B 权重 对应任务头权重入口都在 hubconf.pyImageNet 分类头dinov3_vit7b16_lc、SYNTHMIX 深度头dinov3_vit7b16_dd、COCO 检测头dinov3_vit7b16_de、ADE20K 分割头dinov3_vit7b16_ms。如果你的算力够得着 7B直接从任务头开始是效率最高的路径不够就老老实实用中小档主干 线性头。常见坑与实用建议按踩坑概率从高到低列给你权重不是公开直链。DINOv3 权重需申请访问拿到 URL 后用wget下载浏览器直接打开会失败再通过weights参数指给torch.hub.load。归一化参数跟权重走。LVD-1689M 与 SAT-493M 的 mean/std 不同换权重不换预处理是结果突然变差的高频原因。训练评估环境依赖较多。只推理装 PyTorch 就够要跑训练/评估脚本按 conda.yaml 建环境更省心且命令行需要PYTHONPATH.前缀让dinov3包可导入。注意授权条款。代码与权重遵循 DINOv3 专用协议详见 LICENSE.md商用前建议过一遍条款。显存预算按 patch 数算。224 输入约 196 个 patch分辨率翻一倍 patch 数翻四倍7B 模型对高分辨率输入要格外小心官方深度/分割推理都用autocast半精度来压显存你也可以照做。小结把 DINOv3 用起来其实是一条很清晰的路按算力选档S/B 验证 → L/H 交付按数据域选权重网络图 vs 卫星图class token 做全局任务、patch token 做空间任务需要现成方案就去看eval/下对应任务的官方脚本。它不承诺一个模型解决一切但提供的特征底座足够你用最少的标注和最少的算力把分类、分割、检测、匹配、跟踪这一整套任务都跑起来。建议的动手顺序先跑 notebooks/pca.ipynb 看特征可视化再挑一个你自己的小数据集做线性探针验证最后决定是否升级到更大档的模型。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考