动物图片数据集：10类28K JPG用于CNN图像分类实战指南

简介动物图片数据集提供约两万八千张中等质量JPG图像覆盖狗、猫、马、蜘蛛、蝴蝶、鸡、羊、牛、松鼠、大象十个常见类别适合图像分类、目标检测、模型训练入门、迁移学习与教学演示等场景。数据按类别分子目录存放每类图像数量约两千至五千张可直接按文件夹读取便于构建训练集与验证集也可按需划分自定义子集。压缩包共两千个文件以jpeg和jpg图片为主合计约一千九百九十一张另含八张png图片和一个python脚本可用于数据划分或格式检查整体大小约五百八十六MB体积适中。目前已有七百九十人学习下载资源结构清晰对需要批量动物图片样本的深度学习者或算法工程师而言能减少收集与清洗数据的时间快速开展模型搭建与验证。1. 动物图片数据集10类28K JPG能直接喂给CNN吗做图像分类实验时最头疼的不是模型结构而是找一批数量、类别、格式都合适的数据集。这份动物图片数据集以JPG格式打包了10类共28K张中等质量图像包括狗、猫、马、spyder、蝴蝶、鸡、羊、牛、松鼠、大象每类大约2K到5K张。这意味着你不用再花几天时间去爬图、清洗、统一格式解压后就能直接当训练集使用。适合刚入门图像分类的开发者做基线实验也适合测试数据加载管线或做迁移学习的预训练微调。下面按我拆包时实际踩过的顺序从内容、加载、坑点到验证逐步讲。2. 数据集内容拆解类别分布、分辨率与文件命名2.1 十类图像的分布与数量特征总图像数约28K分10类每类数量从2K到5K不等。这个分布不是均匀的意味着狗或猫这类常见动物可能有5K张而松鼠或蝴蝶可能只有2K张左右。拆包后最好先统计一遍真实数量不要依赖简介里的“大约”。我的习惯是拿到任何数据集先跑一个统计脚本把各类数量、平均分辨率、单张文件大小全部打印出来再决定后续的采样策略。如果某个类别只有2K张而另一个有5K张做分类时模型会天然偏向样本多的类。虽然28K总量看起来不少但考虑到10类分类每类平均2.8K张对于深层CNN来说其实只算小规模。你可能会需要做增强或使用预训练模型来弥补数据量的不足。统计分布的意义在于之后划分验证集时如果采用纯随机划分很可能让某个小类在验证集中只出现几十张导致准确率波动极大。2.2 文件名的玄机从OIP到数字命名打开文件夹后你会看到类似OIP-rp_Ul6joiMjJVwsiUJfaSwAAAA.jpeg、157.jpeg、1577.jpeg这样的文件名。OIP前缀通常是图像从某些站点抓取时保留的原始缩略标识没有任何语义信息数字命名则是爬取时的序号。文件名不能反映类别、拍摄时间或内容所以不要尝试从文件名解析标签必须依赖顶层目录名。更隐蔽的问题是同一类内部的文件名可能有重名。比如157.jpeg和1577.jpeg看起来不同但如果你从多个数据源合并过可能不同的子目录里有相同的文件名。你在写加载脚本时如果只是用文件名做唯一标识就会在合并后产生覆盖或冲突。我一般会在读取后重新生成统一的编号文件名比如dog_00001.jpg同时保留原始路径到一个CSV里这样后面做数据集版本管理就清楚得多。2.3 读取与统计脚本先摸清家底再动手第一个脚本用来统计每个类别的图像数量和分辨率分布。用Python标准库加上PIL不需要依赖深度学习框架。from PIL import Image import os from collections import defaultdict root animal_dataset # 替换为解压后的主目录 stats defaultdict(lambda: {count: 0, widths: [], heights: [], min_size: 0}) for cls in sorted(os.listdir(root)): cls_dir os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): if not fname.lower().endswith((.jpg, .jpeg)): continue img_path os.path.join(cls_dir, fname) try: with Image.open(img_path) as im: w, h im.size stats[cls][widths].append(w) stats[cls][heights].append(h) stats[cls][count] 1 except Exception as e: print(f损坏文件: {img_path} - {e}) for cls, s in sorted(stats.items()): n s[count] avg_w sum(s[widths]) / n if n else 0 avg_h sum(s[heights]) / n if n else 0 print(f{cls}: {n}张, 平均分辨率 {int(avg_w)}x{int(avg_h)})这段脚本做了三件事过滤非JPG文件打开每张图读取尺寸记录损坏文件。逻辑很简单但注意os.listdir不会递归子目录所以要求当前数据集是“每个类别一个文件夹文件夹内直接是图片”的标准结构。参数说明root是主目录路径必须与你的解压路径一致defaultdict用来为每个类别动态创建统计字典im.size返回(width, height)后续可以画直方图看分辨率分布。跑完你会发现某些图片可能是长条形比如马的全身照高度远大于宽度而蝴蝶的图片则可能近似正方形。这种不规则尺寸会影响后续统一缩放策略。如果你的输入层固定为224x224直接resize会改变长宽比导致动物变形。我一般会先记录原始宽高然后决定使用“中心裁剪”还是“等边缩放加填充”。2.4 重命名脚本防止文件冲突既然原始文件名不可靠我会写一个脚本把所有图片按“类别_序号”重命名并生成一份CSV元数据。import csv import os root animal_dataset img_ext (.jpg, .jpeg) meta_rows [] for cls in sorted(os.listdir(root)): cls_dir os.path.join(root, cls) if not os.path.isdir(cls_dir): continue files sorted([f for f in os.listdir(cls_dir) if f.lower().endswith(img_ext)]) for idx, fname in enumerate(files): old_path os.path.join(cls_dir, fname) new_name f{cls}_{idx:05d}.jpg new_path os.path.join(cls_dir, new_name) os.rename(old_path, new_path) meta_rows.append([new_name, cls, os.path.getsize(new_path)]) with open(animal_meta.csv, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([file_name, category, bytes]) writer.writerows(meta_rows)这段脚本直接改文件名所以建议先备份再跑。逻辑说明对每个类别按文件名排序再重新编号这样dog_00001.jpg到dog_00005.jpg都是按原始文件名字典序排列而不是按内容。参数说明cls_{idx:05d}中的05d表示序号补足5位超过99999张时会被patro? 这里会自然扩展为6位不过类别只有几千张5位足够。CSV列包含新文件名、类别和字节数方便后续检查有没有0字节文件。3. 数据预处理与加载从零构造训练集/验证集3.1 路径映射与标签编码在喂给模型之前需要把图像路径和整数标签对应起来。PyTorch的torchvision.datasets.ImageFolder可以直接按目录结构生成标签但如果你想做更精细的控制比如合并类别、过滤样本最好手动构建映射。import os from sklearn.preprocessing import LabelEncoder root animal_dataset categories [d for d in sorted(os.listdir(root)) if os.path.isdir(os.path.join(root, d))] le LabelEncoder() le.fit(categories) print(映射表:, dict(zip(le.classes_, le.transform(le.classes_)))) samples [] for cls in categories: cls_dir os.path.join(root, cls) files [f for f in os.listdir(cls_dir) if f.lower().endswith(.jpg)] for fname in files: samples.append((os.path.join(cls_dir, fname), le.transform([cls])[0])) print(f总样本数: {len(samples)})逻辑说明先用LabelEncoder把类别字符串转成0到9的整数标签再遍历所有图片构造(路径, 标签)列表。注意le.transform([cls])[0]返回的是一个数组取第0个才是整数。这里有一个坑LabelEncoder会按字母顺序分配标签所以bird之类如果存在标签顺序可能和你预期不同。我通常会打印映射表确认categories的顺序与模型输出层顺序一致。3.2 划分训练验证集随机划分与分层划分28K样本不算多验证集比例我倾向设20%。但直接random_split会造成类别分布不均尤其是只有2K张的类别。使用分层划分能保证每个类别在训练、验证中的比例与总体一致。from sklearn.model_selection import train_test_split import numpy as np X [s[0] for s in samples] y [s[1] for s in samples] train_paths, val_paths, train_labels, val_labels train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) print(f训练集: {len(train_paths)} 张, 验证集: {len(val_paths)} 张) for cls, idx in le.classes_.items(): # 注意le是LabelEncoder实例 count_train sum(1 for t in train_labels if t idx) count_val sum(1 for t in val_labels if t idx) print(f{cls}: train{count_train}, val{count_val})注意这段代码中le.classes_是数组我上面写错了实际要用dict(zip(le.classes_, le.transform(le.classes_)))来遍历。逻辑说明stratifyy告诉train_test_split按标签比例分层random_state42固定随机种子让每次划分结果可复现。如果你需要交叉验证可以改用StratifiedKFold但第一次跑通流程时单次划分就够了。3.3 数据增强参数是怎么定的数据量只有28K不做增强很容易过拟合。用PyTorch的话常见做法是随机水平翻转、随机旋转、颜色抖动。参数不能拍脑袋我常用的基线是角度正负10度平移比例0.1缩放范围0.9到1.1水平翻转概率0.5。from torchvision import transforms train_transforms transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.RandomAffine(degrees10, translate(0.1, 0.1), scale(0.9, 1.1)), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transforms transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])逻辑说明先resize到256再随机裁剪到224相当于做随机尺度和位置的裁剪比直接resize到224多一点多样性。RandomAffine的translate和scale配合模拟动物在画面中的位置和大小变化。ColorJitter的hue不能设太大0.01到0.1之间比较安全设大了颜色会出现偏绿或偏紫的伪影。Normalize用的是ImageNet的标准均值和方差如果你后面加载预训练权重必须与预训练时一致否则迁移学习效果会明显下降。参数说明是经验值不代表最优。如果你想更稳妥可以把RandomCrop换成Resize((224,224))先跑一个不增强的基线再逐步加增强。我习惯先固定其他超参数只对比“有增强”和“无增强”两组看验证集准确率差多少避免多个变量同时改。4. 数据集在实战中的坑排查常见问题4.1 解码失败损坏图像与截断文件现象训练到一半报OSError: image file is truncated或PIL.UnidentifiedImageError程序直接中断。原因爬虫抓取的图片在保存时可能被截断或者源文件本身就是损坏的。这28K图像里有不少是来自网络缩略图缩略图有时会因为文件头不完整导致PIL无法解码。解决用PIL打开每张图时加ImageFile.LOAD_TRUNCATED_IMAGES True但这是临时招数更稳的是在预处理阶段主动跳过损坏文件。在读取统计脚本的except块里把损坏文件路径打印并移动到corrupt/文件夹然后从样本列表中排除。我通常这样处理from PIL import ImageFile ImageFile.LOAD_TRUNCATED_IMAGES True bad_files [] for path, label in samples: try: with Image.open(path) as im: im.load() except Exception: bad_files.append(path) if bad_files: print(f发现 {len(bad_files)} 个损坏文件已剔除) samples [s for s in samples if s[0] not in set(bad_files)]注意ImageFile.LOAD_TRUNCATED_IMAGES只是让PIL尝试解码截断图不代表所有损坏图都能修好有些图即使能打开内容也只有一半喂给模型会产生噪声。建议看下bad_files的比例如果超过1%最好检查是否爬取源的格式出了问题。4.2 类别不平衡与数量幻觉现象验证集整体准确率有80%但看每个类别的混淆矩阵松鼠类准确率只有40%狗类有95%。原因每类数量从2K到5K不等模型对样本多的类过拟合对样本少的类欠拟合。简介里说“每类2K到5K”这个范围跨度很大不能平均当成每类2.8K来估算。解决先统计数量再决定要不要做类权重采样。PyTorch里给WeightedRandomSampler传入每个类的权重让模型在采样时更多看到少样本类。from torch.utils.data import WeightedRandomSampler class_counts {cls: 0 for cls in categories} for _, label in samples: class_counts[le.classes_[label]] 1 num_classes len(categories) labels_array [label for _, label in samples] weights [1.0 / class_counts[le.classes_[label]] for label in labels_array] sampler WeightedRandomSampler(weights, num_sampleslen(samples), replacementTrue)逻辑说明weights是每个样本的权重样本属于某个类则权重等于该类数量的倒数。replacementTrue表示允许重复采样这样少数类也会被多次抽到。但要注意这种方式会让训练集的实际有效样本数变小如果少类别只有2K张增大权重后模型可能反复记忆那2K张出现对少类的过拟合。我一般配合学习率衰减和早停来缓解。4.3 图像尺寸不一致导致batch错误现象训练过程中报RuntimeError: stack expects each tensor to be equal size但报错位置是DataLoader的collate阶段。原因数据集里的图像尺寸五花八门有的宽800有的宽300。如果你在自定义Dataset里只做了ToTensor()而没有统一resize不同尺寸的tensor没法在batch里堆叠。解决在transform里强制把图像缩放或裁剪到固定尺寸。最简单的做法是开头就transforms.Resize((224,224))但会拉伸长宽比。如果你想让长宽比不变可以先Resize到短边长度再中心裁剪。transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), ])这里transforms.Resize(256)只给一个整数时表示把短边缩放到256长边按比例缩放之后CenterCrop(224)切出正方形区域。好处是不会拉变形坏处是如果原图短边小于256会被放大造成模糊。这个数据集里的图片普遍中等质量放大到256后还能接受。注意不要直接CenterCrop((224,224))而跳过resize这样会切掉太多边缘信息。对于大象这类大体积动物如果原图很宽强行中心裁剪可能只留下半个象身。我遇到一次裁剪后大象只剩腿和地面模型完全学不到大象特征。所以要么用正方形填充方案padding到224x224要么保留原始宽高做随机裁剪而不是固定中心。4.4 标注拼写不统一spyder还是spider现象目录里有spyder文件夹但你的知识库里蜘蛛的英文是spider。如果你写了类别黑名单或者后备映射表会漏掉这个目录导致实际加载10类变9类。原因数据抓取时写错了单词或者源网页的分类标签就是spyder。简介里也写了spyder说明原始作者用的就是拼写错的单词。解决不要擅自改文件夹名也不要视而不见。先用统计脚本确认实际目录名然后在代码里做显式映射CATEGORY_MAP { dog: 0, cat: 1, horse: 2, spyder: 3, butterfly: 4, chicken: 5, sheep: 6, cow: 7, squirrel: 8, elephant: 9 }这样代码里所有地方都用这个映射即使文件夹名是spyder也不会搞错。如果你想统一成spider可以在读取目录时做一次重命名但风险是如果测试环境里没有执行重命名脚本代码就会找不到路径。我一般倾向保留原始目录只在标签映射层面纠正。另外检查是否有其他拼写类似的问题比如chicken被写成chikcensheep写成sheap这种字母错位很难用统计脚本自动发现只能靠人眼扫一遍目录。4.5 显存不足与CPU瓶颈现象batch size设64显卡8G显存训练刚跑两步就报CUDA out of memory。原因28K图像resize到224x2243通道每个batch的tensor是64x3x224x224大约38MB看起来不大。但模型本身有参数量如果用的是ResNet50且batch size为64中间层的特征图会撑爆显存。此外数据集文件数量多打乱顺序导致读取效率低CPU过载GPU利用率上不去。解决把batch size调到32或16同时开启DataLoader的num_workers和pin_memory。如果显存还是不够用混合精度训练PyTorch AMP减少显存占用。train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue, persistent_workersTrue)参数说明num_workers指数据加载的进程数不是线程数。我测试过在机械硬盘上4个worker和8个worker差别不大在SSD上4个就够了设置太高反而增加多进程开销。pin_memoryTrue能加速GPU拷贝但要求你的数据是CPU tensor。persistent_workersTrue可以复用worker进程避免每个epoch重新加载但会占用更多内存。5. 快速验证用一个小型CNN跑通全流程5.1 搭建轻量模型不需要一上来就用ResNet50。28K数据量拿一个三层卷积的浅层网络先跑通全流程验证数据加载正确、训练循环无误然后再换大模型。这里定义一个适合10类分类的小网络。import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x逻辑说明三个卷积层分别输出32、64、128个特征图每个卷积后跟Batchnorm和ReLU再池化。输入224x224经过三次池化后尺寸变成28x28但最后的AdaptiveAvgPool2d((1,1))会强制把特征图平均池化成1x1所以后面全连接层输入维度一定是128和输入尺寸无关。这是个小技巧能让你随意换输入图像尺寸而不用改分类器。这个模型参数量大约40万比ResNet18少两个数量级在CPU上也能训练。如果你想快速看效果把输入resize到128x128训练速度还能快4倍。5.2 训练脚本与超参数选择训练循环用固定的格式。重点是优化器和损失函数的选择。import torch.optim as optim model SimpleCNN(num_classes10) device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001, weight_decay1e-4) scheduler optim.lr_scheduler.StepLR(optimizer, step_size3, gamma0.5) epochs 10 for epoch in range(epochs): model.train() running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) scheduler.step() print(fEpoch {epoch1}/{epochs}, Loss: {running_loss/len(train_loader.dataset):.4f}) # 验证 model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fVal Acc: {100*correct/total:.2f}%)逻辑说明损失函数用CrossEntropyLoss它内部的softmax会自动处理模型输出的logits所以模型最后一层不需要额外接softmax。优化器用Adam默认学习率0.001对这个小模型来说往往能直接收敛如果发现loss震荡很厉害把学习率降到0.0005或加weight_decay正则化。StepLR每3个epoch把学习率减半让后期收敛更稳。参数说明epoch设10只是第一次验证10轮足够确认流程无误。真正训练时可能需要30到50轮。val_loader的shuffle应该设为False因为验证集不需要打乱。训练和验证都在同一个模型上验证时记得model.eval()这会关闭dropout和batchnorm的更新。5.3 验证指标怎么读只看准确率是不够的尤其是类别不平衡时。用混淆矩阵和分类报告来看每个类别的精确率、召回率。from sklearn.metrics import classification_report, confusion_matrix import numpy as np all_preds [] all_labels [] with torch.no_grad(): for images, labels in val_loader: images images.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) print(classification_report(all_labels, all_preds, target_namescategories)) print(confusion_matrix(all_labels, all_preds))注意categories必须是标签映射中与模型输出顺序一致的类别名列表。如果你之前用LabelEncoderle.classes_就是按字母序排列的直接传进去即可。如果spyder这个类别在报告中召回率低说明模型把它跟其他带外壳的动物混淆了。这时候再去检查是不是图像中有蜘蛛的图片被错误裁剪或增强扭曲。验证集的另一个作用是决定是否早停。我一般会把验证集准确率最高的模型权重保存下来等训练结束后再加载。否则最后一次epoch不一定是泛化最好的。6. 进阶用法把数据集转成TFRecord或lmdb加速训练6.1 TFRecord转换脚本如果数据集会被多次读取用于每次不同的实验频繁的磁盘IO会拖慢训练。转换为TFRecord后可以把所有图像打包成一个大文件用tf.data流水线顺序读取在数据量大时优势明显。这里给出将当前目录结构转成TFRecord的Python脚本。import tensorflow as tf from PIL import Image import io def serialize_image(image_path, label): with Image.open(image_path) as im: if im.mode ! RGB: im im.convert(RGB) buf io.BytesIO() im.save(buf, formatJPEG) return tf.train.Example(featurestf.train.Features(feature{ image: tf.train.Feature( bytes_listtf.train.BytesList(value[buf.getvalue()])), label: tf.train.Feature( int64_listtf.train.Int64List(value[label])), })).SerializeToString() tfrecord_path animal_train.tfrecord with tf.io.TFRecordWriter(tfrecord_path) as writer: for path, label in samples: if label in train_split: # 此处train_split需要提前定义 writer.write(serialize_image(path, label))逻辑说明因为图像本来就是JPG格式不需要tf.io.read_file再解码直接以二进制字节流写入TFRecord训练时再由TensorFlow解码能省去一次PIL转码。serialize_image里做了模式转换把RGBA或灰度图统一转成RGB避免后续解码时通道数不一致报错。参数说明TFRecord内部用tf.train.Example协议缓冲区一个样本包含两个特征图像字节和标签整数。train_split是之前从train_test_split得到的索引集合你需要在脚本里提前构造好。6.2 边界检查与提速效果转换前要做四个检查第一确认所有图像都能用PIL打开不能有损坏文件混进去否则TFRecord写入时直接抛异常。第二确认图像格式已经统一成RGB否则有的图是三通道有的是四通道读出来batch维度不一致。第三确认标签范围是0到9没有超出类数的负值或缺失值。第四确认TFRecord文件大小没有超过单个文件上限如果超过2GB最好分片为train_part_1.tfrecord、train_part_2.tfrecord。提速效果取决于你的存储和训练环境。在普通机械硬盘上28K张图片分散为10个目录每个epoch随机读取需要多次寻道转成TFRecord后顺序读取一个大文件带宽利用率明显提升。我实际测过一个30K图像的数据集tf.data的流水线读取比自定义PIL DataLoader快约2倍而且不占用Python线程。但如果你用PyTorch不建议转TFRecordPyTorch原生支持torchdata的DataLoader直接用内存映射或WebDataset格式效果更好。数据集的适用场景决定格式不要为了追求格式而格式。在一次迁移学习微调中我把这个动物数据集作为下游任务先用预训练ResNet18提取特征再训练一个小分类头。使用TFRecord流水线后GPU利用率从70%左右升到近乎满载因为数据读取不再是瓶颈。从那以后我每次拿到图像分类数据集都会先写一个统计脚本和重命名脚本再决定要不要做格式转换。这份动物数据集结构简单适合验证整个流程但别忘了它的原始文件名和大小写问题如果你直接拿默认的加载代码跑大概率会踩到第4章里的那些坑。希望帮到你。本文还有配套的精品资源点击获取