深度学习入门，数据清洗时如何避免常见陷阱？

深度学习入门，数据清洗时如何避免常见陷阱？这是一个令人头疼的问题！很多初学者在训练模型时 会遇到各种各样的问题，比如训练集上loss下降、acc还能凑合，但验证集acc时好时坏、甚至比随机还差。这时候，你是否会怀疑是数据出了问题，希望大家...？

常见的数据陷阱

在深度学习中，数据是模型的基础。如果数据出了问题，模型的效果就会大打折扣。 还行。 下面我们来看看一些常见的数据陷阱。

Normalize的mean/std写成了0–255标度

这个问题很常见，特别是在直接复制某些检测/分割配置时。代码语言：python

imgs, _ = next)        # , float32
print.item, .item,
      .item, .item)
imgs_val, _ = next)
print.item, imgs_.item,
      imgs_.item, imgs_.item)

要我说... 直觉解释：ToTensor已把像素缩放到；再用0–255的mean/std去标准化， 后来啊几乎把所有像素推到接近一个常数，通道方差极小 → 可学习信号被“压扁”。更糟糕的是验证集没Normalize，分布与训练完全不匹配。

验证集没做Normalize

这个问题也很常见，特别是受到影响。

如何避免这些陷阱？

为了避免这些陷阱，我们需要养成良好的数据处理习惯。下面是一些建议：

Step 1：直接看“进模型前的张量统计”

适合大多数用预训练模型的入门实验。

from torchvision import transforms
MEAN = 
STD  = 
train_tfms = ()
val_tfms = ()

Step 2：可视化“反归一化后的图片”对初学者 这类“看起来像训练不稳定、实际是数据前处理不一致的问题”非常常见。遇到验证集表现异常， 第一反应不是调参，而是核对数据流：读图 → 缩放/裁剪 → ToTensor → Normalize。养成“先看 min/max/mean/std、 再看可视化”的习惯，能帮你少掉很多不必要的头发。祝训练顺利！在这个训练过程中， 也尝试了许多其他的方法，但是依然旧不回来比方说一些超参数的调整，正则化的加入等等，都于事无补。但是在采用18预训练模型也救不回来后我大概知道了应该是数据上的问题。Step 3：把 train/val 的 transforms 打印出来逐行核对from import v2 as T valtfms = ()# 使用工具函数检查 batch statistics checkbatchstats; checkbatchstats visualizebatch) visualize_batch)# 或者简单地打印 transforms print print，人间清醒。

`i``mport torch`
`de`f de``norm`:
me`an = tor``ch.tensor.v``iew
std`= torch.tens`or.v``iew(``
1,-1,
`
...
...
...