Dataset и DataLoader: как данные доходят до модели
PyTorch разделяет описание набора данных и способ подачи примеров в обучение.
Dataset отвечает за доступ к отдельным объектам и их меткам. DataLoader организует выборку, пакеты и другие параметры подачи данных. Такое разделение позволяет менять чтение файлов, преобразования и размер пакета без переписывания основной логики обучения.
Пакетная обработка удобна, но не отменяет проверку самих примеров. Нужно понимать, какие преобразования применяются к изображениям или текстам и одинаково ли интерпретируются метки. Для поиска ошибок полезно сначала просмотреть несколько объектов и один небольшой пакет. Скорость загрузки стоит измерять по завершении того, как правильность содержимого уже подтверждена.