/
glebestraikh
/
adept
Обзор
Документация
Войти
/
glebestraikh
/
adept
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
python/tests/test_dataloader.py
31 строка
837 B
kolkir
Update multiprocessing dataloader implementation
16 авг 2025, 12:40
16 авг 2025, 12:40
a890a4b
Код
Авторство
О чём код?
from adept.multiprocessing import Pool from adept.data import DataLoader, Dataset from adept import Tensor, TensorProperties, Shape, device_t, dtype_t class TestDataset(Dataset): def __init__(self, n): self.length = n def __getitem__(self, _): x = [1, 2, 3, 4, 5, 6, 7, 8] y = [42] return Tensor( x, TensorProperties(Shape([1, 8]), device_t.CPU, dtype_t.Int32) ), Tensor(y, TensorProperties(Shape([1]), device_t.CPU, dtype_t.Int32)) def __len__(self) -> int: return self.length n = 64 batch_size = 8 test_dataset = TestDataset(64) test_dataloader = DataLoader(test_dataset, batch_size, shuffle=True, num_workers=2) for b_i, batch in enumerate(test_dataloader): x, y = batch print(f"batch: {b_i}") print(x.properties()) print(y.properties())