/
maratgaliulin
/
landcode_classifier
Обзор
Документация
Войти
/
maratgaliulin
/
landcode_classifier
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
CI/CD
Аналитика
Безопасность
master
methods/classes/BertLandUseDataset.py
30 строк
1003 B
maratgaliulin
first commit
26 янв 2026, 02:03
26 янв 2026, 02:03
18d5031
Код
Авторство
О чём код?
import torch from torch.utils.data import Dataset class BertLandUseDataset(Dataset): # def __init__(self, texts, areas, labels, tokenizer, max_length=256): def __init__(self, texts, labels, tokenizer, max_length=256): self.texts = texts # self.areas = areas self.labels = labels self.tokenizer = tokenizer self.max_length = max_length def __len__(self): return len(self.texts) def __getitem__(self, idx): text = str(self.texts[idx]) encoding = self.tokenizer( text, truncation=True, padding='max_length', max_length=self.max_length, return_tensors='pt' ) return { 'input_ids': encoding['input_ids'].flatten(), 'attention_mask': encoding['attention_mask'].flatten(), # 'area': torch.tensor(self.areas[idx], dtype=torch.float32), 'labels': torch.tensor(self.labels[idx], dtype=torch.long) }