/
githubmirror
/
transformers
Обзор
Документация
Войти
/
githubmirror
/
transformers
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
examples/modular-transformers/modular_roberta.py
17 строк
527 B
Cyril Vallez
Large modular logic refactoring (#34487)
01 ноя 2024, 12:13
Не верифицирован
01 ноя 2024, 12:13
e2ac16b
Код
Авторство
О чём код?
import torch.nn as nn from transformers.models.bert.modeling_bert import BertEmbeddings, BertModel class RobertaEmbeddings(BertEmbeddings): def __init__(self, config): super().__init__(config) self.pad_token_id = config.pad_token_id self.position_embeddings = nn.Embedding( config.max_position_embeddings, config.hidden_size, config.pad_token_id ) class RobertaModel(BertModel): def __init__(self, config, add_pooling_layer=True): super().__init__(self, config)