Modularity-Analysis
ФоркИзбранное
0
0
Описание
Repo for ACL2023 Findings paper "Emergent Modularity in Pre-trained Transformers"
Языки
- Python92,8%
- Shell7,2%
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
Modularity Analysis
Neuron Predictivity Calculation
Functional Specialization of Neurons
Functional Expert
Perturbation Experiments for T5
Perturbation Experiments for Switch Transformer
Stabilization during Pre-training
Cite
README.md