ModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
Обновлено 7 месяцев назад
Мы используем файлы cookie в соответствии с Политикой конфиденциальности и Политикой использования cookies.
Нажимая кнопку «Принимаю», Вы даете АО «СберТех» согласие на обработку Ваших персональных данных в целях совершенствования нашего веб-сайта и Сервиса GitVerse, а также повышения удобства их использования.
Запретить использование cookies Вы можете самостоятельно в настройках Вашего браузера.