/
githubmirror
/
ColossalAI
Обзор
Документация
Войти
/
githubmirror
/
ColossalAI
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
applications/ColossalChat/examples/training_scripts/lora_config.json
9 строк
296 B
YeAnbang
[Chat] Fix lora (#5946)
31 июл 2024, 09:10
Не верифицирован
31 июл 2024, 09:10
30f4e31
Код
Авторство
О чём код?
{ "r": 128, "embedding_lora_dropout": 0.0, "linear_lora_dropout": 0.1, "lora_alpha": 32, "lora_train_bias": "all", "lora_initialization_method": "PiSSA", "target_modules": ["q_proj", "o_proj", "k_proj", "v_proj", "gate_proj", "up_proj", "down_proj", "embed_tokens"] }