Solar

Solar - модифицированная функция активации GELU с ограничением значений , устраняющая недостаток неполной ограниченности оригинального GELU. P.S. - фоточка сравнения в корневой проекта .