/

/

flash-attention

Обзор ДокументацияВойти

/

/

flash-attention

Аналитика

Безопасность

flash-attention

Описание

Fast and memory-efficient exact attention

8.62 MiB

Лицензия

В избранном1

Языки

Python58,1%
C++29,1%
Cuda12,5%
Dockerfile0,2%
C0,1%

Сообщить о нарушении

Коммиты:

Tri Dao

Bump to v2.5.6

02 мар 2024, 09:09

02 мар 2024, 09:096c9e60d

[CI] Change torch 2.3.0.dev20240126 to 20240105 for nvcr 24.02

2 года назад

FlashAttention-2 release

3 года назад

Add benchmarking code for Alibi (from Sanghun Cho)

3 года назад

Enable headdim 256 backward on consumer GPUs (Ampere, Ada)

2 года назад

Clarify inference README is a placeholder

3 года назад

2 года назад

Enable headdim 256 backward on consumer GPUs (Ampere, Ada)

2 года назад

2 года назад

Inverse state dict for BERT (#527)

3 года назад

FlashAttention-2 release

3 года назад

FlashAttention-2 release

3 года назад

Change license from Apache 2.0 to BSD

4 года назад

FlashAttention-2 release

3 года назад

allow for uploading to pypi

4 года назад

Enable headdim 256 backward on consumer GPUs (Ampere, Ada)

2 года назад

Optimize compile to 1: avoid oom 2: minimize swap usage 3: avoid threads starvation when letting ninja decide how many workers to spawn or manual MAX_JOBS "guesses". Logic is to take the min value of MAX_JOBS auto-calculated by two metrics: 1: cpu cores 2: free memory. This should allow flash-attn to compile close to the most efficient manner under any consumer/server env. (#832)

2 года назад

Update usage.md

3 года назад

README.md