CYBER WATCH / EQUINOXE INTELLIGENCE
← Tous les articles
b12293 : cpu : accumulation de flash attention V en F32 (#29810)
llama.cpp Releases · 2026-11-12 00:01:18
Le noyau « one‑chunk » accumulait auparavant la cache V en F16, ce qui provoquait un dépassement de 65504 sur de longs contextes, entraînant des valeurs infinies puis NaN. La mise à jour fait maintenant accumuler V en F32, comme le noyau « tiled ». Les lignes F16 passent par ggml_vec_mad_f16_f32, évitant un passage intermédiaire en F32 et conservant la vitesse sur x86 tout en perdant seulement 4 % sur ARM à 4 k tokens. Le code élargit également les lignes F16 pour respecter les garde‑fous de ggml_vec_dot_f16_f32, utilisant AVX512, AVX avec F16C, NEON, RVV, puis une boucle scalaire si nécessaire.Consulter la source ↗