CYBER WATCH / EQUINOXE INTELLIGENCE
← Tous les articles
b12250 : vulkan : ajout d'un shader de concaténation transposé en tuiles pour les modèles Qwen (#30591)
llama.cpp Releases · 2026-11-10 20:01:17
Le commit introduit un shader Vulkan optimisé pour la concaténation en dimension 0 lorsqu'une source est transposée. En utilisant une tuilage 32×32 via la mémoire partagée, le chargement et le stockage restent coalescés, évitant les conflits de banque et améliorant la localisation cache. La nouvelle implémentation est limitée aux éléments non quantifiés de 4 octets, aux lignes contiguës de src0/dst et à src1 réellement transposée. Sur un GPU gfx1151/RADV, le temps de concaténation passe de 11 877 µs à 957 µs, avec une amélioration notable de la vitesse de génération de texte. Le shader est activé par défaut, avec des tailles réduites et des commentaires nettoyés.Consulter la source ↗