代码之家  ›  专栏  ›  技术社区  ›  Fabio

最好的方式来洗牌过AVX车道?

  •  3
  • Fabio  · 技术社区  · 8 年前

    有类似标题的问题,但我的问题涉及一个非常具体的用例,其他地方没有涉及。

    我有4个128d寄存器(x0,x1,x2,x3),我想在5个256d寄存器(y0,y1,y2,y3,y4)中重新组合它们的内容,如下所示,为其他计算做准备:

    on entry:
        x0 contains {a0, a1}
        x1 contains {a2, a3}
        x2 contains {a4, a5}
        x3 contains {a6, a7}
    on exit:
        y0 contains {a0, a1, a2, a3}
        y1 contains {a1, a2, a3, a4}
        y2 contains {a2, a3, a4, a5}
        y3 contains {a3, a4, a5, a6}
        y4 contains {a4, a5, a6, a7}
    

    y0 = _mm256_set_m128d(x1, x0);
    
    __m128d lo = _mm_shuffle_pd(x0, x1, 1);
    __m128d hi = _mm_shuffle_pd(x1, x2, 1);
    y1 = _mm256_set_m128d(hi, lo);
    
    y2 = _mm256_set_m128d(x2, x1);
    
    lo = hi;
    hi = _mm_shuffle_pd(x2, x3, 1);
    y3 = _mm256_set_m128d(hi, lo);
    
    y4 = _mm256_set_m128d(x3, x2);
    
    1 回复  |  直到 8 年前
        1
  •  7
  •   Peter Cordes    8 年前

    对于寄存器中的输入,您可以通过5个随机指令完成:

    • 3倍 vinsertf128 通过串联2个xmm寄存器来创建y0、y2和y4。
    • vshufpd (车道内随机)在这些结果之间创建y1和y3。

    #include <immintrin.h>
    
    void merge(__m128d x0, __m128d x1, __m128d x2, __m128d x3,
         __m256d *__restrict y0, __m256d *__restrict y1,
         __m256d *__restrict y2, __m256d *__restrict y3, __m256d *__restrict y4)
    {
        *y0 = _mm256_set_m128d(x1, x0);
        *y2 = _mm256_set_m128d(x2, x1);
        *y4 = _mm256_set_m128d(x3, x2);
    
        // take the high element from the first vector, low element from the 2nd.
        *y1 = _mm256_shuffle_pd(*y0, *y2, 0b0101);
        *y3 = _mm256_shuffle_pd(*y2, *y4, 0b0101);
    }
    

    编译得很好( with gcc and clang -O3 -march=haswell on Godbolt )收件人:

    merge(double __vector(2), double __vector(2), double __vector(2), double __vector(2), double __vector(4)*, double __vector(4)*, double __vector(4)*, double __vector(4)*, double __vector(4)*):
        vinsertf128     ymm0, ymm0, xmm1, 0x1
        vinsertf128     ymm3, ymm2, xmm3, 0x1
        vinsertf128     ymm1, ymm1, xmm2, 0x1
        # vmovapd YMMWORD PTR [rdi], ymm0
        vshufpd ymm0, ymm0, ymm1, 5
        # vmovapd YMMWORD PTR [rdx], ymm1
        vshufpd ymm1, ymm1, ymm3, 5
        # vmovapd YMMWORD PTR [r8], ymm3
        # vmovapd YMMWORD PTR [rsi], ymm0
        # vmovapd YMMWORD PTR [rcx], ymm1
        # vzeroupper
        # ret
    

    这是 非常 文森特F128 只有2个单位。

    在英特尔这是相当不错的,但主流的英特尔处理器与AVX只有1每时钟洗牌吞吐量为256位或浮点洗牌(Sandybridge和更早的版本对于整数128位洗牌具有更高的吞吐量,但是AVX2 cpu丢弃了额外的洗牌单元,而且它们在这方面没有任何帮助。)

    所以Intel CPU根本不能利用指令级并行性,但总共只有5个uops,这很好。这是最小可能,因为你需要5个结果。


    但特别是如果周围的代码也出现了混乱的瓶颈, 有必要考虑一种存储/重新加载策略,它只有4个存储和5个重叠的向量加载 . 或者2倍 文森特F128 建造 y0 y4 ,然后2个256位存储+3个重叠重新加载。这可能让无序的exec只需使用 年 或 当y1..3的存储转发暂停解决时。

    尤其是如果您不太关心Intel first gen Sandybridge,其中未对齐的256位向量加载效率较低(请注意,您希望使用 gcc -mtune=haswell 关掉电源 -mavx256-split-unaligned-load 默认/sandybridge调优,如果您使用GCC的话。不管编译器是什么, -march=native 如果让二进制文件在编译它的机器上运行,充分利用指令集和设置调优选项,这是一个好主意。)

    但是如果前端的uop总吞吐量更多地是瓶颈所在,那么shuffle实现是最好的。

    (见 https://agner.org/optimize/ x86 tag wiki 有关性能调整的详细信息。阿尔索 What considerations go into predicting latency for operations on modern superscalar processors and how can I calculate them by hand? ,但实际上Agner-Fog的指南更深入地解释了吞吐量与延迟的关系。)


    然后简单地用5个重叠的负载加载它几乎肯定是你能做的最有效的事情。

    Haswell可以从L1d对每个时钟进行2次加载,当任何一次加载跨越缓存线边界时,加载次数可以少于2次。 因此,如果您可以将块按64对齐,则完全没有缓存线拆分的情况下是非常有效的。 缓存未命中很慢,但是从L1d缓存重新加载热数据非常便宜,而且支持AVX的现代cpu通常具有高效的未对齐加载支持。

    (如前所述,如果使用gcc,请确保使用 -march=haswell 或 -mtune=haswell ,不仅仅是 -mavx -mavx256拆分未对齐负载

    4负载+1 (y0,y2)可能是平衡负载端口压力和ALU压力的好方法,这取决于周围代码中的瓶颈。或者,如果周围的代码在shuffle端口压力低的话,甚至3次加载+2次洗牌。


    它们在以前的计算中的寄存器中,需要加载它们。

    (XMM寄存器是对应YMM寄存器的低位128,读取它们不会干扰上层通道,因此 _mm256_castpd256_pd128

    对y0、y2和y4执行256位加载,并将它们的低半部用作x0、x1和x2(稍后使用未对齐的加载或无序排列构造y1和y3)。

    只有x3还不是您想要的256位向量的低128位。

    理想情况下,编译器在执行 _mm_loadu_pd 和一个 _mm256_loadu_pd 从同一个地址,但可能你需要通过

    __m256d y0 = _mm256_loadu_pd(base);
    __m128d x0 = _mm256_castpd256_pd128(y0);
    

    _mm256_extractf128_pd )或128位加载 x3