SSE Interleave/Merge/合并2个向量，使用掩码，每个元素的条件移动？

Question

本质上，我试图在2 SSE（ __ M128 ）向量上实现类似三元的操作。 掩码是另一个 __ M128 从 _MM_CMPLT_PS 获得的向量。

我要实现的是选择vector a 的元素。蒙版的元素是 0 。

所需操作的示例（在半伪码中）：

const __m128i mask = {0xffffffff, 0, 0xffffffff, 0};  // e.g. a compare result
const __m128 a = {1.0, 1.1, 1.2, 1.3};
const __m128 b = {2.0, 2.1, 2.2, 2.3};
const __m128 c = interleave(a, b, mask); // c contains {1.0, 2.1, 1.2, 2.3}

我在SIMD（SSE）内在实现此操作时遇到了困难。 我最初的想法是混合 a 和 b 使用移动混合，然后使用掩码将元素洗牌，但是 _mm_shuffle_ps 请 int int < /代码>由4位指数组成的掩码，而不是 __ M128 掩码。

另一个想法是使用类似于有条件举动的东西，但是SSE似乎没有有条件的举动（或者至少我没有在英特尔的指南中找到它）。

通常如何在SSE中完成？

Answer 1

这就是所谓的“混合” 。
英特尔的内在指南小组融合说明“ nofollow noreferrer”>在“ swizzle”类别下，以及与夏普斯（Shizzle）类别。

您正在寻找sse4.1 blendvps （intinsic _mm_blendv_ps ）。其他元素大小为 _mm_blendv_pd 和 _mm_blendv_epi8 。这些使用相应元素的高位作为控件，因此您可以直接使用float（没有 _mm_cmp_ps ），如果其符号位很有趣。

__m128i mask = _mm_castps_si128(_mm_cmplt_ps(x, y));   // integer 0 / -1 bit patterns
__m128 c = _mm_blendv_ps(b, a, mask);  // copy element from 2nd op where the mask is set

请注意，我将 a，b 转换为 b，a ，因为SSE混合物将元素从第二个操作数中删除，以设置掩码的位置。就像有条件的移动，在条件为真时复制。如果您将您的常数 /变量命名，则可以编写 Blend（A，B，Mask）< / code>，而不是使它们向后。或给他们有意义的名称行 Ones 和二。

---

在其他情况下，您的控制操作数为常数，也有 _mm_blend_ps /pd/ _mm_blend_epi16 （一个8--位直接操作数只能控制8个单独的元素，因此8x 2字节。）

performance

Blendps XMM，XMM，IMM8 是Intel CPU上任何矢量Alu端口的单uop指令，如<代码> andps 。 （ https://uops.info/ ）。 pblendw 也是单uop，但仅在英特尔的端口5上运行，并与Shuffles竞争。 AVX2 VPBlendd 与dword granularity， vblendps 的整数版本以及相同的效率相同。 Intel CPU上具有额外的旁路延迟。

（这是一项整数 - simd指令；与随机相比，如果您混合整数和fp simd，则混合物在 5）。不幸的是，AVX版本（ vblendvps ）仍然是Intel上的2个UOP（Alder Lake-P上的3个，Alder Lake-e上4个）。尽管UOPS至少可以在3个矢量Alu端口中的任何一个上运行。

vblendvps 版本在ASM中很时髦，因为它具有4个操作数，而不是覆盖任何输入寄存器。 （非AVX版本覆盖一个输入，并隐式使用XMM0作为掩码输入。）Intel UOPS显然无法处理4个单独的寄存器，只有3个用于FMA， ADC 和 cmov 。 （和avx-512 vpternlogd 可以在单个UOP 中进行比切的混合物）

AMD具有完全有效的 vblendvps ，单个UOP（除外）对于Zen1上的YMM），带2/时钟吞吐量。

---

效仿

没有SSE4.1，您可以使用Andn/and/或（X＆amp; bask） | （y＆amp; bask）等于 _mm_blendv_ps（x，y，bask），除了它是纯粹的位，因此每个掩码元素的所有位都应匹配顶部位。 （例如，比较结果，或用 _mm_srai_epi32（bask，31）。）

编译器知道此技巧，如果您在没有任何ARCH选项（如<代码> -March = Haswell 或其他。 （SSE4.1在第二代核心2中是新的，因此它越来越广泛，但不是

。

通用 ^ y）＆amp;如果您可以重复使用 x ^ y （在AKI中建议）。级别的平行性。

没有AVX的非毁灭性3-动作指令，此方式将需要一个移动XMM，XMM register-copy来保存 b mask 而不是 a 。 Andn销毁掩码（ 〜mask＆amp; x ）。

用 关心AMD，如果可以预先计算 A^B ，您仍然可以选择一个和/XOR

。代码>

（适用于整数和FP； 0.0F 和 0.0 的位模式是全元素，与整数 0 。）

您无需复制零从任何地方，只有 x＆amp; mask 或 x＆amp; 〜mask 。

（（x＆amp; 〜mask）|（y＆amp; mask）表达式减少为x = 0或y = 0;该项变为零， z | = 0 < /code>是一个no-op

。 x +y：x ，将添加和混合的延迟放在关键路径上，您可以根据掩码 x +=选择y或零> x += y＆amp; mask; 或做相反的事情， x += 〜mask＆amp; y 使用 _mm_andn_ps（bask，vy）。

这具有添加和一个操作（因此已经比某些CPU上的混合物便宜，并且您不需要在另一台寄存器中使用0.0源操作数）。另外，如果您是在循环中使用+= 操作，则通过 x 现在仅包括+= 操作独立 y＆amp;蒙版。例如，仅将数组的元素匹配， sum += a [i]＆gt; = thresh？ a [i]：0.0f;

，示例是由于不必要地延长关键路径而导致额外放缓的示例，请参见 gcc优化flag -o3使代码比-o2 gcc的标量ASM使用 cmov 具有该缺陷，执行 cmov 作为循环依赖链的一部分，而不是准备 0 或 arr [i] 输入它。

如果您想要

a＆lt;上？答：上，您可以用 _mm_min_ps 而不是 cmpps / blendvps 。 （类似地， _mm_max_ps 和 _mm_min_pd / _mm_max_pd 。）

请参见有关其确切语义的详细信息，什么指令给出了什么指令？ ，包括一个长期存在的（但最近固定）的GCC错误，其中FP内含物没有提供预期的严格FP语义，如果一个人是Nan，则可以保留哪种操作数。

或对于整数，SSE2是高度非正交的（iNT16_T的签名最小/最大，UINT8_T的未签名最小/最大）。类似于饱和包说明。 SSE4.1填充缺失的操作数大小和签名组合。

• 签名：sse2 _mm_max_epi16 （以及所有这些的相应 min s）
  • sse4.1 _mm_max_epi32 / _mm_max_epi8 ; avx-512 _mm_max_epi64
• unsigned：sse2 _mm_max_epu8
  • sse4.1 _mm_max_epu16 / _mm_max_epu32 ; avx-512 _mm_max_epu64

avx-512使蒙版/混合一流操作

AVX-512比较掩码寄存器， k0..k7..K7..K7..K7..K7 （内部类型 __ MMASK1616161616161616 等）。合并屏蔽或零掩蔽可能是大多数ALU指令的一部分。还有一个专用的混合说明，可以根据口罩融合。

我不会在这里详细介绍，可以说如果您有很多有条件的事情要做，AVX-512很棒（即使您仅使用256位矢量来避免涡轮时钟速度惩罚等等。）您将需要专门阅读AVX-512的详细信息。

Answer 2

正如@peter Cordes在问题的注释中所建议的那样， BlendVPS 指令（ _MM_BLENDV _* intinsics）用于预先构造Interleave/condictal move操作。

It should be noted that _mm_blendv_* family select the left-hand elements if the mask contains 0 instead of 0xffffffff, thus a< /code>和 b 应以相反的顺序传递。

然后实现看起来像这样

const __m128i mask = {0xffffffff, 0, 0xffffffff, 0};  // e.g. a compare result
const __m128 m_ps = _mm_castsi128_ps(mask);
const __m128 a = {1.0, 1.1, 1.2, 1.3};
const __m128 b = {2.0, 2.1, 2.2, 2.3};

#ifdef __SSE4_1__ // _mm_blendv_ps requires SSE4.1 
const __m128 c = _mm_blendv_ps(b, a, m_ps);
#else
const __m128 c = _mm_or_ps(_mm_and_ps(m_ps, a), _mm_andnot_ps(m_ps, b));
#endif
// c contains {1.0, 2.1, 1.2, 2.3}