Lines Matching refs:r
34 #define REG_CNT(r...) _REG_CNT(r, 8, 7, 6, 5, 4, 3, 2, 1) argument
45 #define VR0(r...) VR0_(r) argument
46 #define VR1(r...) VR1_(r) argument
47 #define VR2(r...) VR2_(r, 1) argument
48 #define VR3(r...) VR3_(r, 1, 2) argument
49 #define VR4(r...) VR4_(r, 1, 2) argument
50 #define VR5(r...) VR5_(r, 1, 2, 3) argument
51 #define VR6(r...) VR6_(r, 1, 2, 3, 4) argument
52 #define VR7(r...) VR7_(r, 1, 2, 3, 4, 5) argument
69 #define XOR_ACC(src, r...) \ argument
71 switch (REG_CNT(r)) { \
74 "vpxor 0x00(%[SRC]), %%" VR0(r)", %%" VR0(r) "\n" \
75 "vpxor 0x20(%[SRC]), %%" VR1(r)", %%" VR1(r) "\n" \
76 "vpxor 0x40(%[SRC]), %%" VR2(r)", %%" VR2(r) "\n" \
77 "vpxor 0x60(%[SRC]), %%" VR3(r)", %%" VR3(r) "\n" \
82 "vpxor 0x00(%[SRC]), %%" VR0(r)", %%" VR0(r) "\n" \
83 "vpxor 0x20(%[SRC]), %%" VR1(r)", %%" VR1(r) "\n" \
91 #define XOR(r...) \ argument
93 switch (REG_CNT(r)) { \
96 "vpxor %" VR0(r) ", %" VR4(r)", %" VR4(r) "\n" \
97 "vpxor %" VR1(r) ", %" VR5(r)", %" VR5(r) "\n" \
98 "vpxor %" VR2(r) ", %" VR6(r)", %" VR6(r) "\n" \
99 "vpxor %" VR3(r) ", %" VR7(r)", %" VR7(r)); \
103 "vpxor %" VR0(r) ", %" VR2(r)", %" VR2(r) "\n" \
104 "vpxor %" VR1(r) ", %" VR3(r)", %" VR3(r)); \
111 #define ZERO(r...) XOR(r, r) argument
113 #define COPY(r...) \ argument
115 switch (REG_CNT(r)) { \
118 "vmovdqa %" VR0(r) ", %" VR4(r) "\n" \
119 "vmovdqa %" VR1(r) ", %" VR5(r) "\n" \
120 "vmovdqa %" VR2(r) ", %" VR6(r) "\n" \
121 "vmovdqa %" VR3(r) ", %" VR7(r)); \
125 "vmovdqa %" VR0(r) ", %" VR2(r) "\n" \
126 "vmovdqa %" VR1(r) ", %" VR3(r)); \
133 #define LOAD(src, r...) \ argument
135 switch (REG_CNT(r)) { \
138 "vmovdqa 0x00(%[SRC]), %%" VR0(r) "\n" \
139 "vmovdqa 0x20(%[SRC]), %%" VR1(r) "\n" \
140 "vmovdqa 0x40(%[SRC]), %%" VR2(r) "\n" \
141 "vmovdqa 0x60(%[SRC]), %%" VR3(r) "\n" \
146 "vmovdqa 0x00(%[SRC]), %%" VR0(r) "\n" \
147 "vmovdqa 0x20(%[SRC]), %%" VR1(r) "\n" \
155 #define STORE(dst, r...) \ argument
157 switch (REG_CNT(r)) { \
160 "vmovdqa %%" VR0(r) ", 0x00(%[DST])\n" \
161 "vmovdqa %%" VR1(r) ", 0x20(%[DST])\n" \
162 "vmovdqa %%" VR2(r) ", 0x40(%[DST])\n" \
163 "vmovdqa %%" VR3(r) ", 0x60(%[DST])\n" \
168 "vmovdqa %%" VR0(r) ", 0x00(%[DST])\n" \
169 "vmovdqa %%" VR1(r) ", 0x20(%[DST])\n" \
189 #define _MUL2(r...) \ argument
191 switch (REG_CNT(r)) { \
194 "vpcmpgtb %" VR0(r)", %ymm15, %ymm12\n" \
195 "vpcmpgtb %" VR1(r)", %ymm15, %ymm13\n" \
196 "vpaddb %" VR0(r)", %" VR0(r)", %" VR0(r) "\n" \
197 "vpaddb %" VR1(r)", %" VR1(r)", %" VR1(r) "\n" \
200 "vpxor %ymm12, %" VR0(r)", %" VR0(r) "\n" \
201 "vpxor %ymm13, %" VR1(r)", %" VR1(r)); \
208 #define MUL2(r...) \ argument
210 switch (REG_CNT(r)) { \
212 _MUL2(R_01(r)); \
213 _MUL2(R_23(r)); \
216 _MUL2(r); \
223 #define MUL4(r...) \ argument
225 MUL2(r); \
226 MUL2(r); \
239 #define _MULx2(c, r...) \ argument
241 switch (REG_CNT(r)) { \
249 "vpsraw $0x4, %%" VR0(r) ", %%"_as "\n" \
250 "vpsraw $0x4, %%" VR1(r) ", %%"_bs "\n" \
251 "vpand %%" _0f ", %%" VR0(r) ", %%" VR0(r) "\n" \
252 "vpand %%" _0f ", %%" VR1(r) ", %%" VR1(r) "\n" \
267 "vpshufb %%" VR0(r) ", %%" _ltmod ", %%" _ta "\n" \
268 "vpshufb %%" VR1(r) ", %%" _ltmod ", %%" _tb "\n" \
269 "vpshufb %%" VR0(r) ", %%" _ltmul ", %%" VR0(r) "\n"\
270 "vpshufb %%" VR1(r) ", %%" _ltmul ", %%" VR1(r) "\n"\
272 "vpxor %%" _ta ", %%" VR0(r) ", %%" VR0(r) "\n" \
273 "vpxor %%" _as ", %%" VR0(r) ", %%" VR0(r) "\n" \
274 "vpxor %%" _tb ", %%" VR1(r) ", %%" VR1(r) "\n" \
275 "vpxor %%" _bs ", %%" VR1(r) ", %%" VR1(r) "\n" \
284 #define MUL(c, r...) \ argument
286 switch (REG_CNT(r)) { \
288 _MULx2(c, R_01(r)); \
289 _MULx2(c, R_23(r)); \
292 _MULx2(c, R_01(r)); \