1 /*
2  * CDDL HEADER START
3  *
4  * The contents of this file are subject to the terms of the
5  * Common Development and Distribution License (the "License").
6  * You may not use this file except in compliance with the License.
7  *
8  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
9  * or http://www.opensolaris.org/os/licensing.
10  * See the License for the specific language governing permissions
11  * and limitations under the License.
12  *
13  * When distributing Covered Code, include this CDDL HEADER in each
14  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
15  * If applicable, add the following below this CDDL HEADER, with the
16  * fields enclosed by brackets "[]" replaced with your own identifying
17  * information: Portions Copyright [yyyy] [name of copyright owner]
18  *
19  * CDDL HEADER END
20  */
21 /*
22  * Copyright (C) 2016 Gvozden Nešković. All rights reserved.
23  */
24 
25 #include <sys/isa_defs.h>
26 
27 #if defined(__amd64)
28 
29 #include <sys/types.h>
30 #include <sys/simd.h>
31 #include <sys/debug.h>
32 
33 #define	__asm __asm__ __volatile__
34 
35 #define	_REG_CNT(_0, _1, _2, _3, _4, _5, _6, _7, N, ...) N
36 #define	REG_CNT(r...) _REG_CNT(r, 8, 7, 6, 5, 4, 3, 2, 1)
37 
38 #define	VR0_(REG, ...) "xmm"#REG
39 #define	VR1_(_1, REG, ...) "xmm"#REG
40 #define	VR2_(_1, _2, REG, ...) "xmm"#REG
41 #define	VR3_(_1, _2, _3, REG, ...) "xmm"#REG
42 #define	VR4_(_1, _2, _3, _4, REG, ...) "xmm"#REG
43 #define	VR5_(_1, _2, _3, _4, _5, REG, ...) "xmm"#REG
44 #define	VR6_(_1, _2, _3, _4, _5, _6, REG, ...) "xmm"#REG
45 #define	VR7_(_1, _2, _3, _4, _5, _6, _7, REG, ...) "xmm"#REG
46 
47 #define	VR0(r...) VR0_(r, 1, 2, 3, 4, 5, 6)
48 #define	VR1(r...) VR1_(r, 1, 2, 3, 4, 5, 6)
49 #define	VR2(r...) VR2_(r, 1, 2, 3, 4, 5, 6)
50 #define	VR3(r...) VR3_(r, 1, 2, 3, 4, 5, 6)
51 #define	VR4(r...) VR4_(r, 1, 2, 3, 4, 5, 6)
52 #define	VR5(r...) VR5_(r, 1, 2, 3, 4, 5, 6)
53 #define	VR6(r...) VR6_(r, 1, 2, 3, 4, 5, 6)
54 #define	VR7(r...) VR7_(r, 1, 2, 3, 4, 5, 6)
55 
56 #define	ELEM_SIZE 16
57 
58 typedef struct v {
59 	uint8_t b[ELEM_SIZE] __attribute__((aligned(ELEM_SIZE)));
60 } v_t;
61 
62 #define	XOR_ACC(src, r...) 						\
63 {									\
64 	switch (REG_CNT(r)) {						\
65 	case 4:								\
66 		__asm(							\
67 		    "pxor 0x00(%[SRC]), %%" VR0(r) "\n"			\
68 		    "pxor 0x10(%[SRC]), %%" VR1(r) "\n"			\
69 		    "pxor 0x20(%[SRC]), %%" VR2(r) "\n"			\
70 		    "pxor 0x30(%[SRC]), %%" VR3(r) "\n"			\
71 		    : : [SRC] "r" (src));				\
72 		break;							\
73 	case 2:								\
74 		__asm(							\
75 		    "pxor 0x00(%[SRC]), %%" VR0(r) "\n"			\
76 		    "pxor 0x10(%[SRC]), %%" VR1(r) "\n"			\
77 		    : : [SRC] "r" (src));				\
78 		break;							\
79 	case 1:								\
80 		__asm("pxor 0x00(%[SRC]), %%" VR0(r) "\n"		\
81 		    : : [SRC] "r" (src));				\
82 		break;							\
83 	}								\
84 }
85 
86 #define	XOR(r...)							\
87 {									\
88 	switch (REG_CNT(r)) {						\
89 	case 8:								\
90 		__asm(							\
91 		    "pxor %" VR0(r) ", %" VR4(r) "\n"			\
92 		    "pxor %" VR1(r) ", %" VR5(r) "\n"			\
93 		    "pxor %" VR2(r) ", %" VR6(r) "\n"			\
94 		    "pxor %" VR3(r) ", %" VR7(r));			\
95 		break;							\
96 	case 4:								\
97 		__asm(							\
98 		    "pxor %" VR0(r) ", %" VR2(r) "\n"			\
99 		    "pxor %" VR1(r) ", %" VR3(r));			\
100 		break;							\
101 	case 2:								\
102 		__asm(							\
103 		    "pxor %" VR0(r) ", %" VR1(r));			\
104 		break;							\
105 	}								\
106 }
107 
108 #define	ZERO(r...)	XOR(r, r)
109 
110 #define	COPY(r...) 							\
111 {									\
112 	switch (REG_CNT(r)) {						\
113 	case 8:								\
114 		__asm(							\
115 		    "movdqa %" VR0(r) ", %" VR4(r) "\n"			\
116 		    "movdqa %" VR1(r) ", %" VR5(r) "\n"			\
117 		    "movdqa %" VR2(r) ", %" VR6(r) "\n"			\
118 		    "movdqa %" VR3(r) ", %" VR7(r));			\
119 		break;							\
120 	case 4:								\
121 		__asm(							\
122 		    "movdqa %" VR0(r) ", %" VR2(r) "\n"			\
123 		    "movdqa %" VR1(r) ", %" VR3(r));			\
124 		break;							\
125 	case 2:								\
126 		__asm(							\
127 		    "movdqa %" VR0(r) ", %" VR1(r));			\
128 		break;							\
129 	default:							\
130 		VERIFY(0);						\
131 	}								\
132 }
133 
134 #define	LOAD(src, r...) 						\
135 {									\
136 	switch (REG_CNT(r)) {						\
137 	case 4:								\
138 		__asm(							\
139 		    "movdqa 0x00(%[SRC]), %%" VR0(r) "\n"		\
140 		    "movdqa 0x10(%[SRC]), %%" VR1(r) "\n"		\
141 		    "movdqa 0x20(%[SRC]), %%" VR2(r) "\n"		\
142 		    "movdqa 0x30(%[SRC]), %%" VR3(r) "\n"		\
143 		    : : [SRC] "r" (src));				\
144 		break;							\
145 	case 2:								\
146 		__asm(							\
147 		    "movdqa 0x00(%[SRC]), %%" VR0(r) "\n"		\
148 		    "movdqa 0x10(%[SRC]), %%" VR1(r) "\n"		\
149 		    : : [SRC] "r" (src));				\
150 		break;							\
151 	case 1:								\
152 		__asm(							\
153 		    "movdqa 0x00(%[SRC]), %%" VR0(r) "\n"		\
154 		    : : [SRC] "r" (src));				\
155 		break;							\
156 	}								\
157 }
158 
159 #define	STORE(dst, r...)						\
160 {									\
161 	switch (REG_CNT(r)) {						\
162 	case 4:								\
163 		__asm(							\
164 		    "movdqa %%" VR0(r)", 0x00(%[DST])\n"		\
165 		    "movdqa %%" VR1(r)", 0x10(%[DST])\n"		\
166 		    "movdqa %%" VR2(r)", 0x20(%[DST])\n"		\
167 		    "movdqa %%" VR3(r)", 0x30(%[DST])\n"		\
168 		    : : [DST] "r" (dst));				\
169 		break;							\
170 	case 2:								\
171 		__asm(							\
172 		    "movdqa %%" VR0(r)", 0x00(%[DST])\n"		\
173 		    "movdqa %%" VR1(r)", 0x10(%[DST])\n"		\
174 		    : : [DST] "r" (dst));				\
175 		break;							\
176 	case 1:								\
177 		__asm(							\
178 		    "movdqa %%" VR0(r)", 0x00(%[DST])\n"		\
179 		    : : [DST] "r" (dst));				\
180 		break;							\
181 	default:							\
182 		VERIFY(0);						\
183 	}								\
184 }
185 
186 #define	MUL2_SETUP()							\
187 {   									\
188 	__asm(								\
189 	    "movd %[mask], %%xmm15\n"					\
190 	    "pshufd $0x0, %%xmm15, %%xmm15\n"				\
191 	    : : [mask] "r" (0x1d1d1d1d));				\
192 }
193 
194 #define	_MUL2_x1(a0) 							\
195 {									\
196 	__asm(								\
197 	    "pxor    %xmm14,      %xmm14\n"				\
198 	    "pcmpgtb %" a0",  %xmm14\n"					\
199 	    "pand    %xmm15,      %xmm14\n"				\
200 	    "paddb   %" a0",  %" a0 "\n"				\
201 	    "pxor    %xmm14,      %" a0);				\
202 }
203 
204 #define	_MUL2_x2(a0, a1) 						\
205 {									\
206 	__asm(								\
207 	    "pxor    %xmm14,      %xmm14\n"				\
208 	    "pxor    %xmm13,      %xmm13\n"				\
209 	    "pcmpgtb %" a0",  %xmm14\n"					\
210 	    "pcmpgtb %" a1",  %xmm13\n"					\
211 	    "pand    %xmm15,      %xmm14\n"				\
212 	    "pand    %xmm15,      %xmm13\n"				\
213 	    "paddb   %" a0",  %" a0 "\n"				\
214 	    "paddb   %" a1",  %" a1 "\n"				\
215 	    "pxor    %xmm14,      %" a0 "\n"				\
216 	    "pxor    %xmm13,      %" a1);				\
217 }
218 
219 #define	MUL2(r...)							\
220 {									\
221 	switch (REG_CNT(r)) {						\
222 	case 4:								\
223 		_MUL2_x2(VR0(r), VR1(r));				\
224 		_MUL2_x2(VR2(r), VR3(r));				\
225 		break;							\
226 	case 2:								\
227 		_MUL2_x2(VR0(r), VR1(r));				\
228 		break;							\
229 	case 1:								\
230 		_MUL2_x1(VR0(r));					\
231 		break;							\
232 	}								\
233 }
234 
235 #define	MUL4(r...)							\
236 {									\
237 	MUL2(r);							\
238 	MUL2(r);							\
239 }
240 
241 /* General multiplication by adding powers of two */
242 
243 #define	_MUL_PARAM(x, in, acc)						\
244 {									\
245 	if (x & 0x01) {	COPY(in, acc); } else { ZERO(acc); }	\
246 	if (x & 0xfe) { MUL2(in); }					\
247 	if (x & 0x02) { XOR(in, acc); }					\
248 	if (x & 0xfc) { MUL2(in); }					\
249 	if (x & 0x04) { XOR(in, acc); }					\
250 	if (x & 0xf8) { MUL2(in); }					\
251 	if (x & 0x08) { XOR(in, acc); }					\
252 	if (x & 0xf0) { MUL2(in); }					\
253 	if (x & 0x10) { XOR(in, acc); }					\
254 	if (x & 0xe0) { MUL2(in); }					\
255 	if (x & 0x20) { XOR(in, acc); }					\
256 	if (x & 0xc0) { MUL2(in); }					\
257 	if (x & 0x40) { XOR(in, acc); }					\
258 	if (x & 0x80) { MUL2(in); XOR(in, acc); }			\
259 }
260 
261 #define	_mul_x1_in	11
262 #define	_mul_x1_acc	12
263 
264 #define	MUL_x1_DEFINE(x)						\
265 static void 								\
266 mul_x1_ ## x(void) { _MUL_PARAM(x, _mul_x1_in, _mul_x1_acc); }
267 
268 #define	_mul_x2_in	9, 10
269 #define	_mul_x2_acc	11, 12
270 
271 #define	MUL_x2_DEFINE(x)						\
272 static void 								\
273 mul_x2_ ## x(void) { _MUL_PARAM(x, _mul_x2_in, _mul_x2_acc); }
274 
275 MUL_x1_DEFINE(0); MUL_x1_DEFINE(1); MUL_x1_DEFINE(2); MUL_x1_DEFINE(3);
276 MUL_x1_DEFINE(4); MUL_x1_DEFINE(5); MUL_x1_DEFINE(6); MUL_x1_DEFINE(7);
277 MUL_x1_DEFINE(8); MUL_x1_DEFINE(9); MUL_x1_DEFINE(10); MUL_x1_DEFINE(11);
278 MUL_x1_DEFINE(12); MUL_x1_DEFINE(13); MUL_x1_DEFINE(14); MUL_x1_DEFINE(15);
279 MUL_x1_DEFINE(16); MUL_x1_DEFINE(17); MUL_x1_DEFINE(18); MUL_x1_DEFINE(19);
280 MUL_x1_DEFINE(20); MUL_x1_DEFINE(21); MUL_x1_DEFINE(22); MUL_x1_DEFINE(23);
281 MUL_x1_DEFINE(24); MUL_x1_DEFINE(25); MUL_x1_DEFINE(26); MUL_x1_DEFINE(27);
282 MUL_x1_DEFINE(28); MUL_x1_DEFINE(29); MUL_x1_DEFINE(30); MUL_x1_DEFINE(31);
283 MUL_x1_DEFINE(32); MUL_x1_DEFINE(33); MUL_x1_DEFINE(34); MUL_x1_DEFINE(35);
284 MUL_x1_DEFINE(36); MUL_x1_DEFINE(37); MUL_x1_DEFINE(38); MUL_x1_DEFINE(39);
285 MUL_x1_DEFINE(40); MUL_x1_DEFINE(41); MUL_x1_DEFINE(42); MUL_x1_DEFINE(43);
286 MUL_x1_DEFINE(44); MUL_x1_DEFINE(45); MUL_x1_DEFINE(46); MUL_x1_DEFINE(47);
287 MUL_x1_DEFINE(48); MUL_x1_DEFINE(49); MUL_x1_DEFINE(50); MUL_x1_DEFINE(51);
288 MUL_x1_DEFINE(52); MUL_x1_DEFINE(53); MUL_x1_DEFINE(54); MUL_x1_DEFINE(55);
289 MUL_x1_DEFINE(56); MUL_x1_DEFINE(57); MUL_x1_DEFINE(58); MUL_x1_DEFINE(59);
290 MUL_x1_DEFINE(60); MUL_x1_DEFINE(61); MUL_x1_DEFINE(62); MUL_x1_DEFINE(63);
291 MUL_x1_DEFINE(64); MUL_x1_DEFINE(65); MUL_x1_DEFINE(66); MUL_x1_DEFINE(67);
292 MUL_x1_DEFINE(68); MUL_x1_DEFINE(69); MUL_x1_DEFINE(70); MUL_x1_DEFINE(71);
293 MUL_x1_DEFINE(72); MUL_x1_DEFINE(73); MUL_x1_DEFINE(74); MUL_x1_DEFINE(75);
294 MUL_x1_DEFINE(76); MUL_x1_DEFINE(77); MUL_x1_DEFINE(78); MUL_x1_DEFINE(79);
295 MUL_x1_DEFINE(80); MUL_x1_DEFINE(81); MUL_x1_DEFINE(82); MUL_x1_DEFINE(83);
296 MUL_x1_DEFINE(84); MUL_x1_DEFINE(85); MUL_x1_DEFINE(86); MUL_x1_DEFINE(87);
297 MUL_x1_DEFINE(88); MUL_x1_DEFINE(89); MUL_x1_DEFINE(90); MUL_x1_DEFINE(91);
298 MUL_x1_DEFINE(92); MUL_x1_DEFINE(93); MUL_x1_DEFINE(94); MUL_x1_DEFINE(95);
299 MUL_x1_DEFINE(96); MUL_x1_DEFINE(97); MUL_x1_DEFINE(98); MUL_x1_DEFINE(99);
300 MUL_x1_DEFINE(100); MUL_x1_DEFINE(101); MUL_x1_DEFINE(102); MUL_x1_DEFINE(103);
301 MUL_x1_DEFINE(104); MUL_x1_DEFINE(105); MUL_x1_DEFINE(106); MUL_x1_DEFINE(107);
302 MUL_x1_DEFINE(108); MUL_x1_DEFINE(109); MUL_x1_DEFINE(110); MUL_x1_DEFINE(111);
303 MUL_x1_DEFINE(112); MUL_x1_DEFINE(113); MUL_x1_DEFINE(114); MUL_x1_DEFINE(115);
304 MUL_x1_DEFINE(116); MUL_x1_DEFINE(117); MUL_x1_DEFINE(118); MUL_x1_DEFINE(119);
305 MUL_x1_DEFINE(120); MUL_x1_DEFINE(121); MUL_x1_DEFINE(122); MUL_x1_DEFINE(123);
306 MUL_x1_DEFINE(124); MUL_x1_DEFINE(125); MUL_x1_DEFINE(126); MUL_x1_DEFINE(127);
307 MUL_x1_DEFINE(128); MUL_x1_DEFINE(129); MUL_x1_DEFINE(130); MUL_x1_DEFINE(131);
308 MUL_x1_DEFINE(132); MUL_x1_DEFINE(133); MUL_x1_DEFINE(134); MUL_x1_DEFINE(135);
309 MUL_x1_DEFINE(136); MUL_x1_DEFINE(137); MUL_x1_DEFINE(138); MUL_x1_DEFINE(139);
310 MUL_x1_DEFINE(140); MUL_x1_DEFINE(141); MUL_x1_DEFINE(142); MUL_x1_DEFINE(143);
311 MUL_x1_DEFINE(144); MUL_x1_DEFINE(145); MUL_x1_DEFINE(146); MUL_x1_DEFINE(147);
312 MUL_x1_DEFINE(148); MUL_x1_DEFINE(149); MUL_x1_DEFINE(150); MUL_x1_DEFINE(151);
313 MUL_x1_DEFINE(152); MUL_x1_DEFINE(153); MUL_x1_DEFINE(154); MUL_x1_DEFINE(155);
314 MUL_x1_DEFINE(156); MUL_x1_DEFINE(157); MUL_x1_DEFINE(158); MUL_x1_DEFINE(159);
315 MUL_x1_DEFINE(160); MUL_x1_DEFINE(161); MUL_x1_DEFINE(162); MUL_x1_DEFINE(163);
316 MUL_x1_DEFINE(164); MUL_x1_DEFINE(165); MUL_x1_DEFINE(166); MUL_x1_DEFINE(167);
317 MUL_x1_DEFINE(168); MUL_x1_DEFINE(169); MUL_x1_DEFINE(170); MUL_x1_DEFINE(171);
318 MUL_x1_DEFINE(172); MUL_x1_DEFINE(173); MUL_x1_DEFINE(174); MUL_x1_DEFINE(175);
319 MUL_x1_DEFINE(176); MUL_x1_DEFINE(177); MUL_x1_DEFINE(178); MUL_x1_DEFINE(179);
320 MUL_x1_DEFINE(180); MUL_x1_DEFINE(181); MUL_x1_DEFINE(182); MUL_x1_DEFINE(183);
321 MUL_x1_DEFINE(184); MUL_x1_DEFINE(185); MUL_x1_DEFINE(186); MUL_x1_DEFINE(187);
322 MUL_x1_DEFINE(188); MUL_x1_DEFINE(189); MUL_x1_DEFINE(190); MUL_x1_DEFINE(191);
323 MUL_x1_DEFINE(192); MUL_x1_DEFINE(193); MUL_x1_DEFINE(194); MUL_x1_DEFINE(195);
324 MUL_x1_DEFINE(196); MUL_x1_DEFINE(197); MUL_x1_DEFINE(198); MUL_x1_DEFINE(199);
325 MUL_x1_DEFINE(200); MUL_x1_DEFINE(201); MUL_x1_DEFINE(202); MUL_x1_DEFINE(203);
326 MUL_x1_DEFINE(204); MUL_x1_DEFINE(205); MUL_x1_DEFINE(206); MUL_x1_DEFINE(207);
327 MUL_x1_DEFINE(208); MUL_x1_DEFINE(209); MUL_x1_DEFINE(210); MUL_x1_DEFINE(211);
328 MUL_x1_DEFINE(212); MUL_x1_DEFINE(213); MUL_x1_DEFINE(214); MUL_x1_DEFINE(215);
329 MUL_x1_DEFINE(216); MUL_x1_DEFINE(217); MUL_x1_DEFINE(218); MUL_x1_DEFINE(219);
330 MUL_x1_DEFINE(220); MUL_x1_DEFINE(221); MUL_x1_DEFINE(222); MUL_x1_DEFINE(223);
331 MUL_x1_DEFINE(224); MUL_x1_DEFINE(225); MUL_x1_DEFINE(226); MUL_x1_DEFINE(227);
332 MUL_x1_DEFINE(228); MUL_x1_DEFINE(229); MUL_x1_DEFINE(230); MUL_x1_DEFINE(231);
333 MUL_x1_DEFINE(232); MUL_x1_DEFINE(233); MUL_x1_DEFINE(234); MUL_x1_DEFINE(235);
334 MUL_x1_DEFINE(236); MUL_x1_DEFINE(237); MUL_x1_DEFINE(238); MUL_x1_DEFINE(239);
335 MUL_x1_DEFINE(240); MUL_x1_DEFINE(241); MUL_x1_DEFINE(242); MUL_x1_DEFINE(243);
336 MUL_x1_DEFINE(244); MUL_x1_DEFINE(245); MUL_x1_DEFINE(246); MUL_x1_DEFINE(247);
337 MUL_x1_DEFINE(248); MUL_x1_DEFINE(249); MUL_x1_DEFINE(250); MUL_x1_DEFINE(251);
338 MUL_x1_DEFINE(252); MUL_x1_DEFINE(253); MUL_x1_DEFINE(254); MUL_x1_DEFINE(255);
339 
340 MUL_x2_DEFINE(0); MUL_x2_DEFINE(1); MUL_x2_DEFINE(2); MUL_x2_DEFINE(3);
341 MUL_x2_DEFINE(4); MUL_x2_DEFINE(5); MUL_x2_DEFINE(6); MUL_x2_DEFINE(7);
342 MUL_x2_DEFINE(8); MUL_x2_DEFINE(9); MUL_x2_DEFINE(10); MUL_x2_DEFINE(11);
343 MUL_x2_DEFINE(12); MUL_x2_DEFINE(13); MUL_x2_DEFINE(14); MUL_x2_DEFINE(15);
344 MUL_x2_DEFINE(16); MUL_x2_DEFINE(17); MUL_x2_DEFINE(18); MUL_x2_DEFINE(19);
345 MUL_x2_DEFINE(20); MUL_x2_DEFINE(21); MUL_x2_DEFINE(22); MUL_x2_DEFINE(23);
346 MUL_x2_DEFINE(24); MUL_x2_DEFINE(25); MUL_x2_DEFINE(26); MUL_x2_DEFINE(27);
347 MUL_x2_DEFINE(28); MUL_x2_DEFINE(29); MUL_x2_DEFINE(30); MUL_x2_DEFINE(31);
348 MUL_x2_DEFINE(32); MUL_x2_DEFINE(33); MUL_x2_DEFINE(34); MUL_x2_DEFINE(35);
349 MUL_x2_DEFINE(36); MUL_x2_DEFINE(37); MUL_x2_DEFINE(38); MUL_x2_DEFINE(39);
350 MUL_x2_DEFINE(40); MUL_x2_DEFINE(41); MUL_x2_DEFINE(42); MUL_x2_DEFINE(43);
351 MUL_x2_DEFINE(44); MUL_x2_DEFINE(45); MUL_x2_DEFINE(46); MUL_x2_DEFINE(47);
352 MUL_x2_DEFINE(48); MUL_x2_DEFINE(49); MUL_x2_DEFINE(50); MUL_x2_DEFINE(51);
353 MUL_x2_DEFINE(52); MUL_x2_DEFINE(53); MUL_x2_DEFINE(54); MUL_x2_DEFINE(55);
354 MUL_x2_DEFINE(56); MUL_x2_DEFINE(57); MUL_x2_DEFINE(58); MUL_x2_DEFINE(59);
355 MUL_x2_DEFINE(60); MUL_x2_DEFINE(61); MUL_x2_DEFINE(62); MUL_x2_DEFINE(63);
356 MUL_x2_DEFINE(64); MUL_x2_DEFINE(65); MUL_x2_DEFINE(66); MUL_x2_DEFINE(67);
357 MUL_x2_DEFINE(68); MUL_x2_DEFINE(69); MUL_x2_DEFINE(70); MUL_x2_DEFINE(71);
358 MUL_x2_DEFINE(72); MUL_x2_DEFINE(73); MUL_x2_DEFINE(74); MUL_x2_DEFINE(75);
359 MUL_x2_DEFINE(76); MUL_x2_DEFINE(77); MUL_x2_DEFINE(78); MUL_x2_DEFINE(79);
360 MUL_x2_DEFINE(80); MUL_x2_DEFINE(81); MUL_x2_DEFINE(82); MUL_x2_DEFINE(83);
361 MUL_x2_DEFINE(84); MUL_x2_DEFINE(85); MUL_x2_DEFINE(86); MUL_x2_DEFINE(87);
362 MUL_x2_DEFINE(88); MUL_x2_DEFINE(89); MUL_x2_DEFINE(90); MUL_x2_DEFINE(91);
363 MUL_x2_DEFINE(92); MUL_x2_DEFINE(93); MUL_x2_DEFINE(94); MUL_x2_DEFINE(95);
364 MUL_x2_DEFINE(96); MUL_x2_DEFINE(97); MUL_x2_DEFINE(98); MUL_x2_DEFINE(99);
365 MUL_x2_DEFINE(100); MUL_x2_DEFINE(101); MUL_x2_DEFINE(102); MUL_x2_DEFINE(103);
366 MUL_x2_DEFINE(104); MUL_x2_DEFINE(105); MUL_x2_DEFINE(106); MUL_x2_DEFINE(107);
367 MUL_x2_DEFINE(108); MUL_x2_DEFINE(109); MUL_x2_DEFINE(110); MUL_x2_DEFINE(111);
368 MUL_x2_DEFINE(112); MUL_x2_DEFINE(113); MUL_x2_DEFINE(114); MUL_x2_DEFINE(115);
369 MUL_x2_DEFINE(116); MUL_x2_DEFINE(117); MUL_x2_DEFINE(118); MUL_x2_DEFINE(119);
370 MUL_x2_DEFINE(120); MUL_x2_DEFINE(121); MUL_x2_DEFINE(122); MUL_x2_DEFINE(123);
371 MUL_x2_DEFINE(124); MUL_x2_DEFINE(125); MUL_x2_DEFINE(126); MUL_x2_DEFINE(127);
372 MUL_x2_DEFINE(128); MUL_x2_DEFINE(129); MUL_x2_DEFINE(130); MUL_x2_DEFINE(131);
373 MUL_x2_DEFINE(132); MUL_x2_DEFINE(133); MUL_x2_DEFINE(134); MUL_x2_DEFINE(135);
374 MUL_x2_DEFINE(136); MUL_x2_DEFINE(137); MUL_x2_DEFINE(138); MUL_x2_DEFINE(139);
375 MUL_x2_DEFINE(140); MUL_x2_DEFINE(141); MUL_x2_DEFINE(142); MUL_x2_DEFINE(143);
376 MUL_x2_DEFINE(144); MUL_x2_DEFINE(145); MUL_x2_DEFINE(146); MUL_x2_DEFINE(147);
377 MUL_x2_DEFINE(148); MUL_x2_DEFINE(149); MUL_x2_DEFINE(150); MUL_x2_DEFINE(151);
378 MUL_x2_DEFINE(152); MUL_x2_DEFINE(153); MUL_x2_DEFINE(154); MUL_x2_DEFINE(155);
379 MUL_x2_DEFINE(156); MUL_x2_DEFINE(157); MUL_x2_DEFINE(158); MUL_x2_DEFINE(159);
380 MUL_x2_DEFINE(160); MUL_x2_DEFINE(161); MUL_x2_DEFINE(162); MUL_x2_DEFINE(163);
381 MUL_x2_DEFINE(164); MUL_x2_DEFINE(165); MUL_x2_DEFINE(166); MUL_x2_DEFINE(167);
382 MUL_x2_DEFINE(168); MUL_x2_DEFINE(169); MUL_x2_DEFINE(170); MUL_x2_DEFINE(171);
383 MUL_x2_DEFINE(172); MUL_x2_DEFINE(173); MUL_x2_DEFINE(174); MUL_x2_DEFINE(175);
384 MUL_x2_DEFINE(176); MUL_x2_DEFINE(177); MUL_x2_DEFINE(178); MUL_x2_DEFINE(179);
385 MUL_x2_DEFINE(180); MUL_x2_DEFINE(181); MUL_x2_DEFINE(182); MUL_x2_DEFINE(183);
386 MUL_x2_DEFINE(184); MUL_x2_DEFINE(185); MUL_x2_DEFINE(186); MUL_x2_DEFINE(187);
387 MUL_x2_DEFINE(188); MUL_x2_DEFINE(189); MUL_x2_DEFINE(190); MUL_x2_DEFINE(191);
388 MUL_x2_DEFINE(192); MUL_x2_DEFINE(193); MUL_x2_DEFINE(194); MUL_x2_DEFINE(195);
389 MUL_x2_DEFINE(196); MUL_x2_DEFINE(197); MUL_x2_DEFINE(198); MUL_x2_DEFINE(199);
390 MUL_x2_DEFINE(200); MUL_x2_DEFINE(201); MUL_x2_DEFINE(202); MUL_x2_DEFINE(203);
391 MUL_x2_DEFINE(204); MUL_x2_DEFINE(205); MUL_x2_DEFINE(206); MUL_x2_DEFINE(207);
392 MUL_x2_DEFINE(208); MUL_x2_DEFINE(209); MUL_x2_DEFINE(210); MUL_x2_DEFINE(211);
393 MUL_x2_DEFINE(212); MUL_x2_DEFINE(213); MUL_x2_DEFINE(214); MUL_x2_DEFINE(215);
394 MUL_x2_DEFINE(216); MUL_x2_DEFINE(217); MUL_x2_DEFINE(218); MUL_x2_DEFINE(219);
395 MUL_x2_DEFINE(220); MUL_x2_DEFINE(221); MUL_x2_DEFINE(222); MUL_x2_DEFINE(223);
396 MUL_x2_DEFINE(224); MUL_x2_DEFINE(225); MUL_x2_DEFINE(226); MUL_x2_DEFINE(227);
397 MUL_x2_DEFINE(228); MUL_x2_DEFINE(229); MUL_x2_DEFINE(230); MUL_x2_DEFINE(231);
398 MUL_x2_DEFINE(232); MUL_x2_DEFINE(233); MUL_x2_DEFINE(234); MUL_x2_DEFINE(235);
399 MUL_x2_DEFINE(236); MUL_x2_DEFINE(237); MUL_x2_DEFINE(238); MUL_x2_DEFINE(239);
400 MUL_x2_DEFINE(240); MUL_x2_DEFINE(241); MUL_x2_DEFINE(242); MUL_x2_DEFINE(243);
401 MUL_x2_DEFINE(244); MUL_x2_DEFINE(245); MUL_x2_DEFINE(246); MUL_x2_DEFINE(247);
402 MUL_x2_DEFINE(248); MUL_x2_DEFINE(249); MUL_x2_DEFINE(250); MUL_x2_DEFINE(251);
403 MUL_x2_DEFINE(252); MUL_x2_DEFINE(253); MUL_x2_DEFINE(254); MUL_x2_DEFINE(255);
404 
405 
406 
407 typedef void (*mul_fn_ptr_t)(void);
408 
409 static const mul_fn_ptr_t __attribute__((aligned(256)))
410 gf_x1_mul_fns[256] = {
411 	mul_x1_0, mul_x1_1, mul_x1_2, mul_x1_3, mul_x1_4, mul_x1_5,
412 	mul_x1_6, mul_x1_7, mul_x1_8, mul_x1_9, mul_x1_10, mul_x1_11,
413 	mul_x1_12, mul_x1_13, mul_x1_14, mul_x1_15, mul_x1_16, mul_x1_17,
414 	mul_x1_18, mul_x1_19, mul_x1_20, mul_x1_21, mul_x1_22, mul_x1_23,
415 	mul_x1_24, mul_x1_25, mul_x1_26, mul_x1_27, mul_x1_28, mul_x1_29,
416 	mul_x1_30, mul_x1_31, mul_x1_32, mul_x1_33, mul_x1_34, mul_x1_35,
417 	mul_x1_36, mul_x1_37, mul_x1_38, mul_x1_39, mul_x1_40, mul_x1_41,
418 	mul_x1_42, mul_x1_43, mul_x1_44, mul_x1_45, mul_x1_46, mul_x1_47,
419 	mul_x1_48, mul_x1_49, mul_x1_50, mul_x1_51, mul_x1_52, mul_x1_53,
420 	mul_x1_54, mul_x1_55, mul_x1_56, mul_x1_57, mul_x1_58, mul_x1_59,
421 	mul_x1_60, mul_x1_61, mul_x1_62, mul_x1_63, mul_x1_64, mul_x1_65,
422 	mul_x1_66, mul_x1_67, mul_x1_68, mul_x1_69, mul_x1_70, mul_x1_71,
423 	mul_x1_72, mul_x1_73, mul_x1_74, mul_x1_75, mul_x1_76, mul_x1_77,
424 	mul_x1_78, mul_x1_79, mul_x1_80, mul_x1_81, mul_x1_82, mul_x1_83,
425 	mul_x1_84, mul_x1_85, mul_x1_86, mul_x1_87, mul_x1_88, mul_x1_89,
426 	mul_x1_90, mul_x1_91, mul_x1_92, mul_x1_93, mul_x1_94, mul_x1_95,
427 	mul_x1_96, mul_x1_97, mul_x1_98, mul_x1_99, mul_x1_100, mul_x1_101,
428 	mul_x1_102, mul_x1_103, mul_x1_104, mul_x1_105, mul_x1_106, mul_x1_107,
429 	mul_x1_108, mul_x1_109, mul_x1_110, mul_x1_111, mul_x1_112, mul_x1_113,
430 	mul_x1_114, mul_x1_115, mul_x1_116, mul_x1_117, mul_x1_118, mul_x1_119,
431 	mul_x1_120, mul_x1_121, mul_x1_122, mul_x1_123, mul_x1_124, mul_x1_125,
432 	mul_x1_126, mul_x1_127, mul_x1_128, mul_x1_129, mul_x1_130, mul_x1_131,
433 	mul_x1_132, mul_x1_133, mul_x1_134, mul_x1_135, mul_x1_136, mul_x1_137,
434 	mul_x1_138, mul_x1_139, mul_x1_140, mul_x1_141, mul_x1_142, mul_x1_143,
435 	mul_x1_144, mul_x1_145, mul_x1_146, mul_x1_147, mul_x1_148, mul_x1_149,
436 	mul_x1_150, mul_x1_151, mul_x1_152, mul_x1_153, mul_x1_154, mul_x1_155,
437 	mul_x1_156, mul_x1_157, mul_x1_158, mul_x1_159, mul_x1_160, mul_x1_161,
438 	mul_x1_162, mul_x1_163, mul_x1_164, mul_x1_165, mul_x1_166, mul_x1_167,
439 	mul_x1_168, mul_x1_169, mul_x1_170, mul_x1_171, mul_x1_172, mul_x1_173,
440 	mul_x1_174, mul_x1_175, mul_x1_176, mul_x1_177, mul_x1_178, mul_x1_179,
441 	mul_x1_180, mul_x1_181, mul_x1_182, mul_x1_183, mul_x1_184, mul_x1_185,
442 	mul_x1_186, mul_x1_187, mul_x1_188, mul_x1_189, mul_x1_190, mul_x1_191,
443 	mul_x1_192, mul_x1_193, mul_x1_194, mul_x1_195, mul_x1_196, mul_x1_197,
444 	mul_x1_198, mul_x1_199, mul_x1_200, mul_x1_201, mul_x1_202, mul_x1_203,
445 	mul_x1_204, mul_x1_205, mul_x1_206, mul_x1_207, mul_x1_208, mul_x1_209,
446 	mul_x1_210, mul_x1_211, mul_x1_212, mul_x1_213, mul_x1_214, mul_x1_215,
447 	mul_x1_216, mul_x1_217, mul_x1_218, mul_x1_219, mul_x1_220, mul_x1_221,
448 	mul_x1_222, mul_x1_223, mul_x1_224, mul_x1_225, mul_x1_226, mul_x1_227,
449 	mul_x1_228, mul_x1_229, mul_x1_230, mul_x1_231, mul_x1_232, mul_x1_233,
450 	mul_x1_234, mul_x1_235, mul_x1_236, mul_x1_237, mul_x1_238, mul_x1_239,
451 	mul_x1_240, mul_x1_241, mul_x1_242, mul_x1_243, mul_x1_244, mul_x1_245,
452 	mul_x1_246, mul_x1_247, mul_x1_248, mul_x1_249, mul_x1_250, mul_x1_251,
453 	mul_x1_252, mul_x1_253, mul_x1_254, mul_x1_255
454 };
455 
456 static const mul_fn_ptr_t __attribute__((aligned(256)))
457 gf_x2_mul_fns[256] = {
458 	mul_x2_0, mul_x2_1, mul_x2_2, mul_x2_3, mul_x2_4, mul_x2_5,
459 	mul_x2_6, mul_x2_7, mul_x2_8, mul_x2_9, mul_x2_10, mul_x2_11,
460 	mul_x2_12, mul_x2_13, mul_x2_14, mul_x2_15, mul_x2_16, mul_x2_17,
461 	mul_x2_18, mul_x2_19, mul_x2_20, mul_x2_21, mul_x2_22, mul_x2_23,
462 	mul_x2_24, mul_x2_25, mul_x2_26, mul_x2_27, mul_x2_28, mul_x2_29,
463 	mul_x2_30, mul_x2_31, mul_x2_32, mul_x2_33, mul_x2_34, mul_x2_35,
464 	mul_x2_36, mul_x2_37, mul_x2_38, mul_x2_39, mul_x2_40, mul_x2_41,
465 	mul_x2_42, mul_x2_43, mul_x2_44, mul_x2_45, mul_x2_46, mul_x2_47,
466 	mul_x2_48, mul_x2_49, mul_x2_50, mul_x2_51, mul_x2_52, mul_x2_53,
467 	mul_x2_54, mul_x2_55, mul_x2_56, mul_x2_57, mul_x2_58, mul_x2_59,
468 	mul_x2_60, mul_x2_61, mul_x2_62, mul_x2_63, mul_x2_64, mul_x2_65,
469 	mul_x2_66, mul_x2_67, mul_x2_68, mul_x2_69, mul_x2_70, mul_x2_71,
470 	mul_x2_72, mul_x2_73, mul_x2_74, mul_x2_75, mul_x2_76, mul_x2_77,
471 	mul_x2_78, mul_x2_79, mul_x2_80, mul_x2_81, mul_x2_82, mul_x2_83,
472 	mul_x2_84, mul_x2_85, mul_x2_86, mul_x2_87, mul_x2_88, mul_x2_89,
473 	mul_x2_90, mul_x2_91, mul_x2_92, mul_x2_93, mul_x2_94, mul_x2_95,
474 	mul_x2_96, mul_x2_97, mul_x2_98, mul_x2_99, mul_x2_100, mul_x2_101,
475 	mul_x2_102, mul_x2_103, mul_x2_104, mul_x2_105, mul_x2_106, mul_x2_107,
476 	mul_x2_108, mul_x2_109, mul_x2_110, mul_x2_111, mul_x2_112, mul_x2_113,
477 	mul_x2_114, mul_x2_115, mul_x2_116, mul_x2_117, mul_x2_118, mul_x2_119,
478 	mul_x2_120, mul_x2_121, mul_x2_122, mul_x2_123, mul_x2_124, mul_x2_125,
479 	mul_x2_126, mul_x2_127, mul_x2_128, mul_x2_129, mul_x2_130, mul_x2_131,
480 	mul_x2_132, mul_x2_133, mul_x2_134, mul_x2_135, mul_x2_136, mul_x2_137,
481 	mul_x2_138, mul_x2_139, mul_x2_140, mul_x2_141, mul_x2_142, mul_x2_143,
482 	mul_x2_144, mul_x2_145, mul_x2_146, mul_x2_147, mul_x2_148, mul_x2_149,
483 	mul_x2_150, mul_x2_151, mul_x2_152, mul_x2_153, mul_x2_154, mul_x2_155,
484 	mul_x2_156, mul_x2_157, mul_x2_158, mul_x2_159, mul_x2_160, mul_x2_161,
485 	mul_x2_162, mul_x2_163, mul_x2_164, mul_x2_165, mul_x2_166, mul_x2_167,
486 	mul_x2_168, mul_x2_169, mul_x2_170, mul_x2_171, mul_x2_172, mul_x2_173,
487 	mul_x2_174, mul_x2_175, mul_x2_176, mul_x2_177, mul_x2_178, mul_x2_179,
488 	mul_x2_180, mul_x2_181, mul_x2_182, mul_x2_183, mul_x2_184, mul_x2_185,
489 	mul_x2_186, mul_x2_187, mul_x2_188, mul_x2_189, mul_x2_190, mul_x2_191,
490 	mul_x2_192, mul_x2_193, mul_x2_194, mul_x2_195, mul_x2_196, mul_x2_197,
491 	mul_x2_198, mul_x2_199, mul_x2_200, mul_x2_201, mul_x2_202, mul_x2_203,
492 	mul_x2_204, mul_x2_205, mul_x2_206, mul_x2_207, mul_x2_208, mul_x2_209,
493 	mul_x2_210, mul_x2_211, mul_x2_212, mul_x2_213, mul_x2_214, mul_x2_215,
494 	mul_x2_216, mul_x2_217, mul_x2_218, mul_x2_219, mul_x2_220, mul_x2_221,
495 	mul_x2_222, mul_x2_223, mul_x2_224, mul_x2_225, mul_x2_226, mul_x2_227,
496 	mul_x2_228, mul_x2_229, mul_x2_230, mul_x2_231, mul_x2_232, mul_x2_233,
497 	mul_x2_234, mul_x2_235, mul_x2_236, mul_x2_237, mul_x2_238, mul_x2_239,
498 	mul_x2_240, mul_x2_241, mul_x2_242, mul_x2_243, mul_x2_244, mul_x2_245,
499 	mul_x2_246, mul_x2_247, mul_x2_248, mul_x2_249, mul_x2_250, mul_x2_251,
500 	mul_x2_252, mul_x2_253, mul_x2_254, mul_x2_255
501 };
502 
503 #define	MUL(c, r...) 							\
504 {									\
505 	switch (REG_CNT(r)) {						\
506 	case 2:								\
507 		COPY(r, _mul_x2_in);					\
508 		gf_x2_mul_fns[c]();					\
509 		COPY(_mul_x2_acc, r);					\
510 		break;							\
511 	case 1:								\
512 		COPY(r, _mul_x1_in);					\
513 		gf_x1_mul_fns[c]();					\
514 		COPY(_mul_x1_acc, r);					\
515 		break;							\
516 	default:							\
517 		VERIFY(0);						\
518 	}								\
519 }
520 
521 
522 #define	raidz_math_begin()	kfpu_begin()
523 #define	raidz_math_end()	kfpu_end()
524 
525 #define	SYN_STRIDE		4
526 
527 #define	ZERO_STRIDE		4
528 #define	ZERO_DEFINE()		{}
529 #define	ZERO_D			0, 1, 2, 3
530 
531 #define	COPY_STRIDE		4
532 #define	COPY_DEFINE()		{}
533 #define	COPY_D			0, 1, 2, 3
534 
535 #define	ADD_STRIDE		4
536 #define	ADD_DEFINE()		{}
537 #define	ADD_D 			0, 1, 2, 3
538 
539 #define	MUL_STRIDE		2
540 #define	MUL_DEFINE() 		MUL2_SETUP()
541 #define	MUL_D			0, 1
542 
543 #define	GEN_P_STRIDE		4
544 #define	GEN_P_DEFINE()		{}
545 #define	GEN_P_P			0, 1, 2, 3
546 
547 #define	GEN_PQ_STRIDE		4
548 #define	GEN_PQ_DEFINE() 	{}
549 #define	GEN_PQ_D		0, 1, 2, 3
550 #define	GEN_PQ_C		4, 5, 6, 7
551 
552 #define	GEN_PQR_STRIDE		4
553 #define	GEN_PQR_DEFINE() 	{}
554 #define	GEN_PQR_D		0, 1, 2, 3
555 #define	GEN_PQR_C		4, 5, 6, 7
556 
557 #define	SYN_Q_DEFINE()		{}
558 #define	SYN_Q_D			0, 1, 2, 3
559 #define	SYN_Q_X			4, 5, 6, 7
560 
561 #define	SYN_R_DEFINE()		{}
562 #define	SYN_R_D			0, 1, 2, 3
563 #define	SYN_R_X			4, 5, 6, 7
564 
565 #define	SYN_PQ_DEFINE() 	{}
566 #define	SYN_PQ_D		0, 1, 2, 3
567 #define	SYN_PQ_X		4, 5, 6, 7
568 
569 #define	REC_PQ_STRIDE		2
570 #define	REC_PQ_DEFINE() 	MUL2_SETUP()
571 #define	REC_PQ_X		0, 1
572 #define	REC_PQ_Y		2, 3
573 #define	REC_PQ_T		4, 5
574 
575 #define	SYN_PR_DEFINE() 	{}
576 #define	SYN_PR_D		0, 1, 2, 3
577 #define	SYN_PR_X		4, 5, 6, 7
578 
579 #define	REC_PR_STRIDE		2
580 #define	REC_PR_DEFINE() 	MUL2_SETUP()
581 #define	REC_PR_X		0, 1
582 #define	REC_PR_Y		2, 3
583 #define	REC_PR_T		4, 5
584 
585 #define	SYN_QR_DEFINE() 	{}
586 #define	SYN_QR_D		0, 1, 2, 3
587 #define	SYN_QR_X		4, 5, 6, 7
588 
589 #define	REC_QR_STRIDE		2
590 #define	REC_QR_DEFINE() 	MUL2_SETUP()
591 #define	REC_QR_X		0, 1
592 #define	REC_QR_Y		2, 3
593 #define	REC_QR_T		4, 5
594 
595 #define	SYN_PQR_DEFINE() 	{}
596 #define	SYN_PQR_D		0, 1, 2, 3
597 #define	SYN_PQR_X		4, 5, 6, 7
598 
599 #define	REC_PQR_STRIDE		1
600 #define	REC_PQR_DEFINE() 	MUL2_SETUP()
601 #define	REC_PQR_X		0
602 #define	REC_PQR_Y		1
603 #define	REC_PQR_Z		2
604 #define	REC_PQR_XS		3
605 #define	REC_PQR_YS		4
606 
607 
608 #include <sys/vdev_raidz_impl.h>
609 #include "vdev_raidz_math_impl.h"
610 
611 DEFINE_GEN_METHODS(sse2);
612 DEFINE_REC_METHODS(sse2);
613 
614 static boolean_t
raidz_will_sse2_work(void)615 raidz_will_sse2_work(void)
616 {
617 	return (kfpu_allowed() && zfs_sse_available() && zfs_sse2_available());
618 }
619 
620 const raidz_impl_ops_t vdev_raidz_sse2_impl = {
621 	.init = NULL,
622 	.fini = NULL,
623 	.gen = RAIDZ_GEN_METHODS(sse2),
624 	.rec = RAIDZ_REC_METHODS(sse2),
625 	.is_supported = &raidz_will_sse2_work,
626 	.name = "sse2"
627 };
628 
629 #elif defined(__i386)
630 
631 /* 32-bit stub for user-level fakekernel dependencies */
632 #include <sys/vdev_raidz_impl.h>
633 const raidz_impl_ops_t vdev_raidz_sse2_impl = {
634 	.init = NULL,
635 	.fini = NULL,
636 	.gen = NULL,
637 	.rec = NULL,
638 	.is_supported = NULL,
639 	.name = "avx2"
640 };
641 
642 #endif /* defined(__amd64) */
643