Benchmarking Transformers

	A	B	C	D	E	F	G	H	I	J	K	L	M	N	O	P	Q	R	S	T	U	V	W	X	Y	Z	AA	AE	AF	AG
1	Benchmarking models
2	Benchmarking models
3
4	MODEL	RoBERTa (`roberta-base`)																								Average	Average w/ comparison	High-level overview
5	BATCH SIZE	1						2						4						8								High-level overview
6	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024				All values	Average with OOM values removed
7	PT CPU	0.046	0.038	0.062	0.102	0.231	N/A	0.043	0.061	0.091	0.184	0.393	N/A	0.043	0.088	0.169	0.331	0.696	N/A	0.038	0.166	0.298	0.615	1.368	N/A	0.25315	0.25315	PyTorch CPU Average inference time (s)	1.339	0.748
8	PT CPU + TorchScript	0.037	0.033	0.059	0.096	0.251	N/A	0.042	0.058	0.089	0.181	0.404	N/A	0.039	0.09	0.167	0.343	0.691	N/A	0.032	0.159	0.324	0.691	1.61	N/A	0.2698	0.2698	PyTorch CPU + TorchScript Average inference time (s)	0.768	0.625
9	PT GPU	0.015	0.016	0.016	0.016	0.016	N/A	0.015	0.017	0.016	0.016	0.023	N/A	0.015	0.016	0.016	0.02	0.037	N/A	0.015	0.016	0.021	0.034	0.064	N/A	0.021	0.021	PyTorch GPU Average inference time (s)	0.046	0.046
10	PT GPU + TorchScript	0.009	0.01	0.01	0.009	0.014	N/A	0.009	0.01	0.009	0.012	0.022	N/A	0.01	0.009	0.011	0.02	0.043	N/A	0.01	0.011	0.019	0.039	0.08	N/A	0.0183	0.0183	PyTorch GPU + TorchScript Average inference time (s)	0.036	0.036
11	TF CPU	0.027	0.073	0.098	0.146	0.249	N/A	0.031	0.093	0.131	0.210	0.458	N/A	0.055	0.138	0.197	0.352	1.048	N/A	0.072	0.188	0.312	0.64	2.22	N/A	0.337	0.337	TensorFlow CPU Average inference time (s)	1.359	0.823
12	TF GPU	0.008	0.006	0.006	0.008	0.016	N/A	0.006	0.006	0.007	0.014	0.027	N/A	0.006	0.007	0.014	0.024	0.049	N/A	0.007	0.013	0.023	0.045	0.094	N/A	0.019	0.019	TensorFlow GPU Average inference time (s)	0.074	0.043
13	TF GPU + XLA	0.0043	0.0043	0.0050	0.0073	0.0132	N/A	0.0037	0.0049	0.0071	0.0118	0.0219	N/A	0.0035	0.0069	0.0111	0.0192	0.0394	N/A	0.0041	0.0113	0.0184	0.0350	0.074	N/A	0.0153	0.0153	TensorFlow GPU + XLA Average inference time (s)	0.049	0.035
14
15	MODEL	GPT-2 (`gpt2`)																								Average	Average w/ comparison
16	BATCH SIZE	1						2						4						8
17	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
18	PT CPU	0.039	0.039	0.067	0.108	0.247	0.593	0.039	0.063	0.099	0.21	0.418	1.104	0.034	0.094	0.186	0.382	0.785	2.033	0.038	0.179	0.326	0.687	1.578	4.113	0.560875	0.4064347826
19	PT CPU + TorchScript	0.046	0.058	0.12	0.131	0.285	0.798	0.046	0.076	0.119	0.277	0.492	1.321	0.04	0.11	0.206	0.502	1.138	3.578	0.108	0.251	0.442	0.962	2.687	4.888	0.778375	0.5996956522
20	PT GPU	0.016	0.016	0.016	0.016	0.016	0.027	0.016	0.016	0.016	0.016	0.022	0.047	0.016	0.016	0.016	0.02	0.038	0.085	0.016	0.016	0.02	0.035	0.068	N/A	0.02547826087	0.02547826087
21	PT GPU + TorchScript	0.009	0.009	0.01	0.009	0.013	0.027	0.009	0.01	0.009	0.011	0.022	0.054	0.01	0.009	0.011	0.02	0.043	0.104	0.009	0.011	0.019	0.039	0.085	N/A	0.024	0.024
22	TF CPU	0.0290	0.080	0.104	0.156	0.265	0.70	0.036	0.102	0.139	0.224	0.47	1.38	0.063	0.132	0.202	0.37	1.04	2.76	0.077	0.192	0.33	0.68	2.31	5.5	0.7213	0.5144
23	TF GPU	0.008	0.006	0.006	0.008	0.017	0.037	0.006	0.006	0.008	0.015	0.030	0.069	0.006	0.008	0.014	0.027	0.055	0.131	0.007	0.014	0.025	0.049	0.104	0.251	0.038	0.028
24	TF GPU + XLA	0.003	0.004	0.005	0.007	0.013	0.029	0.003	0.005	0.007	0.012	0.023	0.054	0.003	0.007	0.011	0.021	0.042	0.101	0.004	0.011	0.020	0.037	0.079	0.195	0.029	0.022
25
26	MODEL	BERT (`bert-base-cased`)																								Average	Average w/ comparison
27	BATCH SIZE	1						2						4						8
28	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
29	PT CPU	0.044	0.037	0.06	0.094	0.194	N/A	0.041	0.058	0.088	0.176	0.36	N/A	0.041	0.086	0.172	0.329	0.68	N/A	0.037	0.167	0.299	0.635	1.37	N/A	0.2484	0.2484
30	PT CPU + TorchScript	0.052	0.037	0.064	0.089	0.202	N/A	0.04	0.058	0.084	0.23	0.352	N/A	0.04	0.08	0.167	0.322	0.637	N/A	0.032	0.161	0.283	0.621	1.406	N/A	0.24785	0.24785
31	PT GPU	0.015	0.016	0.016	0.015	0.015	N/A	0.015	0.015	0.015	0.015	0.021	N/A	0.015	0.015	0.015	0.02	0.037	N/A	0.016	0.016	0.019	0.033	0.063	N/A	0.02035	0.02035
32	PT GPU + TorchScript	0.008	0.009	0.009	0.009	0.014	N/A	0.009	0.009	0.011	0.012	0.022	N/A	0.009	0.009	0.011	0.02	0.04	N/A	0.009	0.011	0.02	0.038	0.081	N/A	0.018	0.018
33	TF CPU	0.026	0.073	0.095	0.148	0.239	N/A	0.031	0.089	0.124	0.204	0.411	N/A	0.053	0.120	0.186	0.348	0.942	N/A	0.069	0.178	0.306	0.614	2.132	N/A	0.319	0.319
34	TF GPU	0.008	0.007	0.007	0.008	0.016	N/A	0.007	0.007	0.007	0.015	0.027	N/A	0.007	0.007	0.014	0.025	0.050	N/A	0.007	0.013	0.023	0.045	0.095	N/A	0.020	0.020
35	TF GPU + XLA	0.0036	0.0040	0.0051	0.0074	0.0132	N/A	0.0037	0.0050	0.0074	0.0118	0.0219	N/A	0.0037	0.0070	0.0110	0.0194	0.0395	N/A	0.0038	0.0108	0.0185	0.0348	0.0739	N/A	0.0153	0.0153
36
37	MODEL	XLNet (`xlnet-base-cased`)																								Average	Average w/ comparison
38	BATCH SIZE	1						2						4						8
39	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
40	PT CPU	0.047	0.068	0.105	0.242	0.824	4.016	0.043	0.101	0.194	0.432	1.693	8.883	0.035	0.163	0.343	0.792	3.596	4.36	0.045	0.292	0.604	1.673	2.661	10.404	1.734	1.357043478
41	PT CPU + TorchScript	0.042	0.064	0.105	0.223	0.812	4.143	0.041	0.092	0.194	0.425	1.673	9.512	0.031	0.153	0.33	0.793	3.722	6.072	0.043	0.284	0.589	1.656	3.665	10.285	1.872875	1.507130435
42	PT GPU	0.022	0.024	0.023	0.024	0.026	0.078	0.022	0.023	0.022	0.022	0.048	0.199	0.023	0.024	0.024	0.035	0.112	0.462	0.023	0.024	0.032	0.074	0.268	N/A	0.071	0.071
43	PT GPU + TorchScript	0.016	0.017	0.016	0.016	0.023	0.071	0.016	0.018	0.018	0.018	0.044	0.187	0.016	0.018	0.018	0.031	0.104	0.439	0.016	0.019	0.027	0.067	0.252	N/A	0.064	0.064
44	TF CPU	0.037	0.093	0.125	0.200	0.360	1.230	0.047	0.141	0.169	0.306	0.847	2.624	0.072	0.159	0.255	0.55	2.58	6.4	0.088	0.242	0.43	1.32	4.2	11.5	1.418	0.979
45	TF GPU	0.009	0.009	0.009	0.012	0.029	0.074	0.009	0.009	0.010	0.021	0.042	0.109	0.009	0.010	0.018	0.035	0.082	0.224	0.009	0.017	0.032	0.065	0.162	0.519	0.064	0.044
46	TF GPU + XLA	0.0049	0.0059	0.0070	0.0096	0.0169	0.0348	0.0053	0.0073	0.0094	0.0150	0.0278	0.0650	0.0054	0.0108	0.0149	0.0253	0.0518	0.1225	0.0068	0.0144	0.0241	0.0446	0.0965	0.2374	0.0360	0.0272
47
48	MODEL	XLM (`xlm-mlm-en-2048`)																								Average	Average w/ comparison
49	BATCH SIZE	1						2						4						8
50	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
51	PT CPU	0.103	0.157	0.292	0.486	0.954	N/A	0.098	0.295	0.486	0.937	1.791	N/A	0.096	0.465	0.86	1.742	3.345	N/A	0.156	0.86	1.678	3.181	6.791	N/A	1.23865	0.9464210526
52	PT CPU + TorchScript	0.094	0.156	0.282	0.479	0.931	N/A	0.097	0.279	0.466	0.893	1.836	N/A	0.089	0.461	0.908	1.776	3.756	N/A	0.151	0.875	1.87	3.214	7.909	N/A	1.3261	0.9796315789
53	PT GPU	0.017	0.017	0.017	0.025	0.042	N/A	0.018	0.017	0.024	0.042	0.079	N/A	0.017	0.024	0.041	0.076	0.15	N/A	0.017	0.041	0.077	0.148	N/A	N/A	0.04678947368	0.04678947368
54	PT GPU + TorchScript	0.011	0.011	0.015	0.027	0.053	N/A	0.011	0.015	0.027	0.053	0.107	N/A	0.01	0.027	0.052	0.104	0.214	N/A	0.011	0.052	0.103	0.289	N/A	N/A	0.06273684211	0.06273684211
55	TF CPU	0.102	0.245	0.346	0.596	1.052	N/A	0.137	0.331	0.55	1.03	2.09	N/A	0.207	0.55	0.95	2.00	4.2	N/A	0.238	0.92	1.68	3.9	8.2	N/A	1.461	1.108
56	TF GPU	0.007	0.011	0.016	0.030	0.060	N/A	0.007	0.018	0.031	0.058	0.113	N/A	0.007	0.030	0.057	0.110	0.220	N/A	0.010	0.056	0.108	0.213	0.436	N/A	0.080	0.061
57	TF GPU + XLA	0.0076	0.0116	0.0169	0.0289	0.055	N/A	0.0087	0.0180	0.0289	0.053	0.102	N/A	0.0091	0.0291	0.052	0.098	0.199	N/A	0.0119	0.051	0.096	0.192	0.38	N/A	0.0726	0.0563
58
59	MODEL	Transformer-XL (`transfo-xl-wt103`)																								Average	Average w/ comparison
60	BATCH SIZE	1						2						4						8
61	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
62	PT CPU	0.445	0.561	0.722	1.08	1.99	4.29	0.799	1.05	1.39	2.22	4.13	10.0	1.39	1.90	2.66	4.51	9.47	23.0	2.639	3.717	5.46	10.6	21.0	52.1	6.965125	2.274388889
63	PT CPU + TorchScript	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A
64	PT GPU	0.04	0.042	0.049	0.07	0.117	0.245	0.055	0.062	0.084	0.129	0.243	N/A	0.083	0.102	0.144	0.227	N/A	N/A	0.168	0.228	0.32	N/A	N/A	N/A	0.1337777778	0.1337777778
65	PT GPU + TorchScript	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A
66	TF CPU	0.43	0.62	0.75	1.04	2.47	4.9	0.71	1.04	1.34	2.61	4.8	9.7	1.24	1.92	3.18	5.1	9.3	19.3	2.54	4.7	6.8	10.6	18.8	41	6.44	2.56
67	TF GPU	0.032	0.038	0.046	0.063	0.107	0.227	0.049	0.060	0.078	0.125	0.225	0.488	0.078	0.104	0.147	0.237	0.448	1.037	0.142	0.196	0.290	0.520	1.148	2.892	0.366	0.125
68	TF GPU + XLA	0.029	0.032	0.038	0.049	0.074	0.137	0.044	0.051	0.067	0.083	0.134	0.253	0.075	0.088	0.119	0.154	0.252	0.497	0.139	0.167	0.230	0.301	0.500	0.975	0.187	0.095
69
70	MODEL	GPT (`openai-gpt`)																								Average	Average w/ comparison
71	BATCH SIZE	1						2						4						8
72	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
73	PT CPU	0.038	0.037	0.06	0.098	0.212	N/A	0.037	0.058	0.093	0.188	0.381	N/A	0.031	0.091	0.177	0.342	0.744	N/A	0.037	0.174	0.321	0.667	1.447	N/A	0.26165	0.26165
74	PT CPU + TorchScript	0.038	0.034	0.057	0.093	0.218	N/A	0.034	0.054	0.091	0.193	0.396	N/A	0.029	0.085	0.179	0.343	0.774	N/A	0.033	0.171	0.339	0.691	0.774	N/A	0.2313	0.2313
75	PT GPU	0.0160	0.0162	0.0159	0.0159	0.0169	N/A	0.0185	0.0179	0.0180	0.0184	0.0253	N/A	0.0182	0.0183	0.0185	0.0229	0.0489	N/A	0.0182	0.0178	0.0215	0.0436	0.0936	N/A	0.0250	0.0250
76	PT GPU + TorchScript	0.009	0.009	0.009	0.009	0.012	N/A	0.009	0.009	0.009	0.011	0.022	N/A	0.009	0.009	0.012	0.02	0.043	N/A	0.009	0.011	0.0191	0.0341	0.083	N/A	0.01786	0.01786
77	TF CPU	0.029	0.082	0.109	0.168	0.279	N/A	0.036	0.108	0.157	0.242	0.528	N/A	0.065	0.144	0.231	0.375	1.152	N/A	0.085	0.214	0.345	0.701	2.405	N/A	0.373	0.373
78	TF GPU	0.008	0.005	0.005	0.008	0.017	N/A	0.005	0.005	0.008	0.015	0.029	N/A	0.005	0.008	0.014	0.026	0.054	N/A	0.005	0.014	0.025	0.048	0.103	N/A	0.020	0.020
79	TF GPU + XLA	0.003	0.003	0.005	0.007	0.013	N/A	0.003	0.005	0.007	0.011	0.023	N/A	0.003	0.007	0.011	0.020	0.041	N/A	0.004	0.011	0.019	0.036	0.078	N/A	0.015	0.015
80
81	MODEL	DistilBERT (`distilbert-base-uncased`)																								Average	Average w/ comparison
82	BATCH SIZE	1						2						4						8
83	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
84	PT CPU	0.02	0.02	0.032	0.053	0.117	N/A	0.021	0.033	0.049	0.099	0.216	N/A	0.022	0.045	0.09	0.177	0.395	N/A	0.019	0.085	0.16	0.335	0.786	N/A	0.1387	0.1387
85	PT CPU + TorchScript	0.022	0.017	0.035	0.054	0.117	N/A	0.021	0.039	0.05	0.098	0.209	N/A	0.02	0.045	0.089	0.187	0.408	N/A	0.017	0.082	0.166	0.357	0.896	N/A	0.14645	0.14645
86	PT GPU	0.008	0.008	0.008	0.008	0.008	N/A	0.008	0.008	0.008	0.008	0.011	N/A	0.008	0.008	0.008	0.01	0.018	N/A	0.008	0.008	0.01	0.017	0.031	N/A	0.01045	0.01045
87	PT GPU + TorchScript	0.006	0.005	0.005	0.005	0.007	N/A	0.005	0.005	0.005	0.006	0.011	N/A	0.005	0.005	0.006	0.01	0.021	N/A	0.005	0.006	0.01	0.02	0.04	N/A	0.0094	0.0094
88	TF CPU	0.0145	0.0381	0.0500	0.0755	0.1279	N/A	0.0162	0.0473	0.0674	0.1111	0.2344	N/A	0.0282	0.063	0.099	0.183	0.51	N/A	0.0355	0.094	0.154	0.317	1.08	N/A	0.1676	0.1676
89	TF GPU	0.0045	0.0029	0.0030	0.0040	0.0079	N/A	0.0028	0.0028	0.0038	0.0073	0.0130	N/A	0.0029	0.0037	0.0070	0.0120	0.0241	N/A	0.0028	0.0069	0.0115	0.0219	0.045	N/A	0.0095	0.0095
90	TF GPU + XLA	0.0020	0.0022	0.0026	0.0037	0.0065	N/A	0.0020	0.0025	0.0035	0.0059	0.0108	N/A	0.0020	0.0034	0.0056	0.0099	0.0199	N/A	0.0022	0.0056	0.0094	0.0177	0.037	N/A	0.0077	0.0077
91
92	MODEL	DistilGPT-2 (`distilgpt2`)																								Average	Average w/ comparison
93	BATCH SIZE	1						2						4						8
94	SEQUENCE LENGTH	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024	8	64	128	256	512	1024
95	PT CPU	0.025	0.02	0.031	0.052	0.115	0.256	0.019	0.03	0.048	0.102	0.203	0.51	0.016	0.047	0.092	0.178	0.386	0.901	0.019	0.088	0.161	0.347	0.725	1.75	0.255125	0.255125
96	PT CPU + TorchScript	0.02	0.023	0.034	0.054	0.116	0.271	0.018	0.029	0.049	0.102	0.231	0.628	0.015	0.043	0.087	0.178	0.403	1.46	0.018	0.089	0.163	0.378	1.12	2.51	0.335	0.335
97	PT GPU	0.007	0.008	0.008	0.008	0.008	0.016	0.008	0.008	0.008	0.008	0.013	0.031	0.007	0.008	0.008	0.011	0.025	0.060	0.008	0.008	0.011	0.022	0.047	0.117	0.019	0.019
98	PT GPU + TorchScript	0.006	0.005	0.005	0.005	0.006	0.014	0.005	0.005	0.005	0.006	0.011	0.027	0.005	0.005	0.006	0.01	0.022	0.052	0.006	0.006	0.009	0.019	0.042	0.102	0.016	0.016
99	TF CPU	0.0151	0.041	0.054	0.082	0.136	0.329	0.0182	0.052	0.071	0.126	0.237	0.69	0.0319	0.070	0.108	0.188	0.54	1.43	0.039	0.099	0.170	0.35	1.20	2.85	0.3721	0.3721
100	TF GPU	0.004	0.003	0.003	0.004	0.008	0.019	0.003	0.003	0.004	0.008	0.015	0.035	0.003	0.004	0.007	0.014	0.028	0.066	0.004	0.007	0.013	0.025	0.052	0.126	0.019	0.019