1 OpenAI
95.4
$600 200k 100.0 (84.7 % pass@1)
98.0 (71.7 % resolved)
93.7 (95.1 % pass@1)
83.0 (1409.1 Elo)
2 92.6
$120 2.0M 99.0 (84.3 % pass@1)
78.0 (63.8 % resolved)
95.5 (95.5 % pass@1)
100.0 (1459.9 Elo)
3 DeepSeek
79.7
$33 128k 99.2 (84.4 % pass@1)
41.0 (49.2 % resolved)
99.1 (96.3 % pass@1)
89.2 (1427.7 Elo)
4 75.4
$1,035 200k 54.5 (62.4 % pass@1)
100.0 (72.5 % resolved)
100.0 (96.5 % pass@1)
67.9 (1364.1 Elo)
5 65.6 30% cov.
$6 1.0M โ โ 68.0 (89.4 % pass@1)
64.4 (1353.8 Elo)
6 64.9
$207 200k 48.6 (59.4 % pass@1)
81.0 (65.0 % resolved)
93.2 (95.0 % pass@1)
59.0 (1337.6 Elo)
7 OpenAI
61.9 30% cov.
$180 128k โ โ 81.5 (92.4 % pass@1)
52.0 (1317.0 Elo)
8 OpenAI
61.3
$66 200k 71.3 (70.6 % pass@1)
41.3 (49.3 % resolved)
86.5 (93.5 % pass@1)
58.6 (1336.4 Elo)
9 Alibaba (Qwen)
59.9
$10 131k 91.1 (80.4 % pass@1)
5.1 (35.0 % resolved)
82.9 (92.7 % pass@1)
68.4 (1365.6 Elo)
10 OpenAI
56.5 60% cov.
$900 200k โ 40.3 (48.9 % resolved)
81.5 (92.4 % pass@1)
68.4 (1365.7 Elo)
11 xAI
53.1 30% cov.
$138 131k โ โ 63.5 (88.4 % pass@1)
47.9 (1304.5 Elo)
12 49.9 30% cov.
$75 2.0M โ โ 44.1 (84.1 % pass@1)
52.7 (1319.0 Elo)
13 Meta
49.3 30% cov.
$116 128k โ โ 66.2 (89.0 % pass@1)
40.8 (1283.6 Elo)
14 xAI
47.4 60% cov.
$207 1.0M โ 10.1 (37.0 % resolved)
77.5 (91.5 % pass@1)
88.2 (1424.7 Elo)
15 Meta
46.5 30% cov.
$29 128k โ โ 63.5 (88.4 % pass@1)
37.9 (1274.9 Elo)
16 44.1 30% cov.
$10 10.0M โ โ 52.7 (86.0 % pass@1)
39.8 (1280.5 Elo)
17 Mistral
42.7 30% cov.
$102 128k โ โ 58.1 (87.2 % pass@1)
35.0 (1266.0 Elo)
18 Alibaba (Qwen)
42.4 30% cov.
$30 131k โ โ 55.4 (86.6 % pass@1)
35.9 (1268.9 Elo)
19 Anthropic
41.6 30% cov.
$55 200k โ โ 62.2 (88.1 % pass@1)
31.3 (1255.2 Elo)
20 40.7
$207 200k 26.9 (48.7 % pass@1)
40.5 (49.0 % resolved)
87.4 (93.7 % pass@1)
45.5 (1297.4 Elo)
21 38.3 30% cov.
$1,035 200k โ โ 47.8 (84.9 % pass@1)
33.6 (1261.9 Elo)
22 DeepSeek
35.9
$16 128k 28.5 (49.6 % pass@1)
22.8 (42.0 % resolved)
62.2 (88.1 % pass@1)
57.2 (1332.4 Elo)
23 Meta
31.4 30% cov.
$29 128k โ โ 27.9 (80.5 % pass@1)
33.2 (1260.8 Elo)
24 27.9 30% cov.
$5 1.0M โ โ 0.0 (74.3 % pass@1)
41.8 (1286.5 Elo)
25 26.3 60% cov.
$14 1.0M โ 0.0 (33.0 % resolved)
73.4 (90.6 % pass@1)
42.2 (1287.6 Elo)
26 23.1
$150 128k 5.7 (38.3 % pass@1)
14.7 (38.8 % resolved)
71.6 (90.2 % pass@1)
46.5 (1300.3 Elo)
27 20.2 70% cov.
$9 128k 0.0 (35.5 % pass@1)
โ 58.1 (87.2 % pass@1)
41.8 (1286.3 Elo)
28 14.7 60% cov.
$510 128k 3.7 (37.3 % pass@1)
โ โ 36.8 (1271.6 Elo)
29 Mistral
2.0 30% cov.
$40 66k โ โ 5.9 (75.6 % pass@1)
0.0 (1161.9 Elo)
30 0.0 0% cov.
โ โ โ โ โ โ 31 0.0 0% cov.
โ โ โ โ โ โ 32 0.0 0% cov.
โ โ โ โ โ โ 33 0.0 0% cov.
โ โ โ โ โ โ 34 0.0 0% cov.
โ โ โ โ โ โ 35 0.0 0% cov.
โ โ โ โ โ โ 36 0.0 0% cov.
โ โ โ โ โ โ 37 0.0 0% cov.
โ โ โ โ โ โ 38 0.0 0% cov.
โ โ โ โ โ โ