All tracked LLMs
53 open-weight models with benchmarks and hardware requirements.
- Kimi K2.6Moonshot AI · 1000B params · 250k context · KimiMMLU-Pro —
- DeepSeek V3 671BDeepSeek · 671B params · 125k context · MITMMLU-Pro 75.9
- DeepSeek R1 671BDeepSeek · 671B params · 125k context · MITMMLU-Pro —
- Llama 3.1 405B InstructMeta · 405B params · 125k context · Llama 3.1 CommunityMMLU-Pro 73.3
- Llama 4 Maverick 400BMeta · 400B params · 977k context · Llama 4 CommunityMMLU-Pro 79.0
- Qwen3 235B-A22B (MoE)Alibaba · 235B params · 128k context · Apache 2.0MMLU-Pro —
- Mixtral 8x22B Instruct v0.1Mistral AI · 141B params · 64k context · Apache 2.0MMLU-Pro 40.0
- Qwen 3.5 122B-A10B (MoE)Alibaba · 122B params · 256k context · Apache 2.0MMLU-Pro —
- Llama 4 Scout 109BMeta · 109B params · 9766k context · Llama 4 CommunityMMLU-Pro 70.0
- Qwen 2.5 72B InstructAlibaba · 72B params · 125k context · QwenMMLU-Pro 58.1
- Llama 3.3 70B InstructMeta · 70B params · 125k context · Llama 3.3 CommunityMMLU-Pro 68.9
- DeepSeek R1 Distill Llama 70BDeepSeek · 70B params · 125k context · MITMMLU-Pro 70.0
- Llama 3.1 70B InstructMeta · 70B params · 125k context · Llama 3.1 CommunityMMLU-Pro 66.4
- Mixtral 8x7B Instruct v0.1Mistral AI · 46.7B params · 32k context · Apache 2.0MMLU-Pro 29.7
- Command-R 35BCohere · 35B params · 125k context · CC-BY-NC 4.0MMLU-Pro 33.0
- Qwen 3.5 35B-A3B (MoE)Alibaba · 35B params · 256k context · Apache 2.0MMLU-Pro —
- Yi 1.5 34B Chat01.AI · 34.4B params · 32k context · Apache 2.0MMLU-Pro 37.0
- Qwen3 32BAlibaba · 32.8B params · 128k context · Apache 2.0MMLU-Pro —
- Qwen 2.5 32B InstructAlibaba · 32.5B params · 125k context · Apache 2.0MMLU-Pro 55.1
- Qwen 2.5 Coder 32B InstructAlibaba · 32.5B params · 125k context · Apache 2.0MMLU-Pro 50.4
- DeepSeek R1 Distill Qwen 32BDeepSeek · 32.5B params · 125k context · MITMMLU-Pro 65.0
- Gemma 4 31BGoogle · 31B params · 250k context · Apache 2.0MMLU-Pro —
- Qwen3 30B-A3B (MoE)Alibaba · 30B params · 128k context · Apache 2.0MMLU-Pro —
- Gemma 2 27B InstructGoogle · 27.2B params · 8k context · GemmaMMLU-Pro 38.0
- Gemma 3 27B InstructGoogle · 27B params · 128k context · GemmaMMLU-Pro —
- Qwen 3.6 27BAlibaba · 27B params · 256k context · Apache 2.0MMLU-Pro —
- Gemma 4 26B (MoE)Google · 26B params · 250k context · Apache 2.0MMLU-Pro —
- Mistral Small 3.1 24B InstructMistral AI · 24B params · 128k context · Apache 2.0MMLU-Pro —
- Mistral Small 22BMistral AI · 22.2B params · 32k context · Mistral ResearchMMLU-Pro 49.2
- Qwen3 14BAlibaba · 14.8B params · 128k context · Apache 2.0MMLU-Pro —
- Qwen 2.5 14B InstructAlibaba · 14.7B params · 125k context · Apache 2.0MMLU-Pro 51.2
- Phi-4 14B InstructMicrosoft · 14B params · 16k context · MITMMLU-Pro 56.1
- Mistral Nemo 12B InstructMistral AI · 12.2B params · 125k context · Apache 2.0MMLU-Pro 35.6
- Gemma 3 12B InstructGoogle · 12.2B params · 128k context · GemmaMMLU-Pro —
- Gemma 2 9B InstructGoogle · 9.2B params · 8k context · GemmaMMLU-Pro 32.0
- Llama 3.1 8B InstructMeta · 8B params · 125k context · Llama 3.1 CommunityMMLU-Pro 37.5
- DeepSeek R1 Distill Llama 8BDeepSeek · 8B params · 125k context · MITMMLU-Pro 41.0
- Qwen3 8BAlibaba · 8B params · 128k context · Apache 2.0MMLU-Pro —
- Qwen 2.5 7B InstructAlibaba · 7.6B params · 125k context · Apache 2.0MMLU-Pro 36.5
- Mistral 7B Instruct v0.3Mistral AI · 7.25B params · 32k context · Apache 2.0MMLU-Pro 30.0
- Gemma 3 4B InstructGoogle · 4B params · 128k context · GemmaMMLU-Pro —
- Gemma 4 E4BGoogle · 4B params · 125k context · Apache 2.0MMLU-Pro —
- Phi-3.5 Mini InstructMicrosoft · 3.8B params · 125k context · MITMMLU-Pro 35.6
- Llama 3.2 3B InstructMeta · 3.2B params · 125k context · Llama 3.2 CommunityMMLU-Pro 24.0
- Qwen 2.5 3B InstructAlibaba · 3.1B params · 32k context · Qwen ResearchMMLU-Pro 32.4
- Gemma 2 2B InstructGoogle · 2.6B params · 8k context · GemmaMMLU-Pro 17.8
- Gemma 4 E2BGoogle · 2B params · 125k context · Apache 2.0MMLU-Pro —
- SmolLM2 1.7B InstructHugging Face · 1.7B params · 8k context · Apache 2.0MMLU-Pro 19.0
- Qwen 2.5 1.5B InstructAlibaba · 1.5B params · 32k context · Apache 2.0MMLU-Pro 16.8
- Llama 3.2 1B InstructMeta · 1.24B params · 125k context · Llama 3.2 CommunityMMLU-Pro 12.5
- Gemma 3 1B InstructGoogle · 1B params · 32k context · GemmaMMLU-Pro —
- Qwen 2.5 0.5B InstructAlibaba · 0.5B params · 32k context · Apache 2.0MMLU-Pro 10.0
- SmolLM2 360M InstructHugging Face · 0.36B params · 8k context · Apache 2.0MMLU-Pro 8.0