All tracked GPUs
61 GPUs and Apple Silicon configurations. Click any to see which LLMs it can run.
datacenter
workstation
- NVIDIA RTX A600048 GB · 768 GB/s · cuda
- NVIDIA RTX 6000 Ada48 GB · 960 GB/s · cuda
- Apple M4 Ultra (384GB)384 GB · 1092 GB/s · metal
- Apple M4 Ultra (192GB)192 GB · 1092 GB/s · metal
- Apple M2 Ultra (384GB)384 GB · 800 GB/s · metal
- Apple M2 Ultra (192GB)192 GB · 800 GB/s · metal
- Apple M1 Ultra (128GB)128 GB · 800 GB/s · metal
- Apple M1 Ultra (64GB)64 GB · 800 GB/s · metal
consumer
- NVIDIA RTX 509032 GB · 1792 GB/s · cuda
- NVIDIA RTX 409024 GB · 1008 GB/s · cuda
- NVIDIA RTX 408016 GB · 717 GB/s · cuda
- NVIDIA RTX 4070 Ti12 GB · 504 GB/s · cuda
- NVIDIA RTX 407012 GB · 504 GB/s · cuda
- NVIDIA RTX 4060 Ti 16GB16 GB · 288 GB/s · cuda
- NVIDIA RTX 40608 GB · 272 GB/s · cuda
- NVIDIA RTX 309024 GB · 936 GB/s · cuda
- NVIDIA RTX 3090 Ti24 GB · 1008 GB/s · cuda
- NVIDIA RTX 3080 10GB10 GB · 760 GB/s · cuda
- NVIDIA RTX 3060 12GB12 GB · 360 GB/s · cuda
- AMD Radeon RX 7900 XTX24 GB · 960 GB/s · rocm
- AMD Radeon RX 7900 XT20 GB · 800 GB/s · rocm
- AMD Radeon RX 6800 XT16 GB · 512 GB/s · rocm
- Intel Arc A770 16GB16 GB · 560 GB/s · vulkan
laptop
- Apple M4 Max (128GB)128 GB · 546 GB/s · metal
- Apple M4 Max (96GB)96 GB · 546 GB/s · metal
- Apple M4 Max (64GB)64 GB · 546 GB/s · metal
- Apple M4 Max (48GB)48 GB · 546 GB/s · metal
- Apple M4 Pro (48GB)48 GB · 273 GB/s · metal
- Apple M4 Pro (24GB)24 GB · 273 GB/s · metal
- Apple M4 (32GB)32 GB · 120 GB/s · metal
- Apple M4 (16GB)16 GB · 120 GB/s · metal
- Apple M3 Max (128GB)128 GB · 400 GB/s · metal
- Apple M3 Max (96GB)96 GB · 400 GB/s · metal
- Apple M3 Max (64GB)64 GB · 400 GB/s · metal
- Apple M3 Max (48GB)48 GB · 400 GB/s · metal
- Apple M3 Max (36GB)36 GB · 400 GB/s · metal
- Apple M3 Pro (36GB)36 GB · 150 GB/s · metal
- Apple M3 Pro (18GB)18 GB · 150 GB/s · metal
- Apple M3 (24GB)24 GB · 100 GB/s · metal
- Apple M3 (16GB)16 GB · 100 GB/s · metal
- Apple M3 (8GB)8 GB · 100 GB/s · metal
- Apple M2 Max (96GB)96 GB · 400 GB/s · metal
- Apple M2 Max (64GB)64 GB · 400 GB/s · metal
- Apple M2 Max (32GB)32 GB · 400 GB/s · metal
- Apple M2 Pro (32GB)32 GB · 200 GB/s · metal
- Apple M2 Pro (16GB)16 GB · 200 GB/s · metal
- Apple M2 (24GB)24 GB · 100 GB/s · metal
- Apple M2 (16GB)16 GB · 100 GB/s · metal
- Apple M2 (8GB)8 GB · 100 GB/s · metal
- Apple M1 Max (64GB)64 GB · 400 GB/s · metal
- Apple M1 Max (32GB)32 GB · 400 GB/s · metal
- Apple M1 Pro (32GB)32 GB · 200 GB/s · metal
- Apple M1 Pro (16GB)16 GB · 200 GB/s · metal
- Apple M1 (16GB)16 GB · 68 GB/s · metal
- Apple M1 (8GB)8 GB · 68 GB/s · metal