All tracked GPUs
107 GPUs and Apple Silicon configurations. Click any to see which LLMs it can run.
From consumer RTX cards to professional workstation GPUs, AMD RDNA3, and every Apple Silicon configuration from M1 to M4 Ultra — this is the full list of hardware CanItRun tracks for local LLM inference. VRAM capacity determines which models fit natively; memory bandwidth determines how fast they run.
Click any GPU to see a full compatibility breakdown: which open-weight models run natively in VRAM, which require CPU offload, and estimated tokens per second for each. For Apple Silicon, unified memory means the full RAM pool is available — an M3 Max with 128GB can run models that require a multi-GPU NVIDIA setup.
107 GPUs
datacenter
- NVIDIA H100 80GB80 GB · 3350 GB/s · cuda
- NVIDIA A100 80GB80 GB · 2039 GB/s · cuda
- NVIDIA A100 40GB40 GB · 1555 GB/s · cuda
- NVIDIA L40S48 GB · 864 GB/s · cuda
- AMD Instinct MI300X192 GB · 5300 GB/s · rocm
- AMD Radeon AI Pro 9700 32GB32 GB · 640 GB/s · rocm
- Intel Data Center GPU Max 1550128 GB · 3276 GB/s · vulkan
- Intel Data Center GPU Max 110048 GB · 1229 GB/s · vulkan
workstation
- NVIDIA RTX A600048 GB · 768 GB/s · cuda
- NVIDIA RTX 4000 Ada20 GB · 320 GB/s · cuda
- NVIDIA RTX 4500 Ada24 GB · 432 GB/s · cuda
- NVIDIA RTX 5000 Ada32 GB · 576 GB/s · cuda
- NVIDIA RTX 6000 Ada48 GB · 960 GB/s · cuda
- NVIDIA RTX Pro 600096 GB · 1344 GB/s · cuda
- NVIDIA DGX Spark (128GB)128 GB · 273 GB/s · cuda
- AMD Radeon PRO W780032 GB · 576 GB/s · rocm
- AMD Radeon PRO W790048 GB · 864 GB/s · rocm
- Apple M4 Ultra (384GB)384 GB · 1092 GB/s · metal
- Apple M4 Ultra (192GB)192 GB · 1092 GB/s · metal
- Apple M3 Ultra (512GB)512 GB · 819 GB/s · metal
- Apple M3 Ultra (256GB)256 GB · 819 GB/s · metal
- Apple M3 Ultra (96GB)96 GB · 819 GB/s · metal
- Apple M2 Ultra (384GB)384 GB · 800 GB/s · metal
- Apple M2 Ultra (192GB)192 GB · 800 GB/s · metal
- Apple M1 Ultra (128GB)128 GB · 800 GB/s · metal
- Apple M1 Ultra (64GB)64 GB · 800 GB/s · metal
- Intel Arc Pro B70 24GB24 GB · 456 GB/s · vulkan
- Intel Arc Pro B60 24GB24 GB · 380 GB/s · vulkan
- Intel Arc Pro A60 12GB12 GB · 384 GB/s · vulkan
- Intel Arc Pro A50 6GB6 GB · 192 GB/s · vulkan
- Intel Arc Pro A40 6GB6 GB · 192 GB/s · vulkan
consumer
- NVIDIA RTX 509032 GB · 1792 GB/s · cuda
- NVIDIA RTX 508016 GB · 960 GB/s · cuda
- NVIDIA RTX 5070 Ti16 GB · 896 GB/s · cuda
- NVIDIA RTX 507012 GB · 672 GB/s · cuda
- NVIDIA RTX 5060 Ti 16GB16 GB · 448 GB/s · cuda
- NVIDIA RTX 50608 GB · 448 GB/s · cuda
- NVIDIA RTX 50508 GB · 320 GB/s · cuda
- NVIDIA RTX 409024 GB · 1008 GB/s · cuda
- NVIDIA RTX 408016 GB · 717 GB/s · cuda
- NVIDIA RTX 4070 Ti12 GB · 504 GB/s · cuda
- NVIDIA RTX 407012 GB · 504 GB/s · cuda
- NVIDIA RTX 4060 Ti 16GB16 GB · 288 GB/s · cuda
- NVIDIA RTX 40608 GB · 272 GB/s · cuda
- NVIDIA RTX 309024 GB · 936 GB/s · cuda
- NVIDIA RTX 3090 Ti24 GB · 1008 GB/s · cuda
- NVIDIA RTX 3080 10GB10 GB · 760 GB/s · cuda
- NVIDIA RTX 3060 12GB12 GB · 360 GB/s · cuda
- AMD Radeon RX 7900 XTX24 GB · 960 GB/s · rocm
- AMD Radeon RX 7900 XT20 GB · 800 GB/s · rocm
- AMD Radeon RX 7900 GRE16 GB · 576 GB/s · rocm
- AMD Radeon RX 6800 XT16 GB · 512 GB/s · rocm
- Intel Arc B580 12GB12 GB · 456 GB/s · vulkan
- Intel Arc B570 10GB10 GB · 380 GB/s · vulkan
- Intel Arc A770 16GB16 GB · 560 GB/s · vulkan
- Intel Arc A770 8GB8 GB · 512 GB/s · vulkan
- Intel Arc A750 8GB8 GB · 512 GB/s · vulkan
- Intel Arc A580 8GB8 GB · 512 GB/s · vulkan
- Intel Arc A380 6GB6 GB · 186 GB/s · vulkan
- Intel Arc A310 4GB4 GB · 124 GB/s · vulkan
laptop
- AMD Strix Halo (128GB)128 GB · 256 GB/s · vulkan
- AMD Strix Halo (96GB)96 GB · 256 GB/s · vulkan
- AMD Strix Halo (64GB)64 GB · 256 GB/s · vulkan
- Apple M5 Max (128GB)128 GB · 614 GB/s · metal
- Apple M5 Max (64GB)64 GB · 614 GB/s · metal
- Apple M5 Max (48GB)48 GB · 614 GB/s · metal
- Apple M5 Pro (48GB)48 GB · 307 GB/s · metal
- Apple M5 Pro (36GB)36 GB · 307 GB/s · metal
- Apple M5 Pro (24GB)24 GB · 307 GB/s · metal
- Apple M5 (32GB)32 GB · 153 GB/s · metal
- Apple M5 (16GB)16 GB · 153 GB/s · metal
- Apple M4 Max (128GB)128 GB · 546 GB/s · metal
- Apple M4 Max (96GB)96 GB · 546 GB/s · metal
- Apple M4 Max (64GB)64 GB · 546 GB/s · metal
- Apple M4 Max (48GB)48 GB · 546 GB/s · metal
- Apple M4 Pro (48GB)48 GB · 273 GB/s · metal
- Apple M4 Pro (24GB)24 GB · 273 GB/s · metal
- Apple M4 (32GB)32 GB · 120 GB/s · metal
- Apple M4 (16GB)16 GB · 120 GB/s · metal
- Apple M3 Max (128GB)128 GB · 400 GB/s · metal
- Apple M3 Max (96GB)96 GB · 400 GB/s · metal
- Apple M3 Max (64GB)64 GB · 400 GB/s · metal
- Apple M3 Max (48GB)48 GB · 400 GB/s · metal
- Apple M3 Max (36GB)36 GB · 400 GB/s · metal
- Apple M3 Pro (36GB)36 GB · 150 GB/s · metal
- Apple M3 Pro (18GB)18 GB · 150 GB/s · metal
- Apple M3 (24GB)24 GB · 100 GB/s · metal
- Apple M3 (16GB)16 GB · 100 GB/s · metal
- Apple M3 (8GB)8 GB · 100 GB/s · metal
- Apple M2 Max (96GB)96 GB · 400 GB/s · metal
- Apple M2 Max (64GB)64 GB · 400 GB/s · metal
- Apple M2 Max (32GB)32 GB · 400 GB/s · metal
- Apple M2 Pro (32GB)32 GB · 200 GB/s · metal
- Apple M2 Pro (16GB)16 GB · 200 GB/s · metal
- Apple M2 (24GB)24 GB · 100 GB/s · metal
- Apple M2 (16GB)16 GB · 100 GB/s · metal
- Apple M2 (8GB)8 GB · 100 GB/s · metal
- Apple M1 Max (64GB)64 GB · 400 GB/s · metal
- Apple M1 Max (32GB)32 GB · 400 GB/s · metal
- Apple M1 Pro (32GB)32 GB · 200 GB/s · metal
- Apple M1 Pro (16GB)16 GB · 200 GB/s · metal
- Apple M1 (16GB)16 GB · 68 GB/s · metal
- Apple M1 (8GB)8 GB · 68 GB/s · metal