Formatierung von GPUs für LLM-Inferenz der 70B-Klasse: Speicher, Durchsatz, Architektur und Kosten
Für die meisten dichten LLMs der 70B-Klasse wird die praktische GPU-Wahl weniger durch Rohberechnung als durch Speicher-Headroom für Gewichte, KV-Cache und Parallelität bestimmt. Eine einzelne 80-GB-GPU kann eine stark quantisierte Bereitstellung ermöglichen, aber BF16- oder FP16-Inferenz benötigt normalerweise eine Multi-GPU-Tensorparallelität oder einen Beschleuniger mit größerem Speicher. Die richtige Antwort hängt von der Quantisierung ab, [...]

