Was bedeutet FP8?
FP8 ist ein 8-Bit-Gleitkommaformat. Anbieter können es bei Teilen der Modellinferenz einsetzen, um Speicher zu sparen und mit geeigneter Hardware und Implementierung den Durchsatz zu steigern. FP16 und BF16 sind 16-Bit-Formate.
Inferenzsysteme können FP8 für unterschiedliche Operationen mit anderen Präzisionen kombinieren.
Verändert sich die Antwortqualität?
Geringere Präzision kann numerische Unterschiede verursachen. Deren Wirkung hängt von Modell, Quantisierung und Inferenzimplementierung ab.
Teste dieselben repräsentativen Aufgaben auf jeder Route. Vergleiche beim Coding bestandene Tests und nutzbare Änderungen ebenso wie Kosten und Latenz. Halte Modellversion, Prompts und Generierungseinstellungen konstant.
So liest du unsere Kennzeichnungen
Unser Vergleich zeigt FP8 wenn der Anbieter diese Präzision veröffentlicht. „Präzision nicht angegeben“ bedeutet, dass die verlinkte Quelle keine Inferenzpräzision nennt.
Bei OpenRouter gehören Kennzeichnung und Preis zur benannten Route. Andere Routen können andere Präzisionen und Preise haben. Prüfe für aktuelle Angaben die verlinkte Anbieterquelle.
Und gecachte Eingaben?
Cache-Zugriffe betreffen die Wiederverwendung von Eingabeberechnungen, FP8 die Zahlendarstellung. Eine Anfrage kann beides nutzen. Vergleiche reguläre Eingabe-, Cache- und Ausgabepreise getrennt. Mehr über Cache →
Weiterlesen
NVIDIA TensorRT · Quantisierte Datentypen ↗
Unabhängige Erklärung · Geprüft am 5. November 2026.