Qu'est-ce que le FP8?
FP8 est un format de virgule glissante 8 bits. Les fournisseurs peuvent l'utiliser pour partager l'inférence de modèle afin d'économiser de la mémoire et d'augmenter le débit avec le matériel et la mise en œuvre appropriés. FP16 et BF16 sont des formats 16 bits.
Les systèmes d'inférence peuvent combiner le FP8 avec d'autres précisions pour différentes opérations.
La qualité de la réponse change - t - elle?
Une précision réduite peut entraîner des différences numériques, dont l'effet dépend du modèle, de la quantification et de la mise en œuvre de l'inférence.
Essayez les mêmes tâches représentatives sur chaque route. Comparez les tests existants lors du coding et les changements utiles, ainsi que les coûts et la latence. Maintenez la version du modèle, les étapes et les paramètres de génération constants.
C'est comme ça que tu lis nos étiquettes
Notre comparaison montre FP8 si l'opérateur publie cette précision. La précision non spécifiée signifie que la source liée ne donne pas de précision d'inférence.
Chez OpenRouter, le marquage et le prix font partie de l'itinéraire désigné. D'autres itinéraires peuvent avoir d'autres précisions et prix. Vérifiez la source du fournisseur liée pour les informations à jour.
Et les saisies ?
Les accès au cache concernent la réutilisation des calculs d'entrée, le FP8 la présentation des nombres. Une requête peut être utilisée à la fois. Comparer les prix d'entrée, de cache et de sortie. En savoir plus sur le cache →
En savoir plus
NVIDIA TensorRT · Types de données quantifiés
Déclaration indépendante · Testé le 5 novembre 2026.