NVIDIA NeMo RL behaalt 48% snelheidswinst met end-to-end FP8-precisietraining

Jessie A Ellis 20 apr 2026 23:41

NVIDIA's nieuwe FP8-recept voor reinforcement learning levert 48% snellere training op terwijl het de BF16-nauwkeurigheid evenaart, wat de AI-infrastructuurkosten aanzienlijk verlaagt.

NVIDIA heeft een uitgebreid FP8-precisierecept voor reinforcement learning uitgebracht dat tot 48% snellere trainingsdoorvoer levert terwijl de nauwkeurigheid gelijk blijft aan traditionele BF16-benaderingen—een ontwikkeling met aanzienlijke gevolgen voor AI-infrastructuurkosten en GPU-rekeneconomie.

De techniek, gedetailleerd beschreven in een technische blogpost van NVIDIA's Guyue Huang, pakt één van de lastigste problemen van RL-training aan: het numerieke verschil tussen generatie- en trainingsfasen bij het gebruik van verschillende precisieniveaus over afzonderlijke engines.

De technische doorbraak

Traditionele RL-pipelines gebruiken vLLM voor rollouts en Megatron Core voor training—elk met unieke CUDA-kernels die cumulatieve numerieke verschillen introduceren. Deze discrepanties worden versterkt bij lagere precisieniveaus, wat historisch gezien de acceptatie van FP8 heeft beperkt.

NVIDIA's oplossing? FP8 consistent toepassen op zowel generatie als training in plaats van precisieniveaus te mengen. Testen op Llama 3.1 8B Instruct toonden een validatienauwkeurigheid van 0,613 met end-to-end FP8 versus 0,616 voor BF16—waarmee het verschil effectief wordt gedicht. Ondertussen zakte de nauwkeurigheid bij alleen FP8 voor generatie naar 0,586.

Het recept gebruikt bloksgewijs gekwantiseerde FP8 (E4M3-formaat) met 128x128-granulariteit voor gewichten en 1x128 voor activaties. Lineaire lagen draaien FP8-berekeningen op 2x theoretische piekdoorvoer versus BF16, terwijl attention, normalisatie en niet-lineaire functies in BF16 blijven.

Praktische prestatiewinsten

Voor alleen lineaire lagen levert het FP8-recept consistente doorvoerverbeteringen van 15-25% op. Het verschil tussen de theoretische 2x-versnelling en de werkelijke winst komt door attention-lagen die in BF16 blijven plus de overhead van kwantisatiekernels.

Het uitbreiden van FP8 naar KV-cache en attention-operaties duwt de totale versnelling naar ongeveer 48% boven BF16-basislijnen. Het addertje onder het gras: de constant bijgewerkte beleidsgewichten van RL vereisen dynamische herkalibratie van kwantisatieschalen na elke trainingsstap. NVIDIA's aanpak voegt ongeveer 2-3% overhead toe voor deze herkalibratie—een kleine kostpost voor substantiële versnelling.

Testen op Qwen3-30B (een mixture-of-experts-model) toonden overeenkomende nauwkeurigheidscurves tussen FP8- en BF16-configuraties, wat suggereert dat de techniek schaalt over architecturen.

Waarom dit belangrijk is voor AI-economie

RL-training voor redeneerbare modellen zoals die achter geavanceerde AI-assistenten vereist massale rekenkracht. Een versnelling van 48% vertaalt zich direct naar verminderde GPU-uren en lagere elektriciteitsrekeningen voor organisaties die deze systemen trainen.

De importance sampling-techniek die nauwkeurigheidsbehoud mogelijk maakt, zou even waardevol kunnen blijken. Door distributieveranderingen tussen generatie- en trainingsmodellen op tokenniveau te corrigeren, maakt het agressieve precisieverlaging mogelijk zonder concessies aan modelkwaliteit.

De volledige implementatie is beschikbaar in NVIDIA's open-source NeMo RL-bibliotheek, met voorgeconfigureerde recepten voor Llama 3.1 8B en Moonlight 16B-modellen. Gevorderde gebruikers kunnen de aanpak verfijnen—door specifieke transformerlagen in BF16 te houden of over te schakelen naar macht-van-2-schaalfactoren voor extra optimalisatie.

Voor AI-infrastructuuroperators die zien hoe rekenkosten stijgen naast modelcomplexiteit, vertegenwoordigt dit een betekenisvolle efficiëntiehendel die geen hardware-upgrades vereist—alleen slimmer gebruik van bestaande H100-mogelijkheden.

• nvidia
• ai-training
• fp8-precisie
• machine learning
• nemo rl