Wie sich Jensen Huangs Denken über GPU & KI entwickelte
die Evolution des GPU- & KI-Denkens · 1993–2026
Interaktiven Atlas öffnen →Die Entwicklung des Denkens
1993→97
Gründung & Überleben
NVIDIA wird in einem Denny's gegründet (1993). Der erste Chip floppt — ~249k von 250k Karten kommen zurück; SEGA rettet sie, und die Wette auf die RIVA 128 (ausgeliefert ohne Prototyp) hält sie am Leben. Daher das Motto „thirty days from going out of business“.
„Unser Unternehmen ist dreißig Tage vor dem Aus.”
1999
GPU — der Motor der Vorstellungskraft
GeForce 256 — NVIDIA prägt den Begriff „GPU“. Spiele sind die bewusst gewählte Killer-App: das schwierigste Rechenproblem plus riesiges Volumen, das F&E finanziert und die Plattform sät.
„Die GPU begann als Motor zur Simulation der menschlichen Vorstellungskraft. Heute führt die GPU von NVIDIA Deep-Learning-Algorithmen aus und simuliert menschliche Intelligenz.”
2006
CUDA — die große Wette
CUDA macht die GPU zu einem universellen Parallelprozessor. Die Wette „verschlang den gesamten Bruttogewinn“, die Marktkapitalisierung fiel auf ~$1,5 Mrd. — ein Jahrzehnt in „zero-billion-dollar markets“.
„CUDA erhöhte unsere Kosten für diese GPU, ein Verbraucherprodukt, so gewaltig, dass es den gesamten Bruttogewinn des Unternehmens restlos verschlang.”
2012
Der Urknall der KI
AlexNet gewinnt ImageNet auf ZWEI GeForce GTX 580 aus dem Consumer-Segment. Huang: „the big bang of modern AI“. NVIDIA setzt das Unternehmen auf Deep Learning — Gaming-Karten entfachen die KI-Revolution.
„Das war der Moment, der der Urknall der modernen KI war.”
2023
KI-Fabrik / „iPhone moment“
ChatGPT = der „iPhone moment of AI“. Das Rechenzentrum ist kein Kostenfaktor mehr — es wird zur Fabrik, die Energie in Tokens verwandelt. „General-purpose computing has run out of steam“.
„Wir befinden uns im iPhone-Moment der KI.”
2026
Die Inferenz-Ökonomie
Der Abschluss: reasoning/agentic AI braucht „100× more compute“; der Token ist eine Ware und Rechenleistung ist Umsatz. Die nächste Welle — physical AI: „everything that moves will be robotic“.
„Tokens sind der neue Rohstoff.”
Kernkonzepte
Grafik
GPU — der Motor der Vorstellungskraft
Die GPU als 3D-Grafikbeschleuniger für Spiele — der Ausgangspunkt; Grafikkarten finanzieren die F&E und säen die Plattform.
„30 Tage vor dem Aus“
Existenzielle Paranoia als Kultur — von der Verletzlichkeit der Gründung (1993) über den Beinahe-Tod der RIVA 128 (1997) bis zu „Schmerz und Leid“/„Lauf, geh nicht“. Ein durch Widrigkeiten geschmiedeter Charakter.
Die Prägung des Begriffs „GPU“
GeForce 256 (1999): Hardware-T&L, „die weltweit erste GPU“ (ein Marketing-Anspruch). IPO, Xbox-Vertrag.
Neurales Rendering (Raytracing + DLSS)
RTX/Turing: Echtzeit-Raytracing („heiliger Gral“) + RT-/Tensor-Cores; DLSS = KI in der Grafik; die These „Grafik = KI“.
Paralleles Rechnen
Beschleunigtes Rechnen (CUDA)
CUDA verwandelt die GPU in einen universellen Parallelprozessor; beschleunigtes Rechnen ersetzt das universelle.
CUDA als Burggraben
Ein Burggraben durch das Ökosystem: installierte Basis (GeForce) + Bibliotheken + Abwärtskompatibilität. „Das Haus, das GeForce gebaut hat“.
Null-Milliarden-Dollar-Märkte
Märkte anvisieren, die es noch nicht gibt (Märkte schaffen, nicht Anteile nehmen) — wo es keine Kunden gibt, gibt es keine Konkurrenz.
„Moores Gesetz ist tot“
Das Ende der CPU-Skalierung → beschleunigtes Rechnen als Antwort („Huangs Gesetz“). Eine Polemik gegen Intel; rechtfertigt die Nachfrage nach GPUs.
Deep Learning
Deep Learning — der Motor der Intelligenz
AlexNet, der „Urknall der KI“, auf 2× GTX 580; die GPU erweist sich als der Computer zum Trainieren von Netzen. Die Kehrtwende des Unternehmens 2012.
DGX — „KI-Supercomputer“
„KI-Supercomputer in einer Box“; der erste DGX-1 wurde persönlich an OpenAI ausgeliefert (2016) — der Funke der modernen KI.
Tensor Cores / Transformer Engine
Dediziertes Silizium für DL (Volta 2017) → Transformer Engine (Hopper 2022) → FP8/FP4 (Blackwell).
KI-Fabrik
KI-Fabrik
Das Rechenzentrum = eine Fabrik, die Daten + Energie in Tokens/Intelligenz verwandelt; generative KI als neue Industrie.
„iPhone-Moment der KI“
ChatGPT = der Moment der massenhaften KI-Adoption (GTC März 2023, NICHT Computex); generative KI erreicht Hunderte Millionen Menschen.
Token-Ökonomie
Der Token = der neue Rohstoff („Tokenomics“); „Rechenleistung ist Umsatz“; Tokens-pro-Watt als KPI der KI-Fabrik.
Blackwell / jährliche Roadmap
B200/GB200 NVL72 (Dual-Die, 208 Milliarden Transistoren) als Produkt der „KI-Fabrik“; jährliche Taktung: Blackwell→Rubin→Feynman.
Souveräne KI
Jedes Land seine eigene Infrastruktur/KI; Daten = nationale Ressource. (Deckt sich mit der GPU-Nachfrage — ein Interessenkonflikt.)
Physische KI / Robotik
„ChatGPT-Moment für die Robotik“; Cosmos/Isaac GR00T/Newton; „alles, was sich bewegt, wird robotisch sein“.
Inferenz-Ökonomie (Reasoning)
Test-Time-/Reasoning-Skalierung: „Inferenz 100ד; agentische KI als größter Verbraucher von Rechenleistung; „Nachfrage parabolisch“.
Ausgewählte Zitate
„Unser Unternehmen ist dreißig Tage vor dem Aus.”
„Die GPU begann als Motor zur Simulation der menschlichen Vorstellungskraft. Heute führt die GPU von NVIDIA Deep-Learning-Algorithmen aus und simuliert menschliche Intelligenz.”
„CUDA erhöhte unsere Kosten für diese GPU, ein Verbraucherprodukt, so gewaltig, dass es den gesamten Bruttogewinn des Unternehmens restlos verschlang.”
„Das war der Moment, der der Urknall der modernen KI war.”
„Wir befinden uns im iPhone-Moment der KI.”
„Tokens sind der neue Rohstoff.”
„Ich würde es nicht tun.”
„Nvidia aufzubauen, erwies sich als eine Million Mal schwerer, als ich erwartet hatte — als irgendeiner von uns erwartet hatte.”
„Hätten wir den Schmerz und das Leid begriffen und wie verletzlich man sich fühlen würde, die Herausforderungen, die Peinlichkeit und die Scham — niemand bei klarem Verstand würde es tun.”
„Mein erster Job vor dem CEO-Posten war Tellerwäscher. Und das habe ich sehr gut gemacht.”
„Ich weiß, dass es perfekt wird, denn wenn nicht, sind wir aus dem Geschäft.”
„An einem Punkt musste ich nach Japan fliegen und dem CEO von Sega erklären, dass die Technologie, mit deren Bau sie uns beauftragt hatten, nicht funktionieren würde. Ich bat darum, aus einem Vertrag entlassen zu werden, den wir nicht erfüllen konnten. Und dann bat ich darum, dass sie uns trotzdem bezahlten. Ohne das Geld wäre NVIDIA in Luft aufgelöst worden.”
Wichtige Ereignisse
- 05.04.1993 Gründung von NVIDIA (Denny's, San Jose)
- 08.11.2006 CUDA — eine Wette auf paralleles Rechnen
- 05.04.2016 GTC 2016 — Pascal P100, DGX-1, „KI“
- 04.01.2017 CES 2017 — Xavier, AI Co-Pilot, „KI ist die Zukunft“
- 13.08.2018 SIGGRAPH 2018 — Turing/RTX, Echtzeit-Raytracing
- 14.05.2020 GTC 2020 — Ampere A100 („Küchen-Keynote“)
- 22.03.2022 GTC 2022 — Hopper H100, Transformer Engine, „KI-Fabriken“
- 24.05.2023 Quartalsbericht FY24 Q1 — Prognose-Schock, die These vom „1-Billion-$-Rechenzentrum“
- 23.08.2023 Quartalsbericht — Explosion der Nachfrage nach der H100
- 15.03.2024 Stanford SIEPR/GSB — „Schmerz und Leid“, niedrige Erwartungen
- 22.05.2024 Quartalsbericht — souveräne KI, „KI-Generationsfabriken“
- 20.11.2024 Quartalsbericht FY25 Q3 — „Die Nachfrage nach Blackwell ist überwältigend“
- 18.03.2025 GTC 2025 — Vera-Rubin-Roadmap, Reasoning, physische KI
- 09.07.2025 Bewertungs-Meilensteine 1 Bio. $ → 5 Bio. $
- 15.04.2026 Dwarkesh/Stratechery — der CUDA-Burggraben, „das ganze Rechenzentrum“