MicroGPT: Andrej Karpathy destilliert GPT auf 200 Zeilen Python

Andrej Karpathy hat es wieder getan. Der ehemalige Tesla-KI-Chef und OpenAI-Gründungsmitglied hat sein neuestes Projekt veröffentlicht: MicroGPT – ein vollständiger GPT-Trainer und -Inferencer in nur 200 Zeilen purem Python, ohne externe Dependencies.

Das Projekt ist die Kulmination jahrelanger Arbeit an Vereinfachungen wie micrograd, makemore und nanoGPT. Karpathy selbst nennt es "wunderschön" – und die Community stimmt zu: Auf Hacker News sammelte der Post über 1.150 Upvotes in wenigen Stunden.

Was steckt drin? Alles, was ein LLM braucht: Dataset-Handling, Tokenizer, Autograd-Engine, GPT-2-ähnliche Architektur, Adam-Optimizer, Training- und Inference-Loop. Karpathy demonstriert das System mit einem Namensgenerator, der nach dem Training plausible neue Namen wie "Kamon", "Vialan" oder "Areli" erzeugt.

"Aus der Perspektive eines Models wie ChatGPT ist eure Konversation nur ein seltsam aussehendes Dokument", erklärt Karpathy. "Wenn ihr es mit eurem Prompt initialisiert, ist die Antwort des Models nur eine statistische Dokumenten-Vervollständigung."

Das Projekt ist auf GitHub Gist verfügbar und läuft auch direkt in Google Colab. Für alle, die verstehen wollen, wie moderne Sprachmodelle wirklich funktionieren – ohne den Overhead von PyTorch oder TensorFlow – ist MicroGPT Pflichtlektüre.