Proyecto · 2026

titan-engine

Un GPT hecho desde cero, en Python.

paradoPython · PyTorch

Resumen

titan-engine guarda mis cuadernos siguiendo Zero to Hero de Andrej Karpathy: autograd desde cero, modelos de letras y un GPT pequeño entrenado con El Quijote.

El nombre viene del plan inicial, un motor de inferencia de GPT-2 en C++ y CUDA. Esa parte no está hecha: el repo es solo Python.

Características

  • →Autograd desde cero
  • →Bigrama, MLP y WaveNet
  • →GPT entrenado con El Quijote
  • →Script de entrenamiento de GPT-2

Cómo funciona

01micrograd: retropropagación sobre un grafo de cálculo diminuto.
02makemore: de contar parejas de letras a un MLP y WaveNet.
03GPT: autoatención, entrenado con el texto entero de El Quijote.

Ejemplo

output.txt
cizando de ha mobre españor
 acha lubino
a, bino pla.

Esos pofecigo y, puerese si gunóle; que sarríi, que en corontene