Resumen
titan-engine guarda mis cuadernos siguiendo Zero to Hero de Andrej Karpathy: autograd desde cero, modelos de letras y un GPT pequeño entrenado con El Quijote.
El nombre viene del plan inicial, un motor de inferencia de GPT-2 en C++ y CUDA. Esa parte no está hecha: el repo es solo Python.
Características
- →Autograd desde cero
- →Bigrama, MLP y WaveNet
- →GPT entrenado con El Quijote
- →Script de entrenamiento de GPT-2
Cómo funciona
01micrograd: retropropagación sobre un grafo de cálculo diminuto.
02makemore: de contar parejas de letras a un MLP y WaveNet.
03GPT: autoatención, entrenado con el texto entero de El Quijote.
Ejemplo
output.txt
cizando de ha mobre españor acha lubino a, bino pla. Esos pofecigo y, puerese si gunóle; que sarríi, que en corontene