Um novo projeto artístico intitulado microgpt foi desenvolvido, consistindo em um arquivo único de 200 linhas de código Python que treina e realiza inferência de um modelo GPT. O projeto, criado por Andrej Karpathy, não possui dependências e inclui todos os elementos necessários para o funcionamento, como o conjunto de dados, tokenizer, motor de autograd, arquitetura de rede neural semelhante ao GPT-2, otimizador Adam, e os loops de treinamento e inferência. "Esta obra é a culminação de uma obsessão de uma década para simplificar LLMs ao seu essencial mais puro", afirmou Karpathy, expressando sua satisfação com a estética do projeto, que consegue se dividir perfeitamente em três colunas.

O código pode ser encontrado em um Gist do GitHub (microgpt.py) e também está disponível em uma página da web (https://karpathy.ai/microgpt.html), além de uma versão acessível como um notebook do Google Colab.

O conjunto de dados utilizado para treinar o modelo é composto por 32.000 nomes, cada um em uma linha. O objetivo do modelo é aprender padrões a partir desses dados e gerar novos documentos, que neste caso são novos nomes plausíveis. Após o treinamento, o modelo é capaz de produzir nomes como "karia" e "kamon".

Para transformar texto em números, um tokenizer simples foi desenvolvido, onde cada caractere único no conjunto de dados recebe um número inteiro. Isso é crucial, já que redes neurais operam com números e não com caracteres. O código também inclui um motor de autograd, que calcula gradientes, permitindo que o modelo aprenda e otimize seus parâmetros durante o treinamento. O treinamento é realizado utilizando o otimizador Adam, que ajusta os parâmetros do modelo para minimizar a perda, que é uma medida de quão bem o modelo prevê os próximos tokens.

O loop de treinamento é composto por várias etapas, incluindo a tokenização de um documento, a execução do modelo, o cálculo da perda e a atualização dos parâmetros. Ao final de 1000 passos de treinamento, a perda diminui de aproximadamente 3,3 para cerca de 2,37, indicando que o modelo está aprendendo os padrões estatísticos dos nomes.

Após o treinamento, o modelo pode gerar novos nomes baseados nos dados aprendidos. O parâmetro de temperatura controla a criatividade dos nomes gerados, influenciando a distribuição de probabilidade dos tokens a serem escolhidos. A execução do script exige apenas Python, sem necessidade de instalação de pacotes adicionais, e pode ser realizada em menos de um minuto em um computador comum.

Karpathy também disponibilizou um Gist chamado build_microgpt.py, onde os interessados podem acompanhar a evolução do código passo a passo. Ele observa que, embora o microgpt contenha a essência algorítmica para treinar e executar um GPT, há muitas diferenças entre este modelo e os sistemas de produção como o ChatGPT, que lidam com dados em uma escala muito maior e utilizam técnicas otimizadas para eficiência e velocidade.

O projeto microgpt representa uma abordagem simplificada, mas poderosa, para entender e construir modelos de linguagem, e pode servir como uma base para experimentos e aprendizado dos entusiastas de inteligência artificial.