A arquitetura Transformer, utilizada pela ChatGPT da OpenAI, Claude da Anthropic, Bard/Gemini da Google, Llama da Meta, entre outros Modelos de Linguagem de Grande Escala (LLMs), tem agora uma nova forma de ser compreendida: através de planilhas eletrônicas. A iniciativa 'Spreadsheets-are-all-you-need' implementa o passeio para frente do GPT2 (antecessor da ChatGPT que era o estado da arte há poucos anos) completamente no Excel, utilizando funções padrão de planilha. .

Este projeto oferece uma introdução de baixo código aos detalhes por trás dos atuais LLMs, sendo ideal para aqueles que desejam compreender como a IA funciona. Uma pessoa que ontem não sabia nada sobre o funcionamento da IA, hoje pode mudar isso graças a recursos como a 'Intro to Large Language Models' de @karpathy e o 'Spreadsheets-are-all-you-need' de @ianand. .

Futuros vídeos prometem detalhar ainda mais os mecanismos internos da IA moderna, e os interessados podem se inscrever para receber notificações sobre novos tutoriais e atualizações. A implementação no Excel é explicada em um vídeo que percorre os passos em alto nível, voltado mais para quem já tem compreensão sobre Transformers e deseja entender como a arquitetura padrão é aplicada na planilha. .

A lição inicial aborda a fase de tokenização do GPT e o algoritmo de Codificação de Pares de Bytes (BPE) usados em modelos como o ChatGPT. Já em um vídeo de 10 minutos, é possível acompanhar a arquitetura de alto nível do GPT-2 e ver cada fase do Transformer sendo executada no Excel. .

O arquivo está disponível para download como um arquivo xlsb (binário do Excel) na seção de lançamentos do repositório no Github, podendo ser executado no Excel para Mac ou PC. Embora seja recomendado que iniciantes comecem pelos vídeos de lição, há um vídeo explicativo para quem deseja uma orientação rápida na planilha. .

Vale ressaltar que a implementação é capaz de executar apenas cargas de trabalho muito pequenas, incluindo codificação de pares de bytes, incorporações, atenção multi-cabeças e etapas de perceptron multicamadas para o modelo GPT2 pequeno (124M de parâmetros), somente para inferência/passeio para frente, com limitações como contexto de 10 tokens de comprimento e limite de 10 caracteres por palavra. .

Usuários de Mac podem enfrentar travamentos no Excel ao usarem a planilha, sendo recomendado o modo de cálculo manual e a versão Windows do Excel. Problemas e bugs podem surgir, e os usuários são incentivados a relatar quaisquer questões no Github. Para contato, @ianand está disponível no Twitter e no Github através do repositório 'ianand/spreadsheets-are-all-you-need'.