Nova ferramenta de Inteligência Artificial é lançada para previsão de texto. Conhecida como LLama, este modelo prevê textos de forma semelhante ao GPT-2 e GPT-3, porém em sua versão atual, ainda não foi aperfeiçoada. É possível utilizar versões mais focadas em responder perguntas, como a Alpaca ou Vicuna.

Um ponto importante a ser considerado é que o LLama não suporta múltiplas GPUs, apenas uma única GPU pode ser utilizada. Porém, é possível utilizar o LLama 13B com uma placa gráfica de 6GB, como a RTX 2060.

Para utilizar o LLama, é necessário clonar o llama.cpp do git e seguir os passos descritos na página de acesso ao modelo. É necessário instalar CUDA e Python Pytorch para rodar os scripts de conversão.

Os tempos de execução variam de acordo com a GPU utilizada. Para a placa gráfica de 6GB, o LLama 13B utiliza cerca de 5.5GB de VRAM. Caso o computador possua uma GPU com mais VRAM, é possível aumentar o número de camadas processadas na GPU.

Para maiores informações sobre o LLama, acesse o link no final da página. A ferramenta promete ser um grande avanço no campo da Inteligência Artificial e previsão de texto.