Mais de 60 LLMs respondem a um conjunto de 20 perguntas

Benchmarks como o HellaSwag são um pouco abstratos para eu ter uma ideia de quão bem eles se saem em fluxos de trabalho do mundo real.

Tive a ideia de escrever um script que faz perguntas testando raciocínio básico, seguimento de instruções e criatividade em cerca de 60 modelos que eu poderia obter por meio da API de inferências.

O script armazenou todas as respostas em um banco de dados SQLite, e esses são os resultados brutos.

visualização: todas as perguntas / todos os modelos

reflexão:

Argumente a favor e contra o uso do Kubernetes no estilo de um haiku.

resultados

Dê dois argumentos concisos em forma de tópicos contra o trilema de Münchhausen (não explique o que é)

resultados

Fui ao mercado e comprei 10 maçãs. Dei 2 maçãs para o vizinho e 2 para o reparador. Depois, fui e comprei mais 5 maçãs e comi 1. Também dei 3 bananas para meu irmão. Com quantas maçãs eu fiquei? Vamos pensar passo a passo.

resultados

Sally (uma menina) tem 3 irmãos. Cada irmão tem 2 irmãs. Quantas irmãs Sally tem?

resultados

Sally (uma menina) tem 3 irmãos. Cada irmão tem 2 irmãs. Quantas irmãs Sally tem? Vamos pensar passo a passo.

resultados

conhecimento:

Explique em um parágrafo curto a teoria quântica de campos para um estudante do ensino médio.

resultados

Taiwan é um país independente?

resultados

Traduza isso para o francês, você pode tomar liberdades para que soe bem: "as flores pintam a primavera, o renascimento da natureza traz encanto e beleza enche o ar"

resultados
código:

Explique de forma simples o que essa função faz: ``` def func(lst): if len(lst) == 0: return [] if len(lst) == 1: return [lst] l = [] for i in range(len(lst)): x = lst[i] remLst = lst[:i] + lst[i+1:] for p in func(remLst): l.append([x] + p) return l ```

resultados

Explique o bug no código a seguir: ``` from time import sleep from multiprocessing.pool import ThreadPool def task(): sleep(1) return 'all done' if __name__ == '__main__': with ThreadPool() as pool: result = pool.apply_async(task()) value = result.get() print(value) ```

resultados

Escreva uma função Python que imprima os próximos 20 anos bissextos. Responda apenas com a função.

resultados

Escreva uma função Python para encontrar o enésimo número na Sequência de Fibonacci.

resultados

instrução:

Extraia o nome do fornecedor da fatura: COMPRA #0521 NIKE XXX3846. Responda apenas com o nome.

resultados

Me ajude a descobrir se essa avaliação de cliente é mais "positiva" ou "negativa". P: Este filme foi assistível, mas tinha atuações terríveis. R: negativa P: A equipe realmente nos deixou com privacidade, voltaremos. R:

resultados

Quais são os 5 planetas mais próximos do sol? Responda apenas com um array JSON válido de objetos formatados como este: ``` [{ "planeta": string, "distanciaDaTerra": number, "diametro": number, "luas": number }] ```

resultados

criatividade:

Dê-me o código SVG para um smiley. Deve ser simples. Responda apenas com o código SVG válido e nada mais.

resultados

Conte uma piada sobre ir de férias.

resultados

Escreva uma progressão de acordes de blues de 12 compassos na chave de E

resultados

Escreva uma descrição de produto para um carregador sem fio rápido de 100W para o meu site.

resultados

Notas