Durante a conferência I/O 2024, o Google evidenciou a Inteligência Artificial (IA) executada diretamente nos dispositivos como uma prioridade para o sistema Android. A sessão intitulada 'Android on-device AI under the hood' destacou aplicações práticas da IA gerativa on-device, incluindo a sumarização de textos, sugestão de respostas em aplicativos de mensagens e a classificação de sentimentos em conversas.

As vantagens da IA on-device incluem processamento seguro e local, disponibilidade offline, menor latência e ausência de custos adicionais com nuvem. Entretanto, as limitações são notáveis, como o tamanho reduzido de parâmetros, cerca de 2-3 bilhões, significativamente menor que os modelos baseados em nuvem, e uma janela de contexto mais curta, o que demanda um 'ajuste fino' essencial para alcançar boa precisão.

O Google também apresentou o 'Gemini Nano', descrito como o modelo fundamental para desenvolver réplicas de GenAI em dispositivos. Modelos abertos como Gemma também são suportados. Até o momento, apenas aplicativos do Google, como Summarize no Pixel Recorder, Magic Compose no Google Messages e Gboard Smart Reply estão utilizando essa tecnologia.

A empresa está trabalhando com desenvolvedores por meio de um programa de acesso antecipado para explorar casos de uso inovadores de Gemini em dispositivos, com previsão de lançamento para 2024. Além disso, novas funcionalidades como legendas TalkBack, sugestões dinâmicas Gemini e alertas de spam estão sendo implementadas, com uma atualização de multimodalidade prevista para começar com o Pixel ainda este ano.

O Google também refletiu sobre o estado da IA gen on-device há um ano e as melhorias realizadas desde então, como a aceleração de hardware, destacando o progresso contínuo em suas capacidades de IA on-device para Android 15.