Gemini recebe update para enxergar o que está na tela e na câmera

O Google confirmou a distribuição de novos recursos para que o Gemini possa usar imagens da tela do smartphone ou captadas pela câmera. Com isso, o usuário poderá fazer perguntas sobre o que está vendo e receber respostas com a ajuda da inteligência artificial.

As notícias sobre o update surgiram no Reddit, onde um usuário mostrou estas funcionalidades em seu smartphone Xiaomi. Na manhã desta segunda-feira (24/03), um porta-voz do Google confirmou ao Verge que a liberação da atualização já começou.

O recurso é exclusivo para assinantes do Google One AI Premium, que custa R$ 96,99 mensais no Brasil. Ainda não se sabe se ele chegará a outros planos. O Tecnoblog perguntou à empresa se a ferramenta também será disponibilizada no país e atualizará este texto caso haja uma resposta.

Como funciona o Gemini Live com imagens?

As novas ferramentas trazem duas possibilidades. Ao chamar o Gemini, é possível fazer perguntas sobre o que está na tela.

No exemplo compartilhado pelo usuário do Reddit, ele pede para que o assistente diga o que está vendo na tela. A IA, então, descreve a hora, as notificações e a temperatura.

O usuário também pergunta se o Gemini é capaz de adivinhar qual launcher ele está usando no Android; o assistente diz que é difícil descobrir, sendo capaz de afirmar apenas que é um bastante customizado.

A short demo of Project Astra (Share screen with Live)
byu/Kien_PS inBard

Em relação à câmera, o próprio Google tem um exemplo, em que uma usuária pede sugestões de decoração para o Gemini. O aplicativo usa a câmera para captar imagens e dá uma recomendação com base no que foi pedido.

Vale destacar que o app não depende de uma gravação de vídeo; ele analisa as imagens ao vivo, em tempo real.

Ferramenta é baseada no Project Astra

A novidade já era esperada, de certa forma. O Google havia anunciado no começo de março, durante o MWC, que o Gemini receberia funcionalidades de “enxergar” a tela e a câmera, com a distribuição se iniciando ainda neste mês.

Os dois recursos foram apresentados pela primeira vez há quase um ano, durante o Google I/O 2024. Na ocasião, a ferramenta ainda usava o nome de Project Astra.

Com informações do Verge

Gemini recebe update para enxergar o que está na tela e na câmera