Microsoft Copilot poderá navegar na web, executar tarefas e usar câmera

Em seu aniversário de 50 anos, a Microsoft apresentou uma série de novidades para o Copilot. O assistente digital poderá navegar na web, realizar tarefas em sites, memorizar preferências do usuário, fazer pesquisas, analisar imagens usando a câmera e até mesmo gerar podcasts.

Alguns desses recursos já estão presentes em chatbots concorrentes, como o ChatGPT, da OpenAI, e o Gemini, do Google. A solução da Microsoft, por outro lado, aposta na integração com o Windows para ganhar terreno.

Copilot pode navegar na web

O Copilot ganhou a capacidade de acessar sites e realizar tarefas para o usuário, seguindo o que foi solicitado no prompt. Com isso, o assistente poderá fazer reservas em restaurantes, comprar ingressos e adquirir produtos em lojas online.

Segundo a Microsoft, o Copilot Actions, como o recurso foi chamado, funciona com a maioria dos sites da internet. Ainda assim, alguns serviços fecharam parcerias com a empresa — o foco parece estar em viagens, com nomes como Booking, Expedia, Kayak, Tripadvisor e Skyscanner na lista divulgada.

Um recurso desse tipo não chega a ser inédito. O ChatGPT conta com o Operator, por exemplo, enquanto o Google trabalha no Project Mariner. Já a Anthropic agregou ao Claude 3.5 a capacidade de realizar tarefas no computador.

Copilot Vision chega aos smartphones

O Copilot Vision é um recurso que usa IA para analisar imagens. Ele estava limitado a responder perguntas sobre páginas exibidas no navegador Edge. Agora, ele chegará ao Windows e, mais importante, aos smartphones Android e iOS.

Com isso, os usuários poderão usar a câmera do celular para captar imagens e pedir ajuda ao assistente. Assim, será possível solicitar dicas para cuidar de plantas ou sugestões de decoração para a casa.

A versão para Windows, por sua vez, servirá para acompanhar o que o usuário está fazendo no computador e ajudar nas tarefas. Um exemplo é fornecer instruções para usar um programa como o Photoshop.

Memória, podcasts e mais

Além das ações na web e do Copilot Vision, a Microsoft incluiu uma série de ferramentas e recursos para expandir as utilidades do Copilot. Estas são alguns destaques.

• Memória e personalização: o Copilot passa a poder armazenar informações pessoais sobre o usuário, como aniversário, interesses e mais, para levar estes aspectos em consideração ao dar respostas e oferecer uma experiência mais personalizada.

• Pages: o assistente pode organizar anotações, pesquisas feitas pelo usuário e outras formas de conteúdo em uma única tela, de modo mais organizado e simples.

• Podcasts: o Copilot usará IA para criar um podcast personalizado, com base nos interesses do usuário, que poderá conversar com o assistente durante o programa.
• Copilot Search: o Bing vai reunir informações de vários sites e fornecer respostas diretamente na busca.

• Deep Research: o assistente poderá fazer pesquisas em várias etapas para conseguir responder perguntas complexas.

Com informações da Microsoft

Microsoft Copilot poderá navegar na web, executar tarefas e usar câmera