A Microsoft quer tornar o Windows um sistema operacional baseado em IA e lança PCs Copilot +

Um próximo recurso de recall no Windows 11 poderia “lembrar” quais aplicativos e conteúdos um usuário acessou em seu computador semanas ou até meses atrás, por exemplo, ajudando-os a encontrar um bate-papo do Discord onde estavam discutindo roupas que estavam pensando em comprar. Os usuários podem usar a linha do tempo do Recall para “rolar para trás” para ver no que trabalharam no passado recente e mergulhar em arquivos como apresentações em PowerPoint para visualizar informações que podem ser relevantes para suas pesquisas.

A Microsoft diz que o Recall pode criar associações entre cores, imagens e muito mais para permitir que os usuários pesquisem praticamente qualquer coisa em seus computadores em linguagem natural (não muito diferente da tecnologia da startup Rewind); Os desenvolvedores poderão melhorar o recall adicionando informações contextuais aos seus aplicativos. A Microsoft afirma que todos os dados do usuário associados ao Recall permanecem privados e residem no dispositivo, e não são usados ​​para treinar modelos de IA, o que é importante.

aqui mais Da Microsoft: “Seus instantâneos são seus; eles permanecem locais no seu computador. Você também pode excluir instantâneos individuais, ajustar e excluir intervalos de tempo nas configurações ou pausar a qualquer momento. filtre aplicativos e sites para que nunca sejam salvos.

Edição de imagens e traduções ao vivo

Agora há mais IA no Windows do que nunca e parte dela é exclusiva dos novos PCs Copilot+.

Um novo recurso chamado Supersolution pode restaurar fotos antigas aumentando-as automaticamente. O Copilot agora pode analisar imagens para dar aos usuários ideias para composições criativas. Por meio de um recurso chamado Cocreator, os usuários podem criar imagens e também fazer com que o modelo de IA siga o que eles desenham para alterar ou redesenhar a imagem.

Em outros lugares, as legendas ao vivo com legendas traduzem qualquer áudio que passa por um computador – seja do YouTube ou de um arquivo local – para o idioma de escolha do usuário. As traduções ao vivo suportarão inicialmente cerca de 40 idiomas, incluindo inglês, espanhol, mandarim e russo.

Um novo recurso separado, mas relacionado, no Microsoft Edge fornece tradução de vídeo em tempo real em sites como LinkedIn, YouTube, Coursera, Reuters, CNBC, Bloomberg e muito mais. Programado para estar disponível em um futuro próximo, esse recurso oferece suporte à tradução de espanhol para inglês, inglês para alemão, hindi, italiano, russo e espanhol, e traduz conteúdo falado por meio de dublagem e legendas ao vivo.

Copiloto e acessórios

Team Copilot é a mais recente expansão do crescente portfólio Copilot de tecnologias generativas de IA da Microsoft. Ele se integra ao Teams, o aplicativo de videoconferência da empresa, para ajudar a gerenciar agendas de reuniões e fazer anotações que qualquer pessoa na reunião pode ser coautora. Ele se estende ao Loop and Planner, as plataformas de colaboração e planejamento da Microsoft, para criar e atribuir tarefas, rastrear prazos e notificar os membros da equipe quando sua contribuição for necessária.

Em notícias um tanto relacionadas ao Copilot, a Microsoft lançou (em visualização privada) Copilot Extensions, que permitem aos desenvolvedores estender a própria ferramenta de geração de código do GitHub, GitHub Copilot, com aplicativos e habilidades de terceiros. Os parceiros de lançamento incluem DataStax, Docker e LambdaTest; As extensões residirão no GitHub Marketplace, mas os desenvolvedores também poderão criar suas próprias extensões para integração com seus sistemas internos e APIs.

Tempo de execução do Copilot no Windows

Desligando recursos como Recall e Supersolution está o Windows Copilot Runtime, uma coleção de cerca de 40 modelos generativos de IA que compõem o que a Microsoft descreve como uma “nova camada” do Windows. Combinado com o Semantic Index, um sistema baseado em vetores nativo de um PC Copilot+ individual, o Windows Copilot Runtime permite que aplicativos alimentados por IA – incluindo aplicativos de terceiros – sejam executados sem necessariamente exigir uma conexão com a Internet.

“[The runtime] Consiste em APIs de IA prontas para uso, como efeitos de estúdio, legendas ao vivo, OCR, recuperação com atividade do usuário e [more]Davuluri disse na terça-feira que o aplicativo estará disponível para desenvolvedores em junho.

A Microsoft diz que CapCut, o popular editor de vídeo do proprietário do TikTok, ByteDance, usará o Windows Copilot Runtime e a nova biblioteca Windows Copilot, um conjunto de APIs e ferramentas de desenvolvimento de IA, para acelerar seus recursos de IA. Meta adicionará os efeitos de estúdio acima ao WhatsApp para oferecer recursos como desfoque de fundo e contato visual durante chamadas de vídeo.

Atualizar construtores de robôs

O Azure AI Studio, o conjunto de ferramentas do serviço Azure OpenAI da Microsoft que permite aos clientes combinar um modelo de IA e criar um aplicativo que “pensa” nesses dados, em breve permitirá que os desenvolvedores criem aplicativos usando APIs de inferência pré-pagas – APIs que os desenvolvedores podem acessar e ajustar modelos generativos de IA hospedados na infraestrutura do Azure. A Microsoft chama isso de “modelo como serviço” e está lançando modelos da Nixtla e Core42 para começar.

No conjunto adjacente de produtos Copilot Studio, a Microsoft está lançando Copilot Agents, que a empresa descreve como bots de IA que podem “coordenar de forma autônoma tarefas adaptadas a funções e funções específicas”. (O Copilot Studio fornece ferramentas para conectar o Copilot for Microsoft 365, o “copilot” alimentado por IA em aplicativos como Excel e Word, com dados de terceiros.) Ao aproveitar a memória e o conhecimento do contexto, os agentes do Copilot podem navegar em diferentes tipos de fluxos de trabalho de negócios, aprendendo com os comentários dos usuários e pedindo ajuda quando se deparam com situações com as quais não sabem lidar.

Kit de desenvolvimento Snapdragon

Há um novo kit de desenvolvimento da Qualcomm voltado para desenvolvedores que criam aplicativos para PCs Copilot+ equipados com chips Arm

O Snapdragon Dev Kit de US$ 899,99 para Windows – que mede aproximadamente a mesma largura, altura e comprimento do Mac Mini da Apple – abriga o Snapdragon da Qualcomm e muitas operações de E/S. O Dev Kit suporta Wi-Fi 7 e Bluetooth 5.4 e, por meio de suas várias portas USB-C e HDMI, pode alimentar até três monitores 4K simultaneamente.

PHI-3

A Microsoft anunciou uma adição à família de modelos de IA generativos Phi, Phi-3-vision, que pode realizar análises visuais gerais e tarefas de raciocínio, como responder perguntas sobre gráficos e imagens. O modelo pode ler texto e imagens e é eficiente o suficiente para ser executado em um dispositivo móvel.

O Phi-3-vision está disponível em versão prévia, enquanto as contrapartes somente de texto do modelo anunciadas anteriormente – o Phi-3-mini, Phi-3-small e Phi-3-medium – agora estão disponíveis para o público geral.

Parceria com a Khan Academy

A Microsoft está fazendo parceria com a Khan Academy para doar acesso à infraestrutura de computação em nuvem, permitindo que a Khan Academy forneça aos educadores nos Estados Unidos acesso gratuito às ferramentas baseadas em IA da Khan Academy. A Microsoft disse na terça-feira que as duas empresas também colaborarão para explorar oportunidades para melhorar as aplicações de IA para o ensino de matemática por meio de IA generativa.

Estamos lançando um boletim informativo baseado em IA! inscrição aqui Para começar a recebê-los em suas caixas de entrada no dia 5 de junho.