Da oggi ogni PC Windows 11 diventa un AI PC: Copilot Voice e Vision cambiano tutto

Microsoft ha annunciato un aggiornamento significativo per Windows 11 che porta funzionalità di intelligenza artificiale su qualsiasi dispositivo che esegue il sistema operativo. La società di Redmond ha annunciato l'integrazione di Copilot Voice e Copilot Vision, due tecnologie che permettono agli utenti di interagire con il computer attraverso comandi vocali naturali e di ricevere assistenza contestuale basata su ciò che appare sullo schermo. L'obiettivo dichiarato è rendere accessibile l'IA a un pubblico più ampio, integrando queste capacità nelle esperienze che gli utenti utilizzano quotidianamente.

Le funzionalità si basano su tre pilastri fondamentali secondo la visione di Microsoft: interazione naturale tramite testo o voce, capacità di analisi visiva dello schermo p6er offrire supporto guidato, e possibilità di eseguire azioni per conto dell'utente. Tutte le operazioni richiedono il consenso esplicito e si appoggiano alla sicurezza integrata in Windows 11, per una novità che Microsoft considera come trasformazione paragonabile a quella del mouse e della tastiera, sostenendo che possa sbloccare nuove capacità per un numero più ampio di persone.

Copilot Actions, Voice e Vision cambieranno Windows 11 per sempre?

L'azienda ha annunciato il supporto per il comando vocale "Hey Copilot", ora disponibile su tutti i PC Windows 11. Gli utenti possono attivare l'assistente semplicemente pronunciando la frase di attivazione seguita da una domanda o richiesta, e anche in questo caso la funzione è opzionale e deve essere abilitata manualmente nelle impostazioni dell'applicazione Copilot. Quando attivato, l'assistente risponde con un segnale acustico e mostra l'icona del microfono sullo schermo. Per terminare la conversazione si può salutare l'assistente, toccare la X oppure attendere alcuni secondi senza interazione.

I dati interni di Microsoft indicano che gli utenti che utilizzano l'interazione vocale con Copilot mostrano un coinvolgimento doppio rispetto a chi usa solo il testo. La società ritiene che l'input vocale riduca la complessità legata alla formulazione di prompt efficaci, un aspetto che finora ha limitato l'accessibilità degli strumenti di intelligenza artificiale. Il 68% dei consumatori secondo Microsoft utilizza già l'AI per supportare le proprie decisioni, e la voce rende questo processo più immediato.

Copilot Vision diventa invece disponibile in tutti i mercati dove è offerto l'assistente virtuale: con il consenso dell'utente, l'assistente può analizzare il contenuto visualizzato sullo schermo per fornire suggerimenti contestuali, rispondere a domande e guidare l'utente attraverso applicazioni e attività. La condivisione può riguardare l'intero desktop o singole applicazioni con gli utenti che hanno testato la funzione in anteprima che l'hanno utilizzata per risolvere problemi nelle impostazioni, ottenere istruzioni e imparare a usare strumenti di editing complessi.

Vision include una funzione chiamata Highlights che permette di chiedere a Copilot di mostrare come eseguire un'attività specifica. L'assistente indica visivamente dove cliccare e cosa fare all'interno dell'applicazione. Per i documenti Word, Excel e PowerPoint, Vision può analizzare l'intero contenuto del file anche se non è completamente visibile sullo schermo. Per esempio, può esaminare una presentazione completa senza che l'utente debba scorrere manualmente ogni diapositiva. Prossimamente arriverà anche la modalità di interazione testuale per Vision, attualmente disponibile solo tramite voce. Gli utenti potranno conversare con l'assistente tramite testo ricevendo risposte scritte, utile quando non si hanno le cuffie o si preferisce non usare l'audio.

Microsoft sta testando nel programma Windows Insider una reimmaginazione dell'integrazione di Copilot nella taskbar: la nuova esperienza "Ask Copilot" rende l'assistente una parte naturale del flusso di lavoro, fornendo accesso con un solo clic a Voice e Vision. L'interfaccia include anche una ricerca ridisegnata che mostra risultati istantanei per app, file e impostazioni mentre l'utente digita. La società specifica che questa funzionalità utilizza le API esistenti di Windows Search e non concede a Copilot l'accesso ai contenuti dell'utente.

Un'altra funzione sperimentale in arrivo tramite Copilot Labs è Copilot Actions per file locali. Estende il concetto di Actions, già disponibile sul web, permettendo all'assistente di eseguire operazioni direttamente su file presenti nel sistema. L'agente può ordinare foto, estrarre informazioni da PDF o completare altre attività descritte dall'utente in linguaggio naturale, interagendo con applicazioni desktop e web. Durante l'esecuzione, l'utente può dedicarsi ad altro o monitorare i progressi e intervenire in qualsiasi momento. Microsoft avverte che l'esperienza è in fase iniziale e l'agente potrebbe commettere errori o incontrare difficoltà con interfacce complesse nelle sue prime versioni.

Copilot su Windows ha introdotto i connettori, che permettono di collegare servizi come file OneDrive, contatti e email Outlook, oltre ai servizi Google. Dopo aver attivato la connessione, Copilot può cercare e comprendere contenuti personali usando linguaggio naturale: gli utenti possono ad esempio chiedere di trovare appuntamenti dal dentista, recuperare indirizzi email di contatti o localizzare documenti specifici nei servizi collegati. Adesso è possibile esportare il testo generato da Copilot direttamente in documenti Word, fogli Excel o presentazioni PowerPoint, facilitando il passaggio dalla conversazione al progetto. Microsoft ha anche integrato Copilot con le Impostazioni di Windows, che permette di chiedere modifiche alle impostazioni del PC usando linguaggio naturale.

Microsoft ha lanciato anche nuove azioni AI direttamente in Esplora File attraverso Manus, un agente generale che può gestire attività complesse. Selezionando un documento e facendo clic destro, si può scegliere "create website with Manus" per generare un sito web in pochi minuti senza upload manuali o codifica. Manus è disponibile anche come applicazione nativa dove si possono impartire comandi testuali per creare contenuti usando file locali: l'agente sfrutta il Model Context Protocol per recuperare documenti e completare attività mentre l'utente si occupa d'altro. L'esperienza è attualmente in anteprima privata. Un'altra azione AI permette di modificare video direttamente da Esplora File con Filmora. Per i dispositivi Copilot+ PC, Microsoft sta integrando Zoom con Click to Do: sarà possibile programmare una riunione Zoom semplicemente passando il mouse su un indirizzo email visibile sullo schermo, senza cambiare applicazione o copiare informazioni.

Sul fronte gaming, Xbox e Windows collaborano per portare Gaming Copilot sui dispositivi portatili ROG Xbox Ally e ROG Xbox Ally X, sviluppati in collaborazione con ASUS. Premendo a lungo il pulsante library si avvia una conversazione con Gaming Copilot per ricevere raccomandazioni e aiuto senza uscire dal gioco. Il dispositivo permette di accedere rapidamente a giochi Xbox, Game Pass e titoli installati da altri negozi PC.

Microsoft ha anche sottolineato che Windows 11 è il sistema operativo più sicuro mai realizzato in casa, con molteplici livelli di difesa attivi dal momento dell'accensione, in linea con la Secure Future Initiative dell'azienda. Con l'introduzione di esperienze agentiche come Copilot Actions, la società dichiara tre impegni sulla sicurezza: l'utente mantiene sempre il controllo e può mettere in pausa, prendere il controllo o disabilitare le azioni in qualsiasi momento; Copilot Actions è disattivato per impostazione predefinita; l'utente ha visibilità su ciò che l'agente sta facendo e può ricevere richieste di approvazione per decisioni sensibili. Abbiamo approfondito il tema della sicurezza in questo articolo dedicato. Le nuove esperienze verranno rilasciate in anteprima per raccogliere feedback e perfezionare i controlli di sicurezza e privacy prima del rilascio generale, con l'azienda che prevede di condividere ulteriori dettagli sui controlli enterprise per gli agenti su Windows durante l'evento Microsoft Ignite del prossimo mese. L'arrivo delle nuove esperienze è previsto inizialmente all'interno del programma Windows Insider e saranno comunicate attraverso il blog ufficiale.