Microsoft spiega come proteggerà Windows 11 dai rischi degli agenti AI

Microsoft si prepara ad affrontare le sfide di sicurezza poste dagli agenti AI con un sistema di protezione strutturato per Windows 11. Dana Huang, Corporate Vice President della divisione Windows Security, ha delineato i princiapi e i meccanismi tecnici che regoleranno il funzionamento di Copilot Actions, la funzionalità sperimentale che permetterà agli agenti AI di operare direttamente sui file locali del sistema operativo.

La questione è particolarmente delicata: gli agenti AI possono completare operazioni complesse interagendo con applicazioni e documenti, ma portano con sé rischi inediti legati alle limitazioni funzionali dei modelli linguistici e alle vulnerabilità specifiche di questa tecnologia. L'espansione di Copilot Actions oltre il browser web, dove la funzionalità è già disponibile per operazioni come prenotazioni di ristoranti o acquisti online, è prevista a breve per gli utenti Insider attraverso Copilot Labs e permetterà all'agente di agire direttamente su file locali, utilizzando capacità di visione e ragionamento avanzato per cliccare, digitare e scorrere come farebbe un essere umano.

L'agente può quindi modificare documenti, organizzare file, inviare email o prenotare biglietti accedendo alle risorse già presenti sul PC dell'utente. Secondo quanto dichiarato da Microsoft sul Windows Experience Blog, l'obiettivo è trasformare gli assistenti passivi in collaboratori digitali attivi, mantenendo però il controllo e la trasparenza nelle mani dell'utente. Microsoft riconosce apertamente i limiti e i pericoli associati agli agenti AI: i modelli linguistici possono occasionalmente produrre output inattesi o "allucinazioni", ma la minaccia più seria è rappresentata dal cross-prompt injection (XPIA).

Questo tipo di attacco sfrutta contenuti malevoli nascosti in elementi dell'interfaccia utente o documenti per sovrascrivere le istruzioni dell'agente, causando azioni non intenzionali come l'esfiltrazione di dati o l'installazione di malware. Le applicazioni agentiche introducono quindi vulnerabilità del tutto nuove che richiedono approcci di sicurezza specifici, diversi da quelli tradizionali utilizzati per proteggere il sistema operativo. Per affrontare queste criticità, Microsoft ha stabilito quattro principi fondamentali che governeranno le capacità agentiche su Windows:

• Il primo riguarda la differenziazione degli account agente: gli agenti operano con account dedicati separati dall'account utente principale, permettendo l'applicazione di policy specifiche diverse da quelle applicate agli utenti umani. L'utente può condividere l'accesso a file e risorse con questi account esattamente come farebbe con familiari o colleghi.
• Inoltre, gli agenti opereranno con privilegi limitati: ogni agente parte con permessi minimi e ottiene accesso solo alle risorse per cui l'utente concede esplicitamente l'autorizzazione, come cartelle locali specifiche. Esiste un confine ben definito per le azioni dell'agente, che non può modificare il dispositivo senza intervento dell'utente, e l'accesso può essere revocato in qualsiasi momento.
• Il terzo principio si concentra sulla fiducia operativa: gli agenti che si integrano con Windows devono essere firmati da una fonte affidabile, permettendo di revocare e bloccare agenti malevoli o mal progettati attraverso meccanismi di difesa in profondità come validazione dei certificati e antivirus.
• Il quarto principio riguarda il design orientato alla privacy: Windows è progettato per aiutare gli agenti a rispettare gli impegni dichiarati nel Microsoft Privacy Statement e nel Responsible AI Standard, garantendo che la raccolta e l'elaborazione dei dati avvengano solo per scopi chiaramente definiti, assicurando trasparenza e fiducia.

Copilot Actions metterà in pratica questi principi attraverso quattro componenti tecniche aggiunte a Windows 11. Il primo elemento è il controllo utente: la funzionalità è disabilitata per impostazione predefinita e può essere attivata solo attraverso l'apposita voce nelle impostazioni del sistema. Gli account agente rappresentano il secondo elemento: viene fornito un account standard separato sul dispositivo quando l'agente opera per conto dell'utente, abilitando autorizzazione e controllo degli accessi a livello di agente. Il terzo componente è l'agent workspace, un ambiente contenuto dove gli agenti possono lavorare in parallelo con l'utente umano, garantendo isolamento operativo e permessi granulari. L'agent workspace fornisce all'agente capacità come un desktop proprio, limitando però la visibilità e l'accesso all'attività del desktop dell'utente. L'architettura si basa su confini di sicurezza riconosciuti che Microsoft si impegna a difendere secondo i criteri consolidati di gestione della sicurezza. Le applicazioni e le azioni guidate da Copilot Actions vengono eseguite sotto l'account agente anziché sotto l'account dell'utente connesso al PC, distinguendo chiaramente il lavoro svolto dall'agente dalle altre azioni sul sistema.

Durante la preview sperimentale, l'agente avrà accesso a un insieme limitato di cartelle note dell'utente, come Documenti, Download, Desktop o Immagini, oltre ad altre risorse accessibili a tutti gli account del sistema. Solo quando l'utente fornisce l'autorizzazione esplicita Copilot Actions potrà accedere a dati esterni a queste cartelle. I meccanismi di sicurezza standard di Windows come le liste di controllo degli accessi (ACL) contribuiscono a prevenire utilizzi non autorizzati. Il quarto elemento è la trasparenza utente: mentre Copilot Actions lavora, gli utenti possono monitorare i progressi, rimanere informati a ogni passaggio e prendere il controllo in qualsiasi momento. Quando sono coinvolte azioni sensibili o decisioni importanti, Copilot Actions può richiedere ulteriore approvazione per eseguire passaggi specifici, garantendo il consenso dell'utente prima che accada qualcosa di critico.

Microsoft promette di evolvere le difese man mano che le capacità agentiche si espanderanno su Windows. Con il rilascio imminente della preview di Copilot Actions per i Windows Insiders in Copilot Labs, l'azienda raccoglierà feedback prezioso per perfezionare l'esperienza prima del lancio più ampio. Durante il periodo di preview verranno aggiunti controlli di sicurezza e privacy più granulari prima che le funzionalità siano rese disponibili al pubblico generale. L'azienda ha anticipato ulteriori dettagli durante Microsoft Ignite 2025, l'evento annuale in programma a novembre dove verranno approfondite le roadmap tecnologiche e le strategie di sviluppo per l'ecosistema Windows.