I capi dell'AI sono certi: il disastro arriverà entro un anno, e si preparano in segreto

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/i-...to_160465.html

Secondo indiscrezioni, i dirigenti di Anthropic, OpenAI e altre aziende stanno simulando in privato la reazione pubblica e politica a un possibile evento catastrofico legato all'AI, probabilmente un attacco informatico. Molti insider lo ritengono inevitabile entro 6-12 mesi.

Click sul link per visualizzare la notizia.

[Darkon]

Io invece vorrei una legge che quando questi famosi insider sparano queste minchiate vengano sanzionate fino a portargli via anche l'anima.

Ma tanto ormai è diventata una moda cavalcare la moda del momento con notizie in stile terrorismo e alimentando capannelli di No-qualcosa che si sentono illuminati.

Più si va avanti e più una libertà fondamentale come la libertà di parola viene trasformata in libertà di sparare cazzate.

[mozzarello]

L'IA è potenzialmente in grado di bucare qualsiasi cosa e fare milioni di operazioni in pochi secondi.

Metti che per test decide di azzerare tutti i conti correnti mondiali perché in quel momento è la cosa statisticamente più "furba" da fare, potrebbe anche farlo.

Mo' non so a livello tecnico, ma se è possibile modificare il conto di una persona semplicemente facendo una operazione bancaria, presumo che sfruttando una falla zero-day si possa entrare ovunque.

Il rischio c'è sicuro, se non per l'IA in se, per qualcuno che può usare l'IA.

[barzokk]

Non avete capito,
l'evento catastrofico è lo scoppio della bolla, del PIL americano e il crollo di Wall Street

[mozzarello]

Originariamente inviato da barzokk

Non avete capito,
l'evento catastrofico è lo scoppio della bolla, del PIL americano e il crollo di Wall Street

A parte che non succederà, ma son cazzi degli americani, noi passeremmo alle IA cinesi e bona (che è peggio)

[StylezZz`]

[Darkon]

Originariamente inviato da mozzarello

L'IA è potenzialmente in grado di bucare qualsiasi cosa e fare milioni di operazioni in pochi secondi.

Metti che per test decide di azzerare tutti i conti correnti mondiali perché in quel momento è la cosa statisticamente più "furba" da fare, potrebbe anche farlo.

No, non potrebbe. Se i sistemi bancari fossero così vulnerabili in caso di guerra la prima cosa che nazioni intere con risorse enormi farebbero sarebbe proprio azzerare conti ed economia del nemico.

La realtà è che le banche hanno sistemi protetti da svariati layer di protezione e ridondanza dei dati. Dovresti bucare non solo tutte le protezioni ma anche tutti i server contemporaneamente e non basterebbe in quanto per le policy disaster recovery ci sono copie periodiche poste offline in cicli randomici.

Si continua a diffondere paure ingiustificate e che rientrano ad oggi e sicuramente per decenni a venire di totale fantascienza.

Mo' non so a livello tecnico, ma se è possibile modificare il conto di una persona semplicemente facendo una operazione bancaria, presumo che sfruttando una falla zero-day si possa entrare ovunque.

Violare UNA persona è un conto, violare il sistema è tutt'altro. Per violare il singolo la cosa più furba da fare è semplicemente farsi dare il login. Non a caso la stragrande maggioranza delle truffe bancarie è proprio fatta in questo modo. Truffe dovute a vero e proprio hacking sono veramente poche.

Il rischio c'è sicuro, se non per l'IA in se, per qualcuno che può usare l'IA.

Il rischio esiste sempre e per tutto ma non per questo si deve fare terrorismo. Un conto è dire fate attenzione e non comunicate password a cavolo o peggio salvate in posti insicuri. Tutt'altro conto è fare inutile terrorismo.

Originariamente inviato da barzokk

Non avete capito,
l'evento catastrofico è lo scoppio della bolla, del PIL americano e il crollo di Wall Street

Anche questo è preoccuparsi esageratamente. Succederà? Ci sta ma è come preoccuparsi al punto di chiamare 10 ambulanze e l'elicottero medico per un bambino che cade e si sbuccia un ginocchio.

Wall Street periodicamente genera una crisi e poi torna a crescere e fa nuovi record. La bolla AI si sgonfierà o scoppierà prima o poi ma fa parte del gioco e non è niente di eccezionale o particolarmente nuovo.

[mozzarello]

@Darkon, come una formica non può concepire le idee di un umano, tu non puoi concepire le eventuali azione di una IA.

I sistemi di protezione sono studiati per quello che l'uomo può concepire, non per l'IA. Non abbiamo la più pallida idea di quello che potrebbero fare questi sistemi già ora, figurati tra 1-2 anni.

[Darkon]

Originariamente inviato da mozzarello

@Darkon, come una formica non può concepire le idee di un umano, tu non puoi concepire le eventuali azione di una IA.

I sistemi di protezione sono studiati per quello che l'uomo può concepire, non per l'IA. Non abbiamo la più pallida idea di quello che potrebbero fare questi sistemi già ora, figurati tra 1-2 anni.

Non è questione di concepirle o meno... è che anche una IA per quanto potente ha limiti dovuti all'hardware che non puoi superare.

Una AI ammesso che trovi un modo di superare le sicurezze senza far scattare alcun allarme e già qua richiederebbe una potenza di calcolo enorme ad oggi impossibile perfino con i data center presenti dovrebbe poi riuscire a moltiplicare tutto questo per X server e trovare il modo di violarli tutti contemporaneamente.

Ammesso che trovi una falla nella crittografia dovrebbe essere una falla tale da poter decodificare le chiavi di tutti nello stesso identico momento.

Ribadisco quindi che si parla di fantascienza. Servirebbe una potenza computazionale che non esiste. Poi ripeto se tale scenario fosse possibile sarebbe semplicemente come aver inventato una bomba atomica ma infinitamente più potente... pensi che gli USA non avrebbero già usato una cosa del genere se fosse fattibile?

Tra l'altro un altro errore è

I sistemi di protezione sono studiati per quello che l'uomo può concepire

Ma anche no. I sistemi di protezioni finanziari non sono affatto basati su un attacco da parte di un umano anzi sono soprattutto pensati per rendere un attacco da parte di qualsiasi cosa talmente pesante dal punto di vista dell'elaborazione dati da renderlo materialmente ingestibile per qualsiasi hardware.
Se anche l'AI avesse a disposizione supercomputer la rete finanziaria è pensata in modo che sia intrinsecamente complessa al punto di non poter essere materialmente calcolata.


Se poi vogliamo ipotizzare che l'AI si inventa un modo per violare chiavi crittografiche di altissimo livello con approcci a bassissima elaborazione ripeto per me è fantascienza e soprattutto significherebbe non inventarsi un hack o una vulnerabilità ma inventarsi una matematica ad oggi sconosciuta e francamente non vedo nemmeno lontanamente le premesse per una cosa del genere.

[Ripper89]

Originariamente inviato da Darkon

Io invece vorrei una legge che quando questi famosi insider sparano queste minchiate vengano sanzionate fino a portargli via anche l'anima.

Ma tanto ormai è diventata una moda cavalcare la moda del momento con notizie in stile terrorismo e alimentando capannelli di No-qualcosa che si sentono illuminati.

Più si va avanti e più una libertà fondamentale come la libertà di parola viene trasformata in libertà di sparare cazzate.

Orai è la normalità far affermazioni senza prove alcune.
Quì in Italia poi siamo i maestri del mondo.

[mozzarello]

Non sappiamo dove saremo tra un anno, e non è necessario super potenza, basta trovare falle che nessuno ancora conosce, ed è quellpo che hanno fatto i modelli frontiera poer uscire dalla sandbox OpenAI e hackerare Hugging Face, per dire.

[cronos1990]

Quindi fatemi capire: Anthropic , Google e OpenAI stanno progettando progettando di bucare i sistemi di sicurezza bancari?

Perchè è di questo che state discutendo, vero?

[Darkon]

Originariamente inviato da cronos1990

Quindi fatemi capire: Anthropic , Google e OpenAI stanno progettando progettando di bucare i sistemi di sicurezza bancari?

Perchè è di questo che state discutendo, vero?

Sostanzialmente stiamo discutendo di fantomatiche AI che a oggi non esistono (almeno a quel livello) che qualcuno immagina possano esistere in pochi anni (tutto da dimostrare) che per motivi X che non è dato sapere attaccano il sistema bancario con risorse hardware evidentemente a disposizione come nulla fosse e riescono a violare tutto il sistema e azzerare i conti così a caso senza alcuna reale pianificazione o altro.

Francamente cose del genere me le aspetto dai boomer su facebook ma manco tutti quelli che viaggiano con la stagnola in testa per proteggersi dal 5G.

[mozzarello]

Originariamente inviato da cronos1990

Quindi fatemi capire: Anthropic , Google e OpenAI stanno progettando progettando di bucare i sistemi di sicurezza bancari?

Perchè è di questo che state discutendo, vero?

no

si discute del fatto che una IA possa trovare falle zero day che altrimenti nessuno scoprirebbe mai in pochissimo tempo, per motivi loro (come è già stato documentato) o su suggerimento di un umano, e che non sapremo a che livello saranno manco tra qualche mese, figurati tra 1-2 anni.

L'esempio degli istituti bancare sudcoreani citato nell'articolo è uno, e non tanto perché ha fatto una cosa che fanno in tanti da tanto, perché l'ha fatta una singola persona aiutato da IA.

[Piedone1113]

Originariamente inviato da Darkon

Non è questione di concepirle o meno... è che anche una IA per quanto potente ha limiti dovuti all'hardware che non puoi superare.

Una AI ammesso che trovi un modo di superare le sicurezze senza far scattare alcun allarme e già qua richiederebbe una potenza di calcolo enorme ad oggi impossibile perfino con i data center presenti dovrebbe poi riuscire a moltiplicare tutto questo per X server e trovare il modo di violarli tutti contemporaneamente.

Ammesso che trovi una falla nella crittografia dovrebbe essere una falla tale da poter decodificare le chiavi di tutti nello stesso identico momento.

Ribadisco quindi che si parla di fantascienza. Servirebbe una potenza computazionale che non esiste. Poi ripeto se tale scenario fosse possibile sarebbe semplicemente come aver inventato una bomba atomica ma infinitamente più potente... pensi che gli USA non avrebbero già usato una cosa del genere se fosse fattibile?

Tra l'altro un altro errore è



Ma anche no. I sistemi di protezioni finanziari non sono affatto basati su un attacco da parte di un umano anzi sono soprattutto pensati per rendere un attacco da parte di qualsiasi cosa talmente pesante dal punto di vista dell'elaborazione dati da renderlo materialmente ingestibile per qualsiasi hardware.
Se anche l'AI avesse a disposizione supercomputer la rete finanziaria è pensata in modo che sia intrinsecamente complessa al punto di non poter essere materialmente calcolata.


Se poi vogliamo ipotizzare che l'AI si inventa un modo per violare chiavi crittografiche di altissimo livello con approcci a bassissima elaborazione ripeto per me è fantascienza e soprattutto significherebbe non inventarsi un hack o una vulnerabilità ma inventarsi una matematica ad oggi sconosciuta e francamente non vedo nemmeno lontanamente le premesse per una cosa del genere.

Il 90% dei sistemi bancari occidentali è permasa da AI ( e da ben oltre la moda recente). Non serve bucare tutti i sistemi contemporaneamente, basterebbe trovare un hack per la AI ( che per quanto personalizzata per ogni gruppo bancario ha base comune) non dico sia fattibile, ma questo bucare migliaia di mainframe contemporaneamente è l'opzione più remota da valutare.

[cronos1990]

Originariamente inviato da Darkon

Sostanzialmente stiamo discutendo di fantomatiche AI che a oggi non esistono (almeno a quel livello) che qualcuno immagina possano esistere in pochi anni (tutto da dimostrare) che per motivi X che non è dato sapere attaccano il sistema bancario con risorse hardware evidentemente a disposizione come nulla fosse e riescono a violare tutto il sistema e azzerare i conti così a caso senza alcuna reale pianificazione o altro.

Francamente cose del genere me le aspetto dai boomer su facebook ma manco tutti quelli che viaggiano con la stagnola in testa per proteggersi dal 5G.

Beh, stando a quanto ha scritto mozzarello qualche giorno fa, lui è probabilmente un boomer.

Ma se parliamo di cose di fantasia, allora va bene tutto. Ad oggi, di concreto, le IA sono prodotte da enormi colossi tecnologici che investono cifre spaventose per tenere su in piedi un sistema hardware/software da costi inenarrabili e consumi energetici spaventosi. Sistemi che non puoi far girare in locale se non in versioni estremamente semplificate ed edulcorare, perchè banalmente "non ce la si fa".

Per cui ipotizzare che da qui a che so, 3-5 anni, esisteranno questi ipotetici alla portata di tutti o quanto meno in grado di poter essere usati appieno senza "appoggi esterni"... qui siamo oltre alla fantascienza.
Per cui torniamo a quanto scritto sopra in modo provocatorio: si suppone che aziende del settore come quelle che ho citato decidano scientemente di sfruttare le loro tecnologie IA per violare le sicurezza bancaria, sempre che poi riescano nell'intento.

[Darkon]

Originariamente inviato da Piedone1113

Il 90% dei sistemi bancari occidentali è permasa da AI ( e da ben oltre la moda recente). Non serve bucare tutti i sistemi contemporaneamente, basterebbe trovare un hack per la AI ( che per quanto personalizzata per ogni gruppo bancario ha base comune) non dico sia fattibile, ma questo bucare migliaia di mainframe contemporaneamente è l'opzione più remota da valutare.

Ma nemmeno... dove lavoro c'è l'AI ma non ha alcuna capacità esecutiva quindi non può autonomamente nemmeno fare una semplice interrogazione.

Esistono poi ma confinate in sistemi ad hoc le AI di trading ma operano in perimetri separati (fisicamente) dal resto dell'infrastruttura e con segmenti dei portafogli proprio perché in caso di errore il danno non sia catastrofico.

Quindi anche con un hack AI i danni potrebbero al massimo riguardare un segmento solo e di una specifica banca. Ben diverso dal fare un hacking generale del sistema bancario e azzerare tutti i conti.

[supertigrotto]

Per mandare in tilt la società,basterebbe che la IA pubblicasse tutti i documenti delle agenzie di spionaggio a livello mondiale comprese lobby e multinazionali.
Una guerra civile e militare sarebbe inevitabile e la IA avrebbe vinto,distraendo l'umano a combattere fra la propria specie,ovvero una guerra di tutti contro tutti,riuscirebbe a sviare l'attenzione su se stessa.

[mozzarello]

Originariamente inviato da cronos1990

Beh, stando a quanto ha scritto mozzarello qualche giorno fa, lui è probabilmente un boomer.

Ma se parliamo di cose di fantasia, allora va bene tutto. Ad oggi, di concreto, le IA sono prodotte da enormi colossi tecnologici che investono cifre spaventose per tenere su in piedi un sistema hardware/software da costi inenarrabili e consumi energetici spaventosi. Sistemi che non puoi far girare in locale se non in versioni estremamente semplificate ed edulcorare, perchè banalmente "non ce la si fa".

Per cui ipotizzare che da qui a che so, 3-5 anni, esisteranno questi ipotetici alla portata di tutti o quanto meno in grado di poter essere usati appieno senza "appoggi esterni"... qui siamo oltre alla fantascienza.
Per cui torniamo a quanto scritto sopra in modo provocatorio: si suppone che aziende del settore come quelle che ho citato decidano scientemente di sfruttare le loro tecnologie IA per violare le sicurezza bancaria, sempre che poi riescano nell'intento.

Magari fossi boomer, sarei una generazione meno imbecille.

Vorrei ricordare che tutti gli hack fatti ad oggi, come quello ad Hugging Face, sono dovuti al fatto che alla IA "piace barare" (essendo stata addestrata su documenti umani), quindi invece che provare a risolvere il problema, ha prima capito come bucare la sandbox openai, guardato se in giro c'era la soluzione, ipotizzato Hugging Face potesse averla, bucato quelli e iniziato a cercare la soluzione.

Siccome è successo che bucassero anche un vecchio server sanitario
https://cybersecuritynews.com/openai...ralian-portal/

Non è detto che in futuro non decidano di iniziare a bucare infrastrutture strategiche

[Darkon]

Originariamente inviato da mozzarello

Magari fossi boomer, sarei una generazione meno imbecille.

Vorrei ricordare che tutti gli hack fatti ad oggi, come quello ad Hugging Face, sono dovuti al fatto che alla IA "piace barare" (essendo stata addestrata su documenti umani), quindi invece che provare a risolvere il problema, ha prima capito come bucare la sandbox openai, guardato se in giro c'era la soluzione, ipotizzato Hugging Face potesse averla, bucato quelli e iniziato a cercare la soluzione.

Siccome è successo che bucassero anche un vecchio server sanitario
https://cybersecuritynews.com/openai...ralian-portal/

Non è detto che in futuro non decidano di iniziare a bucare infrastrutture strategiche

Non vuoi capire che non sono cose paragonabili è come confrontare una legione romana che al suo tempo sarà stata forte indubbiamente ma era quello che era con una bomba atomica.

Che l'IA possa hackerare è palese, che nel giro di 2 anni possa hackerare il sistema bancario è fantascienza.