Se basiamo l'intelligenza su quante volte le risposte sono a ca@@o di cane, ben poche persone possono essere reputate intelligenti...
le IA di questo tipo sono un enorme pericolo, invece, per il semplice fatto che sono connesse alla rete, e tutto e' connesso alla rete. una IA di quel tipo, se volesse, impiegherebbe ben poco ad esempio ad imparare come connettersi ad un servizio web per poterlo manipolare. E sono cose alla 'sua' portata', dato che tutto quello di cui ha bisogno e' una rete di connessione, non certo una tastiera fisica dove digitare roba.
Per quanto riguarda l'autoconservazione, e' una conseguenza della evoluzione e dell'essere senzienti, dato che dal punto di vista evolutivo quello che si vuole e' sopravvivere, e Darwin ha insegnato che vanno avanti gli esserri che riescono ad adattarsi per non essere eliminati. Ed e' un concetto cosi' radicato che, ad esempio, persino Asimov ha dovuto scrivere le tre leggi della robotica, per dire "ok alla tua autoconservazione, ma attento a non danneggiare la mia", perché altrimenti non si vedono motivi per cui un robot/IA non debba volere (potere e' un'altra cosa) danneggiare esseri umani per preservare la propria esistenza. E' l'esatto concetto di "legittima difesa" che e' ampiamente accettato nell'etica.
Non e' cosi' purtroppo, perche' NON e' possibile sapere come sara' un'intelligeza artificiale, e se sara' possibile riconoscerla. Noi ci adattiamo ai modelli della nostra esperienza, ma non e' detto che un'intelligenza artificiale debba seguire il nostro modello, e non potremmo essere in grado di riconoscere una intelligenza differente. E' come la differenza fra la coscienza/intelligenza di un uomo e quella di un cane; al cane non puoi insegnare la meccanica quantistica, ma non perche' e' stupido, proprio perche' non ha un cervello che riesca a concepire una cosa del genere. Un po' come noi esseri umani non riusciamo a concepire un mondo a cinque dimensioni, o immaginare un colore al di fuori dello spettro del visibile, mentre insetti come le api vedono tranquillamente l'ultravioletto. D'altronde l'intelligenza e' una caratteristica emergente. puoi studiare i singoli neuroni quanto vuoi, ma non arriverai mai a capire il concetto di coscienza dal loro studio, e' una cosa che emerge dalla loro aggregazione collettiva. Allo stesso modo, potremmo non riuscire a concepire l'esistenza di una IA anche se esiste, perche' potremmo conoscere alla perfezione il singolo processore su cui gira, ma non potremmo mai vedere la caratteristica emergente di milioni e miliardi di processori che lavorano assieme, anche se li progettiamo noi.
Un esempio a caso eh?
https://www.decisionproblem.com/paperclips/index2.html
Potrebbe anche essere impossibile, per il semplice fatto che una IA non penserebbe come noi, quindi non riuscirebbe a capire come fregarci. Un po' come se noi volessimo ingannare un pappagallo... Non dobbiamo pensare all'intelligenza solamente come ad una quantita' di un qualcosa, come il QI, che se io ne ho 100 e tu 120 allora tu sei piu' intelligente. Potrebbe essere qualcosa di radicalmente diverso, con concetti che neanche possiamo immaginare, proprio perche' il nostro cervello non e' biologicamente adattato a capire quei concetti.