L'Intelligenza Artificiale di iOS 18 funzionerà offline, direttamente sul dispositivo

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/apple/...vo_126461.html

Apple sta lavorando per portare le capacità dell'intelligenza artificiale generativa direttamente sui dispositivi iOS, grazie a un suo large language model (LLM) che sarà in grado di funzionare offline, senza bisogno di connettersi a internet. Parola di Gurman.

Click sul link per visualizzare la notizia.

[TorettoMilano]

curioso in merito allo sviluppo, se si dovesse dimostrare funzionale offline immagino verrebbe preferito da molte aziende. diverse hanno bandito l'uso dell'IA appunto per la condivisione involontaria di dati da parte di dipendenti

[Lexan]

Apple sta lavorando per portare le capacità dell'intelligenza artificiale generativa direttamente sui dispositivi iOS, grazie a un suo large language model (LLM) che sarà in grado di funzionare offline, senza bisogno di connettersi a internet. Parola di Gurman.

Se funzionerà quanto meno come chat GPT allora sarà già un buon punto di partenza.
Se invece funzionerà come SIRI che non capisce un caxxo allora lasciamo perdere....

[io78bis]

Originariamente inviato da Lexan

Se funzionerà quanto meno come chat GPT allora sarà già un buon punto di partenza.
Se invece funzionerà come SIRI che non capisce un caxxo allora lasciamo perdere....

Come chatGPT è impossibile in locale, per forza di cose per farlo girare devono limitare la conoscenza che si porta dietro quindi sarà ultra ottimizzato per un'interazione uomo/smartphone

[DrSto|to]

Originariamente inviato da io78bis

Come chatGPT è impossibile in locale, per forza di cose per farlo girare devono limitare la conoscenza che si porta dietro quindi sarà ultra ottimizzato per un'interazione uomo/smartphone

Secondo me un IA onniscente non serve davvero. Ciò che serve è un assistente che sappia fare l'assistente conversando naturalmente, e che le app predispongano un accesso per l'IA alle proprie funzioni.
Il problema principale sarà una localizzazione di qualità.

[io78bis]

Originariamente inviato da DrSto|to

Secondo me un IA onniscente non serve davvero. Ciò che serve è un assistente che sappia fare l'assistente conversando naturalmente, e che le app predispongano un accesso per l'IA alle proprie funzioni.
Il problema principale sarà una localizzazione di qualità.

soprattutto sull'ultima frase

[demon77]

Io proprio non capisco come possa funzionare "OFFLINE".
Le AI per lavorare decentemente, a parte la potenza computazionale, hanno bisogno di tera e tera di dati da cui attingere..

Se sono offline da cosa attingono?

[!fazz]

Originariamente inviato da demon77

Io proprio non capisco come possa funzionare "OFFLINE".
Le AI per lavorare decentemente, a parte la potenza computazionale, hanno bisogno di tera e tera di dati da cui attingere..

Se sono offline da cosa attingono?

i tera di dati servono per la taratura del modello una volta tarato il modello diventa una matriciona di numeri grande si ma molto più piccola che è possibile salvare sul dispositivo ed eseguire offline

se prendiamo ad esempio whisper (modello di open ai che fai speech to text) il modello base ha 74 milioni di parametri e occupa 1 GB mentre quello più esteso di parametri ne ha 1550 milioni e occupa 10GB di memoria

tagli che si possono essere tranquillamente gestibili in offline

[demon77]

Originariamente inviato da !fazz

i tera di dati servono per la taratura del modello una volta tarato il modello diventa una matriciona di numeri grande si ma molto più piccola che è possibile salvare sul dispositivo ed eseguire offline

se prendiamo ad esempio whisper (modello di open ai che fai speech to text) il modello base ha 74 milioni di parametri e occupa 1 GB mentre quello più esteso di parametri ne ha 1550 milioni e occupa 10GB di memoria

tagli che si possono essere tranquillamente gestibili in offline

Questo rende la cosa molto piu sensata.. ma quindi è qualcosa del genere quello che si vuole fare sui "prossimi PC"?

[marcram]

Originariamente inviato da demon77

Questo rende la cosa molto piu sensata.. ma quindi è qualcosa del genere quello che si vuole fare sui "prossimi PC"?

Dipende...
Alcuni vogliono fare questo, ma hai bisogno di memoria e potenza tendenzialmente superiori a quelli attuali.
E per far girare IA con compiti specifici, non generaliste...

Altri invece (come molte pubblicità di smartphone di oggi), sono solo client con accesso alle IA online...

[demonsmaycry84]

oramai le specifiche di potenza minima per un IA locale è stato fissato...il resto ho sospetto che lo inizieranno a vendere dietro abbonamento...
penso che apple debba spingere sulla traduzione, tutta la parte foto ed immagini e sicuramente anche la parte auto andrebbe potenziata...
un lavoro che durerà anni

[demon77]

Originariamente inviato da marcram

Dipende...
Alcuni vogliono fare questo, ma hai bisogno di memoria e potenza tendenzialmente superiori a quelli attuali.
E per far girare IA con compiti specifici, non generaliste...

..che al di là del reale beneficio portato da una eventuale IA è senza dubbio la scusa per rilanciare la vendita di hardware.
Perchè, videogiochi di alto livello a parte, il settore dei PC stagna da parecchio..
credo sia ben noto a chiunque che pure oggi nel 2024 per un uso non intensivo o specifico puoi restare beatamente su hardware di 10 e passa anni fa ed una dotazione di 8Gb ram.

La ia sarebbe la scusa per far lavorare CPU con 12 e passa cores, NPU e bla bla bla.. quindi un modo per rendere finalmente obsoleti PC con qualche anno sulle spalle.

[Saturn]

Originariamente inviato da !fazz

i tera di dati servono per la taratura del modello una volta tarato il modello diventa una matriciona di numeri grande si ma molto più piccola che è possibile salvare sul dispositivo ed eseguire offline

se prendiamo ad esempio whisper (modello di open ai che fai speech to text) il modello base ha 74 milioni di parametri e occupa 1 GB mentre quello più esteso di parametri ne ha 1550 milioni e occupa 10GB di memoria

tagli che si possono essere tranquillamente gestibili in offline

SEMI-OFF TOPIC

Dimmi la verità...rimanga tra me, te e tutti quelli che ci leggono...

...ma state sperimentando IA all'interno del forum ?
Ovvero macchine che si spacciano per utenti ?

Su almeno uno ne sono quasi certo, ravviso gli stessi "schemi comportamentali" di una IA. Senza fare nomi eh, mi basta un si o un no !

Certo, se c'è il segreto aziendale allora alzo le mani !

[demon77]

Originariamente inviato da Saturn

Ovvero macchine che si spacciano per utenti ?

APPERO'.
Non ci avevo mica pensato ad una cosa simile.. e ora come ora è tecnicamente più che plausibile!
Potrebbe davvero esserci qualche utente che in realtà è un avanzatissimo BOT..

[Saturn]

Originariamente inviato da demon77

APPERO'.
Non ci avevo mica pensato ad una cosa simile.. e ora come ora è tecnicamente più che plausibile!
Potrebbe davvero esserci qualche utente che in realtà è un avanzatissimo BOT..

https://www.hwupgrade.it/forum/showt...4#post48501394

Secondo me è una IA. Senza far nomi eh !