ChatGPT, sono sbagliate più della metà delle risposte a domande di programmazione

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ch...ne_127457.html

L'intelligenza artificiale è imprecisa, anche nei compiti più tecnici. Ma il tono garbato e analitico delle risposte contribuisce ad aumentare la percezione di affidabilità

Click sul link per visualizzare la notizia.

[ninja750]

non solo, e per alcuni linguaggi meno noti nemmeno dà una risposta

[io78bis]

Non posso che confermare. E quando sono giuste l'implementazione proposta è da 3 media.
Certo ora esistono anche AI più specializzate di chatGPT per la programmazione ma GPT fa veramente pena.

L'altro grosso problema è l'incapacità degli utenti, non dico programmatori perché chiaramente non lo sono, di capire la scarsa qualità delle risposte,

[mally]

il 52% delle risposte che ChatGPT propone a seguito di domande inerenti la programmazione contengano errori.

contenere errori non significa che il codice sia sbagliato, ma che deve essere corretto. Inoltre ne deriva che il 48% non cotiene errori. Niente male per una tecnologia che ha un paio di anni. Soliti titoli alla cazzum di hwupgrade...

[io78bis]

Originariamente inviato da mally

contenere errori non significa che il codice sia sbagliato, ma che deve essere corretto. ...

Scusa puoi argomentare meglio, sarà il Venerdì ma non capisco cosa intendi

[mally]

Originariamente inviato da io78bis

Scusa puoi argomentare meglio, sarà il Venerdì ma non capisco cosa intendi

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

[Phoenix Fire]

Originariamente inviato da mally

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

concordo, poi tra il codice di chatgpt e quello appunto di stackoverflow, sul secondo posso "correggerlo" insieme all'AI stessa
Sinceramente se l'idea è che chatgpt programmi da sola, ovviamente siamo lontanissimi, ma è un ottimo sostituto di uno stackoverflow

[io78bis]

Originariamente inviato da mally

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

Sarò vecchia scuola ma se ti serve il debug per rilevare un simile errore (non il banale esempio del return ma logico se conosci il linguaggio) non sei un programmatore. Se ti limiti a cut&paste e debug il risultato finale dubito sia un buon algoritmo e che possa mai diventarlo

Originariamente inviato da Phoenix Fire

concordo, poi tra il codice di chatgpt e quello appunto di stackoverflow, sul secondo posso "correggerlo" insieme all'AI stessa
Sinceramente se l'idea è che chatgpt programmi da sola, ovviamente siamo lontanissimi, ma è un ottimo sostituto di uno stackoverflow

Stackoverflow ti permette il confronto su design e implementazione non è da usare per chiedere spezzoni di codice per risolvere il compitino


Naturalmente solo semplici opinioni nessun attacco o altro. AI è sicuramente utile a fare velocemente codice che poi va quasi sicuramente riadattato all'esigenza specifica

[randorama]

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

[mally]

Originariamente inviato da io78bis

Sarò vecchia scuola ma se ti serve il debug per rilevare un simile errore (non il banale esempio del return ma logico se conosci il linguaggio) non sei un programmatore. Se ti limiti a cut&paste e debug il risultato finale dubito sia un buon algoritmo e che possa mai diventarlo

e invece analizzare codice di altri è a mio avviso una buona maniera per imparare qualcosa di nuovo, meglio ancora se non perfetto. Per debuggare devi avere chiaro cosa stia succedendo...

[mally]

Originariamente inviato da randorama

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

ma infatti, già dichiarare che il 50% delle volte produce errori significa che l'altra metà delle volte il codice è perfettamente funzionante...

[io78bis]

Originariamente inviato da randorama

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

Infatti non credo la colpa sia interamente del AI. Molto dipende da come viene costruito il prompt quindi dalla capacità di dettagliare il task.

Io non sono un grafico, ma vedo immagini generate da AI stupende. Se provo a generare immagini simili se va bene ottengo uno schizzo colorato con i gessetti

[h.rorschach]

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

[pachainti]

Niente di nuovo sotto il sole.

Do Users Write More Insecure Code with AI Assistants?
We conduct the first large-scale user study examining how users interact with an AI Code assistant to solve a variety of security related tasks across different programming languages. Overall, we find that participants who had access to an AI assistant based on OpenAI's codex-davinci-002 model wrote significantly less secure code than those without access. Additionally, participants with access to an AI assistant were more likely to believe they wrote secure code than those without access to the AI assistant. Furthermore, we find that participants who trusted the AI less and engaged more with the language and format of their prompts (e.g. re-phrasing, adjusting temperature) provided code with fewer security vulnerabilities. Finally, in order to better inform the design of future AI-based Code assistants, we provide an in-depth analysis of participants' language and interaction behavior, as well as release our user interface as an instrument to conduct similar studies in the future.

Originariamente inviato da h.rorschach

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

Esatto.

[Informative]

Va anche detto che spesso è in grado di correggere da solo alcuni errori, dopo un po' di iterazioni e mostrandogli gli errori.
Molta strada da fare ma già adesso un tool utile per sveltire certi lavori di bassa complessità.

P.s.: Che non abbia una coscienza penso sia noto anche ai sassi, anche perché non è auspicabile che ce l'abbia: diventerebbe difficile da controllare e verrebbero introdotti anche problemi etici non indifferenti.

[Sandro kensan]

Io ho provato a fargli fare il codice piuttosto banale di convertire una stringa con caratteri e spazi e trasformarla in una stringa con ritorni a capo dove ogni riga doveva essere non più larga di un certo numero di pixel. Veniva usata una funzione che data una stringa ne dava la larghezza in pixel.

Il codice fornito da Chat GPT era corto ma del tutto inefficiente nel creare righe completamente riempite di parole prima di andare a capo. Ho dovuto scriverlo da me senza prendere alcun spunto dal codice fornito dall'AI.

[giovanni69]

Originariamente inviato da h.rorschach

Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

E premio speciale va a chi ha inventato il gergo allucinazione (come se fosse un essere umano sotto l'uso di droghe o vaneggiamenti da febbre alta) per descrivere quello che di fatto è un errore.

[HW2021]

Ci stanno spacciando per intelligenza artificiale una roba che tutto è meno ce intelligente

Quella propagandata per AI è semplicemente un sistema di correlazioni multiple tra dati anche tra loro omogenei coadiuvato da un'efficiente e velocissimo sistema di ricerca dati in una rete o albero, non c'è nulla d'intelligente

Io stesso diverso tempo fa ho voluto testare in chatGPT quella che ci propagandano intelligenza artificiale e ovviamente sono andato sul pesante ponendogli la seguente domanda

Ho uno spazio X in cui definisco una struttura topologica non T2 ed ho una sequenza numerabile di punti di X che converge in un punto di accumulazione a (non importa se a è un punto di X o non lo è); allora gli ho chiesto se a è unico

Be ChatGPT mi ha dato delle risposte assurde senza senso, e questa me la chiamate intelligenza?

Avremo l'intelligenza artificiale quando sarà capace di affrontare e risolvere problemi matematici soprattutto problemi storici che matematici per secoli non sono riusciti a risolvere

Ribadisco l'AI di oggi è semplicemente un efficiente sistema di percorrere alberi contenente dati anche non omogenei tra loro, ma quei dati non se li inventa gli vengono forniti proprio in quella fase chiamata autoapprendimento

Diciamo le cose come stanno, l'AI di oggi è un menomato mentale confrontato con l'intelligenza anche di un bambino di 4/6 anni

[guidobonin]

E’ stata la mia più grande delusione, recentemente.
Non pensavo che questa grande innovazione non fosse in grado di mettere in piedi due righe di codice per un problema semplice.

[WarDuck]

La programmazione è un atto creativo, che che se ne dica. Esistono infiniti modi per codificare *correttamente* lo stesso programma.

In ogni caso il problema mi sembra il solito del machine learning: garbage in -> garbage out.

Visto che in giro c'è una discreta quantità di codice buggato e/o talmente contorto da preferire quasi sempre riscriverlo da zero, non si può pretendere che la fuffa artificiale faccia poi tanto meglio.

Anche perché purtroppo il mondo del software è andato via via preferendo la complessità anziché preferire la semplicità delle soluzioni, il che molto spesso porta inesorabilmente a soluzioni fallimentari sul lungo termine.

Mah. Staremo a vedere.

PS: la stanza cinese di Searle (in risposta alle ipotesi del test di Turing) fa venire sufficienti dubbi sul fatto che manipolare simboli per dare risposte apparentemente corrette a delle domande, senza avere alcuna coscienza di ciò che viene chiesto, possa essere definito "intelligenza". Ma poco importa: al programmatore/dirigente mediocre Chat-GPT va più che bene.