ChatGPT, sono sbagliate più della metà delle risposte a domande di programmazione

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/web/ch...ne_127457.html

L'intelligenza artificiale è imprecisa, anche nei compiti più tecnici. Ma il tono garbato e analitico delle risposte contribuisce ad aumentare la percezione di affidabilità

Click sul link per visualizzare la notizia.

[ninja750]

non solo, e per alcuni linguaggi meno noti nemmeno dà una risposta

[io78bis]

Non posso che confermare. E quando sono giuste l'implementazione proposta è da 3 media.
Certo ora esistono anche AI più specializzate di chatGPT per la programmazione ma GPT fa veramente pena.

L'altro grosso problema è l'incapacità degli utenti, non dico programmatori perché chiaramente non lo sono, di capire la scarsa qualità delle risposte,

[io78bis]

Originariamente inviato da mally

contenere errori non significa che il codice sia sbagliato, ma che deve essere corretto. ...

Scusa puoi argomentare meglio, sarà il Venerdì ma non capisco cosa intendi

[Phoenix Fire]

Originariamente inviato da mally

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

concordo, poi tra il codice di chatgpt e quello appunto di stackoverflow, sul secondo posso "correggerlo" insieme all'AI stessa
Sinceramente se l'idea è che chatgpt programmi da sola, ovviamente siamo lontanissimi, ma è un ottimo sostituto di uno stackoverflow

[io78bis]

Originariamente inviato da mally

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

Sarò vecchia scuola ma se ti serve il debug per rilevare un simile errore (non il banale esempio del return ma logico se conosci il linguaggio) non sei un programmatore. Se ti limiti a cut&paste e debug il risultato finale dubito sia un buon algoritmo e che possa mai diventarlo

Originariamente inviato da Phoenix Fire

concordo, poi tra il codice di chatgpt e quello appunto di stackoverflow, sul secondo posso "correggerlo" insieme all'AI stessa
Sinceramente se l'idea è che chatgpt programmi da sola, ovviamente siamo lontanissimi, ma è un ottimo sostituto di uno stackoverflow

Stackoverflow ti permette il confronto su design e implementazione non è da usare per chiedere spezzoni di codice per risolvere il compitino


Naturalmente solo semplici opinioni nessun attacco o altro. AI è sicuramente utile a fare velocemente codice che poi va quasi sicuramente riadattato all'esigenza specifica

[randorama]

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

[io78bis]

Originariamente inviato da randorama

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

Infatti non credo la colpa sia interamente del AI. Molto dipende da come viene costruito il prompt quindi dalla capacità di dettagliare il task.

Io non sono un grafico, ma vedo immagini generate da AI stupende. Se provo a generare immagini simili se va bene ottengo uno schizzo colorato con i gessetti

[h.rorschach]

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

[pachainti]

Niente di nuovo sotto il sole.

Do Users Write More Insecure Code with AI Assistants?
We conduct the first large-scale user study examining how users interact with an AI Code assistant to solve a variety of security related tasks across different programming languages. Overall, we find that participants who had access to an AI assistant based on OpenAI's codex-davinci-002 model wrote significantly less secure code than those without access. Additionally, participants with access to an AI assistant were more likely to believe they wrote secure code than those without access to the AI assistant. Furthermore, we find that participants who trusted the AI less and engaged more with the language and format of their prompts (e.g. re-phrasing, adjusting temperature) provided code with fewer security vulnerabilities. Finally, in order to better inform the design of future AI-based Code assistants, we provide an in-depth analysis of participants' language and interaction behavior, as well as release our user interface as an instrument to conduct similar studies in the future.

Originariamente inviato da h.rorschach

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

Esatto.

[Informative]

Va anche detto che spesso è in grado di correggere da solo alcuni errori, dopo un po' di iterazioni e mostrandogli gli errori.
Molta strada da fare ma già adesso un tool utile per sveltire certi lavori di bassa complessità.

P.s.: Che non abbia una coscienza penso sia noto anche ai sassi, anche perché non è auspicabile che ce l'abbia: diventerebbe difficile da controllare e verrebbero introdotti anche problemi etici non indifferenti.

[Sandro kensan]

Io ho provato a fargli fare il codice piuttosto banale di convertire una stringa con caratteri e spazi e trasformarla in una stringa con ritorni a capo dove ogni riga doveva essere non più larga di un certo numero di pixel. Veniva usata una funzione che data una stringa ne dava la larghezza in pixel.

Il codice fornito da Chat GPT era corto ma del tutto inefficiente nel creare righe completamente riempite di parole prima di andare a capo. Ho dovuto scriverlo da me senza prendere alcun spunto dal codice fornito dall'AI.

[giovanni69]

Originariamente inviato da h.rorschach

Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

E premio speciale va a chi ha inventato il gergo allucinazione (come se fosse un essere umano sotto l'uso di droghe o vaneggiamenti da febbre alta) per descrivere quello che di fatto è un errore.

[HW2021]

Ci stanno spacciando per intelligenza artificiale una roba che tutto è meno ce intelligente

Quella propagandata per AI è semplicemente un sistema di correlazioni multiple tra dati anche tra loro omogenei coadiuvato da un'efficiente e velocissimo sistema di ricerca dati in una rete o albero, non c'è nulla d'intelligente

Io stesso diverso tempo fa ho voluto testare in chatGPT quella che ci propagandano intelligenza artificiale e ovviamente sono andato sul pesante ponendogli la seguente domanda

Ho uno spazio X in cui definisco una struttura topologica non T2 ed ho una sequenza numerabile di punti di X che converge in un punto di accumulazione a (non importa se a è un punto di X o non lo è); allora gli ho chiesto se a è unico

Be ChatGPT mi ha dato delle risposte assurde senza senso, e questa me la chiamate intelligenza?

Avremo l'intelligenza artificiale quando sarà capace di affrontare e risolvere problemi matematici soprattutto problemi storici che matematici per secoli non sono riusciti a risolvere

Ribadisco l'AI di oggi è semplicemente un efficiente sistema di percorrere alberi contenente dati anche non omogenei tra loro, ma quei dati non se li inventa gli vengono forniti proprio in quella fase chiamata autoapprendimento

Diciamo le cose come stanno, l'AI di oggi è un menomato mentale confrontato con l'intelligenza anche di un bambino di 4/6 anni

[guidobonin]

E’ stata la mia più grande delusione, recentemente.
Non pensavo che questa grande innovazione non fosse in grado di mettere in piedi due righe di codice per un problema semplice.

[WarDuck]

La programmazione è un atto creativo, che che se ne dica. Esistono infiniti modi per codificare *correttamente* lo stesso programma.

In ogni caso il problema mi sembra il solito del machine learning: garbage in -> garbage out.

Visto che in giro c'è una discreta quantità di codice buggato e/o talmente contorto da preferire quasi sempre riscriverlo da zero, non si può pretendere che la fuffa artificiale faccia poi tanto meglio.

Anche perché purtroppo il mondo del software è andato via via preferendo la complessità anziché preferire la semplicità delle soluzioni, il che molto spesso porta inesorabilmente a soluzioni fallimentari sul lungo termine.

Mah. Staremo a vedere.

PS: la stanza cinese di Searle (in risposta alle ipotesi del test di Turing) fa venire sufficienti dubbi sul fatto che manipolare simboli per dare risposte apparentemente corrette a delle domande, senza avere alcuna coscienza di ciò che viene chiesto, possa essere definito "intelligenza". Ma poco importa: al programmatore/dirigente mediocre Chat-GPT va più che bene.

[uazzamerican]

Esulate un attimo dalla questione tecnica.
Questa parte è la più significativa:

le risposte articolate, analitiche e di particolare completezza, unitamente al linguaggio "garbato", vengano percepite come più convincenti,

Tradotto:
Si sono adoperati per rendere le risposte non necessariamente esatte ma assolutamente convincenti. Lo sforzo è lì.
Non vi ricorda niente?
Ne siamo immersi.

La supercazzola prematurata con scappellamento a destra come fosse Antani stuzzica sempre.

[cudido]

Scazza di brutto, domanda appena fatta:

"quanto ci mette la luce a percorrere 1000 km?". Per chat GPT 3, 34 secondi 😅.

La **luce** viaggia a una velocità costante nel vuoto, nota come **velocità della luce**. Questa velocità è di circa **299.792.458 metri al secondo**¹. Per calcolare quanto tempo impiega la luce a percorrere una distanza, possiamo utilizzare la formula:

$$
\text{Tempo} = \frac{\text{Distanza}}{\text{Velocità}}
$$

Nel caso di **1000 km**, possiamo calcolare il tempo impiegato dalla luce nel seguente modo:

1. Convertiamo la distanza in metri: \(1000 \, \text{km} = 1.000.000 \, \text{m}\).
2. Applichiamo la formula:

$$
\text{Tempo} = \frac{1.000.000 \, \text{m}}{299.792.458 \, \text{m/s}} \approx 3,34 \, \text{secondi}
$$

Quindi, la luce impiega circa **3,34 secondi** per percorrere **1000 km** nel vuoto¹.

Se hai altre domande o hai bisogno di ulteriori chiarimenti, sarò felice di aiutarti! 😊

Conversazione con Copilot 25/5/2024
(1) Quanto tempo impiega la luce a percorrere un metro - Chimica-online. https://www.chimica-online.it/fisica...e-un-metro.htm.
(2) Quanto ci mette la luce a percorrere 2 m? - ernesto.it. https://www.ernesto.it/faq/quanto-ci...percorrere-2-m.
(3) Quanto ci mette la luce a percorrere 1 km? - ernesto.it. https://www.ernesto.it/faq/quanto-ci...ercorrere-1-km.
(4) Anno luce in anni terrestri: perché non ha senso - YouMath. https://www.youmath.it/domande-a-ris...terrestri.html.
(5) A quale velocità viaggia la luce? | Sapere.it. https://www.sapere.it/sapere/strumen...ella-luce.html.

[pachainti]

Originariamente inviato da giovanni69

E premio speciale va a chi ha inventato il gergo allucinazione (come se fosse un essere umano sotto l'uso di droghe o vaneggiamenti da febbre alta) per descrivere quello che di fatto è un errore.

Esatto, ma questo vale per tutto i termini utilizzati nelle reti neurali e nel machine learning.

[Kuriosone]

tra poco verranno create IA specifiche per ogni ambito di utilizzo poichè i costi di diminuiranno grazie alla diffusione di processori specifici vedi Nvidia che nel tempo diminuiranno di prezzo e le memorie di massa sempre più capienti e meno costose almeno per gli HHD molte IA saranno ad uso privato ed aziendale sganciandosida queste di oggi filtrate e limitate. Questo è quello che temono i potentati attuali del pianeta Terra. Chi saprà programmare, costruire e manutenere un IA farà tanti soldi nel breve - medio periodo nel lungo prevedo che l' IA si possano autoprogrammare automaticamente. Che ne pensate ? sono troppo esagerato ?