ChatGPT, sono sbagliate più della metà delle risposte a domande di programmazione

[omerook]

Originariamente inviato da cudido

Scazza di brutto, domanda appena fatta:

"quanto ci mette la luce a percorrere 1000 km?". Per chat GPT 3, 34 secondi 😅.
.

chat gpt 4:

Quindi, la luce impiega circa 0,00334 secondi a percorrere 1000 km.

ma poi ci saranno la chat gpt 5 e la 6 la 7 ecc ecc e tutte le sue cugine ma noi saremo evoluti di poco nel frattempo

[Tedturb0]

Originariamente inviato da randorama

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

e' efffettivamente vero che riesce a produrre SQL corretto in base alla domanda specifica, il che e' abbastanza interessante

[zappy]

Originariamente inviato da h.rorschach

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

concordo. è un gioco statistico complicatissimo, ma è pur sempre un gioco statistico.
Conformismo Artificiale, più che intelligenza. Nel senso che dà la risposta più comune, diffusa e banale. Insomma, una specie di Wikipedia automatizzata.

Originariamente inviato da WarDuck

In ogni caso il problema mi sembra il solito del machine learning: garbage in -> garbage out.

Visto che in giro c'è una discreta quantità di codice buggato e/o talmente contorto da preferire quasi sempre riscriverlo da zero, non si può pretendere che la fuffa artificiale faccia poi tanto meglio.

Esatto.

[zappy]

Originariamente inviato da guidobonin

E’ stata la mia più grande delusione, recentemente.
Non pensavo che questa grande innovazione non fosse in grado di mettere in piedi due righe di codice per un problema semplice.

Questo sembra esattamente un testo scritto da chatgpt
confessa.

[zappy]

Originariamente inviato da uazzamerican

Esulate un attimo dalla questione tecnica.
Questa parte è la più significativa:

le risposte articolate, analitiche e di particolare completezza, unitamente al linguaggio "garbato", vengano percepite come più convincenti,

Tradotto:
Si sono adoperati per rendere le risposte non necessariamente esatte ma assolutamente convincenti. Lo sforzo è lì.
Non vi ricorda niente?
Ne siamo immersi..

certamente.
basta vedere come vota la gente... basta raccontare due balle che si sa benissimo che sono balle, e la mandria di deficienti sbava.

[nosio]

Originariamente inviato da zappy

certamente.
basta vedere come vota la gente... basta raccontare due balle che si sa benissimo che sono balle, e la mandria di deficienti sbava.

...che è esattamente l'hype che stanno generando sulle AI...

[randorama]

Originariamente inviato da cudido

Scazza di brutto, domanda appena fatta:

"quanto ci mette la luce a percorrere 1000 km?". Per chat GPT 3, 34 secondi 😅.

La **luce** viaggia a una velocità costante nel vuoto, nota come **velocità della luce**. Questa velocità è di circa **299.792.458 metri al secondo**¹. Per calcolare quanto tempo impiega la luce a percorrere una distanza, possiamo utilizzare la formula:

$$
\text{Tempo} = \frac{\text{Distanza}}{\text{Velocità}}
$$

Nel caso di **1000 km**, possiamo calcolare il tempo impiegato dalla luce nel seguente modo:

1. Convertiamo la distanza in metri: \(1000 \, \text{km} = 1.000.000 \, \text{m}\).
2. Applichiamo la formula:

$$
\text{Tempo} = \frac{1.000.000 \, \text{m}}{299.792.458 \, \text{m/s}} \approx 3,34 \, \text{secondi}
$$

Quindi, la luce impiega circa **3,34 secondi** per percorrere **1000 km** nel vuoto¹.

Se hai altre domande o hai bisogno di ulteriori chiarimenti, sarò felice di aiutarti! 😊

Conversazione con Copilot 25/5/2024
(1) Quanto tempo impiega la luce a percorrere un metro - Chimica-online. https://www.chimica-online.it/fisica...e-un-metro.htm.
(2) Quanto ci mette la luce a percorrere 2 m? - ernesto.it. https://www.ernesto.it/faq/quanto-ci...percorrere-2-m.
(3) Quanto ci mette la luce a percorrere 1 km? - ernesto.it. https://www.ernesto.it/faq/quanto-ci...ercorrere-1-km.
(4) Anno luce in anni terrestri: perché non ha senso - YouMath. https://www.youmath.it/domande-a-ris...terrestri.html.
(5) A quale velocità viaggia la luce? | Sapere.it. https://www.sapere.it/sapere/strumen...ella-luce.html.

ti spiace postare l'immagine? questa la mia.

[Phoenix Fire]

Originariamente inviato da io78bis

Stackoverflow ti permette il confronto su design e implementazione non è da usare per chiedere spezzoni di codice per risolvere il compitino


Naturalmente solo semplici opinioni nessun attacco o altro. AI è sicuramente utile a fare velocemente codice che poi va quasi sicuramente riadattato all'esigenza specifica

Non sto parlando del "ho un problema complesso, scrivo un posto su stackoverflow", ma "devo fare X o y, cerco su google che nel 99% dei casi mi rimanda a un post di stackoverflow"
Per questi casi, chiedere a chatgpt/copilot/ecc per me è stato più rapido e potevo direttamente chiedere le modifiche all'IA stessa. Fare lo stesso su SO mi richiedeva più tempo e più "attenzione" nel leggere tutte le risposte (e scavalcare i post di insulti )

[Unrue]

Nella mia piccola esperienza con chatGPT, che comunque uso giornalmente, posso dire che se gli chiedi piccoli codici diciamo da circa 20-30 righe, funziona bene. Magari c'è da correggere qualcosa, ma lo scheletro del codice lo hai, e risparmi comunque un botto di tempo.

Se gli chiedi cose più grandi va a gallina. Ma insomma, mi pare anche normale, ha ancora ampi margini di miglioramento.

La cosa strana che mi capita ogni tanto è quando gli dico "guarda che questa soluzione è sbagliata", si scusa e me la ripropone pari pari

[PapaStreamer]

Però mi piace molto in altre scienze.
Giurisprudenza e psicologia per esempio.

Gli parli di te e gli proponi i tuoi sogni e ti sa fare interpretazione in diverse modalità quella freudiana, junghiana, gestaltica, cognitiva e transpersonale.

L'ho interpellato su codice civile e diritto di famiglia, per esempio i processi per affido dei figli e le risposte sono molto interessanti e danno spunti per imbastire un buon ricorso e pararsi anche il culo nelle CTU fallate da bias sociali e culturali. Ossia quando un CTU di Reggio Emilia ti canna una valutazione psichiatrica su un padre siciliano solo perché è così diverso culturalmente.

[megamitch]

Io ho provato a far scrivere un banale script Bash a Bing Copilot (basato su chatGPT) e a Google Gemini.

Il risultato di Copilot era uno script funzionante, quello di Gemini no, non funzionava.

[zappy]

Originariamente inviato da Unrue

Nella mia piccola esperienza con chatGPT, che comunque uso giornalmente, posso dire che se gli chiedi piccoli codici diciamo da circa 20-30 righe, funziona bene. Magari c'è da correggere qualcosa, ma lo scheletro del codice lo hai, e risparmi comunque un botto di tempo.

Se gli chiedi cose più grandi va a gallina. Ma insomma, mi pare anche normale, ha ancora ampi margini di miglioramento.

La cosa strana che mi capita ogni tanto è quando gli dico "guarda che questa soluzione è sbagliata", si scusa e me la ripropone pari pari

se non mi piace la soluzione prospettata, copioincollo la stessa domanda e in genere propone una soluzione diversa. Utile anche per confrontare diversi approcci al problema.

Ovviamente roba semplice di poche righe, mai chiesto di creare un kernel o un foglio di calcolo

[Phoenix Fire]

Originariamente inviato da Unrue

Nella mia piccola esperienza con chatGPT, che comunque uso giornalmente, posso dire che se gli chiedi piccoli codici diciamo da circa 20-30 righe, funziona bene. Magari c'è da correggere qualcosa, ma lo scheletro del codice lo hai, e risparmi comunque un botto di tempo.

Se gli chiedi cose più grandi va a gallina. Ma insomma, mi pare anche normale, ha ancora ampi margini di miglioramento.

La cosa strana che mi capita ogni tanto è quando gli dico "guarda che questa soluzione è sbagliata", si scusa e me la ripropone pari pari

Originariamente inviato da zappy

se non mi piace la soluzione prospettata, copioincollo la stessa domanda e in genere propone una soluzione diversa. Utile anche per confrontare diversi approcci al problema.

Ovviamente roba semplice di poche righe, mai chiesto di creare un kernel o un foglio di calcolo

copilot mi ha dato comportamenti diversi
caso 1, richiesta di codice, correggendo o chiedendo modifiche ha dato soluzioni diverse per 3-4 volte
caso 2, problema di "ottimizzazione di turni", dopo una-due correzioni/modifiche è ripartito con la prima soluzione