Anthropic lancia Fable 5.2 e Mythos 5.2, e ammette: valutarli è più difficile

[Redazione di Hardware Upg]

Link alla notizia: https://www.hwupgrade.it/news/scienz...le_161800.html

Fable 5.2 è disponibile per tutti dal giorno dell'annuncio, mentre Mythos 5.2 resta riservato alle organizzazioni verificate. Il listino è di 8 dollari in ingresso e 40 in uscita per milione di token, il doppio di Opus 5.5 (4 e 20 dollari)

Click sul link per visualizzare la notizia.

[Fantapollo]

Ci troviamo di fronte all'entità più intelligente dell'Universo:
Fable 5.2

E sta già lavorando al mio servizio

https://artificialanalysis.ai/

[Fantapollo]

Vi propongo un tema scarsamente trattato:
queste mostruosità infliggono un colpo durissimo al mondo opensorcio.

Non tanto alla qualita' dei prodotti,
che beneficeranno dell'IA,
ma alle communities.

Ci sono tanti progetti che avevano anche una certa vita,
che ora si possono realizzare (migliori) con l'IA individualmente nell'arco di qualche ora/giorno.

E' tutto molto triste per il mondo opensorcio, e la frammentazione aumentera' parecchio. Perché usare e creditare prodotti di altri se posso farli con un prompt?

Per esempio, potete scommettere che qualsiasi idiota si sentirà in dovere di creare il proprio editor personale per la propria distro (gia' prima era in parte cosi', ma ora la cosa peggiorera').

Vedo molto complicato per un progetto opensorcio riuscire a imporsi sugli altri in futuro...

[Notturnia]

lo sto provando oggi.. 2 ore di lavoro.. mangiata l'intera quota settimanale

[Fantapollo]

Originariamente inviato da Notturnia

lo sto provando oggi.. 2 ore di lavoro.. mangiata l'intera quota settimanale

Non usare ultracode...

[Notturnia]

Originariamente inviato da Fantapollo

Non usare ultracode...

l'ho testato

volevo vedere i miracoli.. ma l'unico miracolo che fa ultracode è mangiare token

[disti84]

Lo sto provando a high effort. Ultracode l'ho provato con opus e non conviene, a meno che non devi progettare qualcosa di enorme e complicato (ma anche qui ho i miei dubbi). Mangia solo una quantita spropositata di token e ci mette una vita a finire il lavoro.

[Fantapollo]

Come avrete capito,
ultracode non aumenta la profondità,
ma solo il parallelismo.

Crea decine di revisori diversi per le attività dell'altro revisore

Testate con Max se serve (io uso soprattutto extra)

[disti84]

Originariamente inviato da Fantapollo

Come avrete capito,
ultracode non aumenta la profondità,
ma solo il parallelismo.

Crea decine di revisori diversi per le attività dell'altro revisore

Testate con Max se serve (io uso soprattutto extra)

Si esatto, c'è molta differenza tra extra e high?

[Fantapollo]

Originariamente inviato da disti84

Si esatto, c'è molta differenza tra extra e high?

Piu' che tra extra e max secondo me.
Anche "max" tende a creare thread senza effettivi guadagni, "extra" lo fa quando realmente serve

[supertigrotto]

Se continua così,in fase di divorzio,la ex ti domanderà token invece che la casa,la macchina,tutti i soldi del conto,gli alimenti etc.....

[Notturnia]

ultracode va bene quando si deve fare una verifica approfondita su un progetto complesso.. fa molte cose assieme, brucia una quantità impressionante di token ma di norma riesce a vedere le cose "a tutto tondo" ..

io lo uso solo per questi task.. per il resto opus 5.5 extra di norma mi basta o fable 5.1 (di prima)

[mmorselli]

Originariamente inviato da Fantapollo

https://artificialanalysis.ai/

E' parere abbastanza comune che artificialanalysis sia una cagata pazzesca, senza voler togliere nulla Fable, che sarà buono come lo era il precedente immagino.

[disti84]

Originariamente inviato da Notturnia

lo sto provando oggi.. 2 ore di lavoro.. mangiata l'intera quota settimanale

Hanno messo un reset

[mmorselli]

Originariamente inviato da Fantapollo

Vedo molto complicato per un progetto opensorcio riuscire a imporsi sugli altri in futuro...

Lo scopo di un prodotto opensource non è imporsi, ma offrire libertà, per cui lo scenario che immagini è una sorta di sogno bagnato di Stallman più che un problema.

Ci vedi un problema tu perché sei una persona strana che vive tutto come una competizione, per te Closed e Open sono come due squadre in un campo di calcio in cui se una vince i suoi tifosi festeggiano, ma non funziona così nelle persone senza disturbi ossessivi compulsivi.

[Notturnia]

Originariamente inviato da disti84

Hanno messo un reset

di norma ne offrono, io ne ho uno solo ancora utilizzabile

[Fantapollo]

Originariamente inviato da mmorselli

E' parere abbastanza comune che artificialanalysis sia una cagata pazzesca, senza voler togliere nulla Fable, che sarà buono come lo era il precedente immagino.

A me sembri il solito sinistro che critica ogni tipologia di metrica
(senza ovviamente proporne di migliori)

Scommetto che i voti scolastici non ti piacciono

[mmorselli]

Originariamente inviato da Fantapollo

A me sembri il solito sinistro che critica ogni tipologia di metrica

La discussione sui benchmark e sul benchmaxing è molto viva, non sono inutili, ma non vanno usati per fare la cosa che stai facendo tu. Comunque mi riferivo in particolare ad artificialanalysis che è un po' l'emblema di questa discussione, cioè il peggiore che si possa prendere.

L'alternativa ai benchmark è usare gli strumenti sui propri casi d'uso e vederne i limiti, quelle classifiche servono davvero proprio solo a chi gioca a "il mio è meglio del tuo"

Scommetto che i voti scolastici non ti piacciono

I voti vanno benissimo, mi piacciono i numeri, ma anche quelli vanno contestualizzati, non hanno una valenza universale.

[Fantapollo]

Originariamente inviato da mmorselli

La discussione sui benchmark e sul benchmaxing è molto viva, non sono inutili, ma non vanno usati per fare la cosa che stai facendo tu. Comunque mi riferivo in particolare ad artificialanalysis che è un po' l'emblema di questa discussione, cioè il peggiore che si possa prendere.

L'alternativa ai benchmark è usare gli strumenti sui propri casi d'uso e vederne i limiti, quelle classifiche servono davvero proprio solo a chi gioca a "il mio è meglio del tuo"

Non ci sei proprio riuscito a darmi un altro benchmark, vero?
La tua allergia alle metriche è evidente, io i sinistri li fiuto al volo e sono tutti uguali

[Fantapollo]

Originariamente inviato da mmorselli

Ci vedi un problema tu perché sei una persona strana che vive tutto come una competizione, per te Closed e Open sono come due squadre in un campo di calcio in cui se una vince i suoi tifosi festeggiano, ma non funziona così nelle persone senza disturbi ossessivi compulsivi.

Oggi in programma diritto internazionale contro economia ad Abu Dhabi