[GianMi]

...è più nuovo quindi si guasta prima :-)

Lo so, sembra un discorso alla "si stava meglio quando si stava peggio", ma nello specifico credo che finché non si supera il "peccato originale" dell'architettura Transformer (il modulo di attenzione che ha una complessità O(n^2) anche con tutti i miglioramenti applicati) non si potranno ottenere progressi significativi se non a costi che aumentano appunto in modo quadratico.

Se fanno modelli più grandi, ma si debbono cercare dei compromessi allora qualcosa migliora, ma qualcos'altro magari peggiora. E per concludere con un'altro luogo comune: non ci sono pasti gratis :-)