Puoi installare il plugin yum-basearchonly, serve apposta per questo: installare ove possibile solo la versione per la tua architettura.
Oppure puoi specificare a mano la versione che ti interessa, ad esempio se vuoi installare specificatamente firefox a 64 bit puoi eseguire:
yum install firefox.x86_64
|