Credo proprio che si debba cambiare la scheda logica ( gli iMac fino ad una certa versione hanno tutti i chip saldati sulla motherboard ) oppure, se possibile, trovare una GPU su modulo mxm compatibile con Apple: ovvero deve essere Apple EFI compatibile, altrimenti è come non averla!!
Prova a consultare il sito di iFixit potresti trovare suggerimenti e spiegazioni utili, nonché i pezzi di ricambio!