Per quelle poche volte che ho provato Office:Mac 2008 non ho avuto problemi di instabilità ma sicuramente l'uso del programma non è un'esperienza piacevole, ben lungi da quanto si può ottenere utilizzando Office su Windows.
Per risolvere il problema con la barra della formula hai provato a ripristinare la risoluzione originale? (Perché è stata modificata la risoluzione? Sugli LCD è la cosa peggiore che si può fare considerando che la qualità dell'immagine si degrada moltissimo).
Di incompatibilità tra le versioni Windows e Mac di Office ce ne sono sempre state, ma che ricordi io nulla a che vedere con le formule e non mi è mai capitato questo problema.
Utilizzare OpenOffice.org 3 non è una soluzione, per quel che ho potuto vedere il programma è una piaga, sicuramente peggio di Office:Mac 2008.
Sono arrivato alla conclusione che i programmi Microsoft è meglio evitarli su Mac OS X come è bene evitare i programmi Apple su Windows che sono altrettanto scandalosi. Sembra che per gli utenti della piattaforma rivale non sia possibile produrre un software valido.