prova a usare altri browser e vedi qual è quello con cui ti trovi più comodo (io per esempio uso firefox

), e tieni IE per i casi di emergenza.
togliere IE non è tanto consigliabile pechè per esempio non puoi fare windows update, o come ricordi tu, alcuni siti non vengono visualizzati correttamente da altri browser.
c'è da dire che il numero di siti IE-only sta diminuendo con il diffondersi di altri browser migliori di IE sotto molti aspetti, io ricorro a explorer molto raramente. ormai con FF vado praticamente ovunque.
prova un po' di browser e poi decidi tu