Questo problema su windows non l'avevo mai sentito, so di sicuro che su osx capita, è successo anche a me.
Facendo un paragone molto grossolano con osx ti posso dire che il fenomeno avviene quando il driver della periferica non è al 100% compatibile.
Succede allora che il sistema riesegue una scansione della periferica per controllare se è effettivamente al suo posto.
Naturalmente come tu stesso dici, a parte il fastidio, non ci sono influenze sulle prestazioni generali.
Questo è per quanto ne so io, poi altri utenti "eccelsi"
del forum certamente esprimeranno la loro.