Di default per togliere la spunta ti va a chiedere la password del tuo portachiavi.
Se non te la chiede è perché gliel'hai detto tu di fare così.
Tanto per farti vedere, quando io clicco su "mostra la password" mi trovo sempre questa finestra:

È ovvio che se gli dici "consenti sempre" non ti chiederà mai più la password.