[PGI-Bis]

Il primo passo è impedire alla finestra di chiudersi con:

finestra.setDefaultCloseOperation(WindowConstants.DO_NOTHING_ON_CLOSE);

Poi procedi come per un JButton. Aggiungi alla finestra un ascoltatore di eventi (WindowListener). Ha cinque metodi, quello che riceve una notifica quando l'utente cerchi di chiudere la finestra è "windowClosing". Brevemente:

finestra.addWindowListener(new WindowAdapter() {
    public void windowClosing(WindowEvent e) {
        confermaChiusura(e.getWindow());
    }
});
...
private void confermaChiusura(Window w) {
    int ans = JOptionPane.showConfirmDialog...
    if(ans == JOptionPane.YES_OPTION) {
        w.dispose();
    }
}