Halt! Forse in 2 riusciamo a far funzionare la cosa...
Intanto ti dico che c'è una società (non metto qui il nome per non fare pubblicità) che usa UltraVNC SC con criptazione a 128Bit.. quindi SI PUO' FARLO FUNZIONARE. Veniamo a noi... io ho fatto dei progressi: si, sono riuscito a configurare il server il listen mode con il plugin attivo.
Il problema è che appena dall'eseguibile lancio la connessione, sia client che server si chiudono
Per lanciare il server il listen mode con la criptazione attivata, devi lanciarlo con questa stringa:
vncviewer -listen -dsmplugin MSRC4Plugin.dsm (stringa presa dal sito ufficiale).
Attenzione, la stringa è sbagliata! C'è uno "spazio" di troppo tra le parole "-dsmplugin" e "MSRC4Plugin.dsm", quindi se fai il copia/incolla, la stringa non funziona

Basta eliminare lo spazio in più perchè il server funzioni!