Non è un DV o simile dove le operazioni di montaggio e taglio sono dirette. A seconda del codec utilizzato in partenza nell'MKV, dopo aver fatto i tagli devi per forza ricodificarlo in fase di salvataggio per avere un flusso audiovideo coerente.
Qualsiasi software di editing ha bisogno dei codec audio e video che esistono in vari formati, Virtualdub pesca i codec del sistema operativo windows denominati VFW (Video For Windows). Dovrai attivare il Full processing mode sia nell'audio che nel video per una ricodifica completa, scegliendo i codec audio e video che ritieni più opportuni in base al materiale che hai da comprimere. Una buona idea sarebbe quella di usare gli stessi di partenza del file originale; usando il software Mediainfo sul file originale otterrai le informazioni.
Se non riesci a trovare i codec VFW o hai altre difficoltà con Virtualdub prova ad usare Avidemux che ha tutti i codec integrati.
http://avidemux.sourceforge.net/download.html