La prima cosa che devi fare è analizzare il file MKV con Mediainfo, in modo da ottenere le informazioni sul codec video e sul bitrate utilizzati per la compressione.
Lo trovi qui:
https://mediaarea.net/it/MediaInfo/Download
Il formato non incide sulla dimensione, è utile cambiare il formato a MP4 o AVI (quest'ultimo è ormai obsoleto) solamente se sai di dover riprodurre il file su un dispositivo che ad esempio non legge gli MKV.
Se ad esempio la traccia video è stata ottenuta con codec H264 e bitrate 2000, potresti convertirla con codec H265 e bitrate 1000, in questo modo potrai dimezzare il peso della traccia video mantenendo quasi inalterata la qualità visiva del video.
Tra i freeware, ti consiglio di utilizzare Xmedia Recode e Handbrake.