Per la prima domanda penso che il problema possa essere o del pc che non riesce a catturare in formato AVI non compresso oppure un problema di deinterlacciamento.
Per la seconda ti consiglio di usare nuovamente VirtualDub ma prova
questa versione o
questa.
In che momento si blocca? Ti da un errore?