Ti consiglio di provare MSI afterburner che è free.
Se lo usi con la compressione MJPEG è leggero anche se poi diventa più scuro (cosa che cmq capita con molti codec che comprimono in tempo reale), puoi selezionare la qualità (andando a memoria 85% qualità 3:30 in fullhd @ 30fps erano più di 700mb, 95% qulità si andava su 1,25 g, 100% qualità il doppio circa).
C'è anche la rtv1 compression che non so bene come funziona.
Poi ovviamente uncompressed ma è un macigno. Qualità perfetta ma in full hd @30fps sta sui 100mb/s!
Oppure a 1280*720 metà o poco meno.
Ad ogni modo se trovi un settaggio che pare soddifacerti come qualità ma fa un file grande da caricare potresti valutare di comprimerlo prima in xvid che abbassa parecchio la dimensione del file e se lo fai sovrabbondante come bitrate non perdi tanta qualità. Cosa che farà caricando su youtube se hai intenzione di farlo... Certo devo ancora capire quanto degrada la conversione da xvid ad h264 (se non erro youtube usa sto codec)...
Incollo qui un video di prova che ho fatto con sti programmi riportando vari dettagli...
http://www.youtube.com/watch?v=nem2WjlRA3Y
PS: Hypercam non mi ricordo se l'ho provato, quasi quasi lo testo un po'!
PPS: se hai multi core (più di un dual) potresti provare Playclaw che doverebbe girare meglio di fraps (cmq è a pagamento). Un altro buono dxtory ma non so come gira.