Configurazione destinata solo al RENDERING

[naska90]

Buongiorno a tutti,
a breve inzierò un lavoro in cui durante eventi sportivi, dovrò produrre e vendere dvd. Il cliente mi porterà una memoria SD contenente un video di 10 minuti ripreso dalla telecamera onboard del suo veicolo, io scaricherò il contenuto del video su un PC, farò partire uno script già pronto (credo con After Effects) che andrà a inserire la clip in una timeline, farà il render e infine masterizzerà tutto su un DVD.
E' ESSENZIALE che io riesca a produrre 3 DVD ogni 15 minuti seguendo questi passaggi, perchè avrò un flusso continuo di clienti. Quindi devo investire dei soldini per comprare dei computer. E' proprio qui che vorrei un suggerimento: Qual è la soluzione migliore?

1) Comprare 3 computer, in cui ognuno lavora su di un video diverso. In tal caso che configurazione consigliate?

2) Comprare un unico computer su cui fare i 3 render, ma temo che non riesca a finirli in 15 minuti

3) Qualche altra soluzione che non conosco. Ad esempio prendere un computer che faccia da terminale, collegato ad un altro computer che ha solo pura potenza di calcolo...quiindi una sorta di rendering distribuito. Una mini render-farm.

Ovviamente, come già detto, è essenziale il fattore tempo e devo spendere il meno possibile. Ricordate che questi computer devono SOLO FARE RENDER E BASTA (e anche masterizzare ovviamente )! Quindi vanno ottimizzati per quello e non servono cose aggiuntive (come schede video ultrapotenti, dato che credo che questo tipo di render impegni solo la CPU).

Suggerimenti?
Grazie!

[ufomito]

Capperi, difficile a dirsi...
qui urgono prove....

Lo script comunque inserirà il video all'interno di Premiere PRo ?
In che formato di destinazione devi restituire il video ?
Nei 15 minuti devi avere i DVD masterizzati ?

La maggior parte delle codifiche è eseguita dalla CPU, solo alcune operazioni possono essere sgravate sulla GPU.

Ma dipende molto dal tipo di video, dal formato....
Considerando il tempo per trasferire il materiale su SSD o ramdisk ( non sarebbe una ipotesi da scartare ).....
Potrebbe essere fattibile, ma occorre almeno una prova sul campo per vedere quanto tempo occorre ad eseguire un lavoro su un hardware conosciuto.

Potrebbe essere un'idea usare 2 PC distinti con hardware specifico per le tue esigenze...
occorre valutare un attimo se è meglio puntare su CPU buldozzer o Sandy.

Puoi darci qualche informazione in più sul materiale che devi gestire ?

[naska90]

Innanzitutto ti ringrazio per la risposta.

Il video finale sarà strutturato nel modo seguente:
- 20 secondi di introduzione uguale per tutti già prerenderizzata
- 5-10 minuti di video onboard che il cliente mi consegna
- 20 secondi di conclusione già prerenderizzata

Lo script farà in modo di incastrare i 5-10 minuti del cliente nella timeline tra introduzione e conclusione e di far partire il render (ma questo non è un problema). Quindi in questo render non sarà presente alcun tipo di effetto speciale o cose simili, si tratta solo di incollare un pezzo all'inizio e un pezzo alla fine del video che mi viene consegnato su memory card. (forse esistono programmi che possono farlo in modo più efficiente di AE o di Premiere?)

Il video che il cliente mi porta sarà in 720p, formato MP4, H264 registrato presumibilmente con una GOPRO HD.

L'output finale, che masterizzerò su DVD, sarà nel formato più comune e leggibile in assoluto, quindi presumo MP4 H264. Infatti, tutti i pc lo leggono, tutti i dispositivi mobili lo leggono e si carica su youtube in un attimo e molti lettori DVD oggi lo leggono. (sei d'accordo con me?). Sarà in 720p (così ci mette meno del 1080 ed è più versatile anche)

Per quanto riguarda gli Hard disk, pensavo a uno da 10000rpm...credo basti. Tanto il collo di bottiglia sta nella memoria SD, non nell'hard disk, quindi presumo sia inutile un SSD.

Per quanto riguarda la masterizzazione non è un grosso problema. Infatti potrei attaccarci in rete un muletto (anche un laptop che ho già) che provvede a masterizzare e basta ciò viene prodotto. Quindi la masterizzazione può anche uscire fuori dai 15 minuti.
Il grosso problema è, appunto, il render. Quello che deve avvenire in 15 minuti è
-Download dei 3 video da 3 memory card
-Render dei 3 video.
nient'altro.

[ufomito]

piuttsoto che un SSD, valuterei appunto il ramdisk.
Quale è il tuo budget ?

SIcuramente dipende anche dal tipo di memoria... se ti consegnano un modello che impiega 5 minuti per trasferire un video è grigia...

Per evitare qualunque collo di bottiglia, se non devi avere una copia dei dati che masterizzi... puoi dedicare una parte della ram allo stoccaggio dati temporanei ( quelli che andrai a renderizzare appunto ).

Sarebbe possibile leggere e scrivere i dati a diversi GB/s
Magari sul PC metti 16gb di ram e ne dedichi 8 allo storage temporaneo.
O magari dei classici 8gb ne dedichi 4.... dovrebbero bastare grandemente.
Quindi sarebbe la sola CPU/GPU a farsi carido del rendering senza limitazioni di scrittura/lettura.

10 minuti di video credo si possano risolvere con un tempo di rendering davvero minimo... ma per essere certi occorre fare una prova.

Il formato dovrebbe essere compatible col CUDA, quindi potresti guadagnare ulteriormente sui tempi di rendering.

Hai possibilità di provare sul tuo hardware ?

[naska90]

Copiare direttamente i dati in RAM?? non sapevo fosse possibile! Sai linkarmi una guida? Questo è il cosiddetto RAMDISK, quindi...molto interessante.

Le memorie sono mie e sono da 20MB/s, ma volendo posso investire qualcosa in più e prenderle da 30, quindi questa è una variabile che posso gestire!

Ma quindi col CUDA sfrutto anche la GPU? Però in tal caso dovrei anche investire per una GPU buona e non so se abbia molto senso dato che non devo applicare effetti video e credo la cpu sia sufficiente...

Il Budget massimo è di 2000€ per tutto quanto.

L'HW che ho a casa e su cui posso provare ha un Phenom II 965, un HDD da 10000rmp, 16GB di ram da 1600 e una radeon HD6970.

In definitiva, quindi che consigli? Tre computer diversi, uno solo oppure un terminale con un render node attaccato?

[abla]

Aspetta: l'accelerazione HW tramite gpu cambia a seconda del produttore dell'HW.

AMD radeon HD -> ATI stream
Nvidia -> CUDA
Intel -> Quick Sync

Per qual che lessi tempo fa il transcoding migliore, qualitativamente parlando, era il Quick Sync, delle grafiche integrate nei processori Sandy Bridge della serie K: i5-2500k, i7-2600k ed ora i7-2700k.
Recensione anandtech
Recensione hwupgrade (non mi ricordo se la redazione aveva scritto un articolo più completo dedicato al transcoding)

Se vedi che ce la fai con Quick Sync secondo me dovresti farti 3 pc differenti basati su i5-2500k, mainboard Z68, ssd 64GB + HD backup 1TB.

Da come ho capito, sebbene tu possa usare AfterFX+Première+Encore dvd non credo che l'elaborazione dei video in questi caso richieda molta ram, potresti riuscire a usare 16GB (da dividere 8GB ramdisk + 8GB ram)

Se non ti fidi a passare per la GPU credo che tu debba fare una piattaforma dual Xeon (sarebbe meglio quad opteron ma ti devi prendere licenza di win server 2008 che costicchia!!!) con 24gb ram ECC.
Anzi, ripensandoci meglio, è questa la soluzione migliore:
- 24GB ram ECC per la massima affidabilità!
- 3 masterizzatori dvd
- ssd RevoDrive da 120-240gb
- 2hd WD RE4 in raid 1 per archivio
- 2 Xeon W3520 (o in alternativa due Opteron x8 socket G34)
- 1 masterizzatore bluray (farti i tuoi backup) può essere uno dei 3 masterizzatori elencati prima
- 1 motherboard dual xeon supermicro/tyan, l'importante è il numero di porte sata.
- 1 scheda grafica entry level per visualizzare/verificare i filmati

Al momento non so se Cuda è migliorato rispetto ai tempi in cui è stato analizzato.
I suggerimenti che ti ho fornito al momento sono solo una traccia, aspetto che altri utenti del forum si esprimano.

[abla]

Originariamente inviato da naska90

Copiare direttamente i dati in RAM?? non sapevo fosse possibile! Sai linkarmi una guida? Questo è il cosiddetto RAMDISK, quindi...molto interessante.

Le memorie sono mie e sono da 20MB/s, ma volendo posso investire qualcosa in più e prenderle da 30, quindi questa è una variabile che posso gestire!

Guida ramdisk

Per le memorie, prendile più veloci che puoi in lettura.

[naska90]

Originariamente inviato da abla

Anzi, ripensandoci meglio, è questa la soluzione migliore:
- 24GB ram ECC per la massima affidabilità!
- 3 masterizzatori dvd
- ssd RevoDrive da 120-240gb
- 2hd WD RE4 in raid 1 per archivio
- 2 Xeon W3520 (o in alternativa due Opteron x8 socket G34)
- 1 masterizzatore bluray (farti i tuoi backup) può essere uno dei 3 masterizzatori elencati prima
- 1 motherboard dual xeon supermicro/tyan, l'importante è il numero di porte sata.
- 1 scheda grafica entry level per visualizzare/verificare i filmati

Mi sorge una domanda: a giudicare da questi grafici http://www.cpubenchmark.net/high_end_cpus.html
un i7-2600K va esattamente il doppio dello Xeon che dici tu. Che senso ha, quindi farsi un computer con dual CPU comprando due Xeon e spendendo il doppio di quello che spenderei prendendo una mobo "normale" e mettendoci su un 2600K, se tanto alla fine le prestazioni sarebbero le stesse? O forse non sono esattamente le stesse...che vantaggi ha una piattaforma con dual cpu come quella che hai indicato tu?

[ufomito]

Gli xeon dovrebbero rispondere meglio in un sistema multi CPU, credo intenda questo.

prima di spendere cifre importanti, direi di fare una prova sul tuo hardware...
ci sono diversi software online che ti permettono di creare un ramdisk, e avvii il renderig.
tipo dataram ramdisk

Cosi vediamo un attimo i tempi con la tua CPU.

Il CUDA è oltremodo efficente, in determinate condizioni...
metto anche qui 2 screed di esempio ( ormai questi screen girano per tutto il forum )



Questo lo stesso progetto caricato sulla sola CPU a 8 core logici... non come il 2500K che ha solo 4 fisici ( a 4.3GHz )

[Deus-Ex]

Originariamente inviato da naska90

Mi sorge una domanda: a giudicare da questi grafici http://www.cpubenchmark.net/high_end_cpus.html
un i7-2600K va esattamente il doppio dello Xeon che dici tu. Che senso ha, quindi farsi un computer con dual CPU comprando due Xeon e spendendo il doppio di quello che spenderei prendendo una mobo "normale" e mettendoci su un 2600K, se tanto alla fine le prestazioni sarebbero le stesse? O forse non sono esattamente le stesse...che vantaggi ha una piattaforma con dual cpu come quella che hai indicato tu?

quello è un singolo benchmarck nn rappresenta le prestazioni delle cpu nel campo del rendering...
attenzione che il transcoding via quick sync o altri metodi nn x86 fà diminuire la qualità finale (cè quando nn è molto visibile ma anche viceversa)
hai già fatto sul tuo pc la prova?

[abla]

Infatti, dovresti fare dei test per il controllo della qualità.
Se non hai tempo per verificare e ti tocca passare per render di puro calcolo cpu, credo che la soluzione migliore sia per forza una piattaforma dual soket, quelle due cpu costano più o meno 300€ l'una.
Una postazione fatta ad hoc Dual xeon + ram ecc la vedo più affidabile dal lato software.

Tre pc li vedo più affidabili dal lato hardware per il solo motivo che se hai problemi ad un computer te ne rimangono due funzionanti.
In tal caso però correggo quel che ho scritto prima:

Originariamente inviato da abla

Se vedi che ce la fai con Quick Sync secondo me dovresti farti 3 pc differenti basati su i7-2600k, mainboard Z68, ssd 64GB + HD backup 1TB.

Ho visto il tuo sito (in firma).
La configurazione che ci hai chiesto è legata per caso ad eventi come il "Master Challenge 5"?
I pc li lasci al cliente o te li tieni tu?

[naska90]

Originariamente inviato da abla

Ho visto il tuo sito (in firma).
La configurazione che ci hai chiesto è legata per caso ad eventi come il "Master Challenge 5"?
I pc li lasci al cliente o te li tieni tu?

Nono tengo tutto io. Sono eventi diversi...Dei clienti provano delle auto da corsa in pista, e io preparo loro il video ripreso dall'onboard camera.

Ho fatto le prove sul mio pc. Ho notato che mettendo il video di sorgente e quello di destinazione su una partizione fatta con ramdisk, le prestazioni migliorano di un 10-20%. Purtroppo però il render avviene in rapporto 1:1 (nel senso che per 1 secondo di video impiego un secondo di render) con un Phenom II 965. Credo che passando all'i7 2600K dimezzerò i tempi ma resto cmq davvero al limite...

Nel frattempo, però, credo di aver trovato un'altra soluzione a cui non avevamo pensato! Invece di mettere i video in AE e fare un render, la cosa migliore è usare un programma tipo AVIDEMUX che non fa altro che incollarli tra loro in pochi secondi! In fondo quello che mi serve è solo un collage senza effetti...

Restando in tema, però, ho visto i grafici col CUDA. IMPRESSIONANTE!! Impiega un tempo 10 volte minore!!

Originariamente inviato da ufomito

Il CUDA è oltremodo efficente, in determinate condizioni...

Cosa intendi con "determinate condizioni"? Intendi condizioni Hardware o condizioni legate al video?
Esistono tecnologie simili con schede ATI? (e, chiaramente, funzionano in maniera decente o non c'è paragone?)

[ufomito]

Intendo dire che il CUDA non funziona con tutti i tipi di codifica o applicazione effetti speciali ( che solitamente gravano sulla CPU ).
ma come vedi dai 2 screen sopra, quando viene sfruttato è ben differente che usare una CPU

AMD non sfrutta questa tecnologia....
è utilizzabile come Open CL, ma Premiere Pro ( almeno ora ) non è in grado di sfruttarlo...
se ricordo bene ci sarebbe Sony Vegas

http://www.sonycreativesoftware.com/...puacceleration

[ufomito]

Dunque...
ho fatto una prova col mio hardware,

CPU a 4.34GHz con HT ( 4 core fisici + 4 logici )
GPU GTX460 OC ( 336 CUDA CORE )

i video di cui abbiamo parlato in pm, li ho messi in sequenza in premiere Pro CS 5.5

codifica H264

CPU--------------GPU
3 minuti----------18 secodi ( PAL DV qualità alta )
5 minuti circa-----25 secondi ( HDTV 25FPS )
6 minuti----------30 secondi ( HDTV 30FPS )

in MP4 posso codificare in H263

in questo caso la CPU richiede 2 minuti e 7 secondi la GPU, ma la qualità non mi pare un gran che...

Ho eseguito bene ?
mi sono limitato a metterli in sequenza, se devo fare operazioni particolari o cambiare tipo di codifica fammi sapere e farò una prova...

Tutto questo su HD... non ho usato alcun ramdisk

[naska90]

Originariamente inviato da ufomito

Dunque...
ho fatto una prova col mio hardware,

CPU a 4.34GHz con HT ( 4 core fisici + 4 logici )
GPU GTX460 OC ( 336 CUDA CORE )

i video di cui abbiamo parlato in pm, li ho messi in sequenza in premiere Pro CS 5.5

codifica H264

CPU--------------GPU
3 minuti----------18 secodi ( PAL DV qualità alta )
5 minuti circa-----25 secondi ( HDTV 25FPS )
6 minuti----------30 secondi ( HDTV 30FPS )

in MP4 posso codificare in H263

in questo caso la CPU richiede 2 minuti e 7 secondi la GPU, ma la qualità non mi pare un gran che...

Ho eseguito bene ?
mi sono limitato a metterli in sequenza, se devo fare operazioni particolari o cambiare tipo di codifica fammi sapere e farò una prova...

Tutto questo su HD... non ho usato alcun ramdisk

in HDTV quindi con la GPU impieghi 30 secondi per renderizzare un video di 90 secondi? Fantastico!! Davvero soprendente...
Il formato di uscita qual è? AVI?

Strano che non possa usare l'H.264 con l'MP4...più tardi installo Premiere e vedo un po' come mai...

Quindi se sul mio nuovo pc ci metto una bella GTX 580, i risultati saranno ancora migliori!

[ufomito]

il formato di uscita è sempre Mp4
ma nel menu in cui scegli le codifiche, se imposto mp4 come formato mi fa selezionare codifica H263

se invece vado su H264 ho una vasta gamma di scelte...
Ho provato anche H264 bluray per vedere a 1080p ed i tempi +o- sono sempre quelli.





NO, se prendi la GTX580 le prestazioni non aumenteranno in modo proporzionale...
non andrei oltre una 460 - GTX560ti o 570 ( 480 cuda core ).

Preciso una cosa....
nelle codifiche sopra, la GPU viene usata solo al 20-35%

[naska90]

Quel pc credo lo userò anche per giocare, quindi una GTX 580 mi può far comodo

MA nel tuo caso la GPU viene usata solo al 30% perchè l'hai scelto tu o perchè c'è qualche collo di bottiglia da qualche parte?

Un'ultimissima cosa, poi non ti disturbo più: l'utilizzo della GPU nel rendering è già presente tra le opzioni di premiere oppure bisogna installare qualche software aggiuntivo?

[ufomito]

la GPU viene usata poco, ma non dipende dalla velocità HD.
mentre uso il CUDA, anche la CPU è spremuta al 70%.

non decido io la percentuale di utilizzo GPU,
ho provato a mettere in sequenza i video per un totale di 11 minuti, e mi servono 3.30 minuti per la codifica.

Le cose sono molto diverse se metto più video in parallelo sullo stesso progetto, allora la percentuale di utilizzo della GPU sale ( come dai primi screen che ho messo ).

Per usare il CUDA in premiere occorre solo inserire la propria GTX nell'elenco GPU compatibili col software ( si tratta di scrivere GTX460 o 580 all'interno di un file di testo, nulla di particolare ).

Non mi dispiacerebbe fare una prova con le openCL di Vegas, ma non so se ho la trial a disposizione.

EDIT
sto provando anche Vegas...
sempre con la GPU, le codifiche sono più lunghe che usando Premiere...
tranne che eseguendo il Codec Apple TV 720p24 dove impiego 15 secondi con la GPU al 76% Sempre mp4 chiaramente

[naska90]

Originariamente inviato da ufomito

la GPU viene usata poco, ma non dipende dalla velocità HD.
mentre uso il CUDA, anche la CPU è spremuta al 70%.

non decido io la percentuale di utilizzo GPU,
ho provato a mettere in sequenza i video per un totale di 11 minuti, e mi servono 3.30 minuti per la codifica.

Le cose sono molto diverse se metto più video in parallelo sullo stesso progetto, allora la percentuale di utilizzo della GPU sale ( come dai primi screen che ho messo ).

Per usare il CUDA in premiere occorre solo inserire la propria GTX nell'elenco GPU compatibili col software ( si tratta di scrivere GTX460 o 580 all'interno di un file di testo, nulla di particolare ).

Non mi dispiacerebbe fare una prova con le openCL di Vegas, ma non so se ho la trial a disposizione.

EDIT
sto provando anche Vegas...
sempre con la GPU, le codifiche sono più lunghe che usando Premiere...
tranne che eseguendo il Codec Apple TV 720p24 dove impiego 15 secondi con la GPU al 76% Sempre mp4 chiaramente

Da tenere in considerazione anche Vegas allora, come possibile soluzione. Appena avrò il pc nuovo, allora eseguirò tutti questi test!

Grazie per le dritte, se stato davvero molto utile A presto!

[ufomito]

è stato un piacere...
in linea di massima un PC basato su 2600K ( magari ben overcloccato ) e GTX è una soluzione economicamente valida.

Per avere prestazioni migliori valuterei un sistema esacore intel... magari basato sulla nuova piattaforma.
O come suggerito sopra un sistema basato su due CPU

se ti interessa usare più monitor contemporaneamente, prendi in considerazione un SLI
Magari di 570, cosi non avrai problemi ne per il gioco ne con l'editing...
inoltre non spenderai uno sproposito.