Configurazione nodi di render distribuito AE CS5 e CINEMA 4D

[Flavietto76]

Ciao,
sto' valutando la possibilita' di acquistare qualche computer (da 2 a 4) da utilizzare come nodi di render distribuito per After Effects CS5 e Cinema 4D 11.5.

Attualmente uso una postazione di modellazione basata su phenom II X4, 8Gb di ram e GTX265, e sono abbastanza soddisfatto. Non e' ovviamente il massimo ma mi adatto. Mi e' stato chiesto di quotare una nuova postazione per l'ufficio presso cui lavoro, nello specifico una postazione Mac Pro 2xXeon 6core, per migliorare i tempi di render, ma credo che la soluzione non sia utile allo scopo.
In fase di modellazione e anteprima piu' potenza mi farebbe comodo, ma non e' principalmente li il problema. Il vero problema sono i tempi di render (animazioni dai 5 ai 60 secondi in formato cinematografico 2k e 4k). A volte la postazione rimane bloccata per diverse ore prima di poter essere di nuovo operativa.

Pensavo quindi di proporre un mite upgrade della postazione di modellazione (magari a intel o amd x6) e di consigliare invece l'acquisto di nodi di render distribuito. Mi dareste qualche consiglio sulle configurazioni piu' adeguate considerando che queste postazioni non hanno altro scopo e con un occhio di riguardo ai consumi?
Diciamo che il budget complessivo non dovrebbe superare i 6000 euro.

Grazie mille a tutti per i preziosi consigli.
Flavio

[ndwolfwood]

Originariamente inviato da Flavietto76

... e con un occhio di riguardo ai consumi?

Sotto quest'aspetto promettono bene i prossimi Intel, Sandy Bridge, ma devi aspettare a dopo il 10 gennaio.

Cmq se costruisci una render farm (per quel poco che so) il server gestisce i client che fanno il lavoro duro. Quindi il server non ha bisogno di molta potenza, potresti usare la postazione senza migliorarla.

[Flavietto76]

Ciao ndwolfwood,
non conosco le evoluzioni future dei processori intel, comunque il mio non e' un acquisto che deve concretizzarsi immediatamente, diciamo che posso tranquillamente aspettare qualche settimana.

In merito al discorso render farm, sono sicuro che sia come dici. Infatto l'upgrade alla mia postazione, eventualmente, sarebbe teso unicamente ad abbreviare i tempi di render per i "test" dei fotogrammi singoli e le anteprime in fase di realizzazione (comunque aspettare 20 o 30 secondi ogni volta che fai una modifica se non di piu' puo' essere snervante). Al massimo potrei pensare di utilizzare la mia macchina come uno dei nodi di render e prenderne una nuova piu' performante come postazione di lavoro, ma non e' un grosso problema.

Grazie mille per la preziosa collaborazione.

[an-cic]

Originariamente inviato da Flavietto76

Ciao ndwolfwood,
non conosco le evoluzioni future dei processori intel, comunque il mio non e' un acquisto che deve concretizzarsi immediatamente, diciamo che posso tranquillamente aspettare qualche settimana.

In merito al discorso render farm, sono sicuro che sia come dici. Infatto l'upgrade alla mia postazione, eventualmente, sarebbe teso unicamente ad abbreviare i tempi di render per i "test" dei fotogrammi singoli e le anteprime in fase di realizzazione (comunque aspettare 20 o 30 secondi ogni volta che fai una modifica se non di piu' puo' essere snervante). Al massimo potrei pensare di utilizzare la mia macchina come uno dei nodi di render e prenderne una nuova piu' performante come postazione di lavoro, ma non e' un grosso problema.

Grazie mille per la preziosa collaborazione.

Quindi se ho capito bene tu hai 6000 euro di budget per 1 postazione e N nodi

[Flavietto76]

Originariamente inviato da an-cic

Quindi se ho capito bene tu hai 6000 euro di budget per 1 postazione e N nodi

Ciao an-cic,
si diciamo di si, questo e' il budget a mia disposizione (e' il budget di base per l'acquisto di un macpro nuovo e io ho sollevato l'ipotesi di usare lo stesso budget per ottenere un risultato piu' performante tramite render in rete).

Considera comunque che la postazione che uso attualmente e' disponibile (AMD p2 X4 2.8ghz, 6gb ram, gtx285) ed eventualmente da integrare.

Ciao,
Flavio

[an-cic]

INTEL CORE i7 LGA1366 950 3.06Ghz BOX 235,00EUR
ASROCK X58 Extreme 124,50EUR
Cooler Master 690 II Lite 80,00EUR
CORSAIR 550W CMPSU-550VXEU 64,10EUR
TEAM GROUP ELITE DDR3 6GB (3x2GB) 1333Mhz TED36144M1333HC9TC 64,00EUR
WESTERN DIGITAL CAVIAR BLACK 500GB WD5001AALS 47,80EUR

Totale parziale: 615,40 EUR

+ Nvidia Quadro 4000 800€ (circa) e con 1550 (compreso os) hai la tua postazione da lavoro.....


INTEL CORE i7 HEXA(6) Core 980X PC1366 12MB Cache 3,33Mhz 820,00EUR
ASROCK X58 Extreme 124,50EUR
Cooler Master 690 II Lite 80,00EUR
CORSAIR 550W CMPSU-550VXEU 64,10EUR
TEAM GROUP ELITE DDR3 6GB (3x2GB) 1333Mhz TED36144M1333HC9TC 64,00EUR
WESTERN DIGITAL CAVIAR BLACK 500GB WD5001AALS 47,80EUR

Totale parziale: 1200,40 EUR * 4 nodi

TOTALE €6350 circa.

questa è un'idea di base e sopra ci si può lavorare molto per affinare le config. alle tue esigenze.

[Flavietto76]

Originariamente inviato da an-cic

INTEL CORE i7 LGA1366 950 3.06Ghz BOX 235,00EUR
ASROCK X58 Extreme 124,50EUR
Cooler Master 690 II Lite 80,00EUR
CORSAIR 550W CMPSU-550VXEU 64,10EUR
TEAM GROUP ELITE DDR3 6GB (3x2GB) 1333Mhz TED36144M1333HC9TC 64,00EUR
WESTERN DIGITAL CAVIAR BLACK 500GB WD5001AALS 47,80EUR

Totale parziale: 615,40 EUR

+ Nvidia Quadro 4000 800€ (circa) e con 1550 (compreso os) hai la tua postazione da lavoro.....


INTEL CORE i7 HEXA(6) Core 980X PC1366 12MB Cache 3,33Mhz 820,00EUR
ASROCK X58 Extreme 124,50EUR
Cooler Master 690 II Lite 80,00EUR
CORSAIR 550W CMPSU-550VXEU 64,10EUR
TEAM GROUP ELITE DDR3 6GB (3x2GB) 1333Mhz TED36144M1333HC9TC 64,00EUR
WESTERN DIGITAL CAVIAR BLACK 500GB WD5001AALS 47,80EUR

Totale parziale: 1200,40 EUR * 4 nodi

TOTALE €6350 circa.

questa è un'idea di base e sopra ci si può lavorare molto per affinare le config. alle tue esigenze.

Ciao an-cic.
Le configurazioni postate sono un'ottima base ma penso che faro' delle modifiche:

1) se sostituisco la mia postazione di modellazione (da amd a Intel) allora sicuramente prendo un 980 esacore, cosi' anche i tempi di preview si riducono al minimo possibile.

2) la 4000 non penso di prenderla, Per il momento mi basta una scheda video generica (la complessita' di cio' che faccio non e' ancora cosi' drammatica da giustificare una 4000) e devo dire che non sono sicuro che Cinema4d approfitti delle doti di questa scheda nvidia.

3) visto il risparmio della scheda video, la postazione di modellazione la posso carrozzare con un disco di sistema in raid o addirittura ssd visto che si utilizza parecchio anche con altri software.

4) Os per tutte le postazioni, non mi pare che il motore di render di cinema4d ne quello di ae cs5 giri su linux.

5) il centurion per i nodi e' un po' ingombrante, si trova qualche cosa di moooolto piu' compatto?

6) un 550 per ogni nodo? non potrei montare alimentatori piu' piccoli? o e' sconsigliabile dal punto di vista dell'affidabilita'?

Grazie mille.
Flavio

[ndwolfwood]

Originariamente inviato da Flavietto76

1) se sostituisco la mia postazione di modellazione (da amd a Intel) allora sicuramente prendo un 980 esacore, cosi' anche i tempi di preview si riducono al minimo possibile.

... a questo punto aspetterei: il nuovo i7-2600 si dovrebbe avvicinare molto in quanto a prestazioni e costerà molto meno (~300€) e consumerà molto poco.
Ti fai 4 client con i7-2600 su mobo H67, magari micro-atx così usi case mini tower.
Spenderai anche decisamente meno ...

[an-cic]

Originariamente inviato da ndwolfwood

... a questo punto aspetterei: il nuovo i7-2600 si dovrebbe avvicinare molto in quanto a prestazioni e costerà molto meno (~300€) e consumerà molto poco.
Ti fai 4 client con i7-2600 su mobo H67, magari micro-atx così usi case mini tower.
Spenderai anche decisamente meno ...

bhe, ma i nuovi socket per i7 saranno presentati a meta' 2011...... se puo' aspettare ok, altrimenti va bene il 980.

per il discorso micro-atx invece non sono molto daccordo.... il 980 in full (scenario tipico di utilizzo del nodo) consuma da solo sui 200w. un case aereato e' fondamentale su queste macchine anche per garantire la longevita' del sistema che non e' certo economico.

[ndwolfwood]

Originariamente inviato da an-cic

bhe, ma i nuovi socket per i7 saranno presentati a meta' 2011...... se puo' aspettare ok, altrimenti va bene il 980.

per il discorso micro-atx invece non sono molto daccordo.... il 980 in full (scenario tipico di utilizzo del nodo) consuma da solo sui 200w. un case aereato e' fondamentale su queste macchine anche per garantire la longevita' del sistema che non e' certo economico.

Leggi meglio ...
Io ho parlato di un i7-2600 cioè soket 1155.
Le mobo sono già in vendita, il procio arriva dopo il 10 gennaio.
... e chiaramente il micro-atx è in riferimento a questa scelta dato che i consumi e di conseguenza il calore saranno molto limitati.

>review<

[an-cic]

Originariamente inviato da Flavietto76

Ciao an-cic.
Le configurazioni postate sono un'ottima base ma penso che faro' delle modifiche:

1) se sostituisco la mia postazione di modellazione (da amd a Intel) allora sicuramente prendo un 980 esacore, cosi' anche i tempi di preview si riducono al minimo possibile.

non mi trovi molto daccordo... generalmente i tempi di preview non sono lunghissimi e spendere 600 euro in piu' per guadagnare qualche secondo a mio avviso non conviene molto.


2) la 4000 non penso di prenderla, Per il momento mi basta una scheda video generica (la complessita' di cio' che faccio non e' ancora cosi' drammatica da giustificare una 4000) e devo dire che non sono sicuro che Cinema4d approfitti delle doti di questa scheda nvidia.

nvidia sviluppa dei driver certificati per cinema 4d, programma che sicuramente si avvantaggia della presenza di una quadro. al posto tuo non andrei su una vga gaming. se proprio non vuoi prendere una 4000 prendi una 2000


3) visto il risparmio della scheda video, la postazione di modellazione la posso carrozzare con un disco di sistema in raid o addirittura ssd visto che si utilizza parecchio anche con altri software.

piu' che un raid andrei con un ocz revodrive o al limite con un ssd...


4) Os per tutte le postazioni, non mi pare che il motore di render di cinema4d ne quello di ae cs5 giri su linux.

5) il centurion per i nodi e' un po' ingombrante, si trova qualche cosa di moooolto piu' compatto?
l'areazione e' fondamentale su macchine che gireranno sempre in full e dal costo non indifferente.... volendo puoi cambiare case ma non ne prenderei uno troppo piccolo


6) un 550 per ogni nodo? non potrei montare alimentatori piu' piccoli? o e' sconsigliabile dal punto di vista dell'affidabilita'?
il 980 da solo consuma 200w in full.... qualcosa in meno si puo' prendere, ma non troppo. il 450vx andrebbe bene ma in giro sembra introvabile


Grazie mille.
Flavio

ciaoo

[Flavietto76]

Mmhmmm... be' aspettare si, ma addirittura sei mesi mi pare troppo.

Penso che prendero' una decisione prima. La piattaforma su I7 mi pare un po' troppo lontana. Grazie mille dell'aiuto ragazzi!

[Flavietto76]

Originariamente inviato da an-cic

nvidia sviluppa dei driver certificati per cinema 4d, programma che sicuramente si avvantaggia della presenza di una quadro. al posto tuo non andrei su una vga gaming. se proprio non vuoi prendere una 4000 prendi una 2000

Mmmhmm io non ho trovato molto, l'unica cosa che ho trovato su nvidia e' la specifica di un driver certificato XP per Maxon, ma sicuramente non utilizzabile sulla mia postazione.

comunque cerchero' meglio, magari mi sono sbagliato. Certo la 2000 potrebe essere piu' alla portata. Ora vado a spulciarmi un po' di informazioni.

Flavio

[ndwolfwood]

Originariamente inviato da Flavietto76

Mmhmmm... be' aspettare si, ma addirittura sei mesi mi pare troppo.

Penso che prendero' una decisione prima. La piattaforma su I7 mi pare un po' troppo lontana.

Dai su, non scrivo in arabo: 10 gennaio, alias 24 giorni (neanche un mese).
an-cic si sta confondendo con l'altra piattaforma intel (che cmq mi sa che uscirà tra 9 mesi)

Non che il suggerimento di an-cic sul six-core non sia valido.
La mia semplicemente un alternativa.
L'i7-980 è più potente ma quando uscirà l'i7-2600 non così tanto da giustificarne il prezzo. E il Sandy Bridge consumerà molto meno quindi lo vedo meglio in una render farm, tutto qua.

[Flavietto76]

Originariamente inviato da ndwolfwood

Dai su, non scrivo in arabo: 10 gennaio, alias 24 giorni (neanche un mese).
an-cic si sta confondendo con l'altra piattaforma intel (che cmq mi sa che uscirà tra 9 mesi)

Non che il suggerimento di an-cic sul six-core non sia valido.
La mia semplicemente un alternativa.
L'i7-980 è più potente ma quando uscirà l'i7-2600 non così tanto da giustificarne il prezzo. E il Sandy Bridge consumerà molto meno quindi lo vedo meglio in una render farm, tutto qua.

Ciao ndwolfwood,
scusa ho letto in ritardo!

Si aspettare 1 mese non e' un problema, soprattutto se la cosa migliora i consumi energetici.

Grazie mille della spiegazione.
Flavio

[an-cic]

Originariamente inviato da Flavietto76

Ciao ndwolfwood,
scusa ho letto in ritardo!

Si aspettare 1 mese non e' un problema, soprattutto se la cosa migliora i consumi energetici.

Grazie mille della spiegazione.
Flavio

Ti chiedo scusa........ stavamo parlando del socket 1366 ed ho fatto confusione.....

L'i7 2600k dovrebbe essere presentato il 10 gennaio ed offrirà prestazioni ottime, anche se inferiori rispetto al 980. queste minor prestazioni saranno bilanciate però da consumi + contenuti e da costi inferiori. Visto il costo inferiore riuscirai anche a far rientrare un numero maggiore di nodi nel tuo budget arrivando comunque ad una potenza complessiva di calcolo superiore alla soluzione 980x.

L'unico problema potrebbe, e sottolineo il condizionale, essere l'immediata disponibilità del processore sul mercato. Personalmente credo che i nuovi processori inizieranno ad essere disponibili sul mercato in quantità (ed a prezzi di mercato) verso metà febbraio; ma ti ripeto che questa è una mia idea e quindi potrebbe rivelarsi assolutamente sbagliata.

[ribaja]

Dunque,
premesso che conosco non molto bene CINEMA 4D, ma l'efficacia o meno di una piccola render farm dipende dal motore di rendering che si utilizza,
avrai sicuramente sentito parlare di network render o di cooperative render. Tutto dipende dal software e dalle sue potenzialità e da come è fatta fisicamente la rete.
Quale strategia adottare... sono info che sono rilasciate dal prodottore del software.

Un aspetto fondamentale è come dicevo, da come è costituita la rete, dalla sua velocità, da quali risorse sono condivise, se esistono sistemi a multipiattaforma, ecc. ecc.

Quindi... Rete con i crismi, sistemi operativi con i crismi perchè raddopiare le macchine, con le render farm, non significa dimezzare i tempi di rendering.

Queste sembrerebbero banalità, anzi, si dimostra che in molti casi un network rendering non è molto conveniente rispetto ai singoli pc/workstation.

Se per esempio la scena carica 500Mb di texuture e tutti i pc attingono dalla stessa directory, (dipende dal software) si comprende bene che una rete a 10 Mbit/sec impiega mezz'ora a caricare le sole texture, (prima del completamento il rendering non parte) mentre una ad 1Gbit solo qualche secondo (e cio può accadere per singolo fotogramma!!!!)

Detto ciò- cose che dovrai chiarire con chi vi ha venduto il software- a mio avviso an-cic, non ti ha consigliato male.

Il rendering lo fa la CPU, investire su i7 980X, non è affatto un errore, anzi con lavoro intensivo, i soldi si recuperano con meno di un mese. Per la workstation su cui modelli, mettere una fx2000 (meglio una di taglio maggiore) di certo non è un errore.

Qui parliamo sempre di configurazioni PC, ma esistono i processori intel XEON 5690 (Esacore a 3,46Ghz che ovviamente sono più performati del'980X), il bello di questi processori che ne puoi usare 2 o addirittura 4 contemporaneamente sualla stessa scheda madre (SUPERMICRO ED ASUS, realizzano schede per XEON 1366)

Se il software sfrutta il parallelismo del multiprocessore (da non confondere con il multicore) e credo di si, perchè quasi tutti i motori di rendering lo fanno, un sistema così è molto meglio della render farm costituita da n-nodi (con n-piccolo)

Bisogna anche tener presente che nelle piccole render farm, i nodi sono minimali, e non completi, Servono CPU, RAM, Rete ed alimentazione, il resto è tutto condiviso (come nei server) Questi hardware vengono installati in mobili rack.

Spero di esserti stato di aiuto.

Saluti

[Flavietto76]

Originariamente inviato da ribaja

Dunque,
premesso che conosco non molto bene CINEMA 4D, ma l'efficacia o meno di una piccola render farm dipende dal motore di rendering che si utilizza,
avrai sicuramente sentito parlare di network render o di cooperative render. Tutto dipende dal software e dalle sue potenzialità e da come è fatta fisicamente la rete.
Quale strategia adottare... sono info che sono rilasciate dal prodottore del software.

Un aspetto fondamentale è come dicevo, da come è costituita la rete, dalla sua velocità, da quali risorse sono condivise, se esistono sistemi a multipiattaforma, ecc. ecc.

Quindi... Rete con i crismi, sistemi operativi con i crismi perchè raddopiare le macchine, con le render farm, non significa dimezzare i tempi di rendering.

Queste sembrerebbero banalità, anzi, si dimostra che in molti casi un network rendering non è molto conveniente rispetto ai singoli pc/workstation.

Se per esempio la scena carica 500Mb di texuture e tutti i pc attingono dalla stessa directory, (dipende dal software) si comprende bene che una rete a 10 Mbit/sec impiega mezz'ora a caricare le sole texture, (prima del completamento il rendering non parte) mentre una ad 1Gbit solo qualche secondo (e cio può accadere per singolo fotogramma!!!!)

Detto ciò- cose che dovrai chiarire con chi vi ha venduto il software- a mio avviso an-cic, non ti ha consigliato male.

Il rendering lo fa la CPU, investire su i7 980X, non è affatto un errore, anzi con lavoro intensivo, i soldi si recuperano con meno di un mese. Per la workstation su cui modelli, mettere una fx2000 (meglio una di taglio maggiore) di certo non è un errore.

Qui parliamo sempre di configurazioni PC, ma esistono i processori intel XEON 5690 (Esacore a 3,46Ghz che ovviamente sono più performati del'980X), il bello di questi processori che ne puoi usare 2 o addirittura 4 contemporaneamente sualla stessa scheda madre (SUPERMICRO ED ASUS, realizzano schede per XEON 1366)

Se il software sfrutta il parallelismo del multiprocessore (da non confondere con il multicore) e credo di si, perchè quasi tutti i motori di rendering lo fanno, un sistema così è molto meglio della render farm costituita da n-nodi (con n-piccolo)

Bisogna anche tener presente che nelle piccole render farm, i nodi sono minimali, e non completi, Servono CPU, RAM, Rete ed alimentazione, il resto è tutto condiviso (come nei server) Questi hardware vengono installati in mobili rack.

Spero di esserti stato di aiuto.

Saluti

Ciao ribaja,
innanzitutto grazie mille del consiglio.

In merito alla struttura, siamo equipaggiati in maniera direi adeguata: tutte le macchine sono attualmente rilegate su una rete gigabit e collegate ad uno switch cisco 24 porte gigabit. Per la piccola render farm avrei comunque a disposizione uno switch "privato" gigabit in maniera da non interferire con il traffico dello studio. Lato "condivisioni" tutte le risorse sono appoggiate su un sistema SAN sempre gigabit costituito da un raid di 12 dischi (per un totale di 8 tera di area disponibile mi pare).

Il motore di C4d sfrutta a pieno il multicore (sul mio x4 alloca correttamente tutti i 4 core, cosi' come sui sistemi dual 4core Mac Pro attualmente presenti in studio su cui ho testato l'applicativo). La scelta della piccola farm era orientata a non usare i sistemi gia' al lavoro in studio ma a creare un piccolo engine di render "a parte" (vorrei poter effettuare i render mentre le altre persone lavorano sui loro sistemi senza compromettere la loro attivita' quotidiana).

Diciamo che la mia era una richiesta preventiva: lo studio sarebbe intenzionato ad acquistare un macPro 12 core dedicato a questo ripo di lavori, mi chiedevo semplicemente se con lo stesso budget non fosse piu' fruttuoso investire in una singola postazione di modellazione e in un numero limitato di nodi di render. Forse a conti fatti, vista tipologia di lavori da svolgere, non e' poi una soluzione cosi' svantaggiosa come credevo (conscio del fatto che il motore di render sfrutta il dual xeon a pieno regime).
Il fatto di orientarsi verso un Mac pro (senz aprire inutili diatribe sulla questione) e' legate a mantenere una omogeneita' dei sistemi e quindi delle risorse condivise (font, files etc).

Grazie mille a tutti per le preziose informazioni e per gli spunti di riflessione che mi avete fornito, grazie davvero.

[!fazz]

mmm il 980x non mi pare un buon processore, costa troppo per quello che vale, se fossi in te valuterei la possibilità di sostituire i render node con un dell PowerEdge R815 o qualcosa di simile così eviti i problemi di rete e hai 32 core che lavorano in loco


se invece vuoi andare sul distribuito assemblato a mano vai di una batteria di amd x6 in modo da avere parecchi nodi poco costosi

[ribaja]

Comunque è importante fare un passaggio con il supporto tecnico della MAXON, magari vien fuori qualche prerogativa del software...

Vorrei però riportarti una mia esperienza regressa.
Andando a monetizzare il lavoro e quindi il costo investito per frame prodotto, in caso di animazioni, POTREBBE risultare conveniente assemblare n°4 i7 980X di cui 3 minimali, in luogo di una WORKSTATION DUAL XEON ESACORE.
Magari la macchina per modellare la lasci QUADCORE i7 950, ma gli associ una buona sezione video tipo fx2000.

Ogni macchina si occuperà in maniera autonoma del rendering dei frame compresi tra X ed Y, ed i risultati convergeranno in una cartella condivisa della sottorete, mentre per ogni macchina va caricata la stessa scena in maniera autonoma.
Le tre macchine, avranno una scheda video minimale ed un hard disck, piccolo economico ed affidabile. Le macchine condivideranno uno stesso monitor con uno switch vga.

Una volta ho assemblato 4 dual core a cielo aperto, sopra un di bancone
e li ho fatti lavorare per circa 2 mesi in queste condizioni (finito il lavoro ho rivenduto il tutto) Ciascuno faceva il rendering di una certa parte della stessa scena.

Questa strategia è conveniente se fai animazioni, cortometraggi... dove riesci a fare tu stesso una parallelizzazione del processo. Far contribuire, tutte le risorse per la costruzione del singolo frame è più complicato e dipende da come è fatto il motore. Io uso Maxwell Render che usa il cooperative, dove le macchine possono essere differenti con sistemi operativi differenti, bla, bla, bla...
Saluti