Distributed Operating System

[Albix00]

Ciao a tutti,

Volevo gentilmente sapere se sapreste consigliarmi una distribuzione di Linux che consenta di creare un cluster di elaborazione.

Praticamente ho la necessità di fare encoding video in x265 (usando FFMPEG) ed avendo un piccolo parco macchine volevo sapere se esiste una distribuzione che consente di usare un gruppo di PC come se fosse uno solo sfruttando tutte le CPU degli stessi (essendo ovviamente i PC connessi in rete).

Grazie anticipatamente.

[kernelex]

interessante.
mi iscrivo.

nun zo, ma credo che ffmpeg riesca ad eseguire un lavoro simile.

[HoFattoSoloCosi]

Io qualche anno fai ne provai parecchie senza mai riuscirci purtroppo.

Anche seguendo le apposite guide io e un mio collega non siamo mai riusciti a far partire un bel niente. Talvolta riuscivamo a far vedere i PC tra loro, con un nodo e tutti gli altri secondari, ma mai a far fare qualcosa di costruttivo, anzi i PC lavoravano comunque indipendentemente anche nei test e in pratica non dividevano il carico dei calcoli tra i vari PC ma ognuno faceva per se..

Ora non li ricordo tutti, avevamo provato PelicanHPC, Beowulf, Rocks , Mamba..e ne abbiamo passate parecchie di ore a smanettare ^^

Sicuramente sappiamo che qualcuno c'è riuscito, pare che il segreto perchè il tutto funzioni con meno problemi possibili è innanzitutto usare PC identici tra loro, noi usavamo quello che avevamo cioè i nostri computer ed erano tutti diversi.

La connessione di rete deve essere veloce, gigabit, se è più lenta il sistema operativo vede che ci vorrebbe "meno tempo" a fare il lavoro da solo piuttosto che distribuirlo via rete.


Comunque seguo anch'io nel caso qualcuno porti una testimonianza più felice :D

[sacarde]

molti anni fa sperimentai: mosix

http://www.mosix.cs.huji.ac.il/index.html

[AMD_Edo]

Io ho configurato diversi cluster usando Debian e Beowulf... è importante che i nodi ed il server abbiano l'orologio sincronizzato (suggerisco configurare ntp per puntare ad un server ntp interno) e che i nodi possano accedere ai dati del server (quindi esportare via nfs la home dell'utente che "clusterizza" il software).

Solo alcuni (pochi) programmi traggono un minimo di beneficio da un cluster.

[Albix00]

Resuscito questa discussione per segnalare che alla fine ho trovato una soluzione al problema grazie ad un tool per Windows che permette di fare encoding x264 e x265 distribuito su fino a 10 macchine senza ricorrere al cambio del sistema osperativo o altro.

RipBot264 --> http://forum.doom9.org/showthread.php?t=127611

PS. Si può chiudere il thread.