SAN per Cluster: Fibre Channel 8Gbit vs iSCSI 10Gbit Ethernet

[theinfiltrated]

Salve a tutti, ho a disposizione il seguente hardware:
- 2 server IBM x3550m4 1 Xeon con 8 core (non ricordo la sigla, perdonatemi) e 24 gb di RDIMM;
- 1 SAN IBM DS3512 con doppio controller RAID e slot per HD SAS da 3.5' la quale monterà 6 dischi da 450GB 15k rpm in raid 5 (o 6, vedremo).
con il quale metterò in piede un cluster HA (possibilmente Attivo-Attivo) con Linux (oVirt o proxmox).

La virtual farm ospiterà, oltre ad i soliti server di posta, dhcp e roba poco onerosa, anche istanze di SQL per gestionale ed altri usi, con un carico abbastanza oneroso.

Il mio dubbio era se scegliere di utilizzare connettività Fibre Channel 8Gbit o iScsi 10Gbit sul server, in entrambi i casi avrei ALMENO due porte per server e quattro nello storage per effettuare il collegamento. L'idea era di collegare direttamente le porte di server e storage senza interporre switch.

Qualcuno di voi ha mai avuto esperienza con sistemi del genere e potrebbe consigliarmi quale sia il più affidabile/efficiente/semplice_da_gestire/altri_pro_contro?

[theinfiltrated]

Aggiungerei: avrei bisogno di hardware addizionale per implementare il fibre channel over ethernet o si tratta solamente di configurazioni che posso svolgere via software? Purtroppo su quest'ultimo protocollo la mia ignoranza è ASSOLUTA, perdonatemi!

[Tasslehoff]

Originariamente inviato da theinfiltrated

Il mio dubbio era se scegliere di utilizzare connettività Fibre Channel 8Gbit o iScsi 10Gbit sul server, in entrambi i casi avrei ALMENO due porte per server e quattro nello storage per effettuare il collegamento. L'idea era di collegare direttamente le porte di server e storage senza interporre switch.

Qualcuno di voi ha mai avuto esperienza con sistemi del genere e potrebbe consigliarmi quale sia il più affidabile/efficiente/semplice_da_gestire/altri_pro_contro?

Personalmente non ho molta esperienza di iSCSI (a parte qualche esperimento home-made fatto più che altro per curiosità e comunque non si sistemi critici o in produzione) e dai clienti da cui lavoro che hanno esigenze di questo tipo ho sempre trovato architetture che usavano FC, che uso tutt'ora e di cui ho una parziale esperienza.

Partiamo dal presupposto che FC è comunque il top, in termini di performance, di affidabilità e di strumenti per la gestione del traffico e delle congestioni (a me non è mai capitato di usarli, però la letteratura non fa che decantare tutto questo ).
FCoE è un po' il punto di contatto tra l'architettura FC e iSCSI, tant'è che qualcuno sostiene che FCoE andrà a rimpiazzare iSCSI in ambito enterprise, mentre iSCSI rimarrà esclusivamente per le soluzione di basso profilo.
Però non pensare di far passare il traffico FCoE su una normale lan con normali switch, servono dispositivi ad hoc in grado di garantire traffico lossless.

Rispetto a iSCSI è comunque una tecnologia costosetta, non a livello del FC puro (l'ultima volta che ho visto una quotazione per uno switch FC da 40 porte era attorno ai 50.000 euro) ma non certo economica come iSCSI.
Anche qui ci sarebbe tutto un discorso da fare sull'iSCSI, un conto è implementare una architettura iSCSI "alla buona", un conto è usare HBA con tcp offload su vlan dedicate full duplex e cercando di studiare una topologia di rete tale da ridurre ai minimi termini collisioni ed errori; per fare questo non basta certo lo switchino Gbps in offerta da Ingram, non so se mi spiego...

In definitiva dipende tutto dal budget che hai a disposizione, se sei nell'ordine dei 3-5k euro te la puoi cavare con l'iSCSI, se puoi arrivare sui 10-15k allora puoi cominciare a pensare al FCoE, se puoi salire e arrivare ai 50k puoi cominciare a pensare al FC puro (prezzi indicativi "a membro di segugio" eh )

Riguardo agli switch se sui 2 controller hai almeno quattro interfacce (2 per ciascun controller) e su ciascun server hai almeno 2 interfacce puoi anche pensare di evitare gli switch, fatto salvo che ti giochi future espansioni a meno di mettere pesantemente mano all'architettura in futuro.
Vista la bella SAN (io lavoro frequentemente sui vecchi DS4300 e saltuariamente ho occasione di mettere le mani su un DS5100 e sono macchine fantastiche di eccezionale affidabilità, ti assicuro che ti troverai molto bene ) io non escluderei di sfruttarla per bene un domani attaccandoci altre macchine.
Investire oggi in un paio di switch (in modo da garantire il multipath) potrebbe significare semplificarsi di molto la vita un domani.

Per quanto concerne il clustering active-active io ho esperienza solo di sistemi proprietari implementati a livello applicativo (es cluster di server Lotus Domino), non conosco i progetti che citi però dalla mia esperienza i sistemi di clustering vanno sempre presi un po' con le pinze.
Le promesse sono sempre tante e sfavillanti, ma quando si verificano le criticità imho è molto meglio investire su personale qualificato che sa mettere le mani dove serve piuttosto che in qualche tecnologia aliena che promette di far tutto da sola ma se va bene rispetta le promesse una volta su tre.

[theinfiltrated]

Tasslehoff, ti ringrazio intanto per la risposta, è un piacere avere a che fare con persone competenti.


Vado a precisare alcuni punti:

- So con certezza che questo cluster seguirà sempre l'architettura 2-3 nodi direttamente connessi alla SAN, quindi il problema degli switch, collisioni ecc. non si pone, il collegamento verrà effettuato point-to-point fra gli HBA; questa considerazione vale sia per iSCSI che per FC che per FCoE. Inoltre so anche che il cluster non verrà mai connesso ad altro che switch di rete verso l'esterno, quindi non sono in generale interessato ad una gestione dello switching/routing dei dati fra SAN e server.

- La preferenza che mi hanno chiesto di esprimere riguarda SOLAMENTE l'utilizzare FC nativo oppure Ethernet 10Gbit: fra le due alternative non c'è differenza economica, o quantomeno è trascurabile dal nostro punto di vista.

- Il mio dubbio principale sul FC è che ho letto parecchi dati che lo mostrano in declino rispetto alle più recenti soluzioni iSCSI, anche nella fascia alta: sembrerebbe proprio un protocollo la cui diffusione si sta ridimensionando in favore della più flessibile connettività ethernet. Non siamo estremamente interessati alla bassa latenza.
Ciò detto, il tuo consiglio rimane Fibre Channel? Se sì, mi farebbe molto piacere che tu potessi illustrarmi il perché di questa preferenza, ho letto diversi pareri e sono affamato di informazioni.

- Non ho ancora trovato una risposta definitiva alla domanda "Si può usare il FCoE su questa configurazione (10GbE con connessioni Point-to-Point) o no?", se qualcuno se ne intende si faccia avanti !

- Capisco cosa intendi per switch da discount e condivido: ho appena fatto ricablare due piani dell'azienda "endpoint" con Cat6 e switch CISCO managed. Per utilizzo office/client_gestionale/rdp_saltuario credo sia abbastanza overkill.

- Desidero avere clustering a livello di Hypervisor e non applicativo. Ovirt è la controparte open di RHEV, come CentOS di RHEL, mentre proxmox è una debian con alcuni pacchetti aggiuntivi di livello enterprise (c'è dietro una realtà che offre supporto a pagamento ovviamente) per la gestione di KVM (non gli switch, il modulo che funge da hypervisor :P). Quest'ultimo lo uso da qualche anno anche in server di produzione e non ha mai dato problemi, considera che è una debian stabile con un'interfaccia web per la gestione, ma si può sempre utilizzare virsh e compagnia in caso di problemi (mai riscontrati francamente).

[theinfiltrated]

Tasslehoff, ti ringrazio intanto per la risposta, è un piacere avere a che fare con persone competenti.


Vado a precisare alcuni punti:

- So con certezza che questo cluster seguirà sempre l'architettura 2-3 nodi direttamente connessi alla SAN, quindi il problema degli switch, collisioni ecc. non si pone, il collegamento verrà effettuato point-to-point fra gli HBA; questa considerazione vale sia per iSCSI che per FC che per FCoE. Inoltre so anche che il cluster non verrà mai connesso ad altro che switch di rete verso l'esterno, quindi non sono in generale interessato ad una gestione dello switching/routing dei dati fra SAN e server.

- La preferenza che mi hanno chiesto di esprimere riguarda SOLAMENTE l'utilizzare FC nativo oppure Ethernet 10Gbit: fra le due alternative non c'è differenza economica, o quantomeno è trascurabile dal nostro punto di vista.

- Il mio dubbio principale sul FC è che ho letto parecchi dati che lo mostrano in declino rispetto alle più recenti soluzioni iSCSI, anche nella fascia alta: sembrerebbe proprio un protocollo la cui diffusione si sta ridimensionando in favore della più flessibile connettività ethernet. Non siamo estremamente interessati alla bassa latenza.
Ciò detto, il tuo consiglio rimane Fibre Channel? Se sì, mi farebbe molto piacere che tu potessi illustrarmi il perché di questa preferenza, ho letto diversi pareri e sono affamato di informazioni.

- Non ho ancora trovato una risposta definitiva alla domanda "Si può usare il FCoE su questa configurazione (10GbE con connessioni Point-to-Point) o no?", se qualcuno se ne intende si faccia avanti !

- Capisco cosa intendi per switch da discount e condivido: ho appena fatto ricablare due piani dell'azienda "endpoint" con Cat6 e switch CISCO managed. Per utilizzo office/client_gestionale/rdp_saltuario credo sia abbastanza overkill.

- Desidero avere clustering a livello di Hypervisor e non applicativo. Ovirt è la controparte open di RHEV, come CentOS di RHEL, mentre proxmox è una debian con alcuni pacchetti aggiuntivi di livello enterprise (c'è dietro una realtà che offre supporto a pagamento ovviamente) per la gestione di KVM (non gli switch, il modulo che funge da hypervisor :P). Quest'ultimo lo uso da qualche anno anche in server di produzione e non ha mai dato problemi, considera che è una debian stabile con un'interfaccia web per la gestione, ma si può sempre utilizzare virsh e compagnia in caso di problemi (mai riscontrati francamente).

[theinfiltrated]

Scusate, doppio post involontario; please admin rimuovere, grazie!

[Tasslehoff]

Originariamente inviato da theinfiltrated

Tasslehoff, ti ringrazio intanto per la risposta, è un piacere avere a che fare con persone competenti.

Un thread che non cominci con le solite richieste su Windows Server o su consigli per l'acquisto di un server non può che essere il benvenuto
Poi come ti dicevo io non ho una grande esperienza in merito all'implementazione di questo genere di architetture, uso quotidianamente delle san in fc con multipath e switch ridondati, però un conto è cominciare tutto da zero e investirci dei soldi e competenze, un altro semplicemente farne la manutenzione.
Anche per me è un'occasione per approfondire

- Il mio dubbio principale sul FC è che ho letto parecchi dati che lo mostrano in declino rispetto alle più recenti soluzioni iSCSI, anche nella fascia alta: sembrerebbe proprio un protocollo la cui diffusione si sta ridimensionando in favore della più flessibile connettività ethernet. Non siamo estremamente interessati alla bassa latenza.
Ciò detto, il tuo consiglio rimane Fibre Channel? Se sì, mi farebbe molto piacere che tu potessi illustrarmi il perché di questa preferenza, ho letto diversi pareri e sono affamato di informazioni.
- Non ho ancora trovato una risposta definitiva alla domanda "Si può usare il FCoE su questa configurazione (10GbE con connessioni Point-to-Point) o no?", se qualcuno se ne intende si faccia avanti !

Come ti dicevo non ho esperienza di FCoE, però da quanto ho letto in rete FCoE ha implementato tutte le features tipiche del FC (es zoning).
In entrambi i casi dovresti dotarti di HBA dedicate, il vantaggio di FCoE potrebbe essere evidente se uno mischiasse traffico IP con traffico FCoE sugli stessi switch (chiaramente adeguati a gestire il traffico e le features del FCoE) per il semplice fatto di non dover utilizzare diversi mezzi fisici.
Nel tuo caso però questo problema non si pone dato che il traffico FCoE tra san e server sarebbe comunque separato dal resto del traffico di rete.

Sul FCoE punto-punto non ho trovato molte informazioni, solo una presentazione in pdf che "spacca il frame in 4" ma che più che dare certezze pone domande per un futuro sviluppo del protocollo in tal senso (nella parte iniziale dice che il FCoE non prevede la configurazione punto-punto).
Con FC puro invece una configurazione di questo tipo non solo è possibile ma anche abbastanza comune (se hai abbastanza controller e interfacce FC nulla ti vieta di implementare il multipath anche con questa configurazione).

- Desidero avere clustering a livello di Hypervisor e non applicativo. Ovirt è la controparte open di RHEV, come CentOS di RHEL, mentre proxmox è una debian con alcuni pacchetti aggiuntivi di livello enterprise (c'è dietro una realtà che offre supporto a pagamento ovviamente) per la gestione di KVM (non gli switch, il modulo che funge da hypervisor :P). Quest'ultimo lo uso da qualche anno anche in server di produzione e non ha mai dato problemi, considera che è una debian stabile con un'interfaccia web per la gestione, ma si può sempre utilizzare virsh e compagnia in caso di problemi (mai riscontrati francamente).

Non avevo capito che intendessi implementare una architettura virtualizzata, non sono molto ferrato su KVM o comunque con hypervisor diversi da vmware esx, dai clienti presso cui lavoriamo non abbiamo mai avuto modo di implementare altro.
Interessante comunque, se avrò modo (in realtà sono anni che dico a proposito di KVM ma non ho mai trovato il tempo per applicarmi e testare per bene...) proverò a dare un'occhiata a quei due progetti

Dimenticavo di segnalarti un redbook e un redpaper interessanti sull'argomento, spero ti possano essere utili.
An Introduction to Fibre Channel over Ethernet, and Fibre Channel over Convergence Enhanced Ethernet
Storage and Network Convergence Using FCoE and iSCSI

[theinfiltrated]

Alla fine ho optato per il FC puro, poiché molte soluzioni erano certificate per iSCSI solamente utilizzando degli switch (che non sono previsti nel nostro progetto). Avremo quindi due connessioni point-to-point per server a 8gbit.

Tasslehoff, ti ringrazio ancora per i preziosi suggerimenti che mi hai dato.

Ciò detto, potresti darmi consigli su libri (o altro) che parlino del fibre channel in generale e su Linux (anche introduttivi, anche sul web)?
Avevo l'intenzione di ridondare/aggregare i due link sui server... Ho scelto controller Emulex, spero sia stata una decisione saggia.

[Tasslehoff]

Originariamente inviato da theinfiltrated

Alla fine ho optato per il FC puro, poiché molte soluzioni erano certificate per iSCSI solamente utilizzando degli switch (che non sono previsti nel nostro progetto). Avremo quindi due connessioni point-to-point per server a 8gbit.

Tasslehoff, ti ringrazio ancora per i preziosi suggerimenti che mi hai dato.

Ciò detto, potresti darmi consigli su libri (o altro) che parlino del fibre channel in generale e su Linux (anche introduttivi, anche sul web)?
Avevo l'intenzione di ridondare/aggregare i due link sui server... Ho scelto controller Emulex, spero sia stata una decisione saggia.

Figurati
Come ti dicevo è stato uno spunto anche per me per andare a indagare un po' il FCoE, anche se in modo molto superficiale (altra roba che si aggiunge alla mia già lunga to-read list ).

Riguardo alla documentazione io posso consigliarti questi interessanti Redbooks IBM:
Designing an IBM Storage Area Network
Introduction to Storage Area Networks and System Networking
Introduction to Storage Area Networks

In generale posso consigliarti di tenere d'occhio il sito dei RedBooks IBM (consiglio i feed RSS), sono opere davvero fantastiche e totalmente free (in formato elettronico).
Chiaramente trattano anche argomenti specifici di prodotti hw e sw IBM, però anche in quei casi contengono sempre capitoli introduttivi che parlano in generale dei protocolli coinvolti e sono un'ottima introduzione (spesso anche fin troppo dettagliata).