Link alla notizia: http://news.hwupgrade.it/10182.html

Alcune voci parlano di grossi problemi per la gestione futura del "mega-database" di google

Click sul link per visualizzare la notizia.

vabbè, ma nel frattempo cresceranno anche le capacità del computer, no? bisognerà vedere quale dei due (crescita di internet e velocità dei PC) crescerà più in fretta...

probabilmente si potrebbe fare anche un pò di pulizia...del tipo siti vecchi di 5/6 anni, mai aggiornati e senza informazioni interessanti potrebbero essere non considerati nell'indicizzazione.
non so se è possibile fare una cosa del genere, però certo che i siti saranno sempre di più. pensate solamente a tutti quelli nuovi che aprono ad ogni lancio di un prodotto (film, macchine, moto, cellulari,...)

Dal mio punto di vista il problema non è tanto la crescita del DB, ma la crescita del DB in rapporto alla crescita delle prestazioni dei Server.
Non ha senso dire : Il DB cresce = perdita di affidabilità.
Chi mi vieta di pensare che Google non aggionerà i suoi server con macchine più veloci ???

Ma sbaglio o ci sono in giro un pò troppi rumors su Google di questi tempi.
C'e' forse qualcuno che nutre un forte piacere nello screditare il miglior motore di ricerca del Web ????

...pensando la stessa cosa...

Google rulez

Forse dico una cavolata
Ma come x esempio nei progetti di ricerca troviamo quella soluzione di più computer connessi ad un elaboratore centrale x aumentare considerevenlmente la potenza di calcolo (seti@thome), ecc
perchè google, non pensa (in un futuro) di aggiungere 1 o 2 server da supporto al suo centrale x l'elaborazione delle 2 funzioni principali?
potrebbe essere un'idea?

Ma penso proprio ne abbiano già ben più di 2/3 di server configurati in modalità clustering. Per gestire quella roba certo non basta un server ben carrozzato
Ne avranno già a decine (se non centinaia) tutti collegati

Google è gestito secondo decine e decine di computer connessi fra di loro e gestiti in loco.
Tra l'altro ci fu uno scoop mesi addietro che rigurdava il rifiuto di Google dei processori Itanium, colpevoli di consumare troppo...

E' vero che aumenteranno le prestazioni dei server, ma di pari passo ogni volta che esce uan nuova versione del db anch'esso è sempre più pesante e lento della versione precedente, anche se ha maggiori funzioni.
Dipende da chi dei due crescerà maggiormente.

Mi sembra una cazzata. Ormai con lo sviluppo del clustering si riescono ad ottenere potenze di calcolo spaventose spendendo (relativamente) poco.
Per di più ci stiamo avviando sulla via dei 64bit i cui vantaggi si sentono proprio operando con grossi database.

Io al posto di AMD regalerei 1.000 - 2.000 Opteron a Google incambio di pubblicità.

^^

Scusate ma Google non usa i piccioni????

http://www.google.com/technology/pigeonrank.html

bè... il logo Powerd by AMD nella front page di Google sarebbe un'ottima pubblicità davvero, e chissà se effettivamente i 64 bit in questo genere di operazioni potrebbero effettivamente aiutare...

bhe credo che aiutino si i 64bit... visto che l'indicizzazione di un database sfrutta appieno le capacità della cpu etcetc... (e anche degli hd.. ma gli scsi volano)

una bella dozzina di opteron non farebbero male :)

Originally posted by "Kazzoncrew"

perchè google, non pensa (in un futuro) di aggiungere 1 o 2 server da supporto al suo centrale x l'elaborazione delle 2 funzioni principali?
potrebbe essere un'idea?

http://forum.hwupgrade.it/faccine/44.gifhttp://forum.hwupgrade.it/faccine/44.gif

MA LOL!!!!!

1 o 2 server ?

non mi vorrei sbagliare ma la server farm di google e' formata da 4000 server FreeBSD in cluster.....

eddai ragazzi, io nn sono esperto di server :)
è già tanto se ora come ora, il mio winxp tiene 5 giorni e 15 ore :) eheheh

_______________________
Ma sbaglio o ci sono in giro un pò troppi rumors su Google di questi tempi.
C'e' forse qualcuno che nutre un forte piacere nello screditare il miglior motore di ricerca del Web ???? ________________________
probabilmente è il prezzo della notorietà :)
la scommessa è proprio nel vedere se le tecnologie hw terranno testa alla crescita del db

qualunque struttura (non solo quella di Google) largamente utilizzata e costantemente aggiornata si appesantisce data la notevole mole di dati da gestire... che sia Google o un qualsiasi altro motore di ricerca, o un forum, o qualsiasi altra cosa...
quindi non mi sembrano delle gran "voci"... è normale... che poi i problemi si verificheranno prima per Google che per qualcun altro (che comunque sarà da vedere se non interverranno prima del "collasso") sta a confermare che è il migliore perchè è il più utilizzato... e poi volete che "loro" non ci abbiano già pensato? se non sbaglio è di poco tempo fa la notizia che dichiarava un cambio di algoritmo da parte di questo motore appunto per snellire le ricerche e far fronte all'aumento della mole di dati...

Commento # 10 di : bottaz pubblicato il 17 Jun 2003, 10:04
E' vero che aumenteranno le prestazioni dei server, ma di pari passo ogni volta che esce uan nuova versione del db anch'esso è sempre più pesante e lento della versione precedente, anche se ha maggiori funzioni.
Dipende da chi dei due crescerà maggiormente.
-------------------------------------------------------
LOL! Questa sì che è bella!!
Ma cosa credi?! che usino SQL Server di Microzozz?!?

X Buahahahah
forse..se leggevi gli altri commenti ti evitavi questa sparata!
Si parla infatti di piattaforma BSD. Scusa l'acidità del mio intervento ma onestamente non gradisco il semplicismo anti MS...e preferisco le puntuali osservazioni (ad esempio Mainas giustamente riporta l'attenzione su una news di qualche tempo fa relativa ai nuovi algoritmi di google).

leggete questo:
"Ebbene, l'architettura di Google è molto complessa. Vi basti pensare che dalle ultime notizie pare che l'intero funzionamento di Google sia gestito da circa 10.000 server, dieci mila! distribuiti in 8 data-center.
Questi 10 mila server sono delle specie di thin client, in modo da contenere i costi, composti principalmente da dischi capienti EIDE, ottime schede di rete per raggiungere throughput elevati e quindi per servire più richieste contemporaneamente.
Il sistema operativo adottato è una versione di Linux Redhat modificata.
Il web server invece è un Apache anch'esso modificato chiamato GWS (Google Web Server).
Chiaramente come vedete è un'architettura distribuita che è molto potente ma anche molto flessibile, nel senso che può essere estesa acquistando nuovi server e mettendoli in funzione.
I gravi problemi di Google
E' risaputo che Google sta cercando di migliorare gli algoritmi di ricerca, ma nel fare questa operazione probabilmente è successo qualcosa di sbagliato che ha fatto inceppare il meccanismo.
E' successo così che dagli indici di Google sono sparite migliaia se non milioni di pagine, il punteggio delle pagine Ranking per molti siti è stato perso (con conseguenze negative sulle ricerche), gli indici hanno subito sembra un rollback a due-tre mesi fa quindi spesso escono risultati con pagine aggiornate a Febbraio 2003, l'aggiornamento dall'ultima Deep-crawl invece di metterci 6-8 giorni ne ha impiegati circa 20 e addirittura la Deep-crawl di Maggio non è neanche stata fatta, quindi la situazione non è delle migliori. "
preso da http://www.pc-facile.com/news.php?id=992

infatti ora su google il numero delle pagine che mi da sono: ©2003 Google - Ricerca effettuata su 3,083,324,652 pagine Web.
un po inferiore dal numero che cè scritto sulla news

Commento # 21 di : Fabio Boneschi pubblicato il 17 Jun 2003, 11:52
X Buahahahah
forse..se leggevi gli altri commenti ti evitavi questa sparata!
Si parla infatti di piattaforma BSD. Scusa l'acidità del mio intervento ma onestamente non gradisco il semplicismo anti MS...e preferisco le puntuali osservazioni (ad esempio Mainas giustamente riporta l'attenzione su una news di qualche tempo fa relativa ai nuovi algoritmi di google).
-------------------------------------------------------
A parte il mio supposto semplicismo anti MS (tutto da dimostrare), credo che il mio commento sia piuttosto calzante proprio alla luce del fatto che Google (MOLTO saggiamente a mio personalissimo modo di vedere) NON usa MS SQL Server ma, a quando pare, una piattaforma Linux (non si capisce bene se basata su BSD o su RedHat).
Io i commenti li ho letti, come vedi. Non sono invece sicuro che tu abbia aspettato più di mezzo secondo per far ringalluzzire il tuo istinto "M$-protettivo" al punto da non aver capito il senso stesso della mia battuta...
Amen

____
il tuo istinto "M$-protettivo"
____
proprio non ci capiamo! nel limite del possibile per vari motivi più o meno importanti cerco di usare sistemi ms il meno possibile ed ho scelto ad esempio un'installazione Debian 3 stable sul mio notebook.

interessanti i link segnalati che per certi versi contrastano con la nostra fonte:
http://uk.gsmbox.com/news/mobile_news/all/96436.gsmbox

se i tempi di saturazione sono abbastanza alti, nel frattempo non dovrebbe andare in porto e cominciare a diffondersi il "semantic web"? Questo dovrebbe cambiare molto il modo in cui funzionano i motori di ricerca...

ciao
s

Non credo che il futuro potra riguardare una lotta tra crescita potenzialità hardware e aumento dimensioni del dbase ma piuttosto una differenziazione sui db, cioè splittare i db in db minori, secondo delle apposite funzioni, gestiti dai vari server, una specie di matrice di dbase/server associato a cui fa capo un unico sistema pricipale che avrebbe solo iol comito di "Supervisione" sui sottosistemi.
Potrebbe essere una buona idea...chissa?

mh... stavolta HW UPGRADE mi ha perso punti... ma che notizia è????

Mi spiego:
visto che è un problema fisiologico della rete perchè parlare proprio di google?
non è più sano parlare di tutti i motori di ricerca?
non sfiora l'idea che gli altri avranno lo stesso problema?
Sempre che il problema sussisterà.

Evidentemente cercare di screditare google sta diventando lo sport preferito in rete... spero che per hwup sia solo una news selezionata male o scritta male.

Anzichè scannarsi tanto sui sistemi operativi e sulle tecnologie della rete... volete rendervi conto che il problema NON E' legato all'architettura e alle soluzioni di tipo informatico ma è un problema di SCELTE DI ARCHIVIAZIONE?? Mi volete dire chi è il pazzo che oggi vuol visitare una pagina web che ormai non sta più in rete da anni ?

Originally posted by "geng@"

mh... stavolta HW UPGRADE mi ha perso punti... ma che notizia è????

Mi spiego:
visto che è un problema fisiologico della rete perchè parlare proprio di google?
non è più sano parlare di tutti i motori di ricerca?
non sfiora l'idea che gli altri avranno lo stesso problema?
Sempre che il problema sussisterà.

Evidentemente cercare di screditare google sta diventando lo sport preferito in rete... spero che per hwup sia solo una news selezionata male o scritta male.

perfettamente daccordo.....riassume tutto il mio pensiero....stavo finendo di leggere per inserire proprio lo stesso commento.

Originally posted by "MisterJinx"

Mi volete dire chi è il pazzo che oggi vuol visitare una pagina web che ormai non sta più in rete da anni ?

be supponi che io oggi a 25 anni mi appassioni improvvisamente che ne so'....di WINDSURF......
non e' detto che la migliore guida per dilettanti windsurfisti sia stata scritta sul web 6 mesi fa'....potrebbe anche risalire a 6 anni fa....

x elminister
"infatti ora su google il numero delle pagine che mi da sono: ©2003 Google - Ricerca effettuata su 3,083,324,652 pagine Web.
un po inferiore dal numero che cè scritto sulla news"

se non ho capito male 4,294,967,296 è la capacità massima del sistema attuale non la quantità attualmente gestita...


x geng@
"visto che è un problema fisiologico della rete perchè parlare proprio di google?
non è più sano parlare di tutti i motori di ricerca?
non sfiora l'idea che gli altri avranno lo stesso problema?
Sempre che il problema sussisterà"

Concordo...come avevo già scritto anche io... però pare proprio che il problema sussista...

Commento # 25 di Fabio Boneschi pubblicato il 17 Jun 2003, 1359
____
il tuo istinto "M$-protettivo"
____
proprio non ci capiamo! nel limite del possibile per vari motivi più o meno importanti cerco di usare sistemi ms il meno possibile ed ho scelto ad esempio un'installazione Debian 3 stable sul mio notebook.
-------------------------------------------------------
Io invece con la roba di M$ ci sviluppo ed è il mio lavoro e quando mi si parla di 'semplicismo anti MS' e si dice che prima di scrivere non leggo i commenti mi sento quanto meno in diritto di ipotizzare la famosa cosa di paglia. E sottolineo ipotizzare perchè da quando l'italiano è una lingua con tutti i crismi del caso io mi sono espresso in maniera tale da non darlo per scontato (a differenza di qcuno che evidentemente non va tanto d'accordo col congiuntivo [i.e. '...se leggevi...']).
Non so per quale motivo ti sei espresso nel modo che sai, ma forse a creare motivo di 'incomprensione' è stato proprio questo ultimo...

ok per il congiuntivo..sorry (a te forse manca qualche virgola:)), ma continuo a non capire la tua rissosità e la voglia di creare polemica.
Forse l'errore è stato mio in origine rispondendo ad una tua affermazione chiaramente OT ( "M$-protettivo" ecc).
________
roba di M$ ci sviluppo ed è il mio lavoro
________
nulla in contrario, ma spero tu non voglia insinuare che io mi dedico a Debian per diletto (se vuoi venirci a trovare in redazione per controllare...ti aspettiamo).
Da parte mia divagazione ot chiusa e mi scuso con chi è stato "costretto" a leggerci.