Η Google συνδέει ολόκληρο το πλανήτη με μια GPS βάση δεδομένων

  Πριν από τρία χρόνια, ένας κορυφαίος μηχανικός της Google, που ονομάζεται Vijay Gill, ρωτήθηκε τι θα έκανε αν κάποιος του έδωσε ένα μαγικό ραβδί.

  Εκείνη την εποχή ο Gill βοήθησε να τρέξει το τεράστιο δίκτυο των data centers που συνδέουν την αυτοκρατορία της Google. Καθόταν στο βήμα σε ένα συνέδριο στο κέντρο του Σαν Φρανσίσκο συζητώντας τις μοναδικές προκλήσεις που αντιμετωπίζει αυτός ο κόσμο: τη διαδικασία σύνδεσής του. Ο Jonathan Heilger, ο άνθρωπος που επέβλεπε τα δεδομένα των data centers του Facebook καθόταν λίγα καθίσματα μακριά. Ήταν ο Heiliger που ρώτησε τον Gill τί θα πρόσθεται στα data centers της Google , εάν είχε ένα μαγικό ραβδί.

  Ο Gill δίστασε πριν απαντήσει. Όταν απάντησε, ήταν φειδωλός. Αλλά φάνηκε να λέει ότι θα χρησιμοποιήσει αυτό το μαγικό ραβδί για να οικοδομήσει ένα ενιαίο σύστημα που θα μπορούσε αυτόματα και αμέσως διαχειρίζεται πληροφορίες σε όλα τα data centers της Google. Στη συνέχεια ανέφερε ότι η Google είχε ήδη κατασκευάσει ένα. 

"Πώς διαχειρίζεστε το σύστημα αυτό και το βελτιστοποιείται σε παγκόσμιο επίπεδο; Αυτό είναι το ενδιαφέρον μέρος της ιστορίας."

  Ήταν κάτι περισσότερο από ένα teaser. Όμως περίπου τέσσερις μήνες αργότερα, η Google έδωσε άλλον ένα υπαινιγμό. Σε ένα συμπόσιο στα βουνά της Μοντάνα, ο Jeff Dean, ένας από τους σημαντικότερους μηχανικούς της Google, αποκάλυψε ότι ο γίγαντας του διαδικτύου δούλευε πάνω σε κάτι που ονομάζεται The Span, περιγράφοντάς το ως ένα σύστημα αποθήκευσης και υπολογισμών που εκτείνεται σε όλα τα data centers της Google. Είπε ότι το σχέδιο ήταν να διαχειρίζεται δεδομένα τουλάχιστον ανάμεσα σε 10 εκατομμύρια servers που βρίσκονται σε "εκατοντάδες χιλιάδες" data centers σε όλο τον κόσμο.

Το πεδίο εφαρμογής του έργου ήταν εντυπωσιακό. Αλλά ο Dean παρείχε λίγες λεπτομέρειες, και δεν ήταν σαφές αν η Google στην πραγματικότητα χρησιμοποιούσε την πλατφόρμα αυτή στα live data centers της. Λίγες μέρες μετά η δημοσίευση του έργου εμφανίστηκε στο διαδίκτυο.

Αυτή την εβδομάδα, η Google δημοσίευσε μια ερευνητική εργασία με τα υπέρ και τα κατά του  Spanner . Σύμφωνα με την Google, είναι η πρώτη βάση δεδομένων που μπορεί γρήγορα να αποθηκεύσει και να ανακτήσει πληροφορίες σε ένα παγκόσμιο δίκτυο data centers, διατηρώντας παράλληλα τις πληροφορίες «σταθερές». Δηλαδή όλοι οι χρήστες βλέπουν την ίδια συλλογή των πληροφοριών ανά πάσα στιγμή και είναι αυτό που οδηγεί το σύστημα διαφημίσεων της εταιρείας και διάφορες άλλες διαδικτυακές υπηρεσίες για πολλά χρόνια.

Το Spanner δανείζεται τεχνικές από μερικές άλλες ογκώδεις πλατφόρμες λογισμικού της Google που κατασκευάζονται για τα data centers της, αλλά στην καρδιά του υπάρχει κάτι εντελώς νέο.  Το Spanner  συνδέεται σε ένα δίκτυο servers εξοπλισμένο με υπερακριβή ατομικά ρολόγια ή κεραίες GPS παρόμοιες με αυτά στα smartphone σας, χρησιμοποιώντας αυτά σαν φύλακες του χρόνου για να συγχρονίσει με μεγαλύτερη ακρίβεια την κατανομή των δεδομένων σε ένα τέτοιο τεράστιο δίκτυο. Ακριβώς, η Google προσαρμόζει κεραίες GPS και "πιστά" ατομικά ρολόγια στους διακομιστές της.

«Είναι μια μεγάλη υπόθεση και κάτι πραγματικά νέο», λέει ο Andy Gross, ο κύριος αρχιτέκτονας του Basho , μια στολή που χτίζει μια βάση δεδομένων ανοικτού κώδικα που ονομάζεται Riak που τρέχει σε χιλιάδες servers, επ'ουδενί όμως σε τόσους όσους το The Spanner. Η συμβατική λογική, τουλάχιστον μεταξύ των ατόμων με περιορισμένους πόρους, είναι ότι τέτοιος συγχρονισμός του χρόνου, σε παγκόσμια κλίμακα, η οποία είναι αρκετά ακριβής για μια τέτοια κατανεμημένη βάση δεδομένων... απλά δεν είναι πρακτικό."

Το Spanner ίσως φαίνεται σαν μια ακραία πρόκληση και βεβαίως αντιμετωπίζει ένα ασυνήθιστο πρόβλημα. Λίγες άλλες εταιρείες στη Γη αναγκάζονται να αντιμετωπίσουν τόσα πολλά δεδομένα τόσο γρήγορα. Αλλά οι μαζικές δημιουργίες των data centers της Google έχουν έναν τρόπο να ερεθίζουν το κόσμος της τεχνολογίας. Το χαρακτηριστικό παράδειγμα είναι το Hadoop, μια ευρέως χρησιμοποιούμενη  number-crunching platform που μιμείται τις τεχνολογίες που χτίστηκαν αρχικά στο Google, και η τάση αυτή είναι πιθανό να συνεχιστεί.

"Αν θέλετε να μάθετε πώς μοιάζουν τα μεγάλης κλίμακας και υψηλής επίδοσης υποδομές επεξεργασίας δεδομένων του μέλλοντος, η συμβουλή μου θα ήταν να διαβάσετε τις ερευνητικές εργασίες της Google που βγαίνουν τώρα" δήλωσε ο Mike Olson CEO του Hadoop ειδικού της Cloudera, σε εκδήλωση στη Silicon Valley. Σύμφωνα με τον Charles Zedlewski, αντιπρόεδρος των προϊόντων της Cloudera, η εταιρεία γνώριζε ήδη το Spanner, μετά την πρόσληψη ορισμένων πρώην μηχανικών της Google και αυτό μπορεί να ενσωματώσει τις ιδέες αυτές τελικά στο λογισμικό της.

Το Facebook κατασκευάζει ήδη ένα σύστημα που είναι κάπως παρόμοια χαρακτηριστικά με το The Span υπό την έννοια ότι στοχεύει να διαχειριστεί δεδομένα σε πολλά data centers. Από τις συζητήσεις με το Facebook σχετικά με αυτό το σύστημα, είναι γνωστό ως Prism, είναι αρκετά διαφορετικό από τη δημιουργία της Google. Αλλά αυτό δείχνει ότι και άλλες εξαρτήσεις δημιουργούνται στα ίδια προβλήματα δεδομένων που πρώτα αντιμετώπισε η Google τα προηγούμενα χρόνια.

Πηγή: wired.com