Lorsqu'une entreprise atteint une certaine dimension, elle se doit d'avoir un système de production possédant la capacité nécessaire de traiter de grandes quantités d'informations. De plus, dans un monde où les vols de brevets et les copies sont fréquents, ces systèmes de productions se doivent d'être toujours plus innovants et performants. Google a su ainsi créer un système suffisamment puissant pour gérer des différents services avec la particularité qu'il ne peut être copié car il s'agit d'un des secrets les mieux gardés de la firme de Mountain View.

Les deux fondateurs de Google ont dû dès le départ faire face à la problématique de mettre en ligne une grande quantité d'informations afin d'optimiser le fonctionnement du moteur de recherche. Pour cela, et dès le début de l'aventure Google en 1998, Sergey Brin et Larry Page ont commencé par établir un premier réseau d'ordinateurs récupérés par ci par là. Cette provenance hétéroclite a eu un impact alors insoupçonné à ce moment-là et qui s'est révélé capital pour la suite de Google. Les ordinateurs ont commencé à tomber en panne les uns après les autres. Les deux fondateurs ont dû alors mettre au point un système de sauvegarde par redondance. En rajoutant des ordinateurs au réseau, le système risquait moins de tomber en panne et les pertes de données diminuaient. Petit à petit, le réseau a grossi et Larry et Sergey ont commencé à transférer leur réseau sur des serveurs contenus dans des armoires mobiles. Pourquoi mobiles ? Tout simplement parce qu'une fois avoir trouvé une solution au problème de la perte de données, il s'est présenté le problème de disponibilité de ces mêmes données dépendantes du réseau électrique et plus particulièrement des coupures de courant très fréquentes en Californie encore à cette époque. En prévoyant des armoires de serveurs mobiles, ils pouvaient ainsi commencer à s'installer dans d'autres Etats afin de fournir sauvegarde et disponibilité des données.

Au fur et à mesure que le réseau grossissait, il a fallu concevoir un logiciel capable de gérer cette distribution des données de plus en plus complexe. Cette étape est aussi importante que compliquée. Même si beaucoup de solutions existaient déjà à l'époque, les deux fondateurs ont décidé d'innover encore une fois en employant un médecin ! Ce neurochirurgien, Jim Reese (actuel Chief Operations Engineer chez Google), familier avec le monde de l'informatique a été embauché pour concevoir avec une équipe une solution de gestion des données distribuées en se basant sur le modèle du cerveau humain et de ses réseaux de neurones complexes et terriblement efficaces qui constituent notre mémoire.

Il en découla ce fameux secret le mieux gardé de Google après sûrement ses algorithmes de recherche : une application interne capable de manière complètement automatisée de gérer tout le réseau de Google. Celle-ci a plusieurs fonctions tout aussi développées et essentielles les unes que les autres. Premièrement, elle se doit de sécuriser le réseau en cas d'indisponibilité d'une partie du réseau pour maintenance ou à cause d'un incident. En répartissant les requêtes du monde entier, l'application permet de manière complètement transparente pour l'utilisateur de fournir le même service quel que soit l'instant et la provenance de la requête. Ensuite et afin de sécuriser les données, elle fait en sorte que les mêmes données soient présentes sur plusieurs machines situées dans différents lieux au même instant. Dans le cas où une machine s'arrête et qu'elle ne redémarre pas, toutes les données présentes sur les autres machines sont à leur tour recopiées sur d'autres machines en d'autres endroits. La probabilité de perdre une seule donnée et alors complètement nulle. Impressionnant ! Enfin, cette application gère la répartition des unités de calcul disponibles pour le développement et la production internes de Google.

Grâce à cette application qui gère à elle seule entre 30 et 60 fermes de serveurs (environ 450 000 ordinateurs mais personne ne connaît le chiffre exact), Google a su mettre au point un formidable outil de production qui a également été développé pour réduire les coûts en gérant au plus près le parc informatique par rapport à la demande qui est faite en temps réel.

Article rédigé par Aysoon (Aysoon.com), Contributeur Zorgloob.