Maintenant qu’on sait d’où vient le problème de server4 (pour les mecs qui écoutent pas c’est en fait un disque du raid qui faisait des trucs funky qui généraient donc des incoherences tout cela faisait rebooter le serveur), il serait assez bien de le régler une bonne fois pour toute.

Et comme chaque jour sans RAID 1, c’est un jour dans la crainte que le second disque fasse comme son petit copain la, il serait bien de changer le défecteueux au plus vite.

C’est pourquoi, demain vers 6h30/7h, et ce jusqu’a 9h au plus tard, une maintenance d’urgence aura lieu et consistera à changer le disque /dev/sda qui est tout pété. A titre indicatif, Hetzner (l’hébergeur) nous a dit qu’il faudrait environ 30 minutes pour le changer. Ensuite, je pense qu’il en faudra peut être autant pour couper le serveur et relancer les machines virtuelles.

La bonne nouvelle c’est que techniquement, vos VM ne rebooteront pas, elles seront freezées a leur état à 6h30, et se réveilleront comme des fleurs vers 9h. Tout ça grace à la magie de Xen.

Donc allez on récapitule :

» Maintenance Dimanche 23 Mai 2010, de 6h30 à 9h00.
»»> Serveur concerné : server4.tonbnc.fr // Allemagne
»»> But : Changement de disque défectueux
»»> Vos VM ne seront pas rebootées. 

EDIT 23 Mai 2010 08:25 // Le changement de disque est terminé, la resync vient de commencer.

Hé ouais. Ça bosse chez Tonbnc. Première d’une longue série d’ajouts intéressants au service, la console de secours. Elle sert à se connecter à la VM même si elle devient inaccessible à cause d’un problème réseau comme par exemple la coupure de sshd ou un fail dans une config iptables.

Vous voulez avoir un accès ? Il suffit pour cela d’en demander un sur le panel de gestion, via les tickets. 

Et vous vous demandez toujours à quoi ce truc peut bien servir ? Ça tombe bien on vous a fait une page de wiki dessus. Des questions ?

Bon, il semblerait que nous avons trouvés la cause des reboots intempestifs et aléatoires de server4. Nous ne sommes pas encore surs à 100%, mais visiblement à partir d’avant hier les reboots ont cessé et les graphs de monitoring semblent bons.

“Oui, il va s’en sortir sans séquelles graves.”

Pensez a follow @tonbnc ou bien d’ajouter la page facebook Tonbnc.fr pour suivre et bientôt savoir d’où venait le problème. Avec un joli post de blog et tout. 

Pour pas changer, server4 s’est encore mis à rebooter aléatoirement et sans raison apparente. Donc… une maintenance d’urgence si je puis dire est prévue pour aujourd’hui aux alentours de 12-13h et devrait durer entre 30mn et 1h30. Et normalement, elle devrait permettre de régler ce problème définitivement.

Encore mille fois désolé.

Aujourd’hui le serveur a lamentablement planté vers 14h pour refaire de même en fin d’après midi. Pour l’instant une maintenance est en train d’être planifiée de manière à curer le problème définitivement.

Réelement, désolé pour cet incident.

Le TVSSW (parce qu’avec des acronymes obscurs c’est plus claaasse) sert et va servir à prévenir les gens qui le souhaitent les diverses mises à jour/pannes/maintenances de Tonbnc, tout particulièrement du service Tonbnc VPS. Donc ouais toi si t’as envie de savoir pourquoi le serveur hier était down pendant 0.0042 ms, abonne toi au flux RSS ou au Tumblr tout simplement.

À ce jour, il n’y a rien à signaler, mais, “stay tuned”.