Tonbnc Server Status

Down - 10 avril 2012 - Site web www.tonbnc.fr

Wed, 11 Apr 2012 08:33:31 +0200

Hier jusqu’à 8h ce matin, un incident avec le serveur SQL contentant les bases de données du site www.tonbnc.fr a fait que le site est resté inaccessible dans la soirée du 10 au 11 avril.

Le problème est maintenant résolu.

Downtime - Server10 - 08/02/2012

Wed, 08 Feb 2012 18:36:44 +0100

Aujourd’hui vers 18h server10 a eu une panne. Après vérification il s’agissait d’un kernel panic (crash du noyau du serveur). Un redémarrage a été fait (et a pris un certain temps à cause de la vérification de tous les volumes à la recherche de dommages disque).

À 18:25 les VPS ont été relancés.

Nous sommes désolés pour cet incident.

Downtime - Server8 - 11/01/2012 // 07h00

Wed, 11 Jan 2012 08:02:14 +0100

Ce matin apparemment server8 a cessé de répondre au ping. Il a été relancé une demi heure après et tous les VPS sont redevenus accessibles vers 8h du matin.

Nous allons chercher la cause du problème (kernel panic ?)

Downtime - Server11 - 07/01/2012

Sat, 07 Jan 2012 16:47:05 +0100

Aujourd’hui server11 a du être rebooté à cause d’un bug dans l’hyperviseur qui faisait que la latence disque était incroyablement longue (ce qui rendait les serveurs particulièrement lents).

Une maintenance avait été planifié, mais l’hyperviseur s’étant mis a dysfonctionner de plus en plus nous avons du redémarrer le serveur qui était devenu pratiquement indisponible depuis plusieurs minutes.

Les VPS sont en cours de redémarrage au moment de la rédaction de ce billet. Je suis désolé pour la gêne causée.

Panne disque - Server 9

Fri, 16 Dec 2011 21:16:34 +0100

En debut d’après midi, server9 a eu une panne. Plus tard dans la journée il a été constaté qu’il s’agissait d’un disque defectueux.

Le disque defectueux a été changé en debut de soirée. Aucune donnée n’a été perdue, mais le RAID doit se réparer avant un redémarrage des machines.

Edit : La resynchronisation du RAID est en cours, les VPS seront relancés une fois celle ci (pratiquement) terminée. Nous estimons la fin de la synchronisation RAID dans 4 heures à l’heure de redaction de ce billet, ce qui fait donc environ un rétablissement complet vers minuit ce soir.

Nous sommes désolés de la gêne causée et nous vous conseillons de consulter régulièrement ce billet pour avoir plus d’informations sur l’avancement de la réparation disque.

Incident routage OVH - Server 10-11-12-13

Fri, 16 Dec 2011 00:38:00 +0100

Incident routage OVH - Server 10-11-12-13:

Un problème de routage s’est déclaré chez notre hébergeur (OVH) vers minuit. Nous (enfin eux) ne connaissons pas pour l’instant la ou les causes du problème.

Plus d’informations seront fournies d’ici peu. Pour un suivi en temps réel de la situation regardez le ticket d’intervention chez notre fournisseur OVH ou ce même billet sur tumblr.

Edit 1:00: Il s’agissait d’une erreur de routage cette dernière a été fixée.

Le renouveau du TVSSW

Mon, 05 Dec 2011 09:37:23 +0100

Etant donné les recents problèmes avec les nouveaux serveurs Tonbnc, je pense que relancer ce blog serait quelque chose d’intéressant voire d’utile.

Donc voilà, à partir de maintenant tous les downtime/maintenances/problèmes seront signalés ici en priorité, histoire d’avoir vraiment un suivi en continu des problèmes éventuels du service Tonbnc VPS.

Downtime - Server9 - 29/05/2011 //

Sun, 29 May 2011 07:57:32 +0200

Ce jour le dimanche 29 mai 2011, un comportement plus qu’étrange de l’hyperviseur Xen à nécessité un redémarrage du serveur principal de 6:45 à 7:15. Normalement les machines qui étaient déja démarrées avant la maintenance n’ont pas du être coupées.

Malgré cela, certains programmes ou VPS supportent assez mal l’effet de “saut dans le temps” crée par la mise en pause des machines le temps de la maintenance. Si c’est votre cas (la machine devient très lente, inaccessible en SSH ou ne ping plus), songez à la redémarrer via le panel, voire la redémarrer complètement, cela devrait fixer le problème.

Downtime - Server6 22/05/2011 15:45

Sun, 22 May 2011 15:53:28 +0200

Aujourd’hui le 22 mai 2011, le serveur Server6 a eu un incident, il a été relancé à cause d’un problème électrique.

A 15:50 le serveur est revenu et il est actuellement opérationnel.

Downtime - 30/03/2011 // Server8 // 16:25 -> 19:10

Wed, 30 Mar 2011 17:18:00 +0200

Server8 semble être down depuis 16:25 aujourd’hui. Un reboot software (qui devrait conserver intact les VPS a été tenté à 17:10. Actuellement on attend ce qui se passe ensuite.

Un reboot hardware sera fait si le serveur ne revient pas avant 17:20. La par contre l’état et l’uptime de vos VM sera remis a zéro mais aucune donnée (du moins non sauvegardée) ne sera perdue.

Plus de détails dans quelques minutes.

Edit: 17:21 -> Un hard reboot vient d’être demandé. Normalement le serveur et les VPS devraient être relancés d’ici quelques minutes.

Edit: 17:25 -> Il ne reboote toujours pas. Nous allons tenter de le lancer dans un mode de rescue en réseau histoire de voir si le problème est logiciel ou materiel.

Edit: 17:36 -> Le serveur ne démarre pas en mode rescue. Probablement un problème d’alimentation, de réseau ou peut être quelque chose de materiel. Nous avons demander au support Hetzner Online de procéder a des verifications d’usage.

Edit: 19:10 -> Après une maintenance faite de la part d’Hetzner, la machine semble rebooter. Les machines sont relancées une par une. Le service est rétabli. Pour information le downtime aura duré 2h45.

Nous sommes réellement désolés, un mail sera envoyé d’ici quelques heures expliquant les causes détaillées de cet incident.

Son état est instable il faut lui faire une transplantation d'urgence.

Sat, 22 May 2010 17:57:00 +0200

Maintenant qu’on sait d’où vient le problème de server4 (pour les mecs qui écoutent pas c’est en fait un disque du raid qui faisait des trucs funky qui généraient donc des incoherences tout cela faisait rebooter le serveur), il serait assez bien de le régler une bonne fois pour toute.

Et comme chaque jour sans RAID 1, c’est un jour dans la crainte que le second disque fasse comme son petit copain la, il serait bien de changer le défecteueux au plus vite.

C’est pourquoi, demain vers 6h30/7h, et ce jusqu’a 9h au plus tard, une maintenance d’urgence aura lieu et consistera à changer le disque /dev/sda qui est tout pété. A titre indicatif, Hetzner (l’hébergeur) nous a dit qu’il faudrait environ 30 minutes pour le changer. Ensuite, je pense qu’il en faudra peut être autant pour couper le serveur et relancer les machines virtuelles.

La bonne nouvelle c’est que techniquement, vos VM ne rebooteront pas, elles seront freezées a leur état à 6h30, et se réveilleront comme des fleurs vers 9h. Tout ça grace à la magie de Xen.

Donc allez on récapitule :

» Maintenance Dimanche 23 Mai 2010, de 6h30 à 9h00.
»»> Serveur concerné : server4.tonbnc.fr // Allemagne
»»> But : Changement de disque défectueux
»»> Vos VM ne seront pas rebootées.

EDIT 23 Mai 2010 08:25 // Le changement de disque est terminé, la resync vient de commencer.

"J’pense que c’est fixé. server4:~# uptime 07:39:59 up 6 days, 7:17, 2 users, load..."

Tue, 18 May 2010 07:41:29 +0200

“J’pense que c’est fixé.
server4:~# uptime
07:39:59 up 6 days, 7:17, 2 users, load average: 0.08, 0.06, 0.00”

Hé ouais. Ça bosse chez Tonbnc. Première d’une longue...

Fri, 14 May 2010 15:34:03 +0200

Hé ouais. Ça bosse chez Tonbnc. Première d’une longue série d’ajouts intéressants au service, la console de secours. Elle sert à se connecter à la VM même si elle devient inaccessible à cause d’un problème réseau comme par exemple la coupure de sshd ou un fail dans une config iptables.

Vous voulez avoir un accès ? Il suffit pour cela d’en demander un sur le panel de gestion, via les tickets.

Et vous vous demandez toujours à quoi ce truc peut bien servir ? Ça tombe bien on vous a fait une page de wiki dessus. Des questions ?

Guess what ? It works !

Fri, 14 May 2010 13:23:16 +0200

Bon, il semblerait que nous avons trouvés la cause des reboots intempestifs et aléatoires de server4. Nous ne sommes pas encore surs à 100%, mais visiblement à partir d’avant hier les reboots ont cessé et les graphs de monitoring semblent bons.

“Oui, il va s’en sortir sans séquelles graves.”

Pensez a follow @tonbnc ou bien d’ajouter la page facebook Tonbnc.fr pour suivre et bientôt savoir d’où venait le problème. Avec un joli post de blog et tout.

Downtime Server 4 - Minuit

Wed, 12 May 2010 07:03:01 +0200

Pour pas changer, server4 s’est encore mis à rebooter aléatoirement et sans raison apparente. Donc… une maintenance d’urgence si je puis dire est prévue pour aujourd’hui aux alentours de 12-13h et devrait durer entre 30mn et 1h30. Et normalement, elle devrait permettre de régler ce problème définitivement.

Encore mille fois désolé.

Downtime Server 4 - Après midi

Tue, 11 May 2010 20:47:46 +0200

Aujourd’hui le serveur a lamentablement planté vers 14h pour refaire de même en fin d’après midi. Pour l’instant une maintenance est en train d’être planifiée de manière à curer le problème définitivement.

Réelement, désolé pour cet incident.

The tonbnc vps service status weblog.

Mon, 10 May 2010 19:52:54 +0200

Le TVSSW (parce qu’avec des acronymes obscurs c’est plus claaasse) sert et va servir à prévenir les gens qui le souhaitent les diverses mises à jour/pannes/maintenances de Tonbnc, tout particulièrement du service Tonbnc VPS. Donc ouais toi si t’as envie de savoir pourquoi le serveur hier était down pendant 0.0042 ms, abonne toi au flux RSS ou au Tumblr tout simplement.

À ce jour, il n’y a rien à signaler, mais, “stay tuned”.