|
SeniorenNet is deze nacht tot vanmiddag niet bereikbaar geweest. Deels lag het niet in onze handen, en deels hebben we heel véél pech gehad.
Nu is alles echter terug in orde en is je blog weer bereikbaar!
Concreet is je blog tot deze morgen onbereikbaar geweest, tot +- 12u traag bereikbaar en tot 16.30u wel bereikbaar maar zonder interactieve mogelijkheden (geen gastenboek, e-mail, archief,...). Vanaf 16.30u was alles terug in orde.
Wat was er aan de hand?
Alle servers die ervoor zorgen dat je de website kan bezoeken staan bij een datacentrum. In zo'n datacentrum staan alle servers samen in een ruimte met airconditioning, antidiefstal, speciale brandbeveiliging, rechtstreekse toegang tot glasvezelkabel,...
Dit datacentrum had deze nacht onderhoudswerken gepland voor de stroomtoevoer. Normaal gezien mocht er geen probleem zijn, aangezien er steeds één van de twee stroomkringen moest actief blijven. We waren echter wel paraat voor het geval er toch iets moest mislopen; we waren hiervoor deze nacht opgebleven.
Ze hebben echter een fout gemaakt. Beide stroomkringen gingen weg waardoor álles zonder stroom kwam te zitten. Weg website!
Intussen moesten we machteloos toekijken en ongeduldig wachten totdat het technische team van het datacentrum dit oploste. Probleem is dat dit een hele lange tijd heeft geduurd, pas deze morgen was er terug stroom.
Deze morgen begonnen de problemen pas echt. 3 servers werkten niet meer, samen met een speciale coreswitch. Vermoedelijk is er bij het terugkrijgen van de stroom een piekstroom geweest waardoor de apparatuur stuk ging.
Op zo'n coreswitch komt ál het internetverkeer samen en wordt dan verdeeld over onze servers. Bijna een zwarte dag, want een nieuw toestel kost zo'n 50.000 euro. Bovendien vonden we niet onmiddellijk een nieuwe, men heeft dergelijk dure apparatuur niet zomaar in stock. Met de nodige moeite, rondbellen en rondrijden zijn we toch aan een nieuwe geraakt; die daarna nog helemaal ingesteld moest worden.
Maar dus ook drie servers waren defect. Bij SeniorenNet hebben heel wat servers verschillende taken. Voor elke taak zijn er minstens 2 servers die het aankunnen, zodat er steeds een kan inspringen. Hét belangrijkste zijn de DNS servers, die ervoor zorgen dat alle aanvragen doorgezonden worden naar de juiste server. Hier hebben we in totaal 3 servers van die dit aankunnen; om zeker te zijn.
En jawel... Het waren juist dié 3 servers die het hebben begeven. Hierdoor lag alles plat; want je aanvragen gingen niet door naar de andere servers, die intussen werkloos waren. Als toemaatje kwam er nog bovenop dat DNS.be (bedrijf dat alle domeinnamen in België beheerd) nog een fout heeft gemaakt die nu pas ontdekt werd.
Deze servers moesten hersteld worden met nieuwe onderdelen en nieuwe installaties; wat de nodige tijd vroeg.
In totaal hebben vannacht 2 mensen en sinds deze voormiddag tot 5 mensen voor SeniorenNet bijna 16u nonstop gewerkt om alles opgelost te krijgen; en ze mogen nog niet gaan slapen... De komende uren wordt alles nog met argusogen in het oog gehouden of alles goed blijft lopen. Zodat je blog zeker bereikbaar blijft!
Veel tegen dit soort incidenten kunnen we niet doen. De bron van het probleem lag bij het datacentrum, en we gaan ervan uit dat zij alles in het werk zullen stellen om dit te vermijden in de toekomst. Wij langs onze kant zorgen er wel voor dat de DNS in de toekomst nog betrouwbaarder is, en zorgen voor nog een 4e backup.
Excuses voor het ongemak,
Met vriendelijke groeten,
Pascal Vyncke
Webmaster
www.SeniorenNet.be
|
