Noodonderhoud netwerk preventief instellen nieuwe apparatuur

Melding nood onderhoud netwerk datacenter.

Op maandag 4 november om 9:45uur werd ons netwerk aangevallen door een grote DDOS.
Door deze DDOS werd het netwerk traag en onbereikbaar.

Onze netwerk engineers hebben geprobeerd de DDOS zo snel mogelijk te lokaliseren, op te vangen en onder controle te krijgen.
Door de omvang van de DDOS was het erg moeilijk de DDOS aanval op te vangen en onder controle te houden.
Rond 16:00uur was het netwerk weer bereikbaar.

Hierbij hebben we extra netwerk apparatuur ingezet om alles onder controle te krijgen.
Op dit moment blijkt er helaas toch nog sprake te zijn van geringe packetloss.

Het blijkt dat er op de nieuwe apparatuur nog aanvullend onderhoud moet worden gepleegd om deze zo goed mogelijk in te regelen.
Het kan gebeuren dat u hier vandaag nog hinder van ondervindt. Uiteraard doen we het uiterste om overlast tot een minimum te beperken.

Wat gaan we doen om dit probleem in de toekomst te voorkomen:

  •  We zullen op korte termijn nog meer extra apparatuur gaan bijzetten zodat grote DDOS aanvallen sneller kunnen worden opgelost of voorkomen.

———-
Deze informatie kregen wij rond 13:30 5-11-2013 | Kort hierna konden wij gedurende een korte periode geen bericht op onze website plaatsen. Deze was als het gevolg van het onderhoud een korte periode niet toegankelijk. Daarom hebben we direct berichten op onze Twitterstream geplaatst. Overigens lijkt de downtime vandaag slechts enkele minuten te zijn geweest.
———-

UPDATE: 15:35 – 05-11-2013 |
———-
Op een korte onderbreking rond 13:30 lijken wij vandaag geen last te ondervinden van downtime of verbindingsproblemen. Momenteel lijkt alles opgelost, indien er nieuws is wordt het hier geplaatst. Ter info, ook deze rubriek is met onze Twitterstream verbonden, dit bericht verschijnt ook daar.
———-

Communicatie tijdens storingen, hoe doen we dat?

Communicatie tijdens storingen, hoe doen we dat?

Het is juist één van onze belangrijke speerpunten waarop wij ons willen onderscheiden van de meute. Communicatie. Dan bedoel ik communicatie op een toegankelijke, laagdrempelige, snelle, respectvolle en klantvriendelijke manier. Bij onsleeft: de klant staat centraal, wij weten en begrijpen dat wij alles doen voor de klant. Maar hoe communiceer je tijdens een storing wanneer vrijwel alle mooie nieuwe communicatiemiddelen plat liggen?

Hard gewerkt aan introductie van nieuwe communicatiemiddelen
Onze nieuwe website doet ons een nieuwe richting inslaan. In ons eigen e-commerce tijdperk gebruikten we het ook allemaal al, toen als pioniers, Kennisbase, Support Ticketsysteem, Live Chat en uiteraard snelle e-mail respons. Wij gebruikten al Live Chat en Support tickets op het moment dat onze concurrenten nog geen idee hadden dat dergelijke diensten extra service aan de klant bieden. Met de introductie van de, nu nog niet geheel voltooide, Cloud Inside website komt dit allemaal weer terug in een prachtig mooie vorm met nog altijd dezelfde doelstelling:

Gemakkelijke, snelle en duidelijke communicatie en dienstverlening voor u.

Welke communicatiemiddelen staan tot uw beschikking?

  • KennisBase via ons Klant PortaalTwitter
  • Support Tickets via ons Klant Portaal
  • Live Chat zie onze website, rechtsonder
  • Contactformulier op de pagina “Over”
  • Facebook iconE-Mail
  • Telefoonnummers
  • Twitter
  • Facebook

Wij streven ernaar om hierop steeds goed voor u bereikbaar te zijn en met hoge responstijd aan u te reageren. U zult zich misschien verbazen over de openingstijden van onze Live Chat, die gaan verder dan onze kantoortijden. Indien deze op Online staat dan is deze actief en mag deze gebruikt worden aangezien er toch gewerkt wordt. Dat kan ook 23:17 ’s avonds zijn. Als service ontvangt u van ons nadat uw support ticket gesloten is een e-mail met verzoek om uw feedback, heeft u daarvoor een moment van uw tijd beschikbaar dan helpt het ons mogelijk onszelf te verbeteren. De KennisBase in ons Klant Portaal is momenteel nagenoeg leeg wegens de nieuwe integratie, deze zal binnekort gevuld worden met informatie.

Ja, leuk al die communicatiemiddelen, maar wat doe je tijdens zo’n storing door DDOS?
Dat is een bijzonder lastige, dit stelt ons voor enkele dilemma’s waarin we binnekort keuzes zullen maken. Gelukkig is er in eerste instantie altijd Twitter, we hebben dan ook direct enkele berichten verspreid via onze twitter stream. Ons volgen heeft dus een dubbel doel, u bent op de hoogte van interessant nieuws, informatie, tips en soms een actie, maar ook van actuele storingen.

Als je eigen website, Klant Portaal, Live Chat en Mailserver getroffen zijn door een DDOS storing zoals vandaag dan zijn belangrijke communicatiemiddelen en publicatiemiddelen weg. Dat is bijzonder vervelend want het maakt communiceren lastig. Eén overweging is nu om op een locatie buiten ons eigen netwerk om een soort storingswebsite te gaan publiceren welke in geval van calamiteiten binnen ons eigen netwerk als storingsdienst opereert. Zodra we het huidige project voor Cloud Inside en onze andere nieuwe website hebben afgerond zullen we hierover beslissen.

Een dergelijke site buiten ons netwerk heeft namelijk niet zonder meer voordelen dan nadelen. Er zijn allerlei nadelen zoals bekendheid bij de klant of gebruiker, actualiteit, een extra website om te onderhouden en misschien het meest belangrijke: hoe interessant is een dergelijke site voor bezoekers.

De belofte, communicatie, hoe dan ook.b_5
Ons advies bij storingen is kijk op onze website of in het Klant Portaal voor meer informatie. Is de website tijdelijk niet bereikbaar volg ons op Twitter, we zullen zolang de storing duurt regelmatige updates plaatsen. Ook wij vinden het niet prettig om tijdens een voorval als een storing in het ngewisse te blijven en willen u dan ook op geen manier van informatie onthouden.

Tips of suggesties, laat ze hier achter
Wij staan open voor tips of suggesties wanneer u het perfecte of aanvullende idee heeft voor communicatie tijdens storingen of communicatie in het algemeen. Wij begrijpen dat een organisatie altijd in ontwikkeling is, samen met u zijn we nooit uitgeleerd.

Dag met storing houdt wakker en doet de temperatuur stijgen.

Toen ik de afgelopen nacht om 5:37 mijn pc uitschakelde om toch nog wat slaap te pakken had ik niet kunnen vermoeden wat me de volgende ochtend te wachten zou staan. Gelukkig hield ik me daar op dat moment dan ook in het geheel niet mee bezig. Na een nacht troubleshooten, oorzaken en oplossingen zoeken was ik tevreden met het resultaat en op weg om nog wat slaap te pakken.

Je zult je ongetwijfeld afvragen hoe iemand erbij komt om tot zo laat in de nacht door te werken, geen onredelijke vraag. Ik heb dat vaker, als ik met een probleem zit wil ik daar een oplossing voor, ik zoek en puzzel net zo lang tot ik de oplossing naar mijn tevredenheid gevonden heb. De avond tevoren dacht ik rond 23:00 uur nog even snel een oplossing te zoeken voor een probleem dat mij bezig hield. Al snel had ik achterhaald dat waarvan ik dacht dat niet werkte toch wel correct bleek te functioneren. Het gevolg van mijn acties was echter dat mijn eigen sites niet meer online waren. Met de software versie waarmee ik probeerde de huidige versie te vervangen kreeg ik dat ook met geen mogelijkheid voor elkaar. Het bleek dat keuzes ergens in het begin van het pad, daar waar je nog geen zicht over het eind had, beslissend waren voor het huidige gebruik van functies. Ik moet nog zien hoe ik dat ga oplossen en aanpakken.

Gelukkig zijn er Backups
Zoals het iemand betaamd die verstandig met beheer van websites en internetomgevingen omgaat, had ik uiteraard backups van websites en databases. Overigens voor de zekerheid voor ik begon ook nog eentje gemaakt. Dus op het moment dat ik de oude versie weer terug had gezet was eigenlijk snel weer terug geïnstalleerd.

Reden voor het lange doorwerken?
De afgelopen weken, vanaf begin oktober heb ik de knoop doorgehakt om met deze nieuwe website te beginnen. Met als doel nu eindelijk de weg in te slaan die ik al heel lang wil en waarvan ik al lang vind dat dit pad op mij wacht. Ik heb de keuze gemaakt om nu met het juiste systeem te gaan werken in combinatie met een website met uitstraling, gevoel, ambiance en hoge attractiviteit. Dankzij het nieuwe systeem heb ik de diensten welke ik wil kunnen bieden nu en in de toekomst volledig geïntegreerd, deze maken onderdeel uit van de website en techniek. Deze website met het geïntegreerde Klant Portaal is dan ook oprecht Cloud Based, Ready to Go and Ready to Grow.

Begin 2013 heb ik, zo moet ik toegeven, de verkeerde keuze gemaakt door met een software partij te gaan samen werken die een (gedeeltelijk) nieuw concept ontwikkelde. Zoals zo vaak blijkt bij dit soort projecten is geen berg te hoog, de ene belofte mooier dan de andere, enzovoorts. Op zich had ik een mooi, uniek product in handen, maar wat is de waarde van een uniek product als het niet doet waarvoor het aangeschaft wordt? Als een product tot doel heeft om online diensten, abonnementen en andere producten direct te activeren en op te zetten maar het kan dat niet, dat schiet niet erg op. Daarom besloot ik medio 2013 afscheid van dit project te nemen, uiteindelijk was het te ongebruiksvriendelijk voor de klant, voor mij heeft het dan geen zin.

Wakker worden en erachter komen dat er een DDOS aanval op het netwerk is
Er zijn leukere manieren om wakker te worden, ik heb zeker betere ochtenden gehad. Op het moment dat ik besloot verder te gaan met schrijven en opbouwen van deze website bleek ik geen verbinding te hebben. Als mijn eigen klant begrijp ik hoe vervelend het is wanneer je iets op de website wilt doen maar je hebt geen toegang of je site kan niet bezocht worden. Bijzonder jammer. Extra jammer doordat ik tot vroeg in de ochtend door ben gegaan om o.a. Cloud Inside weer up and running te krijgen voor een nieuwe dag en dan zit je in storing. Denk je met frisse moed aan de volgende werkzaamheden te kunnen gaan beginnen ligt de site plat. Enig voordeel is wel dat zodra de storing opgelost was de website vanzelfsprekend ook weer direct goed bereikbaar is.

Storingen zijn er om aangepakt, geïsoleerd en opgelost te worden
Hoe vervelend een storing ook is, we houden altijd vertrouwen dat er een einde aan komt. Zo’n aanval als vandaag met een DDOS aanval dat gebeurt wel vaker. Vaak genoeg worden deze tijdig geïsoleerd en onschadelijk gemaakt. Vaker zijn onze netwerkbeheerders de kwaadwillenden te slim af. Helaas kwam er vandaag een DDOS op het netwerk af waarvan niet zomaar gewonnen was. Het heeft tot na 17:00 uur geduurd voordat het sein veilig gegeven kon worden. Er konden daarna nog wat hinder ervaren worden vanwege router reboots maar ook dat lijkt inmiddels achter de rug. Dan zit ik nu ‘s avonds rond een uur of negen mijn eerste Column voor Cloud Inside te schrijven, aan onderwerpen ontbreekt het vandaag niet. Al is het onderwerp waarover ik had willen schrijven bewaard voor een volgende keer.

Vervelend genoeg is dit voor ons de tweede storing in ruim een maand waarmee we te maken krijgen. Eerst de grote stroomstoring bij Easynet op Schiphol waar onze servers staan en nu een aanval met DDOS. Gelukkig ontmoeten we begrip in onze contacten en blijkt dat u begrijpt dat wij aan dergelijke voorvallen nauwelijks iets kunnen doen. Voor ons het vertrouwen dat dit de zeldzame storingen zijn welke wij in de afgelopen zes jaar op deze locatie hebben ervaren. In het algemeen kunnen we storingsvrij werken met een gegarandeerd hoge uptime.

Al heel lang heb ik de wens en behoefte om een column op te nemen op mijn website. Ik heb met de nieuwe site besloten daar gevolg aan te geven. Wekelijks ga ik proberen te schrijven over een onderwerp dat mij op dat moment of de afgelopen week bezig houdt. Daarnaast zou ik van harte gastschrijvers ontmoeten die met enige regelmaat hun eigen column, trucs of tips zouden willen publiceren en delen. In periodieke vorm of vast met een eigen rubriek, wij staan er voor open. Het is goed voor de SEO en je eigen professionaliteit.

André Kager, eigenaar Cloud Inside

Netwerk Storing in ons Datacenter

Een netwerkstoring in ons datacenter Easynet op Schiphol heeft ons vandaag veel overlast bezorgd. Heeft u daar hinder van ondervonden dan betreuren wij dat en bieden daar onze welgemeende excuses voor aan. Vervelend genoeg is dit de tweede storing in ruim een maand tijd. Na de eerste storing begin oktober vanwege de brede stroomstoring bij Easynet op Schiphol nu een DDOS aanval. Beide storingen worden geheel buiten onze schuld veroorzaakt, dat betekent echter niet dat wij ons verantwoordelijk voelen. Wij willen optimale dienst en service leveren en zeker een goede uptime. Een DDOS aanval is vaak door systemen en monitoring automatisch te isoleren, te voorkomen en op te lossen. Het is uitzonderlijk dat daar onze systemen enkele uren voor plat liggen. Wij hebben dit de afgelopen jaren niet eerder meegemaakt, we doen ons best dit voor de toekomst zeker te voorkomen.

DDOS aanval
De storing werd veroorzaakt vanwege een DDOS aanval op het netwerk. Hierdoor waren delen van het netwerk waar wij op draaien niet, nauwelijks of traag bereikbaar. Op het moment dat de storing vanmorgen rond 10:00 uur werd opgemerkt zijn direct netwerk specialisten ingezet om de DDOS aanval onder controle te brengen. Dat is geen eenvoudige opdracht gebleken, er bleek de nodige apparatuur ontregeld te zijn. Reboots moesten verschillende malen worden uitgevoerd. Uiteindelijk hebben de technici de storing rond 17:00 uur vanmiddag bedwongen. Verbonden apparatuur in het netwerk kwam stukje bij beetje weer online en websites ook. De storing is onder controle, echter er kan de komende uren nog wel hinder zijn in de vorm van tragere verbindingen wegens het opstarten van routers.

Wat is een DDOS aanval?
Bij een DDOS aanval sturen hackers of kwaadwillenden grote hoeveelheden pakketjes met gegevens naar met internet verbonden apparatuur zoals websites, webservers. De apparatuur kan hierdoor overbelast raken waardoor gedeeltes van het netwerk ontregeld raken met als gevolg apparatuur die niet meer online is en websites die onbereikbaar zijn. DDOS aanvallen kunnen gericht zijn tegen één specifieke site of een groep van sites. Om een DDOS aanval op uw site te voorkomen is het van groot belang om de software van uw website up to date te houden en beveiligingslekken of risico’s te voorkomen. DDOS aanvallen komen vaak voor op sites met een verouderde techniek en veiligheidslekken.

Wat doen wij om een aanval te voorkomen en/of isoleren?
Vanzelfsprekend wordt het netwerk gemonitord om in een zo vroeg mogelijk stadium te kunnen ingrijpen wanneer een aanval gesignaleerd wordt. Er zijn systemen actief om DDOS aanvallen te herkennen, we proberen altijd een stapje voor te blijven. De kwaadwillende daarentegen probeert steeds via de mazen die er zijn het doel te bereiken. Bij een DDOS aanval gaat het voornamelijk om het onregelen en platleggen van websites of internetverkeer. Voor ons is het van groot belang een aanval in een vroeg stadium te isoleren.