Heeft iemand anders ervaring met een BSOD door Crowdstrike? Ik heb twee verschillende organisaties in Australië die dit meemaken.
Bewerking: Dit komt van Crowdstrike.
Workaround Stappen:
Ja, ik had net 160 servers die allemaal een BSOD kregen. Dit wordt geen leuke avond.
https://www.reddit.com/r/crowdstrike/comments/1e6vmkf/bsod_error_in_latest_crowdstrike_update/
Crowdstrike heeft hun technische bulletin achter een support login gezet.
Dus in feite kan niemand het zien.
Ik heb ze er in r/crowdstrike op aangesproken en ze hebben de post verwijderd lol
Zie het ook in de VS. Begon rond 21:00 voor mij. Alleen opgemerkt omdat mijn werk laptop aan stond. Ik heb ongeveer 14k endpoints, inclusief servers, en ik wed dat ze allemaal down zijn.
Omdat het ook bij het opstarten gebeurt, gok ik dat het beste is om CS uit veilige modus te verwijderen. Ik bid voor de sanity van de Helpdesk-mensen morgen.
Ik vroeg me af waarom we zoveel serveralertes kregen zonder correlatie. Het management stelde onze securityteam al in de war waarom we CS gebruiken en niet Defender. “Leuke” tijden in het vooruitzicht..
We hebben bijna een miljoen servers op het werk - we hebben sev 1 openstaan.
Ik zag veel reacties. We zijn volledig weer online wat betreft de servers die ik persoonlijk beheer bij ons werk. Ik werk bij Amazon Web Services.
We hebben een team van 8 personen. We zijn de hoogste groep in onze organisatie. Er zijn 30 Level 5’ers voor ons. Ongeveer 300 mensen in ons Level 4 team. Onze Level 3 supportcrew telt ongeveer 6.000 mensen wereldwijd. Ik weet niet precies hoeveel er voor ons zijn omdat ik dat nooit hoefde te weten.
Hoe we onze servers beheren:
Mijn team behandelt alleen Windows-servers en ik weet dat onze Level 0 medewerkers het Windows/*nix beheer moeten regelen. Level 0 zijn de eerste mensen die je spreekt als je belt met support. Ons team beheert onze servers met AWS-tools, voornamelijk Terraform, CloudFormation en een enorme hoeveelheid PowerShell.
Heeft mijn hele organisatie platgelegd. Vraag me af of het te brutaal zou zijn om lunch te nemen.
Al onze servers en endpoints… gezondheidszorg… 400k endpoints… nu in de kritieke status…
Begon te gebeuren op mijn voorheen werkende workstation (Wisconsin) in de laatste 15 minuten. Nu een eindeloze herstartcyclus gevolgd door het opstartherstelscherm. Kan geen opstartinstellingen openen vanwege het ontbreken van de recovery-sleutel van BitLocker.
Stopcode: SYSTEM_THREAD_EXCEPTION NOT HANDLED
Wat gefaald heeft: CSAGENT.SYS
Hetzelfde, we konden onze systemen/beveiligingsteams weer online krijgen door in veilige modus op te starten en de map C:\Windows\System32\drivers\crowdstrike te hernoemen en opnieuw op te starten. Wachten op een oplossing van CS en mogelijke workaround voor onze niet-IT gebruikers.
We hebben ongeveer 700 getroffen.
Ik word op dit soort ‘bullshit’ midden in de nacht wakker!
Gelukkig heb ik mijn deployment van Crowdstrike net vorige maand afgerond.
Cool… dus dit weekend vertrekken onbestemde hordes IT-professionals, variërend van clueless rookie tot doorgewinterde veteranen, op wat zij een ‘kritische missie’ noemen op verschillende locaties in de regio Azië-Pacific. Gewapend met wat ze ons verzekeren dat ‘technische kennis’ is en gevoed door een irresponsibele hoeveelheid cafeïne, is hun grote zoektocht het implementeren van een fix - ja, slechts één - om te zorgen dat iedereen’s pc weer draait.
Hun grootste hoop? Dat BitLocker-encryptie niet actief is op de pc’s die ze tegenkomen, want, laten we eerlijk zijn, niemand wil zich hiermee bezighouden.
Kom maandag, wees voorbereid op een leger van slaapverlepende IT-strijders die ronddwalen en waarschijnlijk nog steeds mopperen over encryptiesleutels.
Auw, fuck… we gebruiken CS. Tijd om te kijken wat mijn ochtend gaat brengen.
Ja, overal ter wereld.
We bevinden ons net in de laatste fase van hun verkoopproces en plannen volgende week een POV.
Denk dat we even wachten…
NASDAQ opent over ongeveer 8 uur, voor iedereen die geïnteresseerd is lol.
Dit gaat een kostbare zijn…
We zijn 500 servers wereldwijd kwijt en 2k klanten.
Sommige klanten worden weer online, maar veel endpoints kunnen niet herstarten.
We zijn nu in noodmodus…
