​​Pubblicato il 12-08-2024 1615 UTC

Documento di sintesi della c.d. RCA del Channel File 291

Il presente documento fornisce una sintesi dei risultati emersi dal report Root Cause Analysis (RCA) di CrowdStrike. Il report completo approfondisce quanto già precedentemente condiviso nel nostro esame preliminare post-incidente (Post Incident Review o PIR), fornendo ulteriori dettagli sui risultati, le misure correttive, sui dettagli tecnici e sull’analisi delle cause principali dell’incidente.
Il presente documento è una traduzione della seguente versione inglese https://www.crowdstrike.com/falcon-content-update-remediation-and-guidance-hub/. La versione tradotta è riportata solo per agevolare la consultazione e per comodità dell’utente. In caso di discrepanze o ambiguità, la versione inglese prevarrà e avrà la precedenza in ogni caso.

Scarica il PDF della Root Cause Analysis

Introduzione

CrowdStrike è nata con la missione di proteggere i clienti dalle minacce e prevenire le violazioni. Il 19 luglio 2024, nell’ambito della normale operatività, CrowdStrike ha rilasciato un aggiornamento di configurazione dei contenuti (tramite channel file) per il sensore Windows che ha provocato un arresto anomalo del sistema operativo. Ci scusiamo sinceramente per l’accaduto.

Vogliamo riconoscere gli straordinari sforzi dei nostri clienti e partner che, collaborando strettamente con i nostri team, si sono attivati immediatamente per ripristinare i sistemi e riportare molti di essi online nel giro di poche ore. Il 29 luglio 2024, alle 20:00 EDT, circa il 99% dei sensori Windows era online, rispetto a prima che i contenuti venissero aggiornati. Di solito osserviamo una variazione di circa l’1% nelle connessioni dei sensori di settimana in settimana. Ai clienti che sono ancora coinvolti dall’incidente, ricordiamo che non ci fermeremo finché non avremo ripristinato tutti i sistemi.

Cos’è successo

Il sensore Falcon di CrowdStrike utilizza l’intelligenza artificiale e il machine learning per proteggere i sistemi dei clienti identificando e neutralizzando le minacce più avanzate. A febbraio 2024, CrowdStrike ha introdotto una nuova funzionalità del sensore per migliorare la visibilità di possibili nuove tecniche di attacco che potrebbero sfruttare alcuni meccanismi Windows. Questa funzionalità ha definito una serie di campi preconfigurati per la raccolta dei dati da parte di Rapid Response Content. Come descritto nell’RCA, questa nuova funzionalità del sensore è stata sviluppata e testata secondo i nostri processi standard di sviluppo software.

Il 5 marzo 2024, a seguito del superamento dello stress test, il primo Rapid Response Content per quanto attiene Channel File 291 è stato rilasciato come parte di un aggiornamento della configurazione dei sensori, con tre ulteriori aggiornamenti di Rapid Response distribuiti tra l’8 aprile 2024 e il 24 aprile 2024. Questi aggiornamenti hanno funzionato correttamente in produzione.

Il 19 luglio 2024, un aggiornamento dei Rapid Response Content è stato distribuito a specifici host Windows, al fine di aggiornare la funzionalità introdotta nel febbraio 2024. Il sensore prevedeva 20 campi di input, mentre l’aggiornamento ne forniva 21. In questo caso, la discrepanza numerica tra i sensori ha provocato una lettura della memoria out-of-bound, causando un crash del sistema. La nostra analisi, insieme a una revisione condotta da terze parti, ha confermato che questo bug non può essere sfruttato dai cybercriminali.

Sebbene quanto accaduto con Channel File 291 non possa più ripetersi, questo ha condotto CrowdStrike ad implementare miglioramenti dei processi e delle misure di mitigazione per garantire una maggiore resilienza.

Azioni intraprese e prossimi passi

In base ai risultati della RCA, CrowdStrike ha intrapreso e intraprenderà le seguenti azioni:

• Aggiornare le procedure di test del Content Configuration System. Questo lavoro è stato completato e include test aggiornati per lo sviluppo di Template Type, con test automatizzati per tutti i Template Type esistenti. I Template Type fanno parte del sensore e contengono campi predefiniti che gli ingegneri addetti al rilevamento delle minacce possono sfruttare nei Rapid Response Content.
• Aggiungere ulteriori livelli di deployment e controlli di accettazione per il Content Configuration System. Questo lavoro è stato completato con un processo di deployment ring aggiornato, che garantisce che le Template Instance superino le fasi di deployment successive prima dell’implementazione nell’ambiente di produzione.
• Offrire ai clienti un controllo aggiuntivo sul deployment degli aggiornamenti di Rapid Response Content. Sono state implementate e distribuite nel nostro cloud nuove funzionalità che consentono ai clienti di controllare le modalità di deployment dei Rapid Response Content, con ulteriori funzionalità previste per il futuro.
• Impedire la creazione di Channel files 291 problematici. Per evitare il ripetersi del bug, è stata implementata la convalida per il numero di campi di input.
• Implementare ulteriori controlli di validazione al Content Validator. Ulteriori controlli sono previsti per il rilascio in produzione entro il 19 agosto 2024.
• Miglioramento del controllo dei limiti nel Content Interpreter per il Rapid Response Content nel Channel File 291. Il controllo dei limiti è stato aggiunto il 25 luglio 2024, con disponibilità generale prevista per il 9 agosto 2024. Queste correzioni verranno riportate in tutte le versioni del sensore Windows 7.11 e successive tramite un rilascio di hotfix del software del sensore.
• Coinvolgimento di due fornitori di sicurezza software di terze parti indipendenti per condurre un’ulteriore revisione del codice del sensore Falcon e dei processi di controllo qualità e rilascio end-to-end. Questo lavoro è iniziato e continuerà nell’ambito della nostra attenzione per la sicurezza e la resilienza attraverso la progettazione.

Per ulteriori dettagli e per quanto riguarda i termini più specifici, si prega di fare riferimento alla RCA.