[20100825] Problema ai dischi dei nodi database per alcuni nodi

25/08/2010

Attualmente ci sono dei problemi allo storage che mantiene i database di alcuni nodi.

Stiamo analizzando la cosa per vedere il da farsi. Purtroppo il problema è grave e la soluzione dello stesso richiederà tempo. Vi terremo aggiornati.

Aggiornamento delle 17:00. I nodi interessati dal problema sono: 1, 2, 3 e 4

Aggiornamento delle 17:25. I nodi 3 e 4 stanno ripartendo. Continuiamo il lavoro di ripristino sugli altri nodi.

Aggiornamento delle 17:42. Stiamo facendo un check del DB al nodo 2. Il nodo 1 è ok per quanto riguarda la parte web ed il servizio e-mail. Tra poco ripartirà anche il database.

Consigliamo ai clienti di effettuare un check delle tabelle se notano malfunzionamenti. Ad esempio coloro che utilizzano Joomla possono trovarsi la tabella delle sessioni corrotta.

Aggiornamento delle 17:53. Nodo 1 tophost ok. Ora rimane da sistemare la partizione database del nodo 2.

Aggiornamento delle 18:10. Stiamo ancora lavorando al ripristino del nodo 2.

I clienti che riscontrino problemi nei nodi che risultano ripristinati, sono invitati ad effettuare il check delle tabelle come indicato nell'aggiornamento delle 17:42 e poi al limite aprire un ticket.

Per effettuare un check delle tabelle usare l'apposita funzione attraverso PHPMYADMIN presente nel proprio CPANEL.

Aggiornamento delle 19:00. E' ancora in corso il check del nodo 2.

Nel nodo 4 alcuni DB devono essere ripristinati a mano perché erano finiti nella cartella lost and found. Lo stiamo facendo noi, quindi NON aprite ticket per i DB mancanti del nodo 4, ma abbiate pazienza fino a nostra nuova comunicazione.

Aggiornamento delle 19:10. Buone nuove. Per il nodo 2 ci sono dei tempi di attesa un po' lunghi, ma riusciremo a recuperare dati e partizione. I lavori sono in corso.

Aggiornamento delle 19:30. Il recupero del nodo 2 andrà avanti per altre due ore circa.

Aggiornamento delle 23:30. Ora anche il nodo 2 è operativo. Domani pubblicheremo un resoconto.

26/08/2010

Aggiornamento delle 9:10. Il problema di ieri ha colpito i nodi 1, 2, 3, 4 nella sola parte di posta elettronica e database Mysql. L'anomalia è venuta dallo storage, pensavamo si trattasse di un disco che oggi è stato resettato, ma poi si sono ripetuti dei problemi e quindi la cosa va ulteriormente indagata, e lo stiamo facendo oggi.

I nodi 1 e 3 sono stati ripristinati completamente entro un paio d'ore sia parte e-mail che database.

Il nodo 4 ha richiesto più tempo dei precedenti nodi, la parte e-mail è stata recuperata integralmente mentre la parte database mysql pur essendo stata recuperata è solo parzialmente utilizzabile. La quasi totalità delle migliaia di database sono stati recuperati e funzionano. Ce ne sono una manciata che pur esistenti non sono immediatamente utilizzabili, non escludiamo che se ne possano recuperare altri dietro apertura di ticket da parte del cliente. La procedura è comunque lunga (10/15 giorni) e se uno riesce a ripubblicare il proprio backup potrebbe vedere risolta la situazione in meno tempo.

Il nodo 2 è quello che ha avuto maggiori danni. La parte e-mail è stata tutta recuperata, meno bene è andata per i database; ne abbiamo recuperati 3259, ma ce ne sono altrettanti inutilizzabili. In questo caso il cliente deve ripubblicare il proprio backup.

Aggiornamento delle 9:30. Ora sono in corso ulteriori procedure per cercare di recuperare altri database dal nodo 4 e dal nodo 2.

Aggiornamento delle 17:15. Dopo il ripristino della funzionalità dello storage avvenuto ieri, oggi abbiamo lavorato nel recupero dei database usando tutti i mezzi e le fonti a noi disponibili.

Tutto ciò che è stato possibile recuperare è stato recuperato, in qualche caso è stato recuperato il database senza qualche tabella, risultata corrotta. Alla fine delle operazioni sono rimasti fuori qualche centinaio di database per i quali, ci spiace, non c'è più nulla da fare.