Banda Ancha EU

Comunidad de usuarios
de fibra, móvil y ADSL

Incendio en centro de datos SBG de OVH

pepejil
4
Incendio en OVH

Si tenéis servicios de OVH en los centros de datos SBG (como yo), hoy tendréis un día movidito.

Se ha quemado SBG2 al 100% y SBG1 parcialmente. Los que tengais máquinas allí, podeis empezar a rezar.

SBG3 y SBG4 parece que no les ha pasado nada, pero ahora mismo son inaccesibles.

Creo que todos los productos del servicio de VPS están en esos centros de datos afectados.

Comunicado oficial: ovh.ie/news/press/cpl1786.fire-our-strasbourg-site

OVH Status: travaux.ovh.net/?do=details&id=49484

twitter.com/olesovhcom/status/1369478732247932929

twitter.com/dsmatilla/status/1369572606400151554

EDIT 11:30h: Oficialmente se confirma que SBG3 y SBG4 no están dañados. Están revisando SBG1.

EDIT 12:00h: SBG1: 4 rooms dañadas. Los otros 8 y la sala de red a salvo.

EDIT 16:30h: twitter.com/olesovhcom/status/1369665936379281409

BocaDePez
BocaDePez

Yo también tengo suerte porque mis VPS están en Beauharnois

License2Harm

El que tengáis tanta preocupación es mala señal ¿ No esperáis que los servicios de esos centros de datos se transfieran de forma transparente y más o menos rápida a otros ?

Es esperable que no todo funcione tan bien como siempre, pero sí pienso que debería ser normal que esto no suponga un problema enorme para los clientes. En caso contrario, mejor contratar con otra empresa que ofrezca más robustez.

🗨️ 5
pepejil

Es OVH. No sería la primera vez.

Lo que ha pasado en OVH es una tremenda cagada, pero voy a hacer autocrítica y decir que también imbécil yo por no tener ni copias de seguridad.

🗨️ 2
License2Harm

Imagino que el precio influirá y que OVH estará en la parte baja de la tabla de proveedores ordenados por precio.

>decir que también imbécil yo por no tener ni copias de seguridad.

Aunque es cierto que siempre deberíamos hacerlas, posiblemente pocos hayan sido siempre tan organizados y previsores como para no estar alguna vez en una situación similar. Sin embargo, en realidad todos los servicios en la nube lo que venden es eso, que en teoría no tienes que preocuparte de nada por las réplicas dentro del mismo CPD y en otros CPDs y en teoría a prueba de cualquier tipo de desastre.

Espero que finalmente no sea grave y se resuelva pronto.

skgsergio
1

pero voy a hacer autocrítica y decir que también imbécil yo por no tener ni copias de seguridad.

Yo asumia el riesgo, es lo que hay. La que le está cayendo a OVH por redes es graciosa, la gente no entiende que esto es VPSs y Dedicados es tu responsabilidad el tener copias (salvo que uses servicios administrados y de eso deberían tener ellos backups y ahi si entiendo que hubiese queja).

Bramante
1

Pocas empresas tienen la capacidad de, si se les cae por completo un centro de datos, pivotar todos los servicios a otro. Más si se les cae uno al 100% y otro queda seriamente tocado.

Si los bomberos están echando espuma, en esa localización no hay ningún tipo de suministro eléctrico. Si el grupo electrógeno había arrancado, lo han parado para realizar la extinción, los servidores están completamente off-line sin posibilidad de mover servicios a otra ubicación. Y seguramente quedaron off-line desde muy pronto dando muy poca o ninguna capacidad de reacción a los administradores.

Desconozco cómo ha gestionado OVH el problema y qué capacidad de redundancia tienen, pero un cosa es responder a la caída de un pasillo y otra a una caída total de un CPD y que otro quede también tocado.

BocaDePez
BocaDePez

En el mejor de los casos sin son hostings administrados por ellos tendrán copias de seguidad externas y levantarán los servicios en otro datacenter, pero no será ni mucho menos inmediato.

Los productos dedicados no administrados son cosa tuya, si no tienes copias ya puedes irte despidiendo.

vukits

vaya tela…

A Gandi, le petó uno de los CPD's, pero tenía uno secundario de espejo,…

Espero que OVH tenga espejos igual.

🗨️ 4
Bramante

Espero que OVH tenga espejos igual.

No sé yo…

Siendo OVH, si tuviera algo importante metido en alguno de sus VPS, ahora estaría francamente preocupado.

skgsergio
1

De sus servicios administrados por ellos se espera que si tengan copias y alta disponibilidad, de lo que tenga(mos) ahi los clientes con VPS o Dedicados y tal eso si no hay copias por parte del cliente está mas que perdido.

Es un proveedor tradicional, aqui no hay zonas de disponibilidad ni "magias cloud".

BocaDePez
BocaDePez

Yo tengo varios servicios con los de Gandi y de momento bien, pero no llevo mucho tiempo. Os han dado problemas? Lo veis fiable?

🗨️ 1
vukits

Gandi lleva 20 años en el mercado.

Y de momento muy bien con ellos.

Muy flexible y buena atención al cliente.

rbetancor
1

¡Joder, que buena noticia! … 50Gb de tráfico inútil de ataques SSH,WEB y SIP que nos ahorramos hoy …

Ya se les podría ir a tomar por culo también a los de SAS … la alegría ya sería completa.

🗨️ 5
BocaDePez
BocaDePez

JAJAJAJAJA. No puedo estar más de acuerdo. Hoy estarán muy felices todos los hackers con sus XEON empepinados mandando SPAM con una clase c en cada máquina.

BocaDePez
BocaDePez

Coñas aparte, he cambiado el mx a Google y no he recibido un solo email de spam hoy, cuando lo normal son 5-6. Correos de otras cosas si.

BocaDePez
BocaDePez

Claro, para ser el líder de hosting en todo el mundo y que además es una empresa de la Unión Europea, y que invierte en I+D, vamos y nos la cargamos. No voy a entrar en el tema del tipo de perfil de cliente.

¿De Amazon AWS y Google Cloud no recibes nada?

Es que solo te falta desearle a Telia Carrier la ruina.

🗨️ 1
rbetancor

¿Nos la cargamos? … ¿ahora tenemos nosotros la culpa que la mierda de infraestructura que tenían montada, con bloques de lego, ses les prenda fuego? … ni son, ni eran lider mundial de hosting. Son unos cutres, barateros, nido de junakers de tres al cuarto … como los también franceses de SAS.

¿De Amazon AWS y Google Cloud no recibes nada?

Tampoco trabajamos con ninguno de los dos. Si tenemos clientes que los usan, allá ellos.

Es que solo te falta desearle a Telia Carrier la ruina.

Con todos mis respetos … vas y nombras a uno de los peores carriers en toda europa … te luces tú.

NomeloHesperavah

Es el sueño húmedo de cualquier conforero ver quemarse ovh; Luego ya podía haberse sobrecalentado el de gravelines por balanceo y otro incendio…para soñar.

Menuda bazofia ovh… Si no recuerdo se fueron de españa porque no cuajaba la cosa, creo que llegaron a tener algún server por aquí si norecuerdo mal.

¿Alguien los tuvo?

skgsergio
2

Adios cutre VPS en SBG1, te recordaré con cariño, no tenia backups pero tampoco nada critico aunque me jode alguna cosilla pero bueno era riesgo asumido. No cuento con recuperarlo ya que está parcialmente afectado SBG1.

image.webpimage.webp
🗨️ 5
EmuAGR
2

Vaya pinta de cutres que tienen los CPD esos. Parecen barracones o chabolas en un barrio marginal…

🗨️ 4
heffeque
1

Precisamente era una de las cosas que hacían destacar a OVH: los CPD en contenedores = CPD muy modulares.

Supongo que les quedó por mejorar su eficacia contra incendios :-P

🗨️ 1
EmuAGR

Pero el metal se calienta muy rápido cuando le da el sol, tiene que tener una eficiencia energética pésima. ¿Qué puede costar hacer el CPD en un sitio con disponibilidad de suelo y añadir zonas anexas en pladur ignífugo?

BocaDePez
BocaDePez

Vaya pinta de cutres que tienen los CPD esos. Parecen barracones o chabolas en un barrio marginal…

Bueno, siempre puedes contratar un servidor en Equinix a precio de oro y pagando además el soporte de manos remotas.

Desde OVH se han molestado en conseguir a lo largo de años en hacer las cosas accesibles, y con un índice de huella de carbono lo más baja posible.

La gente se queja de vicio.

🗨️ 1
BocaDePez
BocaDePez
3

La huella de carbono baja ya la han compensado con la fogata de ayer.

…joer con el marketing del medioambiente que vale para todo.

Contaminando a diestro y siniestro, peor ojo, que he puesto dos placas fotovoltaicas en el tejado en un casoplon de 300m2 y con aire acondicionado a tope 3 todo el verano.

BocaDePez
BocaDePez

Lo extraño, que siendo conteiner metálicos (que no arde), debería de ser todo cables libres de alójenos y no propagador de incendios (que no debería de arder con llama), como se ha producido eso.

Si es verdad que no son salas con poco oxigeno y tal… pero vaya tela…

BocaDePez
BocaDePez
1

Tier 0.Verdad?

🗨️ 17
rbetancor

Creo que OVH, por lo menos este servicio de "Datacenter-container", es Tier -4 … tienes menos probabilidades de tener problemas con un server fly-wired debajo de la cama de tu dormitorio.

🗨️ 16
BocaDePez
BocaDePez

Roubaix 4 que es de los mejores que tienen dicen que es TierIII y puede funcionar como IV. Peeero no está certificado oficialmente, y sin no lo está por algo será.

🗨️ 6
rbetancor

Tier IV certificados, no hay muchos en Europa … y luego la gente se pregunta porqué cuestan lo que cuestan … pues porque no les pasan cosas como estas de OVH.

🗨️ 5
Magonos
🗨️ 4
BocaDePez
BocaDePez
m3nut
BocaDePez
BocaDePez
BocaDePez
BocaDePez
-1

¿Alguien puede confirmar si están comprometidos los servicios de Digi en la nube?

BocaDePez
BocaDePez

Pues después de esto lo de Tier 4 se les ha ido a la porra. Para fiarte de la certificación

🗨️ 7
rbetancor

Tier -4, MENOS 4 … era una ironía como un castillo.

Un CPD montado a base de contenedores reciclados, no recibiría ni la certificación de Tier I

🗨️ 6
BocaDePez
BocaDePez
🗨️ 1
CMov
🗨️ 2
BocaDePez
BocaDePez
🗨️ 1
CMov
Aeri
pepejil

Se confirma que SBG3 y SBG4 no están dañados. Ahora están revisando SBG1 que aparentemente ha quedado parcialmente afectada.

🗨️ 11
pepejil

SBG1: 4 rooms dañadas. Los otros 8 y la sala de red a salvo.

🗨️ 10
rbetancor
2

Los comentarios de la gente el TW son de "IT Manager de pacotilla" … XDD, se ha quemado el CPD y la peña preguntando por su servidor y que cuando les van a dejar sacar un backup "porque tengo negocios importantes que están parados".

Ese tipo de fracesitas … son para enmarcarlas.

OVH ha hecho grandes esfuerzos, durante los últimos años, para conseguir rebajar los costes de hosting/VPS, la cruz de esa moneda es … ¿a costa de qué? … pues es evidente, de racanear todo lo posible y más en infraestructura, de jugar al filo de la navaja y más allá. Y pues quien juega con fuego, se quema (y nunca mejor dicho).

Ya luego podríamos discutir, sobre si los que contratan esos servicios, son tan cortos de miras, como para ni tener un Dissaster Recovery Plan, o iban tan justos de recursos en sus proyectos, que ni pensaron en tener "algo más o menos igual", contratado en otro proveedor, para estar cubiertos en caso de incidencia. Se ve que lo pensar, hace que le duela la cabeza a más de uno.

🗨️ 8
BocaDePez
BocaDePez
🗨️ 1
skgsergio
🗨️ 1
BocaDePez
BocaDePez
🗨️ 1
Aeri
🗨️ 1
pepejil

Según el CEO, no se va a reestablecer lo que ha quedado intacto en SBG1, SBG4 y la red hasta el lunes 15.

SBG3 requiere de nuevas líneas de tensión y no se reestablecerá hasta el viernes 19.

Sobre SBG2 y lo dañado en SBG1, ya están diciendo que los datos son prácticamente irrecuperables.

twitter.com/olesovhcom/status/1369665936379281409

pepor

Viendo lo pasado me ha venido a la memoria la caida que tuvieron en el mismo centro de datos en el 2017.

travaux.ovh.net/?do=details&id=28247

En el comunicado indicaron :

3) migration of SBG1/SBG4 customers to SBG3;

4) closing SBG1/SBG4 and the uninstallation of the shipping containers.

Pues por lo visto el paso 4 se lo saltaron y siguieron usando los contenedores !!

Sobre el incendio y total destruccion de SBG2 habrá que esperar al informe (si es que lo publican).

BocaDePez
BocaDePez

También ha afectado al email. Es el último servicio que me quedaba con ellos, los había cambiado todos hacía años por mal funcionamiento, pero aún andaba a la busca de un email profesional como el que ofrecían: filtros, 10GB, no muy caro y sin publicidad y por supuesto en la UE. He tenido que poner un MX temporal a Google for domains, suerte que lo conservaba.

🗨️ 10
BocaDePez
BocaDePez

Para mayor recochineo, los emails "gratis" ya funcionan, los de pago no. Temo haber perdido todos los emails, el último backup es demasiado antiguo. Pues nada, acabaré cambiando este último servicio por las malas y sin datos actualizados, a ver si recupero parte de la caché de thunderbird.

BocaDePez
BocaDePez

Y me sigo contestando: Primero recuperan los exchange privados (normal) pero como es el mismo equipo de trabajo para el pro email, pues aún no han intentado nada. Conclusión: Han tratado mejor al email gratuito, que ya está en progreso y algunos ya recuperados. Si pagas por algo, con OVH es mejor tener «lo más alto de lo malo» que «lo más bajo de lo bueno».

AnThraxII
1

Por lo que veo tiene otro pro2.mail.ovh.net, aunque no sé si será el mismo u otro servicio de correo.

Da igual que sea el servicio gratuito o no, todo dependerá si estaba sólo en el datacenter que se ha quemado o no. También es trabajo del que contrata un servicio tener un plan o servidores replicados en datacenter con ubicaciones distintas y evitar este tipo de percances. Todo depende de lo importante que sea para uno el servicio y/o lo que esté dispuesto a pagar.

🗨️ 3
BocaDePez
BocaDePez

Hombre, si contratas un email "profesional", supuestamente con backup en varias regiones, pues debería recuperarse pronto y antes que el gratuito. Me jodería perder mi email personal del que no tengo copia actualizada.

Eso sería lo normal, para todo lo demás OVH.

🗨️ 2
AnThraxII
1
🗨️ 1
BocaDePez
BocaDePez
BocaDePez
BocaDePez

Acabo de ver que el servicio no ha sufrido pérdida de datos y lo recuperarán en el día. Desde luego un 99.99% de SLA no es. Nunca mejor evento para mirar otro servicio y automatizar un backup local.

🗨️ 2
BocaDePez
BocaDePez

Acaban de abrir el servicio, curiosamente no tienen la tarea cerrada, algo habrán perdido. Estoy sincronizando mi vieja copia con offlineimap y creo que hasta aquí he llegado con OVH. Eso sí, parece que no han perdido nada por lo que estoy viendo, o al menos, nada importante.

🗨️ 1
BocaDePez
BocaDePez
1

¿Ese tipo de instalaciones no tiene sistemas antiincendios? Es que ha ardido que el fuego se ha quedado a gusto.

🗨️ 1
eapol-start
1

Si hubieran montao el datacenter debajo del agua esto no les hubiera pasado.

datacenter ms
BocaDePez
BocaDePez

En los tiempos que estamos, si eres empresa con cierta entidad tienes que pensar en tener replicados los servidores, o por lo menos que el proveedor mantenga una nube de servidores en distintos emplazamientos para en el caso de que pasen cosas como esta, automaticamente tire de la replica. Si ya se que no es fácil, es mucho hardware, y eso son €€€€ que hay que pagar, pero el futuro es la nube de servidores, que poco a poco se va a imponer, donde al final no vas a saber donde están tus datos, porque estarán en varios sitios a la vez por seguridad.

Por otro lado, yo no había visto en muchos años un noticia de incendio de servidores tan notoria, hasta en mi empresa ha tenido repercursiones por ciertos clientes que debían tener el alojamiento en OVH.

pepejil

Por el momento OVH no se ha pronunciado individualmente a los afectados.

Y aquí sigo, sin saber exactamente donde están mis máquinas y sin que aparezcan en el manager.

🗨️ 26
skgsergio

Yo ayer via API pude verlo, y mas tarde via manager… Pero tengo un amigo en tu misma situacion ni API ni manager ni hostias, les abrio un ticket ayer y aun está esperando (que por otra cosa normal con el volumen que tienen que tener ahora mismo de tickets).

Intenta ver si te aparecen usando la API, desde su propia web de prueba puedes hacer login y consultar los endpoints: api.ovh.com/console

Eso si las risas vienen cuando te responde que está running:

state: "running"
zone: "os-sbg1-006"
🗨️ 1
pepejil

Si, en el API igual, que no están asociados los servicios.

Menudo despropósito esta gente. Ni para grandes catástrofes están preparados en dar una vía transparente al afectado.

rbetancor
1

¿Tus máquinas? … pues están en "LA BARBACOAAAAAAAAAAAA … LA BARBACOOOOOAAAA … LA BARBACOOAAAAAAAA … LA BARBAQUUUUUUUUUU" …

Chiste malo a parte, según info filtrada, se han "pasado por la parrilla", unos 8000 servidores que han quedado completamente irrecuperables, han quedado completamente destruidas 4 suites de SBG2 y las otras 8 están gravemente afectadas, lo que podría elevar el desastre total a más de 24.000 servidores perdidos. A eso sumarle que SBG1,3,4 y 5 está fuera de servicio y serán lo "primero" que pongan en marcha, pero hacen falta como mínimo 7-10 días, para re-construir las infraestructuras de alimentación y red que se han carbonizado.

Lo que me parece INCREIBLE, es que el fuego se produjera a media-noche del Martes … y estuvieran con el incendio activo TODO el miércoles, hasta que se les fue de las manos a media tarde. Eso solo puede significar que en esos CPD no existía sistema de extinción alguno o que estos fallaron (lo cual es casi peor).

🗨️ 23
pepejil

Precisamente quiero saber en qué región están, porque lo desconozco.

Con tener esa información ya puedo planearme, pero si no, es trabajar en balde.

🗨️ 1
BocaDePez
BocaDePez

Yo con OVH asumiría lo peor y buscaría alternativa. Después de considerar perdido mi email personal (el pro, de pago) como para confiar en ellos.

Ya ni el DNS tenía con ellos y me había llevado los dominios menos 1 .es

BocaDePez
BocaDePez

Estás mal informado.

The fire mostly destroyed the SBG2 datacentre and partially damaged the SBG1 datacentre (4 of the 12 rooms destroyed). The two other OVHcloud datacentres in Strasbourg were not affected by the fire; the SBG3 and SBG4 servers are currently switched off but undamaged.

Las 4 salas se refiere a SBG1, no a SBG2 (que está totalmente perdido).

🗨️ 4
rbetancor

Pues pinta peor la cosa entonces.

🗨️ 3
BocaDePez
BocaDePez
🗨️ 2
rbetancor
🗨️ 1
BocaDePez
BocaDePez
skgsergio

Lo que me parece INCREIBLE, es que el fuego se produjera a media-noche del Martes … y estuvieran con el incendio activo TODO el miércoles, hasta que se les fue de las manos a media tarde.

El fuego se declaró a pasadas las 12 de la noche, oficialmente a las 00:47 y mi ultima información del VPS fue a las 1:15. Segun fuentes de los bomberos a las 7:30 estaba el fuego dado por extinguido y ya solo estaban enfriando para que pudiesen entrar los de OVH a evaluar.

De hecho la prueba es que a SBG3 y SBG1 entraron sobre las 11 y pico: twitter.com/olesovhcom/status/1369592437585412097

A parte de las declaraciones de la parte interesada (OVH) tienes varios sitios de noticias donde tomaron declaraciones a bomberos y que algunos estuvieron alli toda la madrugada vamos. Tampoco estoy aqui para defender a OVH pero las cosas como son.

Eso solo puede significar que en esos CPD no existía sistema de extinción alguno o que estos fallaron (lo cual es casi peor).

No tengo pruebas pero tampoco dudas. Ademas estos CPD de OVH estan montados "con bloques" y si ves las fotos tienen suelos de madera…

image.webp
twitter.com/olesovhcom/status/335448359525552128
🗨️ 3
rbetancor

Los containers tienen suelos de madera, la mayoría. No se como cojones les aprobaron el proyecto de eso.

🗨️ 2
djbill
🗨️ 1
rbetancor
2
pepejil

Ya me han respondido y mis máquinas están fuera de peligro.

Es una teoría, pero creo que la gama actual de Bare Metal VPS sólo la están alojando en las regiones más modernas. SBG1 y SBG2 creo que están antiguos servicios (inferiores a 2017 supongo). Desconozco los dedicados.

🗨️ 11
rbetancor

Ni ellos aclaran lo que allí tenían.

Ya son varios proveedores, que nos han llamado para avisar de que no les funcionan ni correos, ni sistemas web, porque lo tenían alojado en OVH.

🗨️ 1
pepejil
skgsergio

Sí, mi VPS es mas antiguo que esa fecha y está en SBG1. En SBG2 si que tiene, bueno tenía, dedicados hasta donde se.

🗨️ 1
pepejil

Comunicaros que el despropósito de soporte de OVH es tan horrendo, que ya me han dicho que una mierda. He perdido todas las máquinas. De hecho, por lo que leo por aquí, creo que no ha quedado vivo ningún VPS.

Si nadie sale huyendo de OVH después de esto, no sé qué más debería pasar.

🗨️ 6
rbetancor
🗨️ 5
pepejil
🗨️ 4
rbetancor
🗨️ 3
BocaDePez
BocaDePez
🗨️ 2
BocaDePez
BocaDePez
rbetancor
1
Wattson
1

En esta ocasión han resultado afectados clientes con VPS y dedicados principalmente. En cierto modo es mejor para OVH porque al no ser administrados no tienen que tener ningun tipo de backup. Tengo curiosidad de saber que hubiera pasado si el incendio hubiera sido en GRA donde tienen la mayor parte del hosting compartido. Se supone que el hosting es administrado y en este caso OVH se encarga de los backups. Hubieran podido recuperar esos backups o será lo tipico de que hacen el backup en el servidor de al lado? Por otro lado, viendo los T&C incluso para servicios administrados con backup incluido se podrian lavar las manos.

Para VPS hay un servicio añadido de backup pero tambien dudo que sea en datacenter separado. Y tampoco tengo claro de que sea un tipo de backup que puedas exportar para llevarte a otro proveedor en caso de desastre. A veces lo mas facil es hacer backup de los datos de la aplicacion en si y en caso de desastre sabes que tienes que configurar tu server de 0 pero que no has perdido datos.

🗨️ 5
djbill

Hoy he hablado con OVH y me han confirmado que el servicio de backup del hosting administrado no es a prueba de catástrofes, sino que es un backup de tipo "snapshot" que se guardan en el mismo CPD.

Respecto a los servicios de backup de los VPS y demás el problema es que tampoco son a prueba de catástrofes; y si bien en las condiciones pone que tu eres el responsable de salvaguardar los datos; creo que cualquier asume que contratar el servicio de backup ya se considera salvaguardar los datos porque si no, ¿qué tipo de backup es?

Por aquí van a venirle los problemas y las demandas, por los clientes que aún teniendo contratado el servicio de backup lo han perdido todo.

Yo personalmente seguiré confiando en sus servicios y manteniendo y mejorando mi política de backups; así como el plan de Disaster and Recovery.

🗨️ 4
rbetancor
1

Opino como tú, los palos legales les van a caer por el lado de los backups.

Porque eso que comentan de que son snapshots y en el mismo CPD … eso no es un "backup".

🗨️ 2
BocaDePez
BocaDePez

Habra que mirar las condiciones del servicion contratado.

Si hay "backup", y de que clase, con redundancia en otro centro o pais, etc…

🗨️ 1
Wattson

Yo asumia que teniendo contratado VPS con servicio de backup como tal o bien teniendo hosting compartido gestionado deberian tener backups reales, logicamente en CPDs diferentes.

ovhcloud.com/es-es/vps/options

"exportada y replicada tres veces antes de estar disponible desde el área de cliente.". Volvemos a lo mismo, si lo replican en los 3 servidores contiguos pues ya me dirás.

En hosting compartido no son muy claros al respecto: ovh.es/hosting/restaurar-archivos.xml, pero si te han dicho que no es a prueba de catastrofes significa que seran copias en el mismo CPD y si me apuras en la misma cabina de storage.

BocaDePez
BocaDePez

Estado:

  • SBG2: perdido totalmente.
  • SBG1: 1/3(4 de 12) afectado.
parrilla.webp
🗨️ 2
BocaDePez
BocaDePez
1

Los racks destruidos de SBG1 son: 61Bxx, 61Cxx, 62Bxx and 62Cxx

Los otros 8 estan a salvo.

Wattson

El CEO ha dado unos cuantos datos aqui: ovh.com/fr/images/sbg/Octave-Klaba-speaking-en.mp4

  1. Los backups a veces les hacen en otras salas del mismo datacenter y otras veces en otro datacenter. Loteria.
  2. El fuego se origino en los UPS que habian sido manipulados el dia antes por tareas de mantenimiento.

Lo que no ha explicado es porque no hubo extinción automatica del fuego.

🗨️ 3
BocaDePez
BocaDePez

Supongo que ese edificio tendria detectores de humo/fuego, pero carecia de extincion automatica.

Cumpliendo con lo minimo exigible por la normativa, a fin de tener los precios mas baratos posibles.

rbetancor
1

Pero una cuestión "crítica" … ¿porqué se propagó el fuego de la sala de UPS's a las salas de servidores? … ¿porqué se propagó de una sala a otra de servidores? … eso no es solo un problema con el sistema de anti-incendios (si es que lo tenían), eso es un problema con el diseño del CPD en sí mismo.

Se podría comparar el caso, con los que han sufrido otros CPD's a lo largo de los años, como Interxion (que en los 17 años que llevamos alojados, solo ha habido 1 caso de incendio) o en CarrierHouse, que también hubo uno hace unos años. Me pongo a leer el informe del incidente de Interxion, que nos lo mandaron a todos los clientes y te explican que pasó y como se atajó el problema, metodología ITIL a saco.

Para llegar a un nivel de destrucción como el de OVH, se tienen que dar, o fallos de demasiados sistemas en cadena o graves deficiencias en las infraestructuras, que faciliten semejante grado de destrucción.

🗨️ 1
BocaDePez
BocaDePez

"o graves deficiencias en las infraestructuras".

Si SBG2 era un mero galpon, y SBG1 contenedores reciclados. ¿Que esperas en un incendio?

Galocente

Soy un profano total en esto y seguramente voy a quedar como un memo pero no me puedo resistir a preguntar para aprender algo hoy.

¿Entiendo bien cuando entiendo que "las cosas" que podamos guardar en "la nube" están expuestas a los mismos riesgos que si las guardamos en discos duros y NAS en casa?

Yo suponía que tendrían alguna estrategia para evitar las consecuencias de un siniestro como "¿tener copias en otro lugar?"

Disculpadme si mi coment es demasiado simplón.

🗨️ 11
BocaDePez
BocaDePez

Pues depende lo que que contrates. Si quieres copia de seguridad, redundancia, etc… hay que pagarlo.

BocaDePez
BocaDePez

Eso depende de lo que contrates. "La nube" es un término muy bonito para decir "el servidor de otro" (la frase es vox populi).

En este caso OVH ofrece varios servicios: algunos que incluyen backups automáticos georeplicados y otros totalmente no administrados donde cada uno es responsable de lo que hay dentro y de su mantenimiento (y por supuesto de sus copias de seguridad). Depende de lo que contrates, pues tienes eso. Para mi OVH es ultra low cost y uno debería asumir el riesgo, pero lo que ha sucedido en este caso escapa un mínimo de continuidad de servicio básico.

🗨️ 9
Galocente

Lo que significa "la nube" lo tenía claro, por eso las comillas. Aunque se de buena tinta que hay usuarios domésticos (igual que lo soy yo) que creen en una especie de limbo entre las nubes.

Los servicios que mencionas pues no tengo ni idea de en que consisten ni pretendo que se me explique por razones obvias de mi nivel informatico.

Pero lo que dices de que… " lo que ha sucedido en este caso escapa un mínimo de continuidad de servicio básico" está muy claro y mi duda es si los servidores de precio mas elevado…insisto en lo simplón…¿tendrán copias en otro lugar?…y si dicen que es así… ¿se puede probar que sea cierto?…

No es necesario que se me responda, si no se quiere, es mas bién a modo de reflexión.

🗨️ 8
BocaDePez
BocaDePez

En las "condiciones del servicio contratado", se detallan las caracteristicas del hosting.

BocaDePez
BocaDePez

Pues te vuelvo a responder: "depende de lo que contrates y lo que pagues". Tu pregunta es tan genérica que cuesta hasta responder. Si contratas un bucket S3 en AWS pues en las condiciones te dice que está georeplicado y que prácticamente las probabilidades de perder datos tienda a 0 en la práctica (era un SLA anual de permanencia de datos del 99.999999999% y sí, la cantidad de 9 es correcta).

Yo puedo contratar un servidor dedicado de 200€/mes en hetzner y no tener datos georeplicados. Es la propia naturaleza del producto que contratas y los servicios extras por los que estés dispuesto a pagar. Otra cosa es la Public Cloud de OVH que no me consta que haya pérdida de datos incluso las zonas que han ardido en SBG, pero es inherente al servicio y al precio que pagas.

No podemos tener caviar a precio de chopped Hacendado.

🗨️ 3
Galocente
🗨️ 2
BocaDePez
BocaDePez
🗨️ 1
naveganteperdido

el cloud tipico que tienen la mayoria de personas si la empresa ( Google, onedrive etc ) mañana se le quema el centro de datos donde estan tus datos pues igual los ha perdido y no puede reclamar nada

lo que hay que hacer es mirar los SLA ( service level agreement ) del servicio que contratas/tienes gratis, por ejemplo en microsoft.com/en-us/servicesagreement no hay ningun sitio donde te garanticen que no se van a borrar tus datos, por tanto dado estos sla onedrive es un sitio para hacer backup de tus datos, pero no para tenerlos unica y exclusivamente en ese servicio, ya que no garantizan que no se van a perder, si quieres esta garantia la tendras que contratar aparte

🗨️ 2
Galocente
🗨️ 1
Wattson

twitter.com/olesovhcom/status/1370375560…1094913?s=20

No me parece ni medio normal que los backups FTP de VPS estén en otra localización física y sin embargo los de Public Cloud que se supone que es un servicio mucho más premium estén desperdigadas aleatoriamente por rooms y datacenters del mismo SBG.

BocaDePez
BocaDePez
-1

Seguro que fueron a este sitio para pagar menos impuestos OVH, estaria bien que tuviesen los servidores en los paises donde se ofrece el servicio. Esta muy bien ir a los paraises fiscales.

Tenemos que empezar a mirar donde tienen las centrales para empezar a trabajar solo en las empresas que pagan impuestos en nuestro pais incluido Amazon, Microsoft y cia

🗨️ 1
BocaDePez
BocaDePez

Estrasburgo esta en Francia.

Desconozco si tienen algún tipo de bonificación local en ese lugar, pero dudo mucho que sea un paraíso fiscal.

pepejil

Está siendo un despropósito lo que está pasando en SBG.

Ayer intentaron encender SBG1 pero empezó de nuevo a oler a quemado en alguna parte y tuvieron que suspender de nuevo el re-encendido del datacenter. Ahora se ha comunicado que van a desalojar SBG1 y algunas máquinas irán a SBG4 y otras repartidas entre RBX y GRA.

SBG4 que ha sido la menos afectada, sigue apagada a la espera de una nueva línea de tensión. Los afortunados están siendo los alojados en SBG3 que poco a poco están volviendo a la normalidad.

Por lo demás, seguimos sin noticias de cómo se nos van a recompensar a los "afortunados" cuyo servidor ha pasado a ser ceniza.

🗨️ 7
rbetancor

Por lo demás, seguimos sin noticias de cómo se nos van a recompensar a los "afortunados" cuyo servidor ha pasado a ser ceniza.

Con un cafelito y un croasan caliente … ¿o esperas otra cosa? Dudo que el SLA del contrato de hosting de los VPS o los dedicados, diga otra cosa.

🗨️ 6
pepejil

En las FAQ hay referencias de que los afectados que no hayan pedido otra máquina en otro data, pueden optar a un refund, pero que para eso "avisarían individualmente" a cada usuario… Y aquí seguimos esperando.

🗨️ 5
Cascuda

Toca esperar… mis tres vps fueron cenizas y estaban en el SBG1. Ahora me los movieron las sbg4… y aun sigo esperando a que alguna de ellas de ping o me envíen el correo, para comenzar a restaurar la infraestructura. Eso si, la cuota de los servidores que se me cobra a dia 15 fue puntual… y eso que en el panel de control del VPS dice que los cobros se han suspendido…

🗨️ 4
pepejil
🗨️ 3
Cascuda
🗨️ 2
BocaDePez
BocaDePez
pepejil
Bramante

Limpiando placas.

🗨️ 14
rbetancor
1

¿Residuos de humo corrosivos? … eso implica que ardieron materiales, que NO deberían de estar en un CPD.

Además, con la regada de AGUA que se vio en las imágenes, estarán limpiando servidores de los módulos que no se incendiaron, porque del resto, dudo que se pueda recuperar nada.

🗨️ 5
BocaDePez
BocaDePez
1

Llamar CPD a un galpon modular y a varios contenedores reciclados, es ser muy generoso.

Amenhotep

Si hay combustión de componentes electrónicos, entonces hay humo corrosivo. Para empezar las baterías de los UPS donde se inició el fuego.

Si un servidor sin corriente eléctrica se riega con agua, puede recuperarse una vez esté bien seco. Los discos duros mecánicos depende… en teoría son estancos pero algunos tienen una válvula de aire.

En cualquier caso el agua , si no era destilada, seguro que tenía cloro y restos de cal que habrá que limpiar.

🗨️ 3
rbetancor

Si hay combustión de componentes electrónicos, entonces hay humo corrosivo.

¿Y entonces RoHS para que sirve? …

Para empezar las baterías de los UPS donde se inició el fuego.

Pero que ese humo llegue a las salas de servidores, implica diseño deficiente de los sistemas de climatización del CPD. Volvemos a lo mismo … un CPD bien diseñado y mantenido, los equipos están a salvo ante un incendio, salvo que el incendio, se produzca dentro de la propia sala de servidores.

En Interxion MAD1, hace unos años, se incendió una de las salas de UPS, durante una revisión rutinaria de mantenimiento, el fuego, SOLO afecto a la sala de UPS's donde se originó, los racks de salas de servidores, no se vieron afectados (salvo los que tenían single-electric-feed contratado), y en cuanto a la contaminación del humo … no penetró en las salas, si tuvieron que limpiar los pasillos y volver a pintar algunas áreas comunes, pero las salas de servidores, es que son puñeteros bunkers, como tiene que ser.

Si un servidor sin corriente eléctrica se riega con agua, puede recuperarse una vez esté bien seco

Es muy complicado recuperarlo, no es imposible, pero muy, muy complicado, la humedad residual que se puede haber quedado en algunos componentes, lo convierte en una bomba de relojería.

Los discos duros mecánicos depende… en teoría son estancos pero algunos tienen una válvula de aire.

Ahí depende del tipo de disco … porque los hay que no son realmente herméticos, sino que tienen o válvulas de aire, o incluso simplemente el paso de los conductores al área de los cabezales, que no está sellado.

Los únicos sellados herméticos, son los "nuevos", que vienen presurizados con Helio.

En cualquier caso el agua , si no era destilada, seguro que tenía cloro y restos de cal que habrá que limpiar.

No tenían correctamente aislados las salas, ¿van a tener tanques de agua destilada?, me juego las pelotas y no las pierdo, que los bomberos terminaron usando la motobomba de lo camiones y cogiendo el agua del río que tenían al lado.

🗨️ 2
BocaDePez
BocaDePez
🗨️ 1
vukits

hombre, está bien que haya transparencia

🗨️ 7
rbetancor

Sinceramente … suena a paripé … nadie en su sano juicio, que haya sufrido un incendio de esas características en un CPD, se pone "a limpiar placas", para recuperar servidores.

🗨️ 6
BocaDePez
BocaDePez
3

Si no tenian seguro que cubriese el percance, estaran rescatando todo lo posible.

Es lo que tiene el bajo coste del servico que ofrecen.

🗨️ 5
Kevinwowxd
1
🗨️ 4
rbetancor
1
🗨️ 2
BocaDePez
BocaDePez
🗨️ 1
rbetancor
2
BocaDePez
BocaDePez

Cosa absurda. He dejado el correo "profesional" de OVH y resulta que varias semanas después de cambiar el registro MX, me siguen llegando emails de spam.

Cuanto menos curioso, porque ningún correo de los buenos ha ido al MX de OVH desde el cambio.

Usan los spammers el DNS de OVH o sueñan con ovejas eléctricas?

BocaDePez
BocaDePez

Me contesto al mensaje de antes (no me deja responder sin crear cuenta). Parece que el spam viene de OVH y si tienes el dominio configurado para que pueda recibir correo con OVH (que no el registro) el SPAM se lo come OVH. Consecuencia: Que correos legítimos (que no hay) de dominios con el email alojado en OVH, irían también a parar a esa cuenta en OVH.

Efecto curioso (aunque predecible y que debería habérseme ocurrido antes de publicar el mensaje anterior).