| « Tráfico de los meses de julio y agosto de 2008 | Portada | Tecnología para pymes en nuestro nuevo blog » |
Caída general de 13 horas durante la madrugada del 23 de septiembre de 2008
Julio Alonso | 23 septiembre 2008
Desde anoche a las 22h hasta esta mañana a las 11h hemos tenido todas nuestras webs caídas. Esta caída se ha debido, según primeras informaciones, a una explosión en uno de los dos sistemas de backup de la instalación eléctrica del Carrier House 2, el edificio de Telvent en Alcobendas donde tiene su data center NTT, nuestro proveedor de hosting.
El edificio cuenta con sistemas de backup de suministro eléctrico, tanto de baterías como generadores de gasoil, ambos duplicados. Tras la explosión el primero quedó inutilizado y parte del cableado eléctrico del edificio se vio afectado. Esto hizo que el segundo grupo de emergencia no pudiera con todo el peso del consumo de todos los equipos y del aire acondicionado (imprescindible para que funcionen los equipos). Primero optaron por apagar el aire y al poco tuvieron que apagar ordenadamente el resto de equipos.
La avería ha afectado a todos nuestros blogs, pero también a las páginas web de multitud de empresas alojadas con NTT o con otros proveedores con presencia en el edifico de Telvent. Entre ellas figuran Spanair, Ya.com, Cope.es, Realmadrid.com, Periodista Digital…
Alrededor de las 2h de la mañana han reestablecido el suministro eléctrico al sistema de refrigeración, que ha empezado a trabajar para bajar la temperatura de todas las salas y crear las condiciones para que se pudieran re-encender los equipos. A eso de las 6h Telvent ha ido dando el ok para encender máquinas a sus clientes directos. NTT nos ha devuelto la conectividad en torno a las 9h y ha empezado a encender nuestras máquinas a las 9:45h de esta mañana. Todavía nos falta por recuperar dos máquinas debido a fallos en la conectividad entre máquinas de NTT.
Hemos reestablecido los blogs a las 11h con una copia de las 19h de ayer aproximadamente, por lo que faltarán tanto posts como comentarios hechos entre las 19h y las 22h de ayer. También faltan bastantes hojas de CSS (el formato del blog) e imágenes. Esperamos recuperar los equipos que faltan pronto y poder reestablecer la copia más actualizada.
En primer lugar tenemos que pedir disculpas a nuestros clientes, que han visto repercutidas en sus páginas web los fallos que nosotros mismos hemos sufrido, a nuestros lectores, que no han podido acceder a sus publicaciones favoritas y a nuestros anunciantes, que han visto como no se servían sus campañas durante todas estas horas.
En cuanto esté todo reestablecido y funcionando en condiciones, buscaremos entender con mayor exactitud qué es lo que ha sucedido y por qué han fallado los sistemas de emergencia. Y posteriormente tomaremos medidas de seguridad adicionales para incrementar nuestro nivel de redundancia y evitar en lo posible que se puedan repetir situaciones como esta.
Seguimiento de la situación: WSL Crisis.
Sección: Anuncios
Comentarios
[...] Por suerte ya está todo solucionado y la red vuelve a funcionar con normalidad. En la web oficial de WSL podéis leer los detalles sobre el asunto si estáis interesados , y también en esta cuenta twiiter. [...]
#21 | Escrito por Mei-dei, mei-dei, aquí Fandemia ¡¿me recibís?! | 23 sep 2008 16:55:16
Discúlpame pero esto es un comentario bastante comercial aunque si tiene que ver con la ocurrencia Telvent.
Soy el gerente en España para LeaseWeb y EvoSwitch - el datacenter que sale en comentario #4. (muchas gracias #4).
Debeis veniros con nosotros - tenemos el datacenter más moderno de holanda, redundancia total, precios inmejorables para Mbps y la mejor oferta de dedicados en la EU. Streaming, vps, etc.
Mandame un e-mail a cheney@leaseweb.es o llamarme a 854 050 878. O simplamente visitar a www.leaseweb.com
-Lawton
#22 | Escrito por Lawton Cheney | 23 sep 2008 17:11:10
[...] El motivo es bastante complejo y en el blog corporativo de Weblogs SL hay una nota explicativa bastante detallada. Sólo deciros que este problema ha afectado a muchas webs españolas, como Ya.com, Spanair.com, Cope.es, Realmadrid.com, y un largo etcétera. [...]
#23 | Escrito por El Blog Salmón se recupera | 23 sep 2008 17:18:34
[...] Si quieres ampliar algo de información al respecto puedes pasarte por esta búsqueda de twitter, o visitar este post en weblogssl. [...]
#24 | Escrito por Problemas técnicos en Uptodown.com at Uptodown.com/blog | 23 sep 2008 17:41:34
[...] Más referencias: Pixel y Dixel, twitter wsl_crisis, búsqueda en blogsearch, Enrique Dans (Este negocio no es para débiles), Weblogs SL informa,… Etiquetas: centro de datos, datacentes, empresas, hosting, juegos, medios, ministerios, twitter [...]
#25 | Escrito por Telvent fuera de juego - Carrero Bitácora de los Hermanos Carrero, David Carrero Fernández-Baillo y Jaime Carrero Fernández-Baillo. | 23 sep 2008 18:06:02
Parece que la cosa está "calentita, calentita"…y nunca mejor dicho.
He visto la noticia y, a fin de contrastarla, he buscado, como no en Google, utilizando la "Búsqueda Avanzada" y filtrando por las últimas 24h….
Si se produce un fallo de ese tipo, sólo es por un motivo: FALTA de PREVISION.
Si se FRIE un transformador… sólo puede ser por un motivo: SOBRECARGA; y por lo que parece, también ha habido sobrecarga de los UPS (Grupos Electrógenos)… o lo que vuelve a ser lo mismo: "FALTA de PREVISION" /CONTROL del dimensionamiento adecuado de la infraestructura…
En fin: a los perjudicados les sea lo más leve posible … en todo caso, algo de HUMOR no viene mal
#26 | nsnc | 23 sep 2008 18:39:14
[...] Como ya alguno de vosotros sabréis, durante la noche de ayer y parte de esta mañana, un total de 13 horas, como bien aparece explicado en el blog de Weblogs SL, y por causas ajenas a nosotros, por obra y gracia del proveedor de housing, no habréis podido entrar a esta página. Una vez que se ha solucionado la grave incidencia, primero pediros disculpas por no haberos podido dar vuestras dosis matutinas de fútbol, y luego comentaros que tuvimos que salir con una copia de seguridad que no había guardado las entradas publicadas ayer a partir de las 19:00 h, ni los comentarios que entre las 19:00 y las 22:00 h hubiéseis podido realizar (a partir de esa hora ya fue imposible entrar a NdF hasta hoy a las 11:00). [...]
#27 | Escrito por Los problemas de Notas de Fútbol | 23 sep 2008 20:13:09
#28 | Escrito por Caída temporal de Papel en blanco | 23 sep 2008 20:59:35
[...] Es posible que los comentarios hechos al final del día de ayer no aparezcan, pero se está trabajando para recuperarlo todo. Para más información, podéis acceder al blog corporativo de Weblogs SL donde tenéis una explicación exhaustiva de lo ocurrido. [...]
#29 | Escrito por Caida temporal de Genciencia | 23 sep 2008 22:00:56
#30 | Escrito por Cuaderno de Bitácora » Archivo del Blog » Prólogo al fin de los días de la red de redes | 23 sep 2008 22:05:46
[...] Anoche se vieron afectadas gran multitud de paginas por la caída del proveedor de servicios telematicos Telvent. Pero no solo fueron paginas las afectadas. La caída afecto a Ya.com y con ello a todos los que somos usuarios de este ISP. Desde anoche si bien teníamos conexión no era posible resolver IPs, es decir: no era posible asociar los dominios con su IP correspondiente.La caida de Telvent es ha sido debida por lo que se ve por un incendio en sus instalacionesAnoche ni siquiera el tlefono de atencion al cliente de ya.com funcionaba, no me extraña porque las centralitas funcionan en parte con VoIP lo cual tambien explicaria esto. [...]
#31 | Escrito por Yo tambien fui afectado por Telvent » Empanada de Bytes | 24 sep 2008 00:40:32
#32 | Escrito por Caída temporal de Papel en blanco : Blogografia /version beta/ | 24 sep 2008 03:06:07
[...] Ayer, por una serie de catastróficas desdichas, un enorme data center de Telvent, ubicado en Alcobendas, sufrió un fallo eléctrico (con incendio incluido) y le pegó un bocado notable a buena parte de la “webesfera” nacional. Entre los afectados, que se quedaron fuera de la red durante medio día, están Weblogs SL, realmadrid.com, los abonados de ya.com (por un fallo en sus DNS) y muchos otros. Yo personalmente, aunque estoy en ONO y podía navegar sin muchos problemas, sí noté que algunas páginas (en particular las de la USE) no se me abrían (en adslzone.net hablan de que a RedIRIS también le afectó el desastre, así que esa fue probablemente la causa). [...]
#33 | Escrito por Andvaranaut » Puntos de fallo | 24 sep 2008 05:03:49
En España hay muy pocas empresas de hosting que realmente puedan garantizar la infraestructura y medios que necesita una red como weblogssl (por no mencionar las otras páginas importantes que se encuentran en telvent).
En ocasiones restamos importancia a la elección del proveedor de hosting y nos dejamos llevar por la confianza (habitualmente no certificada) en lo que nos cuentan los enlaces comerciales y/o técnicos que tenemos con la propia compañía, cuando lo mejor sería siempre ir, revisar y probar, si es necesario, todos y cada uno de los servicios que prometen y garantizan de forma aleatoria. Si estás contratando un servicio BGP y depositas tu negocio en manos de una empresa es importante no acordarse a veces de aquello de "relación calidad/precio" y apostar por la mejor oferta en todos los sentidos.
Enhorabuena por estar otra vez online :) Ya teníamos ganas de leeros/veros.
#34 | Escrito por Agustin | 24 sep 2008 11:41:59
Pues parece que el sistema de emergencia no vale, no tienen un sistema de emergencia equivalente al principal.
Los sistemas de emergencia sirven de algo cuando están correctamente dimensionados y mantenidos de la misma manera que los sistemas principales.
#35 | Escrito por Adrián | 24 sep 2008 12:08:39
Bueno y dejando el tema técnico a un lado:
¿En cuanto valorai$ el daños que os ha causado es estar desconectado?
Entiendo que ahora por parte del proveedor de hosting vendrá la fase de compensación y la oferta para evitar la fuga a la competencia, no?
En estas historias las segundas oportunidades se pagan muy caras.
#36 | Escrito por imagame | 24 sep 2008 19:32:43
[...] Mientras, pueden ustedes seguir la crisis en tiempo real en el canal de Twitter que se ha creado para ello. Para más información consulten también el post publicado en nuestro blog corporativo. [...]
#37 | Escrito por Soy Catador » Blog Archive » Directo al Paladar estuvo sin acceso unas horas por problemas técnicos | 25 sep 2008 01:04:56
[...] Durante las últimas doce horas este blog ha ido mucho más lento que de costumbre. La culpa no sido una avalancha de visitas ni la empresa a la que tengo contratado el hosting (Ferca), sino la avería de Telvent, que ha afectado a NTT y, en una segunda derivada, a quien sirve la publicidad en Error500, que es Social Media. El mismo fallo ha provocado que las páginas de WeblogsSL hayan estado caídas, como explicamos en el blog corporativo. [...]
#38 | Escrito por La fragilidad y la dependencia en el mundo online | Noticias, novedades, tecnología, programación - Bit & Bit | 25 sep 2008 22:14:33
Acaba de llegarnos el informe oficial de Telvent de la incidencia (Tenemos un rack en la sala 100).
Al parecer tuvieron dos fallos por mala instalación de las blindobarras (barras metalicas que se usan como cables electricos).
El primero fue por no estar bien apretado un tornillo de union de dos blindobarras.
El segundo fue en un codo que al montarlo lo habian forzado demasiado y esta desformado.
Resumiendo… dos cortocircuitos del copon.
#39 | Germán | 29 sep 2008 17:25:37
[...] Como arde la blogosfera, Weblogs SL estuvo caído por un incendio, con explosión incluída oiga. [...]
#40 | Escrito por Tortilla de Patata » Tortilla de Patata 2×03 - Juntos y revueltos | 01 oct 2008 21:24:08
| 1 | 2 | 3 | Comentarios siguientes | Ultimos comentarios
Escribir un comentario
Vista previa del comentario
