Weblogs SL: Empresa de Weblogs, Weblogs de Empresa.

La empresa de weblogs líder en español.

Desde Noviembre de 2004 publicamos weblogs verticales con vocación comercial
y asesoramos a empresas sobre el uso de weblogs.

« Tráfico de los meses de julio y agosto de 2008 Portada Tecnología para pymes en nuestro nuevo blog »

Caída general de 13 horas durante la madrugada del 23 de septiembre de 2008

Julio Alonso | 23 septiembre 2008

Desde anoche a las 22h hasta esta mañana a las 11h hemos tenido todas nuestras webs caídas. Esta caída se ha debido, según primeras informaciones, a una explosión en uno de los dos sistemas de backup de la instalación eléctrica del Carrier House 2, el edificio de Telvent en Alcobendas donde tiene su data center NTT, nuestro proveedor de hosting.

El edificio cuenta con sistemas de backup de suministro eléctrico, tanto de baterías como generadores de gasoil, ambos duplicados. Tras la explosión el primero quedó inutilizado y parte del cableado eléctrico del edificio se vio afectado. Esto hizo que el segundo grupo de emergencia no pudiera con todo el peso del consumo de todos los equipos y del aire acondicionado (imprescindible para que funcionen los equipos). Primero optaron por apagar el aire y al poco tuvieron que apagar ordenadamente el resto de equipos.

La avería ha afectado a todos nuestros blogs, pero también a las páginas web de multitud de empresas alojadas con NTT o con otros proveedores con presencia en el edifico de Telvent. Entre ellas figuran Spanair, Ya.com, Cope.es, Realmadrid.com, Periodista Digital…

Alrededor de las 2h de la mañana han reestablecido el suministro eléctrico al sistema de refrigeración, que ha empezado a trabajar para bajar la temperatura de todas las salas y crear las condiciones para que se pudieran re-encender los equipos. A eso de las 6h Telvent ha ido dando el ok para encender máquinas a sus clientes directos. NTT nos ha devuelto la conectividad en torno a las 9h y ha empezado a encender nuestras máquinas a las 9:45h de esta mañana. Todavía nos falta por recuperar dos máquinas debido a fallos en la conectividad entre máquinas de NTT.

Hemos reestablecido los blogs a las 11h con una copia de las 19h de ayer aproximadamente, por lo que faltarán tanto posts como comentarios hechos entre las 19h y las 22h de ayer. También faltan bastantes hojas de CSS (el formato del blog) e imágenes. Esperamos recuperar los equipos que faltan pronto y poder reestablecer la copia más actualizada.

En primer lugar tenemos que pedir disculpas a nuestros clientes, que han visto repercutidas en sus páginas web los fallos que nosotros mismos hemos sufrido, a nuestros lectores, que no han podido acceder a sus publicaciones favoritas y a nuestros anunciantes, que han visto como no se servían sus campañas durante todas estas horas.

En cuanto esté todo reestablecido y funcionando en condiciones, buscaremos entender con mayor exactitud qué es lo que ha sucedido y por qué han fallado los sistemas de emergencia. Y posteriormente tomaremos medidas de seguridad adicionales para incrementar nuestro nivel de redundancia y evitar en lo posible que se puedan repetir situaciones como esta.

Seguimiento de la situación: WSL Crisis.

Comentarios (41) | Trackback

Sección: Anuncios

Comentarios

¡Añade tu comentario!

[...] Más información | weblogssl Seguimiento en vivo | wsl_crisis en twitter trackback ¿Recomendarías este post? Más noticias sobre: Genbeta [...]

#1 | Escrito por Genbeta con problemas técnicos | 23 sep 2008 11:01:57

[...] Para seguir la crisis en tiempo real se ha creado un canal en Twitter y en el blog corporativo se explica el problema con más detalles. [...]

#2 | Escrito por Directo al Paladar estuvo sin acceso por problemas técnicos | 23 sep 2008 11:26:43

[...] Más información | Weblogs SL y Twitter de seguimiento de la crisis trackback ¿Recomendarías este post? Más noticias sobre: MotorPasion [...]

#3 | Escrito por Motorpasión ha sufrido un pinchazo, pero ya hemos cambiado la rueda | 23 sep 2008 11:30:51

[...] http://www.weblogssl.com/2008/09/23-caida-general-de-x-horas-durante-la-madrugada-del-23-de-septiembre-de-2008 [...]

#4 | Escrito por Dificultades técnicas | 23 sep 2008 11:31:44

Hace dos años trabajaba para una empresa que tenía un rack en telvent repleto de servidores.

Lo cierto es que cuando me pidieron que les recomendara un lugar donde poner las máquinas, desaconsejé ese lugar en favor de Interxion y de Colt Telecom… pero no me hicieron caso y el tiempo me ha dado la razón.

No se hoy como estarán las cosas por Telvent, pero durante los dos años que los sufrí aquello era un jolgorio.

Cajas que pasaban apiladas más de 24 horas, vacías y sin que nadie las recogiese en la sala 100(ó 101, ya no recuerdo exactamente), sala de servidores con elevada temperatura todo el tiempo, sala de servidores sin cámaras de vigilancia en los pasillos, cerraduras de los rack muy débiles, sin apenas personal de mantenimiento de noche y en fines de semana (una vez llamé de madrugada para que el servicio de manos remotas reiniciase un servidor… y acabé teniendo que ir yo porque el técnico estaba en el otro edificio que tienen (o tenían) en Madrid…

O llegar y encontrarte durante más de 10 días una de las puertas de la sala de servidores abierta mientras al otro lado estaban de obras y se oía el ruido de una sierra radial… servidores desconectados de internet cuando se supone que tienen varias líneas y un BGP-4… técnicos de manos remotas que no saben leer las etiquetas de los servidores y reinician la máquina que no toca… y así podría estar horas.

Ahora, eso si, eran los que presentaron la oferta más barata.

Personalmente mis máquinas, como tienen servicios para EE.UU y Europa, las tengo en Evoswitch en Holanda, 4 años y (toco madera) ningún problema importante. Lo elegí después de visitarlo personalmente y quedar boquiabierto con la que tienen montada esta gente.

En el Twitter pedías sugerencias… Colt, Interxion, Acens y BT en España

Evoswitch en Holanda (www.leaseweb.com es su rama que alquila máquinas en sus instalaciones)

#5 | El_Reverendo | 23 sep 2008 11:32:30

Gracias reverendo, lo tengo en cuenta.

#6 | Escrito por Julio Alonso | 23 sep 2008 11:35:17

[...] Se ha creado un canal de Twitter para estar al día de lo que vaya aconteciendo, y en el blog corporativo tenemos más información para quien quiera ampliar y saber con más detalle qué es lo que ha pasado. [...]

#7 | Escrito por Vuelta a la normalidad | 23 sep 2008 11:38:15

[...] Los motivos y las causas los tenéis explicados más en profundidad en el blog corporativo de la empresa. [...]

#8 | Escrito por Arrebatadora estuvo sin acceso por problemas técnicos | 23 sep 2008 11:49:10

[...] Al parecer el problema comenzó a las 16h con una explosión de uno de los dos sistemas de backups según cuentan en Weblogs SL, el cableado eléctrico del edificio se habría visto afectado y con tan solo un sistema de backup funcionando no podía dar a basto para todo el edificio así que optaron por apagar el aire acondicionado, provocando que la temperatura de las salas donde se encuentran los servidores aumentara considerablemente. [...]

#9 | Escrito por Kinexy » Caída del centro de datos de Telvent durante 13h | 23 sep 2008 11:53:31

De nada Julio, en el comentario está mi email, si necesitáis más información escribidme, llevo 16 años pegándome con datacenters y he trabajado con la mayoría de los que hay en la península y unos cuantos extranjeros. Ni os voy a cobrar por la info, ni me llevo comisión de ninguno de estos sitios, solo que soy un lector matinal vuestro y no me hace gracia ver esto caido.

#10 | El_Reverendo | 23 sep 2008 11:56:12

Bueno, estais haciendo un CSS Naked day propio xD

#11 | Anonimo xD | 23 sep 2008 12:01:56

[...] El problema ha sido complejo, y para quien quiera más datos se creó un canal en Twitter para seguir el asunto, y sen el blog corporativo se dan más detalles del problema. [...]

#12 | Escrito por Hipersónica caída por problemas técnicos | 23 sep 2008 12:09:12

[...] El problema es complejo y difícil de explicar, para el que quiera saber más en el blog de WSL se ha escrito un post y en Twitter se ha creado un canal con el tema. [...]

#13 | Escrito por Problemas técnicos | 23 sep 2008 12:19:05

Sí, Anónimo, aquí enseñando las vergüenzas…

#14 | Escrito por Julio Alonso | 23 sep 2008 12:20:01

Julio, me alegro que volváis :-)

Automattic lo realizó así, redundancia de datacenters en cada costa de USA para asegurar disponibilidad de wordpress.com

liberaron la clase de conexión a la BBDD, por si dais el paso y os sirve de algo:

http://codex.wordpress.org/HyperDB

saludos!

#15 | Escrito por Fernando Serer | 23 sep 2008 12:26:13

[...] Los detalles técnicos del asunto los podréis encontrar en la página oficial de Weblogs SL, en donde Julio Alonso ha realizado un artículo con todo lujo de detalles. Basta decir que no somos los únicos afectados y que empresas del calibre de ya.com o Spanair han visto como sus páginas web dejaban de funcionar. [...]

#16 | Escrito por Hemos sufrido una pequeña crisis, pero ya estamos a salvo | 23 sep 2008 12:38:41

[...] Desde las 23.30 horas de ayer, centenares de páginas web han visto interrumpido su funcionamiento por un fallo eléctrico en un data center de Telvent situado en Alcobendas (Madrid). El centro de proceso de datos es él se presta servicio a decenas de empresas, como la red de blogs Weblogs SL (Xataka, Vidaextra, Genbeta…), RealMadrid.com, Spanair, Cope, Ministerio de Defensa, Fotomaf, OjoDigital… entre otras.  Además, se encuentran especialmente afectados los usuarios de Ya.com, puesto que los servidores DNS de sus routers se alojan en este sitio. El fallo eléctrico ha provocado un incendio que ha sido solventado. [...]

#17 | Escrito por Un fallo eléctrico en un data center de Telvent | Zujar Blog | Rastreando la Web | 23 sep 2008 12:54:12

[...] Más información | Weblogs SL trackback ¿Recomendarías este post? Más noticias sobre: Bebés y más [...]

#18 | Escrito por Bebés y más caído durante algunas horas | 23 sep 2008 12:56:18

Imagino que ya habréis cuantificado las pérdidas (o ingresos no percibidos mejor dicho) en publicidad. Sería interesante si publicáis algo al respecto de esto, si habéis reclamado al proveedor, etc.

#19 | Escrito por Hugo | 23 sep 2008 13:42:08

[...] Tal y como se cuenta en el blog corporativo de Weblogs SL, desde anoche a las 22h hasta esta mañana a las 11h hemos tenido todos los blogs fuera de combate. El estropicio se ha debido, según primeras informaciones, a una explosión en uno de los dos sistemas de backup de la instalación eléctrica del Carrier House 2, el edificio de Telvent en Alcobendas donde tiene su data center NTT, nuestro proveedor de hosting. La de la cabecera es la última imagen que captaron las cámaras de seguridad antes del reventón. [...]

#20 | Escrito por Los Gremlins visitan el datacenter WeblogsSL | 23 sep 2008 14:23:37

Escribir un comentario

Nos encantaría conocer tu opinión. Por favor, procura que tus comentarios estén relacionados con esta entrada. Intenta también no insultar ni usar palabrotas, respeta a los demás lectores de este blog. Los comentarios off-topic, burdamente promocionales, ofensivos o ilegales serán borrados sin piedad.

Puedes usar algo de HTML: <a href> <strong> <blockquote> <br /> <p> <strong> <em> <ul> <li>. Los párrafos y los retornos de línea también se incluyen automáticamente.





¿Recordar información personal?


Vista previa del comentario

Diseño: El Tipo Gráfico