El día que se apagó Internet...

👻 La Newsletter de @weareDMNTRs 👻

Hay días que es mejor no levantarse de la cama. Y no lo digo por flojera, lo digo literalmente: hay días en los que levantarse solo sirve para ver arder tu mundo mientras tú no puedes hacer absolutamente nada para evitarlo.

El martes fue uno de esos días.

Si no estabas en Internet, enhorabuena: viviste un día precioso. Si estabas en Internet, ya sabrás de qué hablo. Cloudflare hizo CRACK… pero CRACK con mayúsculas, negrita, subrayado y efectos especiales. Llevamos una racha interesante: primero AWS, luego Azure, luego algún proveedor que no voy a nombrar porque todavía tengo clientes recuperándose del susto. Y ahora Cloudflare.

Pero lo de Cloudflare no fue un estornudo.

Fue un vahído, un mareo de esos que te hacen poner las manos en la pared, deslizarte lentamente y acabar en el suelo con un buen chichón. Que sí, que luego te levantas, pero el golpe queda

 

¿Qué pasó realmente?

Vamos con los hechos. Nada de conspiraciones, nada de rumores, nada de “es que mi primo trabaja en Google y dice que…”

Cloudflare lo explicó en su post-mortem oficial, y aquí va la versión para humanos:

• 11:05  Se despliega un cambio en el sistema de base de datos de Cloudflare que controla el sistema antibots. 

• 11:28  Comienza el impacto, el post-mortem indica: “deployment reaches customer environments, first errors observed on customer HTTP traffic”. 

• 11:32-13:05  La investigación se centra en el servicio Workers KV, se sospecha de ese componente y se toman medidas de mitigación (restricciones de tráfico, limitaciones de cuentas). 

• 13:05  Se implementa un bypass para Workers KV y Access, reduciendo el impacto. Aunque se descubre que el problema está en el fichero de reglas del sistema antibot, que ocupa el doble de lo normal.

• 13:37  Se inicia el trabajo de restaurar el archivo de configuración de Bot Management (rollback a versión conocida buena). 

• 14:24  Se detiene la creación y propagación del archivo de configuración erróneo. Se confirma que la restauración funciona en pruebas. 

• 14:30  Impacto principal resuelto: se despliega la config correcta globalmente y la mayoría de servicios operan correctamente. 

• 17:06  Todos los servicios están completamente restaurados; final del incidente. O lo que Cloudflare considera normalidad después de un martes como ese.

 

¿Cómo se vio esto desde nuestra red?

Pues… así, por ejemplo, en nuestro DE-CIX:

Esta gráfica es puro dolor visual. Un día normal tenemos un flujo más o menos estable donde nos llegan peticiones desde Cloudflare de clientes que tienen activado el "modo proxy" en su web. Pero mira el martes: un valle raro, irregular, un hueco en el tráfico que parece un mordisco.

De hecho, si te fijas bien, hasta el día siguiente no hemos recuperado la normalidad, ya que algunos clientes decidieron desactivar el modo proxy en cuanto Cloudflare estuvo disponible, "por seguridad", por tanto, ese tráfico ya no nos llegaba de ellos.

Ahora mismo Internet sin Cloudflare no es Internet. Y eso se nota.

Y ahora la parte menos divertida.

Un cliente me pasó esta gráfica de su ecommerce por ejemplo:

No hay mucha interpretación que hacer: el pico de ventas baja, revive, se frena, se aplasta, y luego… milagrosamente… resucita. 

Internet estuvo muerto. Su ecommerce también. ¡Imagina que dura más rato!

 

Las lecciones aprendidas

Podría decirte que aprendimos mil cosas técnicas. Pero no. Aprendimos tres, y muy claras:

• El DNS seguía funcionando, el problema era el proxy. El botón naranja.
  
  El modo “solo DNS” de Cloudflare funcionaba perfecta y maravillosamente. La parte que se cayó fue la capa mágica:
  • WAF
  • CDN
  • Edge rules
  • Encrypted client IPs
  • Workers
  • Access
  • Cualquier cosa que toque tráfico real.

Pero la tragedia vino aquí: NO PODÍAMOS DESACTIVAR EL MODO PROXY, porque el panel de administración de Cloudflare murió.

Y si no puedes desactivar el proxy… no puedes salir del agujero.

• Tener un backup de DNS fuera de Cloudflare NO nos salvó.

La teníamos. La tenemos. Copiada, documentada, replicada.

Podemos mover a mano un dominio a “modo supervivencia”, cambiamos sus autoritativos y ya está.

El problema eran los dominios .es.

Y aquí voy a decirlo como lo dije en la oficina: el sistema de DNS de .es es una basura tercermundista, con 6 slots de tiempo prefijados. Nada de tiempo real como el resto del mundo mundial.

España, digital… en el cuarto mundo.

Si hubiéramos podido mover los dominios .es rápido, muchos clientes habrían sufrido la mitad. Pero no. Gracias Red.es por aportar vuestro granito de arena a otro martes inolvidable.

• Cada vez dependemos más de infraestructuras que no controlamos.

Esto ya lo dije en febrero, pero ahora duele más.

Lo repito porque hay que repetirlo:

• • Cada vez más dependemos de infraestructuras que no controlamos.
  • Cada vez más decisiones que no tomamos afectan a miles de webs.
  • Cada vez hay menos rutas de escape.

Cloudflare es un producto increíble. Es la primera recomendación que hago a cualquiera que venda algo online. Su WAF es top. Sus “magias negras” de performance siguen sorprendiéndome cada semana.

Pero esto no es solo tecnología.

Esto es gobernanza. Esto es poder. Esto es monopolio funcional. Esto es depender de un puñado de empresas para que medio planeta pueda abrir sus webs.

Y cuando una de ellas estornuda, tú coges la gripe. O peor, como este martes: te desmayas.

 

Conclusión

Internet es maravillosa, pero es frágil. Frágil como una telaraña gigante tejida por cuatro arañas gigantes y mandonas.

Y si una falla, millones caen.

Quizás la pregunta no es “¿cómo evitamos la próxima caída?”.

Sino: ¿cómo recuperamos nuestra capacidad para no depender siempre del mismo gigante?

Porque, si algo nos enseñó el martes, es que no puedes delegar toda tu resiliencia en alguien que ni siquiera te deja apagar un botoncito naranja cuando todo se está derrumbando.

 

Feliz Domingo.

P.D.: Hace 2 años me contactaron de red.es: https://x.com/weareDMNTRs/status/1613130587518431232. ¡Y no han hecho nada de nada!

---

🔗 Newsletter patrocinada por: 🔗

 

   Protecting what matters most

 

---

🔊 Llámalo podcast... 🔊

Todos aquí: https://go.ivoox.com/sq/2343562

T4 Episodio 5: Desvariando -> https://www.ivoox.com/t4-episodio-5-desvariando-audios-mp3_rf_162794791_1.html

T4 Episodio 6: Lo de Cloudflare -> https://www.ivoox.com/t4-episodio-6-lo-cloudflare-audios-mp3_rf_162934740_1.html

T4 Episodio 7: Jueves con frío -> https://www.ivoox.com/t4-episodio-7-jueves-frio-audios-mp3_rf_162987209_1.html

---

👀 Las paranoias de la semana 👀

He pensado en recopilar las cosas que me van viniendo a la cabeza mientras paso los días haciendo cosas...

---

Esta semana he tenido muchos momentos de esos. Momentos de pensar: “Tío, o montas el 24/7 de verdad o te vas a reventar.”

---

Spoiler: lo voy a montar. Porque crecer no va de aguantar más. Va de aguantar mejor.

---

Y porque quiero poder dormir una noche sin pensar que si cierro los ojos… Internet se apaga.

---

---

Y fin...

Ya por el coche de rallys ni preguntamos... ¿Y si te compras un Unimog dementor?