Fibra

Problemas de enrutado de MásMóvil por BGP leak de Ensinca

skgsergio 2 mayo 2019 16:03 ✎

⋮

Parece que ahora mismo estamos sufriendo problemas con las rutas en MásMóvil (en mi caso Yoigo). Estan cambiando cada pocos minutos para enviarlo por un operador que nunca he visto que usen.

La cosa es que es gracioso ya que el AS por el cual están enrutando parece tan cutre que quiero pensar que este operador está publicando rutas BGP que están secuestrando el trafico de MásMóvil al este aceptarlas.

El operador es ensinca.net (stat.ripe.net/AS202831) y me niego a creer que MásMóvil esté enrutando por ellos a cosa hecha… La cosa es que en el Stat RIPE los datos de BGP tardan un poquito en aparecer.

Pero vamos que sea como sea de nuevo con problemas de Internet con esta gente y en el teléfono de asistencia no saben nada, te reinícian el router y se pueden conectar a el sin problemas por lo que su respuesta es "está todo bien revise sus equipos".

Actualización: Ahora que he tenido un rato he revisado BGPstream y efectivamente ENSINCA ha hecho un BGP Leak hacia AS15704 (XTRA Telecom, Yoigo, MásMóvil, como queráis llamarlo) que se han comido con mucho gusto. Ojalá poder hablar con el operador de nuevo y que me vuelva a decir que son mis equipos.

(link roto)

BocaDePez 2 mayo 2019 16:09

⋮

Nos hemos dado cuenta de lo mismo. Y los servicios de Microsoft, como outlook.com, no funcionan. La última vez comentaron que podía estar relacionado con un ataque DDoS.

✖

skgsergio 2 mayo 2019 16:13

⋮

Cuando tuve problemas con los servicios de Azure (y por tanto Microsoft) que fue no hace mucho tiempo (dos veces una duro como un día y la otra unas horas) no recuerdo que viese nada raro en los traceroutes mas allá de que se cortaban en ESpanix. Esta vez lo de ENSINCA me mosquea bastante.

✖

BocaDePez 2 mayo 2019 16:22

⋮

Raro, sí. Por cierto, ya carga Outlook.

✖

skgsergio 2 mayo 2019 16:27

⋮

Sí, ahora va todo. Es o ha sido intermitente el problema, desde las 14:45~14:50 hasta las 16:00.

andressis2k 4 mayo 2019 10:44

⋮

No solo "se lo comieron con papas", sino que lo publicaron a su vez a todos sus peers en Espanix y DE-CIX.

Aunque se podría hacer un filtro para sólo aceptar las rutas legítimas según lo declarado en el IRR (en el caso de España, RIPE), lo habitual es configurar un límite de prefijos para cada sesión. Es decir, si se sabe que Masmóvil anuncia habitualmente un total de 200 rutas, se configura un límite de 250 rutas y en caso de recibirse más de la cuenta, se desconecta la sesión BGP (pudiéndose reiniciar automáticamente tras el tiempo configurado, o directamente dejarla deshabilitada hasta averiguar el motivo de la "avalancha")

Que Ensinca por un error de configuración haya publicado la tabla de rutas completas... es un error humano al configurar un router

Que Masmovil las acepte todas, las propague en toda su red y también a sus peers... es un error "de novato", que puede llegar ser admisible en un pequeño ISP local que acaba de empezar a hacer peering y en el mundo del BGP. Pero en alguien que se supone que es "el cuarto operador"...

✖

rbetancor 4 mayo 2019 10:59

⋮

Pero en alguien que se supone que es "el cuarto operador"

Le ha pasado a TODOS, sin excepción y cuanto más grande es un operador y más puntos de peering tiene, más probabilidades de que les pase, por dos motivos principalmente, porque se suele subcontratar la instalación de esos equipos de IX y porque llega un punto en el que tener controlado todo eso y tener claras todas las interacciones de los diferentes routers es muy,muy complicado.

Ahora ... que ya les vale ..., de las primeras cosas del manual es la configuración de los filtros en las sesiones BGP.

✖

skgsergio 4 mayo 2019 13:21

⋮

Sí, en cuanto vi que era un BGP Leak pues es algo "mas común", sin embargo me parece que la reacción de la gente de redes de MM fue 0, es algo que deberían tener monitorizado ya que los anuncios BGP del operador se salía de toda norma. El problema en MM duró todo lo que duró la mala configuración de Ensinca cuando, en mi opinión, debían haber tirado la sesión BGP y las rutas que venían de ella hasta que Ensinca hubiese solucionado el problema.

Según tengo entendido MM opera como Open Policy lo cual hace que se traguen mas fácilmente estos leaks. De hecho hay un Working Group que lleva unos años con un draft para estos casos (tools.ietf.org/html/draft-ietf-idr-bgp-o…en-policy-05).

Sin embargo he de decir que mi experiencia con BGP se queda en lo teórico y practicas de Cisco ya que nunca lo he llegado a usar profesionalmente, por lo que no hablo desde la barra del bar pero casi que desde la puerta sí.

✖

rbetancor 4 mayo 2019 13:49

⋮

Por desgracia ... como en muchos otros operadores, no se gastan la pasta donde deben ... se obcecan con la captación de "gallinas que entran" ... pero pasan un kilo de dedicar recursos al perro guardián que vigila el gallinero o muchas veces ni siquiera al mantenimiento del propio gallinero.

andressis2k 4 mayo 2019 14:23

⋮

Buenas. En las relaciones de Peering cada peer suele tener un tipo de política:

- Open: Cualquier solicitud de peering es bienvenida, y generalmente sin coste: "A mi me interesa que todos mis contenidos lleguen lo mejor posible a los usuarios, y que mis usuarios tengan la mejor conexión posible". Es la que tiene MasMovil, Adamo, Netflix, Google
- Selective: Se evaluará la solicitud de peering, y si se cumplen ciertos requisitos (tráfico por encima de X gbps, tener puertos redundados, etc) se establece la sesión. Se evalúa que realmente establecer la sesión va a mejorar la experiencia del usuario y la estabilidad del servicio. Es la que utiliza por ejemplo Facebook, RIOT Games, O
- Restrictive: Generalmente no se establecen relaciones de Peering. "El que quiera cursar tráfico por mi red que pase por caja". Es lo habitual en los operadores Tier1, que solamente establecen conexiones entre ellos: Telefónica, Opentransit (Orange), Verizon, etc

Existe una base de datos donde habitualmente cualquier operador que quiere realizar peering con otros publica sus datos: peeringdb.com

En dicha web se puede ver que Ensinca dice que ellos publican sólamente un prefijo. Sería razonable configurar la sesión con un límite de 10 (para que si crece no haya que modificar dicho valor).

La política de peering no influye para nada en la configuración.

@skgsergio En la captura que adjuntas se ven 2000 prefijos... Esas son estadísticas que se actualizan cada X minutos / horas y no llegaron a captar el valor real. Publicaron Full Routing (actualmente existen unas 750.000 rutas de IPv4 a nivel mundial)

@rbetancor Claro que todos cometemos errores, somos humanos, y aunque las máquinas no suelan cometer errores, están configuradas por humanos. Yo mismo recibí más de 600.000 prefijos desde el AS de Masmovil en la red que administro. En menos de 3 minutos lo detectamos, solucionados, y notificamos a los clientes afectados. Lo que no es de recibo es que 1h después del incidente aún siguiera sin solucionar, y el SAC pidiera a los clientes "que reinicien el router"

✖

rbetancor 4 mayo 2019 15:21

⋮