BandaAncha.eu

Comunidad de usuarios
de fibra, móvil y ADSL

Propuesta de tema para artículo: Red troncal de las operadoras

bocaditoDePez
7

Se que es un poco "feo" andar pidiendo, pero quería proponer un tema para BA.

Da gusto como desarrolla temas @Josh en BA, técnicos con unas palabras y conocimientos perfectos.

Al grano.

Los ultimos articulos de BA hablan mucho del tema del despliegue de FTTH, sus splitters en cámaras hasta central. Lo que se llama, la ultima milla.

Pero de central al servidor final ¿qué pasa?

De leídas por el foro, algun user vagamente habla de unos router de agregación, etc.

Y por suerte, los temas de peering también son ya muy públicos. Ubicaciones de CDNs, data center, etc. Pero lo dicho, de la OLT hasta ese CDN, ¿como gestiona y enruta Telefonica ese tráfico?

Luego entra en juego el tema del filtrado y análisis de paquetes que hace TESA. Se entiende que todo el tráfico pasa por esa "máquina" que analiza todo, pero ¿dónde esta ubicado?

HABER; LO ESCRIBO EN MAYÚSCULAS QUE OS CONOZCO. Tampoco quiero que se diga en qué calle están los equipos, y que abonados atiende. Ni cosas secretas. Vamos, no quiero detalles al 100%.

Pero si estaria bien, en la línea de explicaciones amenas y didácticas de BA, pues explicar, yo que se, de la central tuya, todo el tráfico se centra en la provincia, en un equipo Juniper que gestiona todo, y de ahí, hay unas fibras a Madrid que en otro router centran todo, y luego tiene salidas a Espanix. Me invento, pero espero se me entienda un poco la idea del posible artículo.

Sería como la segunda parte del articulo Cómo es el despliegue de la red de fibra FTTH GPON de Movistar

Es complejo porque luego TESA tendrá su red, Vodafone hará intercambio en otro, pero bueno, como continuación del anterior artículo y por importancia, seria bueno tomar referencia a TESA.

Y la verdad es que en Google no hay nada de info de esta parte de red. Insisto que entiendo el "secretismo" de ella, pero bueno, conocer algo de qué tipo de equipos actúan, a que nivel de región, etc. Estaría bien.

Buen domingo y como siempre, felicidades por la web. Nos leemos.

andressis2k
9

Buenas noches.

Si de esa parte no hay tanta información, es precisamente porque es propia y privada de cada operador… y generalmente salvo que sea desde dentro, no es posible obtener información de ellas.

En el caso de Adamo, por ejemplo, existe un mapa "público" colgado por ellos:

map.adamo.es/adamo/maps/112001/backbone-2020

El Uplink de las OLT se agregan en switches, mediante n puertos 10G. Desde ahí, se conectan las interconexiones hacia otros nodos mediante 10G o 100G, según la densidad de las zonas. Se utiliza el protocolo MPLS para encapsular el tráfico de cada una de las zonas, hasta el / los datacenter donde se da salida a Internet (Madrid y Barcelona)

Para los enlaces de larga distancia, Adamo utiliza equipos DWDM de Ekinops, tal como ellos mismos anunciaron en alguna nota de prensa:

Adamo elige Ekinops Flexrate para su red de transporte óptico

En la mayoría de los operadores (Adamo, MásMóvil, Vodafone, Orange…) salvo en Telefónica, es muy común utilizar circuitos DWDM de terceros (Lyntia, Axent, Cellnex, etc) para las zonas donde no llegan con red propia. En muchos tramos, es muy común también alquilar a un operador la red de fibra oscura.

Se llama fibra oscura a cuando el dueño de la red le entrega los 2 extremos del cable, sin ningún equipo, y es el cliente (el ISP) quien instala y mantiene el equipamiento. Algunos de los operadores que dan este servicio son Reintel (Red Eléctrica), ADIF, Endesa (cuya división de fibra fue comprada por Lyntia), etc

En estos casos, el operador instala los equipos DWDM, que permiten "comprimir" (multiplexar) muchísima capacidad para después enviarla a largas distancias. Por ejemplo, en los operadores españoles son muy usados los Huawei OSN, Nokia, Ekinops, etc. Por ejemplo, los equipos de la gama Huawei OSN9800 llegan a transmitir 40 circuitos de 400gbps por un par de fibras. Los mismos equipos DWDM realizan labores de conmutación (en decenas de ms) en caso de una rotura de fibras, a fin de mantener la continuidad del servicio. Serían, a grandes rasgos, como un switch funcionando en la capa 1 del modelo OSI.

Telefónica por supuesto también utiliza un esquema similar (agregación de las OLT en switches, y transmisión mediante DWDM). La diferencia es que, al menos que se conozca de forma pública, no utiliza fibra ni servicios de terceros para su red de transporte. Tienen una red muy mallada por toda España, que le permite tener capacidad prácticamente ilimitada, aunque no siempre con las mejores latencias (entre otras cosas, por tener tantos nodos intermedios, y tantos recorridos entre nodos). Por ejemplo, para hacer la ruta Granada - Madrid, tienen una latencia RTT (ida y vuelta, como cuando hacemos un ping) de algo más de 10ms, mientras que otros operadores tienen tiempos cercanos a la mitad (porque tienen rutas DWDM directas hasta Madrid)

Aquí puedes ver algo más de información sobre qué ers una red DWDM

viavisolutions.com/es-es/soluciones/dwdm

ciena.com.mx/insights/what-is/What-Is-WDM_es_LA.html

community.fs.com/blog/complete-analysis-…hnology.html

Por otra parte, tenemos los equipos BNG/BRAS (Broadband Remote Access Server), que son los que controlan las sesiones de los usuarios. Normalmente están conectados a uno o más servidores Radius, para decidir qué IP se asigna, si el servicio está interrumpido por impago, etc. Por ejemplo, en operadores que utilizan PPPoE, es donde se marca la conexión. Pueden realizar también otras tareas, como DPI, CG-NAT, etc. Según la estructura del ISP, pueden estar ubicados cerca del cliente (en la central local, o en algún PDI provincial desde donde se da servicio a toda una provincia o zona), o bien tenerlo centralizado a nivel nacional o en 2-3 puntos.

Por ejemplo, Telefónica suele tener en las mismas centrales que son centrales cabecera NEBA.

Para saber (o intuir el escenario) de nuestro ISP, basta con hacer un traceroute. Si el primer salto tras nuestro router / CPE es de <1ms, el BNG está situado cerca. Si en dicho salto tenemos varios ms, es porque está ubicado en otra parte del pais.

En la siguiente captura, sacada de un MikroTik conectado a una FTTH residencial, podemos ver lo siguiente:

image.webp

El BNG (que en Movistar residencial suele tener la 192.168.144.1) está a 2,7ms, que indica una distancia de unas decenas de km. El AC Name (ocultado) nos muestra las siglas de una población cercana, que es PDI NEBA Local. La MAC de dicho equipo nos revela que es Alcatel - Lucent

En la misma ubicación, para una FTTH residencial de Orange vemos lo siguiente:

image.webp

La MAC del BNG en este caso es de Huawei, y vemos que la latencia hasta el primer salto es de unos 5ms. Eso nos revela que el tráfico de las OLT se está transportando hasta un punto más lejano (supongo que la capital de la provincia, aunque es imposible de saber),

Otra forma para ver dónde está el BNG es realizar un ping / tracert hacia un cliente del mismo ISP en la misma localidad. Si está en la misma, generalmente la latencia sería de 1-2ms. Si en este caso de Orange lo hacemos, vemos que tenemos un mínimo de 9ms (4,5 para ir hasta el BNG, y otras 4,5 para ir al otro cliente)

Después del BNG (y los correspondientes circuitos de transporte) llegamos a los routers propiamente dichos. Entre ellos, la información se intercambia mediante el protocolo BGP. En ellos, se conectan con otros operadores, CDN, etc. Los más habituales son Juniper, Cisco, Nokia / Alcatel y Huawei.

Es habitual que los ISP grandes tengan servidores de caché (parte de la CDN) de Google, Netflix, Cloudflare, etc dentro de su red (a nivel provincial / regional), para evitar transportar ese tráfico hacia Madrid / Barcelona. De este modo, tanto el proveedor de contenidos como el ISP obtienen ahorros importantes de costes

El resto del tráfico, se intercambia con los proveedores upstream (generalmente Tier 1, es.wikipedia.org/wiki/Red_tier_1 ) o con otros operadores / proveedores de contenidos. Cuando el intercambio se realiza con un proveedor Tier 1, suele ser mediante un intercambio económico (salvo que el ISP sea propiedad del mismo Tier 1, como el caso Telefónica / Telxius o Orange / Opentransit). Cuando se realiza "entre iguales", el peering puede ser tanto de pago como gratuito, aunque eso daría para un post entero y largo…

🗨️ 4
rbetancor

Muy buen aporte, pero hay un par de imprecisiones, si me permites:

En estos casos, el operador instala los equipos DWDM, que permiten "comprimir" (multiplexar) muchísima capacidad para después enviarla a largas distancias.

Comprimir no es lo mismo que multiplexar, comprimir reduce la cantidad de información transmitida (no siempre), mientras que la multiplexación no varia cantidad de información en el medio.

Otro error es pensar que CWDM, DWDM o UDWDM multiplexan … lo que no es verdad, no multiplexan la señal, multiplexar implica un canal único de comunicación L1, lo que no es el caso. Se puede llegar a considerar que "multiplexan señales ópticas", porque se transmiten varias lamdas por una misma fibra, pero las señales no se mezclan y en un instante T de tiempo, TODAS las señales están en el medio, mientras que un sistema de multiplexación, en un instante T solo hay UNA señal en el medio.

La diferencia es que, al menos que se conozca de forma pública, no utiliza fibra ni servicios de terceros para su red de transporte.

Esto tampoco es correcto, Telefónica usa exactamente el mismo esquema que el resto de operadores, fuera del nivel provincial, usas las redes de transporte de terceros, REE, Adif, Cellnex, etc. Si es verdad, que al contrario que el resto de operadores, tiene más tramos de interprovincial propios, pero no son el grueso de su backhaul.

Por ejemplo, para hacer la ruta Granada - Madrid, tienen una latencia RTT (ida y vuelta, como cuando hacemos un ping) de algo más de 10ms, mientras que otros operadores tienen tiempos cercanos a la mitad (porque tienen rutas DWDM directas hasta Madrid)

Incorrecto de nuevo, la diferencia de latencias es porque Movistar transporta más información por enlaces de la misma capacidad = mayor latencia. También influye que la configuración de la backhaul de Movistar no es full-radial Madrid-Cabecera de provincia (tampoco lo es la ningún otro operador, todos siguen más o menos las mismas rutas, porque todos usan los mismos carriers de transporte), lo que contribuye a aumentar las latencias, porque por ejemplo, la mayoría de las provincias de la vertiente cantábrica, van hasta Bilbao para bajar a Madrid, al igual que la mayoría de las provincias de Andalucía van hasta Granada, para subir a Madrid.

El BNG (que en Movistar residencial suele tener la 192.168.144.1) está a 2,7ms, que indica una distancia de unas decenas de km

Con 2.7ms, puede estar perfectamente en otra provincia, que no es el caso de Movistar, que todos los BRAS están en las centrales cabecera FTTH provinciales. Cuando obtienes menos de 1ms, es que direcamente el BRAS está en tu misma central cabecera.

También hay que tener en cuenta, como el ISP monte el servicio, Orange, usa DHCP para sus FTTHs, lo que implica que tu primer salto, no es el BRAS, sino un router "normal y corriente".

En el caso de las conexiones indirectas, NEBA's y VULA's, el BRAS del operador, puede o no, ser el mismo BRAS provincial o uno dedicado a nivel nacional.

Nota: El primer salto, no tiene porqué ser el BRAS y de hecho, no lo es la mayoría de las veces.

Todo lo demás, perfecto.

Sobre este tema no se suele hablar mucho, no porque sea un secreto, sino simplemente porque no hay usuarios interesados en el tema y es algo que básicamente se habla entre ingenieros.

🗨️ 2
EmuAGR

… al igual que la mayoría de las provincias de Andalucía van hasta Granada, para subir a Madrid.

Eso tengo que comprobarlo yo a ver si es así y resulta medible.

No me parece que tenga mucho sentido pasar por Granada desde Sevilla, cuando tienes una fantástica línea de AVE desde hace 30 años, recta y en plataforma reservada, llena de fibra.

🗨️ 1
rbetancor

Es medible, es medible, créeme, haciendo pruebas de latencias contra objetivos concretos (olvídate de los paths de saltos) y se puede observar el patrón de +2.5, +3.8, +4.6 en el aumento de latencias de las provincias orientales, las provincias occidentales se observa un patrón parecido, pero más "bajo", ya que salen por Sevilla, vía la red de ADIF que va bajo las vía del AVE, que es el principal backhaul de salida de Andalucía hacia el centro.

Josh
1

Los que estamos fuera solo podemos entender cómo funciona gracias a la info que proporcionais los que trabajáis en el sector, así que gracias por tomarte el tiempo en explicarlo. Tomo nota para mis artículos.

Josh

Para escribir cualquiera de mis artículos lo que hago es empaparme de documentación, preguntar a los que saben, leer aportaciones únicas como la que ha hecho @andressis2k y a partir de ahí organizo la info, creo infografías, etc, para hacerla entendible.

Tomo nota para escribir sobre ello incluyendo la info que se está aportando en este hilo.

Por cierto, este artículo formaría parte de la serie:

🗨️ 1
bocaditoDePez

@Josh Esperare entonces a esa segunda parte… ;)) Veo que has pillado la idea del articulo y la posible saga.

Gracias @andressis2k, @rbetancor, @txuspe por vuestros aportes, justo por donde queria que fuese el hilo con el tipo de info que necesitaba.

Sobre todo el tuyo "txuspe", con el parrafo de equipos DPI y el muestreo que hacen. Muy muy interesante.

andressis2k

Telefónica podrá usar alguna fibra oscura de muy larga distancia… pero no veo a Telefónica conectando ninguna central con un circuito DWDM 10G/100G de otro operador. Cuando digo "no lo veo", me refiero a que nunca lo he visto… aunque como poder, puede que las haya.

En lo de la multiplexación / compresión, toda la razón. Sólo pretendía explicarlo "a lo fácil".

Lo de que el tráfico se concentra en Bilbao y Granada…Aquí están algunos de los diagramas de grandes operadores. Aunque son mapas "de exposición", son bastante fidelignos a los reales:

lyntia.com/red-fibra-optica

axent.es/red-de-axent

reintel.es/es/infraestructuras/mapa-red

El hecho de no contratar tramos radiales es, entre otros, de costes. Si contratas un anillo Madrid - Valencia - Granada - Málaga - Sevilla - Extremadura - Madrid, tienes media España conectada. Y aunque las rutas son más largas (lo que se traduce en más latencia), el total de km de fibra contratado es mucho menor que si tuvieras una ruta radial desde Madrid hasta cada una de las ciudades

Un saludo

🗨️ 1
rbetancor

Telefónica podrá usar alguna fibra oscura de muy larga distancia… pero no veo a Telefónica conectando ninguna central con un circuito DWDM 10G/100G de otro operador. Cuando digo "no lo veo", me refiero a que nunca lo he visto

Las cabeceras provinciales sí, bastantes de ellas, pero no son circuitos DWDM, sino circuitos de fibra oscura.

De las cabeceras provinciales de Extremadura, por ejemplo, se sale por ADIF hasta Toledo, donde ya entra en el Backhaul propio.

De varias de las centrales de Barcelona capital, for example, se usan circuitos de fibra oscura de GTD, lo gracioso es que Movistar los considera fibra propia … aunque son en realidad un renting/leasing a 30 años.

Los mapas de cableado, ya sabes, hay que tomarlos con una pizca de sal, la info real no está públicamente accesible y en los mapas de exposición, casi siempre se incluyen como tramos propios, circuitos de fibra oscura de terceros o rentings a largo plazo. Por ejemplo, Lyntia no tiene cable propio a Baleares, usa el del sistema Rómulo de REE.

Y ya si tenemos en cuenta los movimientos de activos excedentarios, las ventas con realquiler y todo tipo de operaciones financieras que se hacen con los activos, muchas veces es muy complicado saber quien es el verdadero dueño del cable que está en uso.

El hecho de no contratar tramos radiales es, entre otros, de costes.

Lo sé, lo hemos comentado varias veces, sobre todo cuando aparecen de vez en cuando el gammer de turno por el foro, despotricando porque no entiende porqué su tráfico tiene que ir a Madrid para saltar de una red a otra. Ya es complicando que entiendan como funcionan las redes de forma simplificada, como para meterles en la ecuación temas de costes.

txuspe
3

Hola.

De la malla fotónica no puedo hablar porque no la conozco, pero de la red IP sí.

En el caso de Telefónica, la arquitectura de la Red Fusión (así se denomina) se corresponde con la imagen que podéis ver en este artículo. El nivel HL1 sería el peering (enlaces con TIWS, cachés de Netflix, etc.), el nivel HL2 sería la red nacional, el HL3 sería provincial y los nodos HL4 actúan de PE y BNG. A estos últimos se conectarían las OLT de fibra o los clientes Macrolan, por ejemplo. En algunos lugares existen equipos HL5 para dar servicio a estaciones de telefonía móvil, básicamente.

gazettabyte.com/home/2016/10/25/telefoni…network.html

Todos estos equipos son Juniper y Nokia (antigua Alcatel-Lucent). Siempre van por parejas: si hay un HL2 en un cierto emplazamiento, en realidad se colocan dos, uno de cada fabricante. De esa manera tienes redundancia por si a uno de ellos le ocurre algo.

Por cierto y sobre la red WDM, se está empezando a hablar de utilizar SFPs DWDM directamente en los routers, de manera que te ahorras utilizar equipos WDM dedicados.

Sobre el análisis del tráfico, no se hace pasar todo el tráfico por equipos DPI sino que se muestrea. Los equipos de borde (HL1 por arriba y HL4 por abajo en el caso de Telefónica) copian por ejemplo un 1‰ (uno por mil) del tráfico y lo mandan a unas colectoras que analizan el tráfico y con eso se extrapola.

Un punto curioso es que la red es totalmente dual-stack: se puede activar IPv6 a cualquier cliente residencial con un clic y funciona perfectamente.