Lógico, tu dirección IP es propiedad de tu proveedor (que te la alquila o cede temporalmente) y el proveedor es el encargado de gestionar su sistema autónomo (AS) que comprende una serie de bloques de direcciones IP. Los routers de frontera intercomunican sistemas autónomos y propagan rutas, diciendo "este bloque de direcciones es alcanzable a través mía, para todo el mundo... o solo para este grupo de sistemas autónomos".
Y ahí está el problema, en la última parte, puesto que todo esto no es gratis. Se paga el ancho de banda de subida a precios diferentes al ancho de banda de bajada, y los carriers internacionales que se dedican a este negocio, compiten en precios pero también en calidades y no siempre lo mejor es lo más barato. Cuando se interconectan, pueden perfectamente decir a qué "clientes" les dan preferencia, asociando sus bloques de direcciones a un carrier mejor, más rápido o más directo, dependiendo del beneficio económico que van a obtener.
O puede suceder perfectamente, que no tengan contratados servicios bidireccionales con un determinado proveedor. Que el tráfico de ida vaya con uno y el tráfico de vuelta vaya con otro. O que sea culpa del carrier del destino: un proveedor A usa un carrier internacional A' y un alojador de contenido B al otro lado del mundo usa un carrier internacional B', si A' y B' no tienen acuerdos de interconexión pueden necesitar de otros carriers C' y D' que quizás sí enlacen entre ellos... y cada uno de los 6 que intervienen para llegar de A a B y vicecersa, tienen políticas comerciales diferentes.
Puedes preguntar a OVH o a tu proveedor, pero en general es muy difícil conseguir lo que pretendes.
