Lo ideal es que hagas la prueba usando el comando ping y a un servidor en concreto, por ejemplo, 1.1.1.1 suele ser de los mejores para medir latencias y en España responde desde el datacenter de Interxion en Madrid creo recordar.
En mi caso con O2 (Movistar) tengo 12,28 ms conectado por cable desde Málaga y es una latencia excelente. Pero evidentemente si hago ping a ovh.net que está en Francia la latencia subirá a 34-36 ms.
Es importante medir las latencias usando siempre una IP en especifica. Servicios como Speedtest pueden cambiar de IP en función de la carga y la latencia de sus nodos y puede que no siempre estés midiendo con el mismo servidor.
Lo normal con una buena fibra y por esa zona, deberías tener menos de 20 ms a 1.1.1.1 por cable, si tienes más, para mi no sería una buena conexión. Y esto se puede deber, por el operador y sus acuerdos de enrutamiento o al router que te instalan.