Si tienes muy mala cobertura WiFi si que puede influir, si no, no debería. Incluso si la WiFi que tienes es b de las antiguas, no pasarías de 6 en bajada o subida, pero no creo que sea el caso ya que la subida la tienes capada también.
¿Esos 4000/320 son datos que te da en kbps el test de descarga? Porque la subida debería si fuese a tope 400 y algo y de bajada 8000 y pico normalmente.
Si no tienes pérdida de paquetes muy considerable (lo puedes comprobar en la web del router donde salen los datos de sincronía) pues a saber qué puede ser.
Puedes comprobar la configuración TCP, utiliza el software que tienen aquí en la web por ejemplo para ver si se arregla optimizándola, aunque mejoras tan grandes no creo.
Saludos