Buenas amigo ! Ese problema lo tuve yo hace bastante tiempo.
Si tu router, no tiene una opción para controlar el ancho de banda me temo lo siguiente.
Tendrás que instalar en cada pc un software para limitar el ancho de banda , te explico que hice yo.
Tenia 50MB/5MB de Telefónica FTTH.
2 Portatiles, 1 sobremesa. Pues Limitación de descarga en cada pc a 15mb y de subida 1,5mb ( de ancho hablamos no de descarga ). y me sobraban 5mb , pues los deje libres porque aveces conectamos con el móvil y pda.
taringa.net/+info/limitar-el-ancho-de-ba…en-red_i72x9
espero que te sirva Gracias