Bueno, en ese entorno lo típico es que el modem de cable le proporcione al router una IP pública en su interfaz WAN. El router, a su vez, va a realizar una traducción de direcciones de red (NAT) desde la IP pública de fuera a las IPs privadas conectadas a su interfaz LAN, formada en este caso por un switch Ethernet 10/100 de 4 bocas.
El router tendrá una IP privada, típicamente 192.168.0.1, aunque el fabricante puede haber decidido poner otra. Eso te vendrá en el manual. Y los PCs, a su vez, deberán tener una IP privada en el mismo rango que la del router. Es típico también que los routers proporcionen esa IP automáticamente a los PCs mediante el protocolo DHCP, pero a veces viene activado por defecto y a veces no. Depende del fabricante, y te vendrá también en el manual.
Ahora bien, si me dices que los PCs adquieren una dirección y te puedes meter con el navegador a programar tu router LinkSys, lo más probable es que todo esté correcto y los problemas que tienes vengan porque el router no ha sabido trasladar a los PCs la información sobre los servidores DNS que el modem de cable USR le ha proporcionado.
En ese caso, lo mejor es que apuntes a mano las direcciones de los servidores DNS cuando te conectes con el modem directamente, y en las propiedades de red del PC escribas la dirección a mano. Así tendrá prioridad sobre lo que el router pueda (o no pueda) enviarle.
Espero que ese sea el problema y te lo haya aclarado.