Problemas ded dns

Hola amigos, como andan? Instalé internet a través de un router con un switwch a 10 pc. andan 9 y una se conecta con las IP de los sitios pero no con los nombres de dominio. A mi entender es algun problema de servidor DNS, pero de la máquina, debido a que la dirección de estos estan en el router para todas igual. Puede tener algo que ver el antivirus o el firewal de windows? Si alguien tiene una idea de como solucionarlo se lo agradezco. en todas tengo windows xp profesional
Saludos

Jonatan