"Conectado pero sin acceso a internet" mientras estoy navegando

Pues eso, hace ya unos días que cuando estoy navegando y voy abrir alguna pagina me sale un cartelito en el navegador que dice:

Conectado Pero Sin Acceso A Internet u otro que dice dirección de IP no encontrada, pero lo raro es que al pasar unos 10 segundos si que se conecta solo, he reiniciado el router, lo he puesto de fabrica y aun continua con lo mismo, es un coñazo que no se conecte directamente y me salte el cartelito ese, alguno sabria decirme que hacer, muchas gracias.