Me he fijado en que el Google Nest perdía la conexión de vez en cuando. He puesto un analizador de wifi en el móvil y comprobado que en el canal que estaba usando (el 64) había pila de gente.
He cambiado al canal 112 en el que no había ninguna red y de momento todo parece ir bien. Pero me escama un poco que a nadie le de por poner este canal.