Posiblemente se deba a interferencias. Si quieres saber si es por saturación en los canales usa una aplicación tipo Netstumbler o inSSider y observa cuales son los canales más libres. En base a eso cambia tu punto de acceso en el canal que más convenga.
Pero el problema puede ser debido a una fuente de interferencia que no necesariamente tiene que estar en la banda de 2,4GHz, o alomejor sí. Tal vez un horno microondas que tiene "perdidas", o algún inhibidor de alguna obra cercana, o alguna antena de telefonia tambíen cercana.
Puedes usar un analizador de espectro como el AIRVIEW de Ubiquiti para ver algo más.
Por ejemplo, yo vivo muy cerca de un puerto y he observado que cuando un barco "enciende motores" se me cae la conexión.
Otra opción es que pongas un punto de acceso que emita a mayor potencia, que aunque aqui en españa no está permitido superar más de 100mW según la normativa, sinceramente eso nadie lo comprueba hoy por hoy. El nanostation 2 o el Pico 2 hp son buenas opciones.