Configura en el portal unifi Network (Controlador), no lo hagas en el telefono con la app. Y ten presente que para el portal cautivo el controlador debe de estar siempre funcionando.
Primero asegúrate de tener los parámetros de red del AP bien definidos,o por dhcp o de forma manual ( IP, puerta de enlace, dns...)
Luego debes de ir a Configuraciones > Redes inalámbricas
Añadir una red inalámbrica, poninedo el ssid, tipo de seguridady clave. Para probar el funcionamiento de forma inicial cuanto menos cosas tengas configuradas - opciones - , mejor.
Añadir la red de invitados > Poner el ssid y deja la opción de seguridad en abierta y luego activa la opción de aplicar las políticas de invitado.
Luego vas a Gestión de invitados y activas el portal para invitados. En las opciones puedes dejar la red de invitados abierta, con una con una contraseña... así como personalizar varias cosas.