-Si el puerto está abierto, se podrá detectar con un simple escaneo como tú dices.
-Puedes limitar el acceso a ese puerto usando ipset para cargar listas de direcciones de confianza, por ejemplo si sabes que todos los iperf los vas a hacer desde líneas de Vodafone y Telefónica, puedes cargar todas las rutas de los AS de Vodafone y Telefónica en una lista ipset y meter una regla iptables para permitir solo el acceso a origenes de esa lista.
-También puedes limitar el acceso mediante "port-knocking". Por ejemplo, para que te abra el puerto del iperf primero debes intentar conectar a los puertos 1234 y 5678. No es necesario que los tengas abiertos, el propio iptables detecta los intentos y te abre el puerto del iperf sólo para tu origen por un tiempo limitado.
-Puedes, en lugar de montar tu propio iperf, usar los servidores que ya están disponibles. En la página de iperf hay un listado de servidores que admiten conexiones para que hagas pruebas y no tengas que montarlo tú mismo.