Buenas, antes de nada he de decirte que qmail no es demasiado complicado de instalar, y que una vez instalado casi te puedes olvidar de él, no *suele* dar ningún problema. Al menos así me ha pasado a mí, tengo una instalación de qmail que tiene casi un año y no me ha dado problemas.
Bueno, volviendo al tema, la prueba fundamental que debes hacerle a tu servidor de correo es si permite el "relay abierto", o como se definiría en nuestra lengua, ver si permite a cualquiera enviar correos a cualquier otra persona. Si es así, tienes un problema. Estos servidores que permiten enviar mensajes a todos los dominios (y que se lo permiten a todas los que conecten) son una fuente de spam increíble. Deberías (si es tu caso) configurar el servidor para que sólo permitiera relay abierto a unas cuantas IPs, o que sea necesario identificarse (smtp-auth) o que se necesite conectar vía pop3 antes de enviar (pop-before-smtp, creo). Creo que para eso postfix está muy bien y es fácil de configurar.
Si no se te ocurre cómo hacer la prueba, sería simplemente conectar desde un PC de la misma red que el servidor y desde un PC de fuera. Esta conexión la haces con telnet mismo, de la siguiente forma (en negrita lo que debes teclear tú):
$ telnet IP_servidor 25
Connected to correo.adirc.net.
Escape character is '^]'.
220 tal.dominio ESMTP
HELO pruebaspam
250 tal.dominio
MAIL FROM: <uncorreo@cualquiera>
250 ok
RCPT TO: <uncorreo@dominio_que_no_sea_el_de_tu_servidor>
Llegados a este punto, puede:
1) Aceptarte el mensaje: Tu servidor es un coladero, pero de spam. Páralo y configura bien el relay.
2) Denegártelo (ejemplo):
553 sorry, that domain isn't in my list of allowed rcpthosts (#5.7.1) (esto en qmail, claro).
Si te lo deniega, perfecto. Eso sí, comprueba que hay algún método para que tú y las personas de confianza que usen el servidor podáis hacer relay abierto.
Pues nada más, creo que he soltado aquí un rollo patatero, pero espero que te sirva.
Un saludín y feliz año
Editado: Los < y > no salían.