Depende de que juego.
Si quieres un servidor tipo Half-Life por ejemplo, necesitas un buen CPU, bastante RAM y mucho upload:
Cada jugador va a usar aproximadamente 32Mo de RAM y + o - 6Kb/s de conexión.
Tu conexión puede subir teoricamente a 320/8 = 40Ko/s, de los que quitamos un 20% de pérdidas y uso del protocolo, lo que te dá 32Ko/s realmente disponibles.
Por lo tanto, tu servidor podrá soportar un máximo de 32/6 ~= 5 jugadores con un ping razonable.
Si entran más jugadores, tendrán un ping > a 200 o 300, lo que es un infierno.
Saludos.
EDIT: como lo acaba de añadir un BocaDePez más abajo, si es para jugar en red local, que suele ser de 100Mbps o 12,5Mo/s, permitiría jugar con 40 players a la vez y con un ping insuperable de 20ms o menos jejeje. Eso sí, comería la RAM y el CPU del servidor a saco.