Hay dos formas de poder tenerlos en red y además tener salida a internet:
1- Añadir una tarjeta de red a cada ordenador, ponerles IP's del mismo rango (p.ejemplo. 192.168.0.10 y 192.168.0.20) y conectarlos mediante cable cruzado (o conectar ambos a un hub mediante cable directo). De esta forma ambos ordenadores tendrán salida a internet independiente y podrán verse a través de la segunda tarjeta de red (para poder añadir más ordenadores y que tengan salida a internet deberías usar un hub: conectar los ordenadores al hub mediante cable directo, tener encendido siempre uno de los que estén conectados al cablemodem, configurar compartir la conexión de internet en los equipos, uno como servidor y los demas, los que no tengan conexión directa al cablemodem, como clientes)
2- Conectar un router al cablemodem y los ordenadores al router (para no tener que dejar encendido siempre uno de los ordenadores para dar salida a internet a los demás). De esta forma solo estarás usando una IP de las que te proporciona tu ISP.
La parte de tener un ordenador encendido para que actue como servidor de internet para los demás, también se puede hacer usando solo una de las IP's.
De todas formas lo más fácil para tener tus ordenadores conectados en red, y con salida a internet, es utilizar un router. Normalmente, de fábrica, el router coge la IP pública que proporciona tu ISP desde el cablemodem (conectado a la entrada WAN del router) y ofrece IP's privadas, del mismo rango, a los ordenadores que se conecten a las demás bocas (los routers de cable, normalmente, vienen con un hub o un switch integrado con 4 bocas). También podrías conectar un hub, o un swich, a alguna (o a todas) boca del router si tienes más de 4 ordenadores (o el router solo tiene una boca).
Si utilizas programas P2P, messenger, net meeting, etc, después deberas configurar el router para abrir los puertos que utilicen esos programas (un router también suele actuar como firewall, por lo que ganarás en seguridad en tu conexión a internet).