Si ambos equipos tienen salida a Internet a través del router, ya están, efectivamente, en red. Puedes comprobar la conectividad haciendo un PING desde uno a la dirección del otro. (Si falla ese test, pero ambos tienen conectividad normal a Internet, lo más probable es que el firewall esté bloqueando esa comunicación)
Lo que supongo que quieres es compartir ficheros entre archivos, y eso ya dependerá del sistema operativo que utilices, si estás en un entorno Windows, verifica que ambos equipos pertenezcan al mismo grupo de trabajo, y podrás compartir carpetas a través del menú contextual que aparece al hacer click con el botón derecho del ratón sobre el icono de la carpeta.
Hay muchos tutoriales por Internet sobre como configurar una red casera bajo Windows. Pero recuerda, si logras que ambos salgan a internet a través del router, los requisitos físicos (y parte de los lógicos) ya los tienes cumplidos.