Por supuesto la solución sería una VPN, ya que vas a usar redes públicas y necesitarás que los datos viajen encapsulados y encriptados para evitar intrusiones.
También tener en cuenta un control del ancho de banda, ya que la ADSL es asímetrica por definición, y si usas la misma línea para acceder a Internet puede que te quedes sin ancho de banda de subida enviando datos a la otra oficina y tengas los típicos problemas que tienen los usuarios de los programas P2P que ahogan el canal de bajada cuando no se configuran adecuadamente.
Deberías hacer un análisis del posible impacto del tráfico entre ambas redes. Redes mal diseñadas pueden tener un tráfico latente de broadcast o de replicación innecesaria. Para evitar la redundancia de tráfico, define dos subredes IP independientes y rutas estáticas de una a otra a través de la interfaz virtual generada por la VPN.
Si es una red Windows, montar un Server en cada localización que controle los recursos locales y nunca depender -en la medida de lo posible- de recursos remotos en una línea de baja velocidad como es el ADSL. Luego defines la replicación del directorio activo entre ellos para que el conjunto sea visto como un único dominio.
Si tu empresa se lo puede permitir (tiene pinta de que sí puede, ya que tiene dependencias en varios lugares) estudia la posibilidad de contratar con tu operador telefónico (o incluso otro diferente especializado en esos temas) una línea simétrica de datos privada aislada de Internet, o sea, que el túnel te lo hagan ellos en vez de hacerlo tú por tu cuenta.
Por último hacerte notar que eso no lo vas a conseguir montar con los típicos routers que los proveedores proporcionan. Búscate un router de gama medio-alta, como por ejemplo un DrayTek Vigor de la serie ADSL 2600. La serie VPN 2900 o la superprofesional 3300, ambas especializadas en seguridad VPN, no llevan modem ADSL incorporado pero se podrían colocar detrás de tu actual acceso.
Otra posibilidad es usar un PC servidor en cada edificio para establecer la VPN. En ese caso dependerás del software de VPN y cortafuegos que tengas instalados y de la seguridad del propio sistema operativo, pero no tendrás que gastar en un router. Si tienes que comprar un PC para ello, pues hombre, el router por muy de alta gama que sea siempre te va a salir más barato.
Saludos.