Una cosa es el codec (la codificación por así decirlo) y otra cosa es el contenedor (cómo se guardan los distintos "streams" de datos. Por ejemplo: stream de audio en inglés, stream de audio en castellano, stream de vídeo y archivo de subtítulos).
El codec que suelen poder reproducir los DVDs esos es una forma básica de MPEG-4. El formato h.264 entra dentro de la categoría MPEG-4 Part-10, que es una forma mucho más avanzada de MPEG-4 que la habitual y que requiere mucha potencia de proceso.
Lo de m4v y mp4 es por así decirlo el "paquete" donde están todos los datos y a veces unos reproductores permiten unos contenedores y otros permiten otros contenedores.
No sé si habrá traducción del Handbrake en castellano (porque el OS X y las aplicaciones las tengo todas en inglés por preferencia personal), pero aun así te digo cómo es bastante posible que puedas pasar los vídeos a un formato que pueda reconocer bien:
Arriba a la derecha pone: "Toggle Presets" (algo así como "Mostrar predefinidos") y aparece en el lado derecho unos cuantos perfiles por defecto. Entre los perfiles de la última versión (0.9.3) hay uno que estoy bastante seguro de que te debería funcionar bien: Basic -> Classic.
Prueba primero con un DVD-RW y un vídeo corto, y si va bien, ya sabes ;)
Cuéntanos qué tal te ha ido.