Un redhat 5 / 6 podría ir relativamente bien, pero estamos hablando de algo realmente anticuado.
Yo tengo varios equipos, entre ellos un pentium 133 con 46 de ram.
He estado haciendo algunas pruebas de rendimiento en este y tengo una idea más o menos clara: Las distribuciones actuales son más o menos utilizables con más ram, en caso contrario estarías tirando de swap (nota para no windowseros: lo cual implica disco duro) continuamente y esto es incluso más indeseable que la velocidad del micro.
En cuanto al modo gráfico, hay varios entornos que incluso pueden estar instalados simultaneamente.
Te diré que Gnome o KDE te irán realmente mal. Quizá la solución podria ser probar un entorno ligerito como fvwm95 que viene con casi todas las distribuciones.
Ya que estás por aprender quizá te convenga una distribución como gentoo, que aun que no es muy intuitiva, existe mucha documentación para instalarla y utilizarla. Lo más interesante de esta distribución es que se compila para tu maquina en concreto obteniendo sobre un 10% de mejora en el rendimiento a costa de una instalación mucho mas larga (hay q esperar a que se compile).
Que no te asuste lo de "compilar" algo,... cuando leas un par de textos verás que casi siempre es igual.
Weno,... ya q no se me ocurre nada más q poner te repito q te compres un poco de ram para poder sacarle el máximo probecho a ese cacharro y que léas mucho. MUCHO.
Otro consejo q te podría dar es q hagas tus propios experimentos en un pc un poco más potente para no perder la paciencia.