Hay que matizar que ese procedimiento que describes sólo sería válido en W9x/ME. En Windows 2000 o XP, sólo estarías eliminando el icono de acceso directo al programa en el menú Inicio (como se puede leer en la información adicional que aparece en la ventana de Agregar o quitar programas cuando seleccionas "Outlook Express"), por lo que, si fuese este último caso, eso no le solucionaría nada.
Aparte, que creo que el corrector ortográfico no viene de serie con Outlook Express, con lo que, en tal caso, reinstalarlo no le va a servir de nada. No sé si esto será general o no, pero yo, de primeras, no tengo la posibilidad de hacer revisiones ortográficas en los mensajes, al no tener un diccionario instalado. Me aparece dicha opción después de instalar Office, el cual me instala el diccionario del que Outlook se puede servir.
Esto último, como digo, no sé si es general o sólo me pasa a mí, pero lo que sí puedo asegurar es lo primero (lo del icono).
Un saludo