Es una pérdida de tiempo, dependiendo del procesador usado, una instalación puede durar incluso días; es una pérdida de dinero, ya que estar compilando continuamente eleva el consumo eléctrico; acorta la vida de los componentes, especialmente del procesador cuyo proceso de degradación se acelera debido al estrés sometido.
Una vez instalado tienes que actualizar el sistema cada semana como máximo porque de lo contrario, si esperas algo más de tiempo, entras en un infierno de dependencias que te tendrán atrapado frente a la pantalla durante horas para resolverlo. Cuando algo se rompe en Gentoo puedes echarte a temblar.
Las ventajas de usar Gentoo con respecto a otras distribuciones son: el poder construir tu sistema desde cero y un aumento de rendimiento al usar paquetes compilados con las flags de tu procesador. Con respecto a lo primero, tiene sentido si te quieres salir del camino de la mayoría, por ejemplo, si quieres usar otra librería C o no quieres usar systemd, aunque ya haya alternativas binarias como Void o Alpine para ello; pero si vas a usar una instalación típica con un escritorio como XFCE, Gnome o KDE, entonces no tiene ningún sentido. Con respecto a lo segundo, eso era una ventaja en CPUs muy antiguas, ya que en las modernas, las ganancias de rendimiento son imperceptibles.
En definitiva, pienso que el 90% de sus usuarios sólo la usan por ser la distribución más difícil y compleja y para presumir de ello. Gentoo solo tiene sentido en instalaciones minimalistas.