Hola,
No puedes exigir que se vayan en cualquier momento.
Cuando tú arrendas esa vivienda, el arrendatario puede unilateralmente prorrogar el contrato por 5 años, aunque inicialmente sea de 1. Durante este periodo no puedes exigir al arrendatario que abandone la vivienda, ni mucho menos echarle (entrar en el piso solamente sin su consentimiento sería allanamiento de morada, que es un delito según el CP).
Con la nueva ley, me parece que sólo puedes emprender acciones judiciales en el supuesto de que el arrendatario te deba más de 3 meses de alquiler. Antes de esta ley, ni eso.
Si tienes dudas acerca de la seriedad del inquilino, mi consejo es que no le arrendes. Que sigas buscando hasta que encuentres a alguien que no te haga pensar en eso, vaya. Y si la vivienda está en la Comunidad de Madrid, haz el contrato a través de la consejeria de vivienda, que sin pagar ni un duro, te proporcionan peritos, abogados, seguro de impagos... para ayudarte con todos los lios que te puedan surgir.