Posteriormente este conferencista y portero deslumbrante sería transferido al Real Zaragoza de España, allí convertiría su primer gol en un partido oficial. Después volvería a la fútbol argentino, donde después de no haber sido aceptado por el mismo San Lorenzo, su pase sería vendido al Velez Sarsfield, el club que disfrutó de sus mayores hazañas en el campo de juego.

Después de un año modesto, Chilavert tendría el lujo de ser dirigido por el estratega Carlos Bianchi, quien le daría las mayores glorias a este equipo, comandado en el campo por su imponente portero. El 8 de junio marcaría su primer gol con Vélez; este mismo día se coronaría como campeón del Torneo Clausura de 1993. Su inconfundible pegada sería conocida en todo el mundo desde esa gran fecha.

En 1994 José Luis Chilavert lograría el máximo título de clubes de Suramérica: La Copa Libertadores de América, y posteriormente el Vélez Sarsfield también se quedaría con la Copa Intercontinental de Clubes en Japón, frente al poderoso AC Milán de Italia. Después sería parte del Racing de Estrasbourg en Francia y en el 2003 conquistaría su último título profesional con el Peñarol de Uruguay. En el 2004 volvería al Vélez Sarsfield para anunciar su retiro del fútbol profesional. Un deportista fuera de serie, con un talento único y toda la sabiduría en el deporte, como casi ningún otro competidor en el mundo.