Ono što mu nije uspjelo kao nogometašu nadoknadio je kao trener. Prvo je trenirao Ankaragücü (1987) i Götzepe (1989), a zatim je 1996. stigao u Galatasaray i postao njihov najbolji trener u povijesti. Osvojio je četiri uzastopna naslova prvaka i Kup Uefa. To mu je donijelo priliku da trenira i talijanske klubove, Fiorentinu (2000) gdje su ga svi obožavali, te Milan (2001), odakle je zbog loših rezultata morao otići. Poslije se ponovno vratio u Galatasaray, ali više nije ponovio prijašnje rezultate. 

Reprezentaciju je vodio u dva navrata. Najprije od 1993. do 1996. kada je Tursku odveo do EP-a u Engleskoj, no tri poraza u skupini bez postignutog gola prisilila su ga da odstupi. Vratio se 2005. te nakon neuspjeha u kvalifikacijama za SP 2006. otišao s Turskom do EP-a 2008. Zahtijeva čeličnu disciplinu i potpunu profesionalnost igrača, pravi je vođa i potpuni ovisnik o nogometu, pa ga zbog toga nazivaju Imperator.