Joachim Löw igračku je karijeru započeo u drugoligašu iz Freiburga, a u tri se navrata pokušao oprobati i u bundesligašima (Stuttgart, Eintracht, Karlsruher). No, mnogo je više uspjeha imao u nižem rangu natjecanj.a Igračku je karijeru zaključio u Švicarskoj. 

 
Trenerski učinak bio je ipak mnogo bolji nego igrački i cijelo je vrijeme bio među prvoligašima. Doduše iz Njemačke (Stuttgart, Karlshuher), selio je u Tursku (Fenerbahce i Adanaspor) te Austriju (Tirol, Austria Beč).

 
Sa Stuttgartom je stigao do naslova njemačkog kupa, ali i do finala Kupa pobjednika kupova (poraz od Chelseaja). U Austriji je osvojio naslov prvaka s Tirolom, a potom je preuzeo bečku Austriju. Paralelno s klupskim zanatom, odrađivao je posao pomoćnog trenera Jürgenu Klinsmannu na klupi njemačke reprezentacije. I upravo uz reprezentaciju Löwa vežu najveći uspjesi. Na SP-u 2006. godine kao pomoćni trener stigao je do trećeg mjesta.

 
Ubrzo nakon završetka SP-a Klinsmann se povukao s izborničke funkcije, a čelnici DFB-a na njegovo su mjesto promaknuli Joachima Löwa. Samostalni put na njemačkoj klupi započeo je uvjerljivom 3:0 pobjedom protiv Švedske a potom i kroz kvalifikacije za Euro.