Отто Рехагель в качестве тренера сборной Греции по футболу (справа), 2008 г.
Тренерскую карьеру Рехагель начал в 1974 году в «Киккерс». Затем возглавлял такие клубы, как «Вердер», дортмундская «Боруссия» и «Арминия». В 1980 году завоевал во главе дюссельдорфской «Фортуны» свой первый трофей — Кубок Германии. В 1981 году Отто Рехагель вернулся в «Вердер», после чего возглавлял этот клуб в течение 14-ти лет, выиграл с ним два чемпионата Германии, два Кубка Германии и — в сезоне 1991/92 — Кубок обладателей кубков. Затем был неудачный сезон 1995/96 в «Баварии», после чего Рехагель оказался во второй лиге в «Кайзерслаутерне». Он вывел эту команду в первую Бундеслигу, одержав с ней победу во второй лиге в сезоне 1996/97, и стал чемпионом Германии в сезоне 1997/98. Данная победа оказалась первым и, пока что, единственным прецедентом, когда команда выиграла Чемпионат страны по футболу в свой первый же сезон нахождения в высшем дивизионе Германии.
В 2001—2010 годах главный тренер греческой сборной. В 2004 году Рехагель выиграл чемпионат Европы с Грецией. На чемпионате мира 2010 в ЮАР его команда заняла в группе третье место и не вышла в плей-офф, после чего он покинул свой пост.
После небольшого перерыва вернулся в Бундеслигу и возглавил берлинскую «Герту». Под его руководством «Герта» в сезоне 2011/12 года заняла 16 место и, проиграв по сумме стыковых матчей «Фортуне» из Дюссельдорфа (1:2 дома, 2:2 в гостях), вылетела из Бундеслиги.