Хавьер Клементе начал карьеру в клубе «Атлетик Бильбао», за который он выступал с 1968 года по 1974 год, проведя 47 матчей и забив 6 голов. В 1969 году Клементе выиграл с клубом кубок Генералиссимуса. Карьера Клементе оборвалась из-за тяжелой травмы. Но Клементе не оставил спорт и стал тренером, первыми его клубами стали «Аренас», «Баскония» и второй состав «Атлетика».
В 1981 году Клементе возглавил первую команду «Атлетика», начав одну из самых успешных эпох в истории клуба. В 1983 году клуб выиграл чемпионат страны и кубок Испании. После чего Сесар Луис Менотти, тренер «Барселоны», очень нелестно выразился в прессе о Клементе, назвав методы его работы авторитарными, а саму команду играющей в строго оборонительный футбол, на что Клементе назвал Менотти «стареющим хиппи» и «бабником». Соперничество проявилось и на футбольном поле, например защитник «Атлетика» Андони Гойкоэчеа нанёс очень тяжелую травму ударом сзади по ногам Диего Марадоне, за которым охотилась вся команда «Атлетика», за что получил прозвище «Мясник из Бильбао», а 5 июля1984 года игра команды завершилась массовой дракой.
После ухода из «Атлетика», Клементе стал главным тренером клуба «Эспаньол», с которым он добился 3-го место в чемпионате, и даже вывел клуб в финал кубка УЕФА, по пути одолев «Милан», но в финале клубы выиграли домашние матчи со счётом 3:0, а по пенальти был сильнее соперник «Эспаньола» — «Байер». Затем Клементе работал с «Атлетико Мадрид», приведя клуб к «серебру» чемпионата, затем вновь с «Атлетиком», а потом с «Эспаньолом».
В 1992 году Клементе возглавил сборную Испании. Он тренировал команду на двух чемпионатах мира и чемпионате Европы, всего работая с командой на протяжении 62 матчей (36 побед, 26 ничьих и 6 поражений), с 9 сентября1992 года (победа над Англией 1:0) по 5 сентября1998 года (поражение от Кипра 2:3), в которую входит беспроигрышная серия на протяжении 31 игры. Но всё же Клементе не добился с командой значительных успехов, зато часто критиковался за любовь к баскским игрокам и за то, что не приглашал в сборную капитана «Барселоны» Хосепа Гвардьолу.
Затем Клементе тренировал клуб «Реал Бетис», где его работа сопровождалась скандалами за то, что он плюнул в поклонника команды, а также в интервью говорил, что Андалусия — «иная страна». Потом тренировал «Реал Сосьедад», французский «Олимпик Марсель», «Тенерифе», «Эспаньол», «Атлетик Бильбао», из которого был уволен после критики трансферной политики клуба, несмотря на то, что смог спасти команду от вылета, и «Реал Мурсия».
21 июля2006 года Клементе был назначен главным тренером сборной Сербии, с зарплатой 30 тыс. евро в месяц (наименьшая зарплата Клементе за предыдущие 20 лет), дебютировав 16 августа с победы 3:1 над сборной Чехии. После того, как команда не прошла квалификацию на чемпионат Европы, Клементе был уволен 6 декабря2007 года.
17 августа2010 года назначен главным тренером сборной Камеруна. Контракт подписан на 2 года[1]. 25 октября2011 года он был уволен со своего поста; руководство федерации футбола Камеруна заявило: «Сборной Камеруна необходим специалист, являющийся харизматическим лидером. Нам не нужен тренер, могущий задействовать в составе футболистов, которые уже играли у него, или же игроков, являющихся друзьями высокопоставленных чиновников»[2].