Уайт родился в Сент-Луис, Миссури. Его отец был министром. По окончанию школы он выступал аз баскетбольную команду Канзасского университета с которым дошёл до среднезападного регионального финала в турнире NCAA, где его команда проиграла Университету Техаса в Эль-Пасо. После университета он в составе национальной сборной США по баскетболу участвовал в Олимпийских играх 1968 года в Мехико, где его команда одержала 9 побед и ни разу не проиграла. В финале сборная США обыграла Югославию 65-50 и завоевала золотые медали.
Уайт был выбран на драфте НБА 1969 года под общим 9 номером клубом «Бостон Селтикс», который в то время выиграл свой 11 чемпионский титул за последние 13 лет. Однако перед тем, как Уайт прибыл в расположение команды, играющий тренер Билл Расселл объявил о завершении своей карьеры. Клуб начал перестройку и Уайт, вместе с Дэйвом Коуэнсом и Джоном Хавличеком, стал одним из основных игроков обновлённой команды. Уайт стал одним из первых игроков, который отыграл все 82 игры регулярного чемпионата 5 сезонов подряд.
Вместе с командой Уайт завоевал два чемпионских титула в 1974 и 1976 годах, а в 1976 был назван самым ценным игроком финала.
В 1979 году Уайт был обменян в «Голден Стэйт Уорриорз», а позже перешёл в «Канзас-Сити Кингз» и в 1981 году завершил свою игровую карьеру. 9 апреля 1982 года баннер с его номером 10 был поднят под крышей «Бостон-гарден» и закреплён за ним.
Майк Барретт • Джон Клоусон • Дон Ди • Келвин Фаулер • Спенсер Хейвуд • Билл Хоскет • Джеймс Кинг • Глинн Солтерс • Чарли Скотт • Майк Силлиман • Кен Спейн • Джо Джо Уайт • Тренер: Генри Айба