* Количество игр и голов за профессиональный клуб считается только для различных лиг национальных чемпионатов. ** Количество игр и голов за национальную сборную в официальных матчах.
Свою профессиональную карьеру начал в 1944 г., выступая за клуб «Ист Файф». В 1948 и 1950 гг. выигрывает Кубок шотландской лиги. Своей игрой он привлек внимание тренеров национальной сборной, за которую дебютировал в 1950 г. В том же году футболист переходит в английский «Блэкпул», с которым в 1951 г. он доходит до финала, через два года, когда команда выиграла Кубок Англии, Браун участия в матче не принимал из-за травмы.
В 1954 г. был участником финальной части чемпионата мира в Швейцарии. В 1959 г. в составе клуба «Лутон Таун» вновь выходит в финал Кубка Англии. Карьеру игрока закончил в 1966 г. в «Уиган Атлетик». В качестве тренера возглавлял несколько второстепенных клубом английского чемпионата, в конце карьеры был наставником «Ноттингем Форест» и «Блэкпул», который не смог спасти от вылета в четвёртый дивизион.