Он начал свою карьеру руководителя в хоккее с мячом, после чего управлял клубом АИК, а в 1985 году возглавил Ассоциацию футбола Швеции.
Юханссон был главой европейской футбольной федерации на протяжении 27 лет. На посту президента УЕФА швед сменил француза Жака Жоржа. Во время работы Юханссона изменилась не только спортивная, но и коммерческая составляющая европейского футбола. До его прихода УЕФА выполнял лишь административные функции, а штаб-квартира находилась в скромном пригороде Берна. При Юханссоне же организация стала развитой и современной, офис переехал в Ньон и стал называться Домом европейского футбола. Именно при Юханссоне Кубок европейских чемпионов был преобразован в современную Лигу чемпионов.
В 1998 году он баллотировался на пост президента ФИФА, но проиграл на выборах Зеппу Блаттеру.
Его сердце остановилось во вторник вечером во время сна, причиной смерти стала продолжительная болезнь. На ухудшение состояния здоровья функционера сильно повлияла смерть жены Лолы в 2017 году.
