Старший из двух братьев Дорси был одаренным ребенком, который начал свою карьеру в возрасте семи лет. Он играл на слайд-трубе (особом виде трубы, похожем на тромбон) и корнете с оркестром своего отца на местных вечеринках. Это сейчас можно приобрести новые инструменты yamaha, а тогда детям приходилось играть на послуживших свое духовых. Его отец был простым рабочим, который желал для своих детей лучшей жизни, и поэтому старательно обучал их музыке. Когда Джимми исполнилось семнадцать лет он уже играл в оркестре Джина Голдкита с Биксом Бейдербеком и Фрэнки Трамбауэром. В двадцатых годах оркестр Голдкита распался и Джимми вместе с Биксом и Трамбауэром примкнул к группе Пола Вайтмана и стал внештатным музыкантом с Редом Николсоном. В 1933 году Джимми и его младший брат Томми создали свой знаменитый оркестр братьев Дорси в который вошли барабанщик Рэй МакКинли, тромбонист Гленн Миллер и певец Боб Кросби.
До 1935 года братья соперничали между собой за руководство оркестром, пока он окончательно не распался. В 1938 году Джимми участвовал в нескольких бесславных Пятничных вечерних джэм-сейшнах в отеле Парк Лэйн организованных Эдди Кондоном с участием Пии Вии Расселом, Сидни Бечетом, Бобби Хакеттом, Вилли "Львом" Смитом, Бадом Фриманом и др.
Джимми создал новую группу в которой участвовали успешные певцы Хелен О'Коннелл и Боб Эберли. В 1953 году, через несколько лет после выхода в свет фильма "Знаменитые Дорси", Джимми и Томми вновь объединились и играли вместе вплоть до самой смерти Томми в 1956 году. Джими руководил своим оркестром пока позволяло здоровье. Он умер в середине 1957 года.