Папа Целестин был одним из самых популярных корнетистов Нового Орлеана и он также считается одним из основных музыкантов, оказавших большое влияние на развитие джаза. Приехав в Новый Орлеан в 1906 году, в 1908 Папа Целестин вступил в окрестр Эксельсиор Генри Аллена Старшего (Henry Allen Sr.’s Excelsior band). В 1910 году Целестин создал свой джазовый оркестр "Настоящие смокинги". Этот оркестр был одним из самых постоянных (долговечных). В него входили такие музыканты, как Питер Бокейдж (Peter Bocage), Луи Армстронг (Louis Armstrong), Бебе Ридглей (Bebe Ridgley), Лоренцо Тио Младший (Lorenzo Tio, Jr.) и Исидор Барбарин (Isidore Barbarin) (дед гитариста Дэнни Баркера (Danny Barker)).
Папа Целестин делал звукозаписи своей группы для компании Okeh, пока Великая Депрессия не заставила его бросить/оставить оркестр. Во время Второй мировой войны он работал на судоверфи, торговал в магазине, изготавливал валенки. После войны Целестин снова собрал свой оркестр, начал сотрудничать со звукозаписывающими компаниями и давать живые радиоконцерты на местных радиостанциях. До самой смерти имя Целестина привлекало туристов на улицу Бурбон.
В память о вкладе Папы Целестина в историю джаза, Джазовый Фонд нового Орлеана заказал бюст Целестина и подарил его музею Дельгадо (Delgado Museum) в Новом Орлеане.