Папа Целестин был одним из наиболее популярных корнетистов Нового Орлеана и рассматривается как основной исполнитель в развитии джаза. Прибыв в Новый орлеан в 1906 году, Целестин вступил в оркестр Древесной стружки Генри Аллена старшего в 1908 году. В 1910 году Целестин организовал Оригинальный оркестр Тукседо джаз, который стал одним из самых долгожительствующих. В его составе выступали такие музыканты как Питер Бокэйдж, Луи Армстронг, Бебе Ридгли, Лоренцо Тио младший и Исидор Барбарин (дедушка гитариста Дэнни Баркера).
Он начал записываться со своей собственной группой на студии Okeh и продолжал до начала Великой депрессии. Депрессия заставила его покинуть группу. Во врремя Второй мировой войны он работал на судостроительной верфи. После войны Церестин перестроив свой оркестр стал записываться в различных студиях и выступал в прямом эфире на местных радиостанциях. Он так же выступал на туристической улице Бурбон-стрит до самой смерти в 1954 году.
Целестин вносил огромный вклад в развите джаза на протяжении всей свой жизни. Джазовый фонд Нового Орлеана изготовил его бюст и передал его в музей Дельгадо в Новом Орлеане.