Als 21-Jähriger schafft Joe Sullivan Ende 1927 den Sprung in die damals renommierte Formation Red McKenzie and Eddie Condon's Chicagoans. Es folgt eine erste Plattenaufnahme mit dem Titel «Nobody's sweetheart» und Joe Sullivan wird innert kürzester Zeit zu einem der gefragtesten Pianisten im Land. Er spielt mit Red Nichols, Roger Wolfe und ab 1933 mit Bing Crosby.
Mitte der 1930er-Jahre erkrankt Joe Sullivan an Tuberkulose und muss als Pianist rund zwei Jahre pausieren. Nachdem er sich von der Krankheit erholt hat, erfüllt er sich mit dem Cafe Society Orchestra den Traum eines eigenen Orchesters.
In den 1950er-Jahren beginnt Joe Sullivans Stern langsam zu sinken. Private Enttäuschungen, Alkoholprobleme und sein cholerisches Temperament bremsen seine Karriere ab. Joe Sullivan stirbt am 13. Oktober 1971 im Alter von 65 intensiv gelebten Jahren in San Franciso.
