Jean Baptiste Frédéric Isidor "baron" Thielemans werd geboren op 29 april 1922 in de Hoogstraat van de Brusselse Marollenwijk. Thielemans raakte tijdens de Duitse bezetting in de ban van de jazzmuziek. De Belgische jazzgitarist Django Reinhardt was zijn eerste grote voorbeeld. Het was onder zijn invloed dat "de ket" naar de gitaar greep. In dezelfde periode begon Thielemans ook mondharmonica te spelen.

Na de oorlog vertrok hij op Europese tournee met Benny Goodman. Hierdoor kende hij in 1950 een internationale doorbraak. Hij kreeg de bijnaam "Toots", naar jazzmuzikanten Toots Mondello en Toots Camarata.

In 1952 emigreerde hij naar de Verenigde Staten. Daar beleefde hij al snel een van de belangrijkste momenten in zijn carrière: hij werd lid van Charlie Parker's All-Stars en speelde in Philadelphia enkele concerten samen met deze jazzgrootheid. Hij werd ook als gitarist opgenomen in het beroemde George Shearing Quintet.HLN