Thielemans introduceerde een geheel nieuwe klank in de jazzscène, door unisono de melodie te fluiten en gitaar te spelen. Een voorbeeld daarvan is het in 1962 gecomponeerde "Bluesette". Het nummer werd een wereldhit en is honderden malen gecoverd. Thielemans noemt het daarom schertsend zijn "social-security number", zijn pensioennummer.

Hij werd vooral bekend door het bespelen van de mondharmonica. Hij zorgde ervoor dat dat instrument een vaste plaats kreeg binnen de jazzwereld. Zijn mondharmonica speelt een belangrijke rol in de filmmuziek van 'Midnight Cowboy' (1969) en van 'Turks Fruit' (1973).

Beroerte
In 1981 kreeg hij een beroerte die hem ruim een halfjaar op non-actief zette. Zijn linkerhand functioneerde veel slechter en daardoor speelde hij nog vaker mondharmonica.

Oververmoeid
Op 4 oktober 2006 werd bekendgemaakt dat Toots oververmoeid was en daarom, op doktersadvies, de laatste zes concerten van zijn tournee door Nederland liet annuleren.

Maar datzelfde jaar werd hij in Brazilië ook onderscheiden door Gilberto Gil, zelf muzikant en toen minister van Cultuur, voor zijn verdienste de Braziliaanse muziek- en dansstijl bossanova mee internationaal verspreid te hebben.

"Een hutsepot, meneer"
In 2009 speelde Toots op  het Belgavox-concert aan het Atomium, waar hij samen met 60 andere Belgische artiesten opriep tot meer solidariteit in ons land.

Thielemans daarover in Humo: "Ik had een telefoontje gekregen dat Arno en Axelle Red en nog meer muzikanten iets wilden doen om de unity van België te versterken. Daar wilde ik aan meedoen, want ik ben één van de weinige artiesten die populair zijn in Vlaanderen en in Wallonië, en ik vind dat België niet mag vergaan. Ik ben nog een ouderwetse Belg: mijn moeder was van Antwerpen, mijn vader van Brussel en mijn grootmoeder van de Borinage. Een hutsepot, meneer! Heel alleen heb ik daar voor 35.000 mensen Jacques Brel gespeeld, alleen op mijn mondmuziekske. I loved it!"