Gerry Rafferty wordt aanvankelijk lokaal bekend door zijn optredens met diverse bandjes, zoals The Censors en The Fifth Column. In 1969 vormt hij samen met Billy Connolly (nu bekend als komiek) het duo Humblebums. Ze scoren in 1970 een kleine hit met Shoeshine Boy. Het bereikt nummer 28 in de Veronica Top 40, maar in de Britse charts doet het echter niets.
In 1971 brengt hij een soloalbum uit: Can I Have My Money Back?.In 1972 richt hij met zijn oude schoolmakker Joe EganStealers Wheel op en hebben een hit met Stuck in the Middle With You (ondertussen bekend als achtergrondmuziek bij de martelscène in de film Reservoir Dogs).
Vanaf 1977 ging Rafferty opnieuw solo met de zeer succesvolle plaat City to City, met daarop zijn meest bekende song "Baker Street". Hij behaalde de derde plaats in de Britse en de negende in de Nederlandse hitparade.
Het volgende album Night Owl (1979) verkocht ook goed, maar in de jaren daarna taande het succes, mede doordat Rafferty weigert zijn albums te promoten door middel van optredens. Na de albums Snakes and Ladders (1980) en Sleepwalking (1982) werd het stil rond de man met de bril.
In 1987 produceerde Rafferty samen met Hugh Murphy Letter from America van The Proclaimers, die daar een redelijke hit mee scoorden. Na zes jaar stilte kwam Rafferty zeer sterk terug met het album North & South (1988).
In de jaren daarna kwam er een eind aan zijn huwelijk, wat zijn weerklank vond in het album On a wing and a prayer (1992). Na jaren niet meer te hebben opgetreden, volgde een Europese tournee, waarin ook Nederland wordt aangedaan met een concert (op 17 februari1993 in Vredenburg, Utrecht). In 1994 verschijnt het album Over my Head met o.a. een aantal Stealers Wheelcovers. Ook Joe Egan werkt mee aan dit album.
Pas in 2000 werd er een nieuw album op zijn eigen label ICON gepresenteerd, dat in eerste instantie uitsluitend via zijn website te verkrijgen was. In 2003 bracht HYPERTENSION records een herziene versie van het album op de markt. Het succes bleef ook dit keer uit, waarna op muzikaal gebied niets meer van Rafferty werd vernomen.
Eind 2006 werd zijn website uit de lucht gehaald. In datzelfde jaar haalde hij de voorpagina van The Daily Mail als hij dronken in een vliegtuig richting de Verenigde Staten wordt aangetroffen.
Verdwijning
In juli 2008 kwam Rafferty nogmaals op onprettige wijze in het nieuws middels de krant Scotland on Sunday. Daarin werd melding gemaakt van door hem veroorzaakte overlast in het Westbury Hotel in Londen. Hij werd door de manager uit het hotel verwijderd. De verwarde zanger werd vervolgens opgenomen in het St Thomas' Hospital om behandeld te worden aan een chronische leveraandoening.
Op 1 augustus2008 verdween hij spoorloos, met achterlating van zijn eigendommen. Het ziekenhuis gaf hem als vermist op.
Op 17 februari2009 meldde de Britse krant The Guardian dat Rafferty zich zou ophouden in het zuiden van Engeland, terwijl de Daily Telegraph meldde dat zijn advocaten aan de televisiezender Channel 4 News hebben verklaard dat het goed met Rafferty gaat: hij verbleef het afgelopen jaar in zijn huis in het Italiaanse Toscane om daar aan nieuwe songs en een nieuw album te werken, dat gepland staat voor de de zomer van 2009.