De vijf oorspronkelijke leden, Eddie Levert, Walter Williams, William Powell, Bill Isles en Bobby Massey, kenden elkaar van de middelbare school. In 1958 werd de zanggroep opgericht in Canton, Ohio als The Triumphs. Later veranderden ze dit in The Mascots. Onder die naam bracht de groep in 1961 de eerste single uit, "Miracles". Het nummer werd opgepikt door de in Cleveland uitzendende diskjockey Eddie O'Jay, die de groep regelmatig zou draaien. Ten ere van hem veranderde de groep in 1963 de naam definitief naar The O'Jays. Onder deze naam hadden ze hun eerste hit, "Lonely Driver" uit 1963. In 1965 volgde het debuutalbum, Comin' Through. Dat jaar verliet Isles de groep, waardoor The O'Jays werden teruggebracht tot een kwartet.

In 1967 had de groep zijn eerste toptienhit, "I'll Be Sweeter Tomorrow (Than I Was Today)". Ze hadden echter moeite het succes van deze single te evenaren en overwogen te stoppen, totdat ze Gamble & Huff ontmoetten. Met hun ondersteuning brachten The O'Jays enkele singles uit.

The O'Jays, inmiddels een trio door het vertrek van Massey, debuteerden in 1972 op het label van Gamble & Huff, Philadelphia International, met het album Back Stabbers. Het album maakte van The O'Jays een van de belangrijkste vertegenwoordigers van de Philadelphia soul. De titeltrack en het eveneens van dit album afkomstige "Love Train" werden grote hits. Gedurende de jaren zeventig had de groep een reeks van hits in de Verenigde Staten, waaronder "Put Your Hands Together", "For the Love of Money", "Let Me Make Love to You", "Give the People What They Want" en "I Love Music".

In 1977 stierf Powell aan kanker en werd vervangen door Sammy Strain, afkomstig van Little Anthony & The Imperials. In deze samenstelling bracht de groep nog verscheidene albums en singles uit, maar met minder succes. De laatste topvijfhit in de VS was "Use Ta Be My Girl" uit 1978. In 1987 maakte de groep een comeback met het R&B-album Let Me Touch You, waarop "Lovin' You" stond, een nummer dat op de eerste plek belandde van de R&B-hitlijsten. In latere jaren brachten ze minder albums uit, maar bleven een succesvolle live-act.

In 2005 werden The O'Jays opgenomen in de Rock and Roll Hall of Fame.

Van jongs af aan had Joel sterke interesse in muziek, vooral klassieke muziek.

Hij werd hierbij geïnspireerd door onder andere Ray Charles, Dave Brubeck, Sam Cooke, The Rolling Stones, The Beatles, Otis Redding en Ludwig van Beethoven.

Joel werd op zijn veertiende jaar voor het eerst lid van een band. Ver in de jaren zestig nam hij deel uit van de band Attila en daarna The Hassles. Ook speelde hij in pianobars onder de naam "Bill Martin". Zijn eerste soloalbum, "Cold Spring Harbor" (een referentie naar een stad op Long Island (New York)), kwam in 1971 uit.

Joel ging op tournee met Elton John; gedurende de tournees speelden ze elkaars liederen en voerden duetten op. Joel werd in 1999 opgenomen in de Rock and Roll Hall of Fame.

In januari 2007, werd bekend gemaakt dat Joel bezig was aan een nieuwe popsingle (de eerste sinds 1993's River of dreams). In februari kwam die single daadwerkelijk uit, getiteld All my lives.

Joel is geboren in wat vandaag de dag bekend staat als de South Bronx en groeide op op Long Island (New York)), een welvarende regio buiten New York City, in een stad genaamd Hicksville in de historische wijk Levittown. In zijn teksten refereert hij vaak naar locaties in New York City. Zo verwijst hij bijvoorbeeld in het lied "It's Still Rock & Roll to Me" naar Miracle Mile, een winkelcentrum op Northern Boulevard in de wijk Manhasset.

Joel werd bij het schrijven van zijn teksten ook sterk geïnspireerd door eigen ervaringen; wellicht zijn de beste voorbeelden hiervan "Piano Man", dat hij schreef naar aanleiding van zijn ervaringen als pianist in een pianobar in de jaren zeventig, en "Scenes from an Italian Restaurant" dat waarschijnlijk gaat over het restaurant Christiano's of een vergelijkbaar restaurant in de New Yorkse wijk Little Italy. Zijn lied "New York State of Mind", een nummer van het in 1976 verschenen album Turnstiles dat sindsdien een popklassieker is geworden, geeft ook blijk van zijn affiniteit met zijn thuisstaat.

Joel staat ook bekend om zijn impressies van het leven in Lehigh County (Pennsylvania), dat hij hulde toeschrijft in een van zijn meest populaire liederen, "Allentown" dat in 1982 uit kwam. Het lied verwoordt het leven in industrieel Allentown (Pennsylvania) in het begin van de jaren tachtig.

Joels dochter Alexa is ook een bron van inspiratie geweest; hij schreef "Lullabye" voor haar. Hij combineert zijn liefde voor zijn dochter met een impressie van het onaangename leven van kapiteins in de zeevisserij in het lied "The Downeaster Alexa". "Uptown Girl" was een liefdeslied over de schijnbaar onmogelijke liefde tussen hemzelf en Christie Brinkley, Alexa's moeder en zijn tweede vrouw.

Joel had altijd een goedgelovige, open instelling in zowel zijn zakelijke als persoonlijke relaties. Deze instelling manifesteerde hij in nummers als "Tell Her About It", "Honesty" en "And So It Goes". Het is ook terug te vinden in zijn omschrijving van de ingrediënten die benodigd zijn voor een geslaagde relatie in "A Matter of Trust".

Het nummer "We Didn't Start the Fire" somt historische gebeurtenissen op van zijn geboorte in 1949 tot midden jaren tachtig, de eerste vijfendertig jaren van Joels leven, die zijn fascinatie voor cultuur en geschiedenis weerspiegelen. Het lied "Leningrad" toont Joels waardering voor de geschiedenis van de Sovjet-Unie en zijn gevoelens voor de Koude Oorlog, waarin hij opgroeide. Voordat Joel de muziekindustrie betrad wilde hij geschiedenisleraar worden; later in zijn carrière kreeg hij de bevoegdheid om in de staat New York te onderwijzen.

Joel heeft recentelijk opnieuw vorm gegeven aan zijn interesse voor klassieke muziek en is gaan experimenteren op dat gebied. "Fantasies and Delusions", zijn eerste album met klassieke werken, kreeg een lauwe reactie van critici, maar kreeg een nummer 1-notering op klassieke hitlijsten.

Joel trouwde zijn zakelijke manager Elizabeth Weber in mei 1971. Het huwelijk eindigde in een echtscheiding in juli 1982.

Joel trouwde daarna in maart 1985 met supermodel Christie Brinkley. Uit hun huwelijk is één dochter voortgekomen, Alexa Ray Joel. Zij is geboren op 29 december 1985. Dit huwelijk eindigde ook in een scheiding in augustus 1994.

Op 3 oktober 2004 trouwde Joel met de 23-jarige Katie Lee. Lee studeerde af aan de Miami University in Oxford (Ohio). Op hun trouwdag was Joel 54 jaar. Joels dochter van 18 jaar, Alexa, was bruidsmeisje. De ex-vrouw van Joel, Christie Brinkley, begeleidde de ceremonie en gaf het koppel haar zegen. Lee werkt als culinair journalist voor het PBS(Public Broadcasting Service)-programma George Hirsch: Living it Up!.

Joel heeft in het verleden een aantal auto-ongevallen gehad, inclusief verscheidene die naar verluidt veroorzaakt zijn onder invloed van drank.

In de lente van 1982, toen Joel al was begonnen aan zijn album The Nylon Curtain, raakte hij betrokken bij een motorongeval; een vrouw reed in een auto door rood licht en raakte Billy Joel op zijn Harley-Davidson-motor. Hij brak zijn linkerpols en zijn hand was ernstig verwond. Wanneer Billy Joel het verhaal vertelt, zegt hij dat de politieagent op de plaats van het ongeval zijn rijbewijs bekeek, de naam "William Joel" las en tegen de vrouw zei: "Hey mevrouw, u hebt Billy Joel aangereden!". Nadat de vrouw vernam wie ze had aangereden, vroeg ze zijn handtekening. Joel bood haar, met bloedende pols, aan een handtekening te zetten. Door de operatie, nodig om een tijdelijke pin aan te brengen, en een verblijf van een maand in het ziekenhuis werd de productie van het album tijdelijk stopgezet tot Joel voldoende was hersteld.

Een bijkomstig obstakel voor de zanger was de instorting van zijn huwelijk met Weber, een gebeurtenis die hoofdzakelijk wordt toegeschreven aan de spanning, veroorzaakt door Webers management van de carrière van haar man.

Tegen het eind van 1982 ging het stel uit elkaar. Toen ze vertrok, nam ze de helft van de bezittingen van de zanger mee. Onder zulke persoonlijke omstandigheden bleek het maken van muziek voor het album erg lastig: "Je bent altijd in de woestijn op zoek naar de oase en alles wat je daar bij je hebt is de piano; dat grote, zwarte beest met 88 tanden... 50.000 pakjes sigaretten later begin je het te begrijpen."

In 2003 reed Joel met zijn gloednieuwe Mercedes-Benz Coupé tegen een boom. In 2004 reed hij met zijn Citroën uit 1967 het huis van een 90-jarige vrouw binnen.

Joel werd in maart 2005 opgenomen in het Betty Ford Center voor de behandeling van drankmisbruik vanwege "een tijdelijke, ernstige, aan de maag gerelateerde noodzaak" aldus zijn mediavoorlichter. Hij verliet de inrichting in april 2005. Een vriend van Joel gaf aan dat Joel alle vormen van alcohol compleet had afgezworen. Joel was al eerder behandeld wegens alcoholmisbruik in 2002, toen hij twee weken in het Silver Hill-ziekenhuis in Connecticut verbleef.