Omstreeks 1180 bouwde de toenmalige graaf van Vlaanderen Filips van de Elzas een Burcht "het Gravensteen", op de overblijfsel van een houten versterking, deze maal in steen. Niet om de stad te beschermen, want het Gravensteen staat in het hart van de stad, maar om de elite en de rijken, maar ook het volk in toom te houden. De Gentenaar was bekent om zijn ongehoorzaamheid en zijn opstandigheid. Bij de patriciërs was het te doen om macht en rijkdom. De donjon (13de eeuw) zou normaal niet zo hoog zijn geweest, maar de rijke Gentse clans bouwden huizen in steen  en hoog met kantelen, dus moest de graaf hoger bouwen om aan te tonen dat hij de baas was. Dat maakte weinig indruk op de patriciërs die ondertussen reeds het bestuur van de stad in handen hadden en de grote winsten in hun zakken staken. Die winsten kwamen uit de productie van laken, die in heel Europa grote bekendheid had. De wol kwam van Engeland en langs de vele waterwegen kwam het in de haven van Gent (de Graslei). Gent groeide en werd rijker. Zestig procent van de Gentse  bevolking (die dan ongeveer 60.000 inwoners telde en de tweede grootste stad van Europa was na Parijs) had werk door het laken, maar ook buiten de stad. De economie was heel onstabiel in die tijd. De vele ruzies onderling maar ook de oorlogen tussen verschillende graafschappen en landen hadden daar zeker schuld aan. Het was steeds de gewone bevolking die de zwaarste klappen kregen, hongersnood was nooit ver weg. De patriciërs lieten kloosters bouwen, om hun geweten te sussen, en bevolkten die met bedelorden, zo genoemd omdat zij leefden van giften en zo bleven ze in de macht van de rijken. Er bestaan er nog in Gent maar er zijn er ook verdwenen. Je had toen de Augustijnen, de Dominicanen, de Karmelietenen de Minderbroedrs. Voor de vrouwen liet gravin Johanna van Konstantinopel (in 1240) twee begijnhoven bouwen (nu nog te bezoeken). Het Sint Elisebeth op het einde van de Burgstraat en het Onze-Lieve-Vrouw ter Hooie in de Lange Violettestraat. Maar de rijkdom van Gent en vooral van Vlaanderen was een doorn in het oog van de Franse koning, deels omdat hij weinig te zeggen had in Vlaanderen, maar ook omdat Gent zijn wol van Engeland kreeg en hij daarmee in onvrede leefde. Er zouden nog moeilijke tijden komen voor Gent.