Niettegenstaande de Romeinen reeds vroeg in de streek zijn geweest, heeft dit paleis een andere oorsprong.Het was de marktgraaf van Tarifa,die in 1518 een reis door Europa en het Heilig Land ondernam. Gefascineerd door de late Italiaanse Renaissence, liet hij het paleis bouwen naar de residentie van Pontius Pilatus in Jeruzalem, hij bracht kunstwerken uit de hele wereld in zijn Casa.Nadien waren het verschillende eigenaars die de collecties verruimden.