Normalment les baronies i altres territoris dels senyors medievals quedaven circumscrites per un castell de terme (castell termat) on vivia el senyor del lloc.
Com ja sabem, el senyor de Sant Adrià era el bisbe de Barcelona, que tenia un palau a la ciutat comtal.
Hi havia un castell a Sant Adrià?
Els historiadors, que han remenat entre els vells documents, han trobat papers que han estat signats al castell del Bisbe a Sant Adrià, de vegades també anomenat alberg o palau o senzillament casa del bisbe. El que sembla que queda clar, és que no es tractava d'aquells castells tan macos que surten en les fotografies dels llibres, amb les torres, merlets, el fossar i un pont llevadís. Era tan sols una casa gran, prou gran, potser, si es compara amb les petites cases de pagès del seu voltant, el que podríem dir-ne un casalot.
Si, a més a més, recordem que el bisbe tenia jurisdicció civil i criminal no ens ha d'estranyar que al castell hi hagués fins i tot una presó tal i com consta en un document de 1312 en què el Bisbe fa d'una reclamació al Veguer i Oficials de la ciutat comtal per haver-se emportat amb violència un pres, de la presó del castell, cosa que no podien fer, ja que el Bisbe de Barcelona com a Baró i Senyor de Sant Adrià, tenia jurisdicció pròpia.

Queda també palès en molts documents dels segles XIV i XV: 1313, 1334, 1348, 1438, que per aquí vingueren els bisbes i dignataris eclesiàstics a passar algunes temporades, i així ens han arribat document que estan signats en el palau, castell o alberg del bisbe a Sant Adrià.

No hem d'oblidar que la situació de Sant Adrià, a vora de la via Marina, va permetre que en aquest castell fos utilitzat per pernoctar alts personatges, fins i tot reis, que aprofitaren l'estada per signar documents en què es fa constar l'alberg del bisbe com a lloc de signatura. Entre aquests reis tenim a Jaume II en 1292, Alfons III en 1317 i Pere III el 1373 .

Aquest castell, sembla que fou construït amb les restes de l'antic monestir dels agostins, i si confirmada està la seva existència, no menys cert és que no es gastaren gaire diners en la seva conservació. La deixadesa i el temps anaren malmeten aquesta casa. Així, el 1625 s'obre un expedient informatiu per estudiar la possibilitat de llogar les quatre parets que resten del castell per reparar la parròquia, que també es trobava en estat lamentable (sembla que no van tenir gaire èxit amb el lloguer)