L'accés al castell es fa a través d'un trencant a la dreta de la carretera de Vidreres a Llagostera, just davant la urbanització de la Goba. El camí, que passa pel costat del mas de la Torre d'en Llobet, està perfectament indicat i s'hi arriba sense cap problema, tot i que l'últim tram és millor fer-lo a peu.

El castell és esmentat per primera vegada a l'any 1194 en un pacte entre Ponç III de Cabrera i Alfons el Cast. A l'any 1241 es va lliurar en feu als templers i surt documentat a l'any 1485, quan els remences el tornen al seu senyor. A la capella, dedicada a Sant Iscle i Santa Victòria, s'hi veneraven les relíquies d'aquests màrtirs, fins que a l'any 1263 el vescomte de Cabrera Guerau VI, va ordenar que el cos de Sant Iscle fos portat al monestir de Breda. L'església continuà en funcionament fins a finals del segle XVIII.