Ende des 14. Jahrhunderts bauten die Venezianer hier eine kleine Festung, um die Einheimischen vor Piraten sowie die regionalen Herrscher vor den Einheimischen zu schützen, mit denen es häufig zu Konflikten gab. Die Leute von Sfakia sahen den Bau der Burg nicht gut, da sie sie als „Fremd“ für sich betrachteten und sie verzweifelt Frangokastelo (Burg der Franken) nannten und den heutigen Namen einführten. Während der osmanischen Zeit wurde die Burg schwer beschädigt und im 19. Jahrhundert in der Form wieder aufgebaut, wie wir sie heute vorfinden.
600 Männer und ihr Anführer Hadjimichalis Dalianis verbarrikadierten sich während des Krieges gegen die Türken im Jahr 1828 in der Burg. Dalianis und 335 Männer gingen im Kampf verloren und ihre Leichen blieben unbestattet. Es gibt eine Legende, die besagt, dass ein starker Wind wehte und die Leichen mit Sand bedeckt waren. Seitdem scheinen die Schatten der Krieger an manchen Tagen Ende Mai morgens langsam auf die Burg zuzugehen und sich dann auf See zu verlieren. Diese seltene Vision wird durch die Reflexion der Sonne im Meer verursacht, sie findet sehr früh am Morgen statt und hört einige Minuten später auf, wenn der Morgentau verschwunden ist. Tau heißt auf Griechisch „drosia“ und deshalb haben die Einheimischen die Geister der toten Krieger Drosoulites genannt.
Dieser Ort strahlt etwas Mystisches aus und ist auf jeden Fall einen Besuch wert. Der Strand befindet sich direkt vor dem Schloss, er hat feinen grauen Sand und klares, blaues, seichtes Wasser. Es ist gut organisiert und hat viele touristische Einrichtungen. Verlassen Sie Frangokastelo nach dem Schwimmen nicht, ohne einen kurzen Spaziergang zur Burg gemacht, einen Spaziergang durch das nahe gelegene Kloster Agios Charalambos gemacht und die köstliche lokale Küche in einer der vielen beliebten Tavernen der Region probiert zu haben.
