Twierdza została po raz pierwszy wymieniona w dokumencie z 1205 roku, gdzie nosiła nazwę Castrum Caofstein. W tym czasie był własnością księcia bawarskiego Ludwika i biskupa Ratyzbony.

W 1342 roku Margarete „Maultasch”, księżna Tyrolu, otrzymała Kufstein jako prezent ślubny od swojego męża Ludwika Brandenburskiego, syna cesarza Ludwika Bawarskiego. Po raz pierwszy Kufstein stał się częścią Tyrolu. Kiedy Margarete przekazała cały Tyrol habsburskiemu księciu Rudolfowi IV w 1363 roku, Bawarczycy zażądali od niej zwrotu oryginalnego prezentu ślubnego i powodzeniem najechali Kufstein.

W 1504 r. miasto i twierdza były oblegane i zdobyte przez cesarza Maksymiliana I. Maksymilian zlecił budowę masywnej okrągłej wieży w latach 1518-1522, znacznie zwiększając jej możliwości obronne. W latach 1703-1805 był posiadłością Bawarii, powracając do Austrii w 1814 roku.

Twierdza służyła też jako więzienie dla wielu dysydentów politycznych pod rządami Habsburgów.