Piliakalnis įrengtas Nemuno dešiniajame krante esančioje atskiroje kalvoje. Tai vienas aukščiausių (šlaitų aukštis siekia iki 40 m) ir žinomiausių piliakalnių Lietuvoje. XIV a. pabaigoje ant piliakalnio stovėjo medinė Birštono pilis, kuri buvo Trakų kunigaikštystės gynybinės sistemos dalis ir vienas iš Vytauto medžioklės dvarų. Pilyje lankėsi kunigaikščiai ir kiti didikai, atvykdavę į medžiokles. Vėliau pilis netekusi gynybinės reikšmės ir iki XVII a. nunykusi.