豊臣秀吉の九州征伐後、城主の波多守親は豊臣政権に臣従したのだが、朝鮮征伐の折に不興を買って常陸に配流され、まもなく没してしまう。波多一族は反逆者として扱われ、岸岳城にも大軍が差し向けられた。家臣の多くは切腹して果て、秀吉に無言の抗議を行った。また、城に残った女たちも「敵の慰み者にされるよりは」と、味方の手によって斬られたという。
その後、江戸時代の一国一城令により廃城となったが、深い山中には当時の石垣など城の遺構が多く残る。また、現在も城跡には、波多氏の姫が身を投げた「姫落とし岩」など悲劇を伝える旧跡もある。廃城となってから400年以上が過ぎても、遺構の保存状態が良好なのは「あそこには祟りがあるから」と、土地人が恐れて近寄らなかったことが、その要因の一つなのかもしれない。