障子ヶ岳は、1336（建武3）年、足利尊氏の命によって足利駿河守統氏が居城としていました。
その後、千葉総介光胤、椙大蔵大輔の居城となりました。さらに、1513（天正17）年に小早川左衛門隆景、1587（文禄15）年には豊臣秀吉の城となり、その命で黒田孝高の城と変わりましたが、1615（元和元）年の徳川家康の一国一城令によって廃城となりました。