戦国時代、斉藤城虎丸（じょうこまる：18歳）を城主として守られていた嵩山城は、永禄8年（1565年）に、武田信玄方の上田城主真田幸隆（幸村の祖父）に攻められ落城。 これから約140年後の元禄15年（1702年）に、嵩山合戦の犠牲者を供養するために、五反田に住み着いていた江戸の僧・空閑（くうかん）と地域の人々を中心に、坂東三十三番の観音像が建立されました。さらに10年後には、秩父三十四番、西国三十三番を建て、嵩山百体観音となりました。