山背国山階に建てられた山階寺が飛鳥を経て、和銅3(710)年に現在地に移転された。奈良時代初期には四大寺の１つに数えられました。