香山寺位于十三朝古都洛阳城南13公里处的香山西坳，与世界文化遗产——龙门石窟西山窟区一衣带水，隔河相望，与龙门石窟东山窟区和白园一脉相连，并肩邻立。香山因盛产香葛而得名。

香山寺微始建于北魏熙平元年（公元516年），唐垂拱三年（公元687年），印度来华高僧地婆诃罗（日照）葬于此，为安置其遗身重建佛寺。天授元年（公元690年），武则天在洛阳称帝，建立武周王朝，梁王武三思奏请，敕名“香山寺”，并重修该寺，当时香山寺危楼切汉，飞阁凌云，巍巍壮观，武则天常驾亲游幸，御香山寺中石楼坐朝。留下了“香山赋诗夺锦袍”的佳话。唐大和六年（公元832年），河南尹白居易捐资六七十万贯，重修香山寺，并撰《修香山寺记》，寺名大振，这篇文章开篇第一句即是对香山寺的推崇“洛都四郊山水之胜，龙门首焉，龙门十寺，观游之胜，香山首焉”，此外，白居易还搜集了5000多卷佛经藏入寺中。白居易自号“香山居士”与如满和尚等人结成“香山九老会”吟咏于该寺的堂上林下，会昌六年（公元846年）白居易去世，遗命葬于香山寺如满大师塔侧。

宋金时期香山寺犹存，元末废弃，清康熙年间重修，乾隆皇帝曾巡幸香山寺，称颂“龙门凡十寺，第一数香山”，这句诗摘自他当时所作的诗《香山寺二首》，被镌刻在石碑之上，位于香山寺的乾隆御碑亭