孟浩然家在襄阳城南郊外,岘山附近,汉江西岸,名曰“南园”或“涧南园”。题中鹿门山则在汉江东岸,沔水南畔与岘山隔江相望,距离不远,乘船前往,数时可达。汉末著名隐士庞德公,因拒绝征辟,携家隐居鹿门山,从此鹿门山就成了隐逸圣地。
据《襄阳记》载:“鹿门山旧名苏岭山。建武中,襄阳侯习郁立神祠于山,刻二石鹿夹神庙道口,俗因谓之鹿门庙,后以庙名为山名,并为地名也。”孟浩然早先一直隐居岘山南园的家里,四十岁赴长安谋仕不遇,游历吴、越数年后返乡,决心追步乡先贤庞德公的行迹,特为在鹿门山辟一住处,偶尔也去住住,其实是个标榜归隐性质的别业。此诗当作于作者四十岁后隐居鹿门时,故题为“夜归鹿门山”。