乾隆最寵愛的妃子是香妃，香妃所住的寶月樓，現如今已經西長安街的中南海正門——新華門。在清朝的時候，寶月樓還是紅墻之內一棟上下各七間的兩層小樓。袁世凱在竊取大總統職務后，便以中南海為總統府，將寶月樓改為了大門。

寶月樓建成于清朝乾隆二十三年。《北京傳統文化便覽》中關于寶月樓建造的原因是這樣寫的：(寶月樓)是乾隆帝為討香妃的歡心所建。香妃，回族和卓氏女，為乾隆寵妃。她深居宮禁，思念故鄉。乾隆得知，下令將新疆回民遷來一部，在長安街以西建房而居……俗稱回民營。每當香妃思念故土，她便登樓相望云云。

西長安街以南曾確有回民營和清真寺。但寶月樓是否為了香妃而建則大可質疑。按照史料記載，乾隆皇帝后宮只有一個來自新疆維吾爾族的容妃。她于乾隆二十五年(1760)入宮封為和貴人，乾隆二十六年(1761)晉封為容嬪，乾隆三十三年晉升為容妃。清朝平定大小和卓木是乾隆二十四年秋天的事。而乾隆帝納一個維吾爾族女子為妃，應該是在此之后，這時，寶月樓已經建成一年多了。

乾隆帝為什么要建這座寶月樓？按照乾隆《御制寶月樓記》中所說，西苑(即中南海)中的建筑都是明朝遺留的，清朝只是“歲時修葺增減，無大營造”。但是乾隆皇帝覺得南海南岸長長一道皇城過于空曠，“每臨臺南望，嫌其直長鮮屏蔽”，于是命工程部門根據地形位置添一建筑。最初設計為三層，乾隆覺得“太侈”，減了一層。建成之后，“池不覺其窄，岸不覺其長”，高矮大小合適。

為什么叫寶月樓呢，“池與月適當其前，抑亦有乎廣寒之亭也”，就是說，看到月亮正臨液池(南海)之上，因而聯想到月中的廣寒宮，所以叫寶月樓。乾隆二十四年御制《題寶月樓》詩說：“南岸嫌長因構樓，樓臨直北望瀛洲?！弊⒔庹f：瀛臺皆前明所建，惟南岸向無殿宇，顧為樓以配之。這是乾隆帝自己做的注解，為建造寶月樓原因的最有力證明。

至于說寶月樓南的回民營，大約出現在寶月樓建成的十年之后。乾隆三十三年御制《寶月樓》詩中有“西宇向南憑”之句，意思是，向南眺望可見西域(風格的)房屋。注釋說：“(寶月)樓臨長安街，街南俾移來西域回部居之，室宇即肖其制?！被孛駹I中的禮拜寺也是這個時候修建的。

乾隆三十四年御制《寶月樓》詩中說：“鱗次居回部，安西系遠情”。注釋說：墻外長安街內屬回人，衡宇相望，人稱回民營，新建禮拜寺正與(寶月)樓相望。

獵奇軍事點評：史記中記載，乾隆乾隆只有一個維吾爾族的妃子，是容妃。其實容妃就是香妃。容妃是她的封號，“香”只是她的名字。香妃原名叫伊帕爾汗，伊帕爾汗也作“包爾漢”就是“香”的意思。她叫香，并非身上有香味兒。寶月樓之建也與香妃毫無關系。