说起这座叫做宝月楼的楼宇，有个美丽的传说故事。

清朝时有一位维吾尔族的女子入宫，成为乾隆皇帝的爱妃，因其身上有一股奇异的香味儿，人们都管她叫香妃，然而香妃却总是闷闷不乐，日夜思念自己的故乡和家人。乾隆帝为讨佳人欢心，1758年间在中南海的南端建造了宝月楼，并手书“仰视俯察”匾额。此楼有两三丈高，楼基上有两层楼阁。在这座楼的对面，按照香妃家乡的习俗修建了一排回民建筑风格的礼拜寺和街市，每当香妃思念故土时，登上宝月楼，可眺望对面的礼拜寺，仿佛看见家乡一样。于是，这座华丽楼宇也被称为“望乡楼”。香妃的故事多是传说，但是宝月楼和礼拜寺都曾经真实存在过，现在西长安街附近还住着不少回族同胞。

清时宝月楼临近城墙，但城墙上并没有门与外界相通。辛亥革命后，袁世凯将总统府设在中南海，对宝月楼加以改造，使楼成为门楼。改造工程拆除楼前皇城墙，新建两面八字墙，将宝月楼和两侧皇城墙相连，并在楼下开大门，命名为“新华门”，寓意“新中华”，为中南海南门，邻西长安街。