为什么会出现这种情况呢？这应该从佛香阁的始建说起——
最初在这个位置上的建筑不是佛香阁，而是一座佛塔，是当时大报恩延寿寺的组成部分，修建为九层的佛塔名为延寿塔。始建于乾隆十五年(1750年)，建筑设计系仿江南著名的古塔杭州开化寺的六和塔。杭州的六和塔为八面十三层砖木结构，乾隆皇帝南巡时亲自登临观赏，喜爱有加，命工匠按其形制在大报恩延寿寺内仿建。施工期间，乾隆时常来此察看并赋诗。当延寿塔建到第五层时，乾隆御制诗中有“塔影渐高出岭上”之句，建至第八层时，又有“阅时塔影渐横云”之句。乾隆二十三年（1758年）塔行将建成时，突然出现坍圮的现象，不得不停建，并采取了全部拆除的措施。在此处的建筑选择上改弦更张，由建塔改为建阁。在原址上重新建造一座与原来六和塔形状不一样的佛香阁，其式样就应是图片所示，其形状与六和塔的式样没有丝毫的相似之处。就废建之事，乾隆皇帝有“志过”一诗是为明证，写道：“延寿仿六和，将成自颓堕。……此非九仞亏，天意明示我。……罢塔永弗为，遂非益增过。志兹能改心，讵云君子可。”从乾隆的这首诗可以清楚地体会到，不仿“六和（塔）”“罢塔永弗为”，是“天意”的“明示”，也可以理解为，按照天意，既不要建塔，更不会仿六和塔的形式。那么，后来新建的佛香阁是什么式样，相关部门曾在志书的编修中，没有查阅到任何当时的资料，更没有相关的图档。故没有相应的记载。
直到清光绪年间复建时，才有明确的史料记载。光绪十七年（1891年），慈禧太后在佛香阁的废址上，“按原样重新建造”， 这式样就是现在我们看到的样子，呈现的是八面玲珑的形态，是杭州六和塔的变体，它们的外观造型与内涵意境都有着十分相似的地方和千丝万缕的联系。这种形状明显与乾隆皇帝所言大相径庭。
