因為日本人在佔領香港期間曾經對總督府進行修葺,也沒有在戰時嚴重受損,所以總督府在香港重光後繼續作為總督之官邸。楊慕琦於1946年5月復任香港總督並返回官邸居住,總督府的日式裝置被拆除,改建為4間睡房和浴室,惟日式塔樓及日式瓦頂因為工程難度及具有實際用途而獲得保留