慈湖與牛角湳埤周邊，前身原為謙記礦場，慈湖陵寢前身為謙記煤礦酒保（福利社），可供礦工日用雜貨、蔬菜、水果、豬肉及魚貨採買；礦工出坑換衣淋浴、賒帳回家。
蔣公早年在公暇之餘到大溪、復興度假，見此地湖光山色彷彿故鄉奉化溪口鎮美景，思母之情油然而生。遂命總統府第三局辦理承租改建，由行政院退除役官兵輔導委員會所屬榮工處動工負責施工建造。
該建築風格與蔣公故鄉溪口相似為「紹興與閩南式」四合院折衷建築，當時命名為「洞口賓館」，後因蔣公壽誕時感慈母王太夫人教養之恩，親書「慈湖」兩字掛於陵寢門楣正中，以誌孝思，並更名為「慈湖賓館」；1975年4月5日蔣公逝世後，易名為「慈湖陵寢」。