揚輝荘は、松坂屋百貨店の創始者である15代伊藤次郎左衛門祐民が、大正から昭和初期にかけて覚王山の丘陵地、約1万坪（35,000平方メートル）の森を拓いて築かれた名古屋市における郊外別荘の代表作。
昭和初期には修学院離宮を参考にした池泉回遊式庭園や、移築・新築された建物30数棟があった。大正から昭和初期にかけては皇族や華族、政治家や著名人の他に外国人も多数訪れ、国内からの寄宿生に加えて留学生の受け入れも行っていた。
1945年に空襲を受けて建造物の多くが焼失。敷地の多くが開発されて庭園も南北に分断されたが、数棟の貴重な建物と庭園が残されている。
現在は揚輝荘の北園にある、池を中心とした回遊式の庭園の公開と、申し込みが必要な北園の伴華楼内部と北庭園、南庭園のガイド付き見学を行っている。