大正9年（1920年）に建てられた、岡谷鋼機の創業家である岡谷家の邸宅だった書院や茶室・土蔵を改修するとともに、母屋跡に多目的ホールを新築して平成19年（2007年）に『文化のみち百花百草』として開館。
徳川美術館所蔵の「百貨百草図屏風」（重要文化財）にちなんだ庭園は、百花百草図屏風に描かれた約90種の草花の内、約70種も植えられている。花が季節毎に植え替えられ、四季を通じて楽しめる。
ホールでは、セルフサービスでお茶やコーヒーを飲みながら庭園の花を楽しめる。また時間によってはグランドピアノの生演奏も行なわれる。土蔵はギャラリーになっており、普段は「百花百草図屏風」の解説がされている。
名称はかつて岡谷家が所有し徳川美術館に寄贈された田中訥言の「百花百草図屏風」に因んでいる。