永山邸は元廻船問屋明石屋で、明治３６年の火災で焼失したが、翌年には消失前とそっくりに再現したといわれている。家伝では、同町内にある角屋（すみや）が表の志士たちの会合の場所で、明石屋が密談の場所として使用されていて、隠し部屋や緊急避難用の脱出口があった。また、西郷隆盛、高杉晋作、桂小五郎などのほか、名前を伏せた坂本竜馬がこの家の二階で密議をしたとも言い伝えられている。
ニワ
主屋１階、通りから海岸まで続く土間で２階まで吹き抜けになっている。船から陸揚げされた荷物を大八車（当時の陸送手段）に積み込んだり、２階倉庫に荷物を揚げたりするために使用された滑車が、現在も天井梁に残っている。小屋組には地元産の黒松が使われており大島大工の業を垣間みる事ができる。
オモテ
主屋１階のニワ（土間）に面した６畳の部屋で、商談等の応接に使われた。神棚が３組あるが、当時、３人のおばあさんがいて、三人三様の神様を祀っていたために３連の神棚を作ったと云う。戸棚とともに建設時のもので、当時の商店の趣が残っている。
ざしき
主屋１階の中庭に面した変則7畳の部屋で、居間として使われた。 箱火鉢は当時の暖房装置兼湯沸かし用コンロであった。額は東郷平八郎の書で『海の日本』とあり、日本が海洋国家として進出した頃の意気込みが伺える。
おへや
隠居屋１階の海に面した6畳２間続きの正統的な書院造りで、隠居場として使われ、来客には茶が振舞われた。海側には直接海に降りるガンギ（石段）の跡も残っていて往時が伺える。
とらのま
主屋２階、10畳と８畳続きの広間で主に慶弔行事に使われた。部屋名は虎の置物が常時飾られていたことに因んでいる。明治維新の時、西郷隆盛と桂小五郎、高杉晋作らが密議を行ったと伝えられている。建物は明治３６年の大火で類焼により消失したが、女将がご先祖様に申し訳ないと翌年に再建した。この女将が若い時、主人以外ではただ一人給仕として立ち会ったことで後世に密議の事実が伝わった。床の間の材料に紫檀、黒檀、鉄刀木等が使われており、これらは日本に生育しないことから、鎖国時代に海外と交易もなされていたことが察せられる。
きゃくま
隠居屋２階、6畳２間続きの部屋で、湾を望める解放的な造りになっている。階段入口は扉を締め隠され、階段は一人がやっと通れる程に狭く、押入の裏側には隣の物置（建築当時）に抜ける隠し扉も備わっていたことから、敵の不意の侵入にも配慮した造りとなっていた。来客用の客間として使われたが、西南戦争時は、主屋の『とらのま』の薩摩藩士とは分かれて、長州藩士が逗留したと云われる。田助浦は西南戦争当時、兵站基地としての役も果たしていた。