胡雪岩时力助左宗棠有功，封布政使衔，赐红顶戴，紫禁城骑马，赏穿黄马褂这是绝无仅有的据说当时连浙江巡抚也要在其大门外下轿。其轿厅高大空敞，华贵气派。轿厅一角，置放八抬大轿，门楣高悬金字大匾：“经商有道”，“承天恩赐”，“奉扬仁风”，“乐助好施”。
　　胡家大宅参照西方图样，融入中国的风格规划出每个格局都与众不同的豪华大宅院落。为了达到用所谓“天水”泡茶的最佳效果，胡雪岩要求檐溜管用滇锡浇铸，落水处用紫铜铸成罗汉及八仙等形态各异的储水器，水通过罗汉，八仙流入水缸“因为他认为用洋铁皮制成的水管流出的天水沏茶不好喝，也与大宅不相称。
　　当时木匠们在胡雪岩与发妻的住房正厅百狮楼的栏杆上装了一百只紫檀木做的狮子，胡雪岩一看不满意提出把木头眼挖出来做好金眼再镶上去。
　　百狮楼也是待客，迎宾、议事的主要活动场所是全宅最重要的建筑。这里的砖墙就有葫芦
　　传说中的元宝巷，现在很短，胡家大宅就占去了半条街，江南罕见的基石高墙是寻常人家的四五倍高黛顶粉墙华贵气派，虽无盛时车水马龙，却依稀可见当年荣光。
　　1865年，白花花的银子像钱塘江大潮一样，冲破胡府大门直往里灌不仅箱柜塞满纹银黄金，连妻妾的床下也藏了不少。
　　胡雪岩于是请来三位工程设计家，准备大兴土木建造大宅，当他将杭州市鼓楼元宝街的连坊图纸摊到桌上时，把三位见多识广的设计家都镇住了一此图连亘数坊，工程十分浩大堪与皇家园林工程相媲美。
　　胡雪岩当即提出：不计经费只求满意，既要有中国特色又要参照西法，妻妾虽居同一水巷，但各房要回旋曲折各具一格内外装饰不褪色的琉瓦采壁，八仙罗汉显具禅意：楼台亭阁各有风采庭院园林自然成趣，平地镌刻美女棋盘，汉白玉石铺小桥，南桥嵌上名家碑林，假林怪石另外设计。特别的是账房、下房轿班、歌女、洋人客房及接官厅要一应俱全。
　　设计家们于是遍访全国建筑和园艺高手请来了全国一流名匠，又赴上海参观西洋建筑，最后设计了一幅奇秀的名园全景，并绘制出每一个局部的结构与细部。胡雪岩花了一天时间才细细看完并在三百五十万两银子预算后边批了八个字银两不限以精为美。又在占地面积七亩的图纸上批了地亩不计，求全为妥。
　　得此批复工匠们于是放开手脚，开拓思路，运用奇想，寻找奇材，开始动工朱扉紫牖，雕门镂窗，紫檀酸枝楠木银杏、南洋杉、中国榉无材不珍、砖雕、木雕、石雕灰塑无品不精。
　　胡雪岩结交左宗棠等朝中权成为晚清第一富商巨贾，鼎盛时期富可敌国，于是大兴土木，“营大宅于杭州城中，连亘数坊，皆规禁御、参西法而为之屡毁屡造。”
　　


　　“胡雪岩故居见雕梁砖刻重楼叠嶂极江南园林之妙尽吴越文化之巧富埒王侯财倾半壁古云富不过三代以红顶商人之老谋深算竟不过十载骄奢淫靡忘乎所以有以致之可不戒乎。”朱镕基参观胡雪岩故居后，曾留下这样的感叹。形，梅花形、立体几何形，圆形、方形、长方形菱瑚等多种形式，全国少有。
　　当年胡雪岩听工匠们说起日本有一种十三层玲珑灯，有龙头龙尾下面，风铎，风吹起来，满院可以听到叮当叮当的声音，他竟花了几个月时间亲自去日本东京采购，后装在影怜院。
　　为纪念父胡芝田修建“芝园”胡雪岩请了当时名满京师的造园名家伊芝反复设计，礽不满意，后来伊芝经人指点去灵隐寺前飞来峰住了1个月得到灵感。假山历时两月完成，意在西湖山水的浓缩，化天下景为家中景。其中的假山溶洞堪称国内最大的人工溶洞。
　　造这假山花了10万银两芝园建成时还专门请了杭州的文人雅士来赏鉴标题。洞中辟有“炼丹井”、“洗药池”等，洞洞相通。其“滴翠”溶洞嵌刻在峭壁上的董其昌、郑板桥、唐伯虎、文征明等名家的书法石刻作品，文采闪烁蓬荜生辉。假山之巅筑有“冷香院”、“荟锦堂”和“影怜院”三座楼阁。居于最高处的荟锦堂是全部住宅的制高点，在此南望钱塘江、北见武林门，江干、湖墅、西湖、吴山，尽收眼底。
　　1872年初春，经过8年修建，占地十余亩，耗资一百多万两白银，胡雪岩新居竣工。胡母的住房、十二房妻妾的庭院，珍宝博古堂、账房、男仆女佣的下房、轿房、小戏班的偏房以及膳厅、卫生间、客厅和胡雪岩的办事房，木器家具均由红木制成，尤其是主子们的室内装潢和床具用品、各色窗帷，其富丽气派无与伦比。搬迁时，场面浩荡，到场官员不计其数，左宗棠派人送来上书水木湛华的杨木刻匾额，至今仍在牌楼下的游廊正中。
　　尤其值得一提的是，胡宅的膳厅到夏天也是凉爽的，这里四周纱门边都放了井水，还可以作为消防设施。同时墙角坐着一个小丫环有节奏地拉着吊绳，使天花板上那只大吊扇来回扇动。
　　


　　胡宅内院落墙壁均五颜六色而且闪闪发亮，这是由五色瓷碗和杂色玻璃打碎成粉抹就，嵌在四壁百年不塌，而且刀斧砍绝不露痕。时值秋天，胡宅大院还会装上以蓝绿色调为主的五彩玻璃隔扇，这种气氛把秋天的萧飒驱散得一干二净。
　　当年在胡宅，胡雪岩有一个习惯，每天早饭前都会独自来到养心阁，通过他那把独一无二的钥匙进入室内，把各个琉璃盘里的明珠、玛瑙，翡翠、红蓝宝石、珊瑚等珍品静视十几分钟，借以明日养神，似乎有些爱财如命。
　　胡雪岩还在宅子内修建了一个地下藏金库，竞在当年满楼脂粉的和乐堂佣人们来往的过道下，一级级台阶深下去的地窖里面曾藏着数不尽的黄金白银。
　　和乐堂俗称老7间，是住宅区中的主体建筑，由胡雪岩的姨太太们居住。为了方便与各位太太会面，并避免她们之间的醋意，他还安装了当时西方最先进的通话设施——一座大德律风，用十三根电线通向各房，只要认定门子，就可以召唤各位太太，声音清楚，省去了不少口舌。在和乐堂现在还可以见到当时的铜管和铜线。
　　深得胡雪岩宠爱的罗四太太住的地方是“楠木厅”，俗称边厅，建筑全部用楠木构筑，可以嗅到楠木特有的香味，堪称厅中精品。
　　胡雪岩被朝廷革职，将被查抄之际，罗四太太主张将各个姨太太房里的现款，金条、珠宝等约二三十万两银子，趁天不亮交人带出去。胡雪岩却认为此举有欠光明磊落，不能同意，他对罗四太太说，钱是身外之物，生不带来死不带去。
　　和乐堂隔墙上两扇徽州砖雕堪称一绝。厚厚的陈年石灰封着躲过了战乱，避过了“破四旧”。后人根据图纸和史料，得知墙内有宝贝。为让它重见天日，有人用缝被子的大号钢针，往墙上的老石灰里扎，松软的就扎进去，坚硬的就手下留情。就这样一针一针终于露出庐山真面目。这两扇徽雕艺术价值和文物价值极高。一个寓意“福从天降”另一个寓意“平安出行”。
　　
　　奢华中纵情哀败
　　
　　《清代七百名人传·胡光墉传》曾记载：胡雪岩修建第宅园囿，所置松石花木，备极奇珍。姬妾成群，筑十三楼以贮之。 还有史料说他“大起园林，纵情声色，起居豪奢，过于王侯，骄奢淫逸，大改本性。”
　　胡雪岩在胡宅的生活可谓穷奢极欲，别出心裁，他甚至突发奇想训美女听号令以人代棋。
　　一次他让总管买来三十二个丫头，大家都不解其意，原来是镜槛阁地上画了一副棋盘，胡雪岩让着仙女服的艳丽丫头分成红蓝两组，每人背心的前后绣上“车马相仕帅兵炮卒”，让她们在棋盘里各就各位，随着棋势而挪动。而棋势则由棋者各执一特制竿，上系金坠和五色丝线，坐在镜槛阁内的汉白玉亭指挥。
　　光绪七年，即1881年初夏，胡雪岩已经59岁了。
　　胡雪岩的妻妾们都各有深宅套院，胡雪岩每晚都以抽签的方式决定去哪个妻妾房中过夜，而运气不佳的几乎成了守活寡。但胡雪岩仍不满足。
　　当时除了已有的十二房妻妾，胡雪岩又从梨园院挑出十二个女孩，于是，为了胡家的荣耀，为了胡雪岩的体面，十二个院子，各住了两房太太，叫做二十四钗。
　　胡雪岩似乎沉醉在百花丛中，但二十四钗却只是花园里的鲜花点缀胡家大宅，胡雪岩更大的追求是金钱，他也为此孜孜以求，奋斗生。
　　他在宅内的诸多设计都体现了他对金钱的热爱。第三进院落是一个二厅一庭的园林型院落，东西两厅因四面开窗，格扇和八角形门洞，可以四面赏景，因而叫做“四面厅”。天井内用不同颜色的鹅卵石仿遗址的图案铺成聚宝盆元宝和铜钱的形状，象征财源广进的意思。
　　1883年胡雪岩企图垄断丝业遭洋人暗算破产于是将胡家大宅及其它产业抵给了户部尚书文煜。在租来的只有三根椽子的小屋聊度余生。
　　


　　
　　
　　连接胡庆余堂
　　
　　吴山脚下的大井巷，首先映入眼帘的是一座题名为神农的屋舍：青砖高墙巨宅，黑漆大门光可鉴人，兽头铜环倍显威风，信步前去，画廊曲折，花木装点，假山玲珑，右墙上若没有那排介绍中成药的牌匾，难以想像这是一家药镝。
　　胡雪岩投入二百八十万两建造胡庆余堂，店堂门脸不落窠臼，进门有回廊，植奇花异草，多立名人匾额，中堂宽敞，雕栏画栋，红木柜台，堂内设红木觉椅。门店兼具气势、典雅，药店行业倡导对内“戒欺”，对外“真不二价”。
　　当年胡雪岩为了使胡庆余堂营造出足以令人信服的济世救人的店堂气氛，邀请十几位诗家、书家、医家等来此雅集，这一次聚会诞生了“耕心草堂”，“庆云在霄甘露被野，余粮访禹本草师农”“饮和食德，俾寿而康”“朱草炼成金丹妙药，文霜捣就玉杵奇功”等著名牌匾。
　　今天，作为中国惟一国家级中药专业博物馆，胡庆余堂展示了江南药府的历史及文物，还有老药工手工制药的场景，著名老中医坐堂门诊，并推出各种药膳受到游客欢迎。