1868年11月，涩泽荣一结束了对欧洲近两年的访问和考察回到了日本。这时的日本，由于明治维新的成功已经进入了一个新的时代。新政府确立了文明开化、国富兵强、殖产兴业三大治国方针，由此拉开了资本主义的制度性变革和工业化的序幕。这一历史性的巨变非常令人鼓舞，也使涩泽感到实现工商救国这一人生新目标的时刻已经来到。他效仿西方的股份制，创办了一家从事农业肥料和大米买卖的企业。然而，涩泽没有想到，正在他满怀信心准备从事实业时，却接到了新政府大藏卿（财政部长）大隈重信的邀请，请他出任大藏省的官僚，担任租税正。对此，涩泽本来犹豫不决，但新政府赏识他在陪同昭武访欧期间表现出的理财能力和才干，没有因为他是旧幕府家臣而将其拒之门外，这种态度打动了他。这样，经不住大隈重信的反复劝导和催促，涩泽决定走马上任，以报答新政府的信任。
　　明治时期的日本百业待兴，新政府面临的任务十分繁重和艰巨。涩泽荣一不负众望，工作得十分出色。他提议在大藏省设立“改正挂”（相当于体制改革研究所），兼任挂长，直接参与了明治维新初期几乎所有重大经济政策（货币制度改革、废藩置县、设立国立银行、发行公债、地租改革等）的酝酿和制定，政绩相当突出，还兼管通商司。到了1871年，涩泽已升至大藏大丞，后又兼任造币头和大藏少辅（相当于现在的次官）等职。但此后没过多久，围绕财政支出方针问题，新政府内出现了严重分歧和对立，涩泽荣一和井上馨主张健全财政，量入为出，适当削减各政府部门的支出，并联名提出了意见书，但他们的意见并未被采纳。涩泽同大藏卿大久保利通发生了冲突。他不愿违心从事，决定辞官为民，从事他内心一直向往的工商业。他对那些对他弃官从商深感惋惜的人不无自豪地说：我的信念不可改变，我要走自己的路。如果说有为之人都愿当官，而平庸之辈才甘于从事工商的话，那么国家的进步与发展是不会有希望的。在我看来，平庸之辈虽可为官，而非英俊之才则不能从事工商。从此，涩泽“下海经商”，走上了实业救国道路。
　　涩泽荣一弃官从商之后在事业上迈出的第一步是创办日本第一家近代金融机构——第一国立银行。这家银行与后来成立的许多国立银行一样，虽然名为“国立”，实际并非国营，政府没有投资，资本全部来自民间，按照股份制企业的原则来运作，在性质上属于拥有货币发行权的民营银行。涩泽荣一出资4万圆，按出资数量排列，他在71名原始股东中位居第12位，并出任总监一职。总监虽然不是第一国立银行在法律上的责任人，但按照涩泽同第一国立银行签订的契约规定，总监为董事会的议长，对董事会讨论的问题拥有最终决定权，并对董事长及董事拥有告诫和教育的权力，而被告诫者必须服从，不得抗拒。可见这份契约实际上等于把第一国立银行的管理权和决策权全都交给了涩泽。不言而喻，这对涩泽来说既是一个极大的信任，也是一个非常严峻的考验。因为从明治初期的情况来看，尽管新政权已经立足，但社会和经济仍然处于剧烈的动荡和变迁之中，殖产兴业这一强国之策赋予近代银行的使命相当沉重，而面临的困难又不胜枚举。在这样的背景下，涩泽只能知难而进，依靠自己的意志、力量和智慧去迎接一个又一个充满未知和风险的挑战。
　　


　　第一国立银行1873年7月20日起开始正式营业。当时银行业务的主要内容包括特殊业务和普通业务两个方面。所谓特殊业务是指发行纸币（在日本银行成立之后被限期取消停止）,负责政府资金的出纳，按照政府的指示收买公债证书和兑换；所谓普通业务是指金银货币的买卖，民间储蓄贷款，以及有价证券的汇兑。由于明治初期民间资金匮乏，企业活动尚且不够活跃，加之银行尚未形成社会信誉，所以来自民间的普通业务比较有限，特殊业务所占比重较大，在储蓄总额中政府的储蓄占了一半。为了真正发挥银行在工商业中的作用，摆脱依赖政府业务的局面，涩泽对第一国立银行进行了多方面的调整和改革，渡过了创办初期的种种危机，很快就当上了董事长。他强调，作为近代银行，金融业务主要面对的不应该是政府而应该是民间，特别是工商企业。正是出于这样的认识，涩泽荣一积极参与了王子造纸会社、东京铁道会社、东京瓦斯局等企业的创办，为开展产业金融业务培养对象和积累经验。他善于观察和把握市场状况和资金需求动向，并把扶持那些对国计民生具有重要影响的产业当做贷款业务的重点。例如，生丝一直是日本最为重要的传统产业和出口产业，直到到19世纪80年代时，在日本出口中的比重仍高达30%左右。因此，保证生丝生产和流通的顺利进行，对于日本获得外汇、引进工业化所需要的技术和设备来说，无疑是一个非常重要的环节。但从当时的情况来看，生丝企业的资金匮乏，常常需要生丝批发推销商为它们垫付流动资本。而生丝批发推销商本身的资金毕竟有限，在资金的周转出现困难时，往往需要寻求外国银行的融资，从而使他们在与外国商馆的交易中经常处于不利地位。根据这种情况，涩泽荣一决定把生丝批发商作为主要的融资对象来加以支持，尽一切可能满足它们在资金方面的要求，这不但可以使它们从外国银行的控制下摆脱出来，同时也增加了第一国立银行的贷款业务。1881年,横滨的生丝批发推销商决定联合起来，成立了生丝联合储存事务所，但因资金缺口很大而难于付诸实施。涩泽荣一得知此事之后亲自出面各方进行斡旋，共筹集资金500万圆，为生丝联合储存事务所的成立提供了保证。
　　经过了近十年的不断摸索和拼搏，涩泽荣一确立的产业金融方针收到了日趋显著的效果，第一国立银行的经营出现了一派繁荣景象，业务规模迅速扩大，与成立初期相比，资金数量、来源构成、资金运用状况都发生了明显的变化。从1877年到1889年这12年间，资金总量增加了55%；在储蓄金中，政府公款储蓄的比重大幅下降，而民间储蓄的比重大幅提高，在数量上已相当于公款储蓄的10倍；而在民间储蓄中，公司账户储蓄的比重由28.2%提高到45%。从资金运用情况的变化来看，借贷总量增加了1.7倍,票据贴现大量增加，所占比重由4.3%上升到9.6%，押汇票据的比重上升到20.2%。与此同时, 资金的运用效益也提高得很快，盈利状况十分看好。显然，从这些变化中可以看出，第一国立银行已完成了向近代商业银行的转变。因此,与其他国立银行相比，第一国立银行的业绩最为突出，体制也最为健全，成为国立银行中的龙头老大。然而，涩泽荣一并没有满足于此，在他看来，第一国立银行一家的成功还远远不够，而整个银行业的健康发展对于国家来说才是至关重要的。因此，他一直十分关心其他银行的发展，主动向他们传授专业知识和自己的经验，帮助他们培养人才，与他们建立良好的业务合作关系，从而使国立第一银行成为银行业中的典范，对日本近代金融体制的形成和发展起到了十分重要的推动作用。