交通银行最早成立于1908年3月4日，总部设在北京。时值清政府末期，正是中国历史巨烈变革之时。当时外商银行进驻中国不仅攫取了中国铁路的筑路权，还通过赔款的清偿，控制了中国的关税收入。国内的银行很难与外商银行相抗衡。在朝野一片要办“自己的银行”的呼声下，1907年11月，清政府邮传部正式奏请设立交通银行。
　　交通银行成立后做的第一件事就是负责借款赎回京汉铁路。1908年12月，京汉铁路收回，交通银行完成了创办的初期使命。
　　1928年，交通银行总管理处由北京迁至上海。1935年11月国民政府实行法币政策，交通银行所发行的货币亦被定为法币。
　　1949年，交通银行在国内的大量外汇资金陆续移至菲律宾交通银行。上海宣告解放后，军管会接管了交通银行。1949年11月1日，经过接管和整编，交通银行复业。业务重点是公营工矿、交通事业的信贷服务。该年12月，总管理处又由上海迁至北京。
　　1954年，中国人民建设银行成立。根据形势的需要，交通银行自1958年起，除香港分行继续营业，内地业务分别并入当地中国人民银行和建设银行，其内地各分支机构亦不再存在。
　　1984年底，上海市政府和国务院调研组联合向国务院提出关于上海经济发展战略的报告，提出要恢复上海作为太平洋西岸重要的经济、金融和贸易中心城市的地位。同年12月，国务院调研组进一步建议“在中国人民银行之下，设立一个新的全国性银行，与4个专业银行平行，总部设在上海，经营对内对外长期短期存放汇业务，可以与其他银行业务交叉，允许在外地设立分支机构。”
　　1986年7月24日，国务院发出《关于重新组建交通银行的通知》。通知规定，交通银行为国务院直属局级经济实体，在基建、物资、劳动工资、财务、人事、外事、科技、文电等方面，在有关部门单独立户。交行总管理处实行总经理负责制。分支机构在总管理处领导下，自主经营，独立核算，自负盈亏。1986年劳动指标暂定为500人。
　　1987年3月18日，交通银行重新组建后召开第一次董事会会议，通过《交通银行章程》，规定交通银行的开业资本金为人民币20亿元，分为2000万股，每股为人民币100元。股本由中央财政股、地方财政股和企业法人股三种成份构成。其中中央财政股由财政部代表国家控股，拨入资本金10亿元，控股50％。以后，财政部又以中央财政股分得的股利逐年追加投资，以保持中央财政股一定的控股比例。
　　1987年4月1日，重新组建后的交通银行开业，其总管理处二度由北京迁至上海。
　　交通银行成立后的办公地点在江西中路200号，位于上海浦西最繁华的南京路商业地段。这幢七层的洋楼在解放前曾是私营银行金城银行的所在地。解放后改为青年会。交行重新组建，上海市政府特别将这幢有历史意义的建筑收回租赁给交行。
　　交行的发展大致经历了四个阶段：其一，1987－1992年间，是交行高速发展的时期，机构、人员迅速增加。1987年资产规模200亿元，1988年就达到400亿元。由于当时实行二级法人制，90个分支行就有90个法人机构，潜伏了很多资产质量问题；其二，1993～1996年间．处于整顿治理过程中。当时的交行主要是被动式发展，资产规模从1000亿元发展到3900亿元，1994年交行试图把多个法人变为一个法人，当时建立了资产负债比例制度，总分行内部管理体制；其三，1997年～2000年，亚洲金融风波后，交行进入成熟发展期。当时建立了内部信用评级制，对分支行建立岗位授权制度，对企业建立综合授信制度，采用总分行联动的办法对所有的问题进行考核，60％的贷款采用了总分行联动的做法。第四阶段，2000年至今，提出上市，并开始着手引入外资。
　　历任交通银行领导人包括李祥瑞（原人民银行上海分行行长）、戴相龙（现天津市市长）、王明权（现光大集团董事长）、殷介炎及方诚国。前三任均为董事长兼总经理（行长），殷介炎为董事长，方诚国为行长。5月下旬，交通银行领导班子更换，新董事长为47岁的原湖北省副省长蒋超良，新行长为原工商银行国际业务部总经理张建国。