李祥瑞的名字，與20世紀80年代中國金融業的兩項重大改革試點⸺全國第一家股份制商業銀行交行的重新組建和全國第一家證券交易所上海證券交易所的誕生緊密相連。

在交行重新組建的籌備階段，擔任中國人民銀行上海市分行行長的李祥瑞始終深度參與其中。1985年7月，交行籌備組成立後，李祥瑞陪同顧樹楨、陳恒平、余瑾到北京向人民銀行總行彙報籌備情況，並徵求國家計委、國家經委、財政部和各專業銀行對籌建交行的意見。籌備過程中，李祥瑞親力親為，就銀行名稱、基本任務、業務範圍、銀行性質、機構設置等問題進行調研、開展討論、出謀劃策。為了在交行探索新型管理體制，1986年10月，李祥瑞還率團赴德意志聯邦共和國考察施行“兩級法人制”的可行性。

1987年2月14日，國務院任命李祥瑞為交行總經理；3月18日，交行在上海市江西中路200號召開第一次董事會議，通過了領導班子名單，李祥瑞任董事長兼總經理。

在第一次董事會上，李祥瑞就旗幟鮮明地提出“三個第一流”的目標，即“第一流的服務品質，第一流的工作效率，第一流的銀行信譽”。此後，他反覆強調，要把“三個第一流”落實到每一個業務領域，“力求在近幾年或者更短的時間裏，把我行辦成一個富有改革精神的新型的社會主義銀行，躋身於國際銀行之林，為我國的經濟發展作出應有的貢獻”。

1987-1993年，在李祥瑞擔任交行主要領導職務期間，交行各項工作取得了可喜進展。僅重新組建的1987年底，資産規模（不包括香港分行）就達到了67.05億元，對外營業（或試營業）的分支機構有上海、南京、大連等16處，同日本、美國、加拿大等126家外國銀行建立了代理關係，並同其中的25家銀行建立了賬戶關係。為保證業務的正常開展，交行重新組建當年就迅速建立了一批業務規章制度，落實了內部自我控制措施，初步做到成龍配套。

李祥瑞是中國金融業改革的主要探路者之一。他積極學習、運用國際商業銀行成功的經營管理經驗，為把交行辦成具有一流水準的商業銀行做了大量卓有成效的工作，也為交行的改革和發展打下了紮實基礎，在推進商業銀行的改革和發展中發揮了重要作用。退出領導崗位後，他受聘擔任交行董事會高級顧問，繼續為交行的改革和發展出主意、想辦法，積極支援交行領導班子開展工作，深受全行員工的敬重。