自京漢鐵路借款以後，清政府就一直謀求京漢鐵路的全部自主經營權。光緒三十三年（1907）四月，陳璧補授郵傳部尚書。陳璧于光緒三十三年七月初三日（1907年8月11日）上奏《密陳京漢鐵路清還洋款期限折》，對原與比利時簽訂的條約中之還款期限問題進行了澄清，開始了收贖京漢鐵路的積極籌備。

收贖京漢鐵路，最重要的顯然是資金問題，陳璧和梁士詒經過討論後，想到的辦法是設立一家銀行。

首先，對郵傳部業務運營而言，設立銀行有其必要性。郵傳部管理的四政業務，來往款項向由外商銀行代理，等於是“操縱由人”，不僅不便於掌握，利益也受到損失。與其讓外商取利，不如自辦銀行。

其次，交通銀行的出現，並不會與其他銀行衝突。鋻於戶部銀行已經在運營，為了取得發放行執照的主管機關度支部的支援，陳璧對交通銀行做了合適的定位。作為商業銀行，交通銀行的角色是“為中央銀行之助”。

陳璧旨在説明，交通銀行的設立，對郵傳部而言，可以“行輪、路、電、郵交通利便之益”；對度支部而言，“是以厚中央銀行之勢力”，“為中央銀行之助”；對清政府而言，“足以收各國銀行之利權”，“而交通利便固不僅輪、路、電、郵實受其益已也”，可謂一舉三得。

光緒三十三年十一月初四日（1907年12月8日），陳璧正式上呈《擬設交通銀行折》，指出有必要倣照“各國普通商業銀行章程”，設立交通銀行。奏折中還附上了《交通銀行章程》，明確“交通銀行純用商業銀行性質，由郵傳部附股設立，官股四成，商股六成”，“總行設在北京，鐵路可通之天津、上海、漢口、廈門、鎮江、廣州六處先立分行”。

鋻於收贖京漢鐵路的迫切需要，《擬設交通銀行折》上呈後沒有遇到多大的阻力，該折的最終批閱意見為“奉旨依議，欽此”。由此，交通銀行的成立從規劃變為了現實。

光緒三十四年二月，郵傳部奏請在正陽門內西交民巷鑲紅旗官地上建蓋交通銀行，奉旨依議。交通銀行隨即于二月初二日（1908年3月4日）“龍抬頭日”開市。

交通銀行的成立，對收回京漢鐵路、助推交通事業發揮了積極作用。在以陳璧為首的郵傳部諸人的不懈努力下，終於在1909年到來之前將收贖京漢鐵路之款如數籌齊付清，京漢鐵路管理權回到了中國人手中。

陳璧遇事持正，精勤不茍。葉恭綽評價陳璧：“所任之務，類關興革大計，且成績炳異，其定法至今猶將持循。”並對陳璧“治事之勤、慮事之密”，“衙齋抱牘，析疑辯難”的情形唸唸不忘。《清史列傳》亦評價“璧精核，任勞怨，勤於職事”。而就交通銀行之設立而言，陳璧實有首創之功。