経歴
文久3年（1863年）、密かに英国に井上馨、山尾庸三、伊藤博文、井上勝の4人と共に留学し、慶応2年（1866年）に帰国。同年、英国公使ハリー・パークスはジョージ・キング提督に長州藩を訪問させる事とし、井上馨らは三田尻で出迎えて饗応し、翌日停泊する英国艦提督室で毛利敬親父子との会見が実現した。この時遠藤と井上が通訳をした。
明治維新後は、明治3年（1870年）から死去する1893年（明治26年）まで造幣局に務めた。1874年（明治7年）には指導責任者であるイギリス人のお雇い外国人トーマス・ウィリアム・キンドルと衝突し、造幣局を去るが、1875年（明治8年）1月にはオリエンタル・バンクと契約を解消し、キンドル他9人のお雇い外国人が解雇されると、再び造幣局に戻る。1881年（明治14年）には造幣局長となっている。1893年6月20日、錦鶏間祗候を仰せ付けられた。
逸話
毎年4月中旬の1週間、局内の桜並木を一般公開する桜の通り抜け (大阪造幣局)は、明治16年（1883年）に当時の局長だった遠藤の指示により始まり、現在も大阪の春の風物詩として継承されている。
