田中曰く、遠藤は高校進学時に大阪府の上宮高等学校など7つの名門校からスカウトを受けていたという。遠藤は最終的に香川県の藤井学園寒川高校に進学し、3年時にはキャプテンを務めた。田中は「スカウトきた7校中、6校甲子園出て。唯一甲子園出てないところ遠藤選んで行ってん。その引きの弱さ…」と失笑。今では寒川高校は甲子園出場経験を持つが、遠藤が在籍時には甲子園に出場することはできなかった。
当然、能力の高い遠藤は進路に迷っていたという。3年時の夏の香川県予選大会で、遠藤は「この打席ヒットを打てば大学に行こう」と決心。遠藤の身長は166センチ程で身長的に直接プロに進むことが厳しいため、一旦大学に進学してからプロを目指そうとしていたという。
その状況の中で打席に入り、遠藤は会心の振りでセンター前にライナー性のボールを飛ばし、ヒットを確信。しかし、観客が湧き上がり、センターの外野手がなんとファインプレーでアウト。その人物が、なんと現在オリックス・バッファローズに在籍している谷佳知選手だという。谷はベストナイン5回、ゴールデングラブ賞4回、1996年「アトランタ五輪」では日本代表として銀メダルを獲得。高校は香川県の名門・尽誠学園高等学校出身。遠藤が1学年先輩なため、谷が2年生時に対戦。そのまま香川県大会で優勝し、1989年「第71回全国高等学校野球選手権大会」に出場。ベスト4という好成績を残している。