手に職を付けようと思い役者を志す。小さい頃から自分の声がコンプレックスだったが、母親に「声が変だからといって、その弱いところをかばってばかりいたらもっと弱くなってしまう。声を出すような部活動をしなさい」とアドバイスされ、中学校では放送研究会、高校では演劇部に所属する。最初はその“声”をバカにされたというが、部活動を通して演じることの楽しみを発見し、俳優座の養成所に入所。1956年に、NHKドラマ『この鐘』で俳優座養成所・同期の冨士眞奈美と共にデビューを果たす。デビュー後は仕事のジャンルにこだわらず来た仕事は何でも受ける姿勢で、俳優・渥美清や落語家で先代の林家三平などと一緒に喜劇のようなことやる一方、舞台でシリアスな役を演じていたという。
1960年に演じた人形劇『ブーフーウー』(Boo Foo Woo)の主人公・ブー役がきっかけで、声優の仕事が増加した。代表作は、1966年ちばてつや原作『ハリスの旋風』主人公・石田国松役、1969年『サザエさん』磯野カツオ(初代)役、1970年『のらくろ』主人公・のらくろ役、1971年『アリババと40匹の盗賊』アル・ハック役、1972年『ハゼドン』主人公・ハゼドン役、1977年『無敵超人ザンボット3』神勝平役など、主に元気な少年を演じた。
その後1979〜2004年まで26年間演じた『ドラえもん』(テレビ朝日版第1期)ドラえもん役は、あまりにも有名である。大山の演じたドラえもんには原作者・藤子・F・不二雄も絶賛しており、「ドラえもんってああいう声をしていたんですね」というコメントを残している。またドラえもんを演じていた頃は、「ドラえもんのイメージを崩さない」という理由で他アニメ作品の出演を断っていたという。
俳優や声優にとって一番大事なことは、役を演じるのではなく「作品の中に生きる」ことと考え、現在は音響芸術専門学校の代名誉校長として、大山自ら学生の指導をしている。