30年連れ添った妻ラターニャ・リチャードソンとの間に28歳の娘ゾーイを持つサミュエル、落ち着いた家族生活が大事で、結婚生活に必死に取り組んできたと語る。
「僕の父親は家にいない人だったから、自分はいつも娘の生活に関わっていることが大切だと考えて、娘にとって両親はいつもそこに居るべきだと思っていた。おかげで結婚生活が30年も続いているよ。誰にだって、『そんなコト知るか!』なんて、逃避する可能性があるだろ? でも、『ああ、確かに。悪かったよ』って言うことも出来るだろ。たとえ、自分が悪くなくてもね」
サミュエルはまた、多くのハリウッドスターたちから比べてかなりまっとうで、ずっと自分のおこないを誇りに思っているともコメントした。
「刑務所には一度も入ったことがないんだ。逮捕もされたこともないし、留置所に入れられたこともない。よき息子であり、よき父親であり、そしてよき夫だ。同じ女性と30年も結婚しているんだから。よき友人でもある。大学を卒業し、教養も備えて、匿名で寄付もしているよ。だから世間が僕のスクリーンで演じる役について批評するときは、『それって経歴の一部だろ』って言ってやるんだ」