ジョシュは“レディース・マン(女たらし)”といわれるほど数々の女性とウワサがあったが、本人はデートをすることが好きでも、それ以上先には進めないと語っている。
スカーレット・ヨハンソンと2年間交際、その後キルスティン・ダンスト、ミーシャ・バートン、一番最近ではアビー・コーニッシュとウワサされたジョシュ、「もっと警戒しないといけないから、恋愛についてはあまり話さないよ。でもウワサの95%はウソだから笑っちゃうよ。同じ部屋にいるってことだけで全員と関係を持っちゃうんだから、それっておかしいだろ」「僕はハリウッドの色男って呼ばれてきた。でも実際は人生で真剣な交際を2回しかしたことがないなんて、素晴らしいと思うよ」と話した。
また、ジョシュは自分のことを俳優として真剣に見てほしく、できるだけ注目されないようにしているとイリー・レコード紙に語った。
「注目の的から外れれば外れるほど、自分が俳優だともっと信じられるんだ。まあ、私生活を他人に知られたくはないしね」「僕ってもうちょっと現実的なんだよ。現実世界の外で動こうとすれば、どこにも辿り着けないって分かっているからね」