海で溺死した者の亡霊がその始まりだったとされるほか、戦国時代にこの地を支配した長宗我部元親に滅ぼされた、吉良親実(ちかざね)主従の怨霊とされる説もある。
また、関ヶ原合戦で長宗我部氏が改易された後、土佐へ入封した山内一豊は、長宗我部氏旧臣の抵抗に手を焼いて、親睦の相撲大会を開くと嘘をついて旧臣らを浜辺に集め、これを鉄砲で皆殺しにしている。この後、生き残った旧臣たちは復讐のため一豊の暗殺を目論むが、これを恐れた一豊はいつも6人の影武者を引き連れて行動するようになった。それが昔からこの土地に伝わる七人ミサキの伝説と結びつき、「あのお殿様は災いをもってやってきた」と、人々が不気味がって噂したという。
それとは逆に、一豊と影武者が7人一緒に行動する様から、七人ミサキの伝説が生まれたという説もあり、その発祥ははっきりとしない。