相傳當地是一個客家人村落,當中有七位少女自幼成為總角之交,情同姊妹,於是她們結義金蘭,並立下「寧死不嫁」的誓言。
後來三妹的父母決定將她許配給同鄉,她卻不敢違抗父母之命。七位姊妹在她出嫁前一晚相聚痛泣,為遵守「寧死不嫁」以及「雖不能同年同月同日生,但願袛能同年同月同日死」的結拜誓詞,她們七人一起於當地海邊投海自盡。翌日,村民找不著她們的影蹤,但海灣出現了七塊礁石,形狀就如七位少女,他們認為由七姊妹所變成。這七塊礁石稱之為「七姊妹石」,而當地的村落亦改名為「七姊妹村」。
至1934年,香港政府於七姊妹區填海興建房屋,「七姊妹石」亦因此而長埋地底。