Cư dân trên đảo Phú Quý ngày càng đông, cộng với một số ngư dân đi biển bị bão tố trôi dạt vào và ở lại định cư làm ăn. Khi cuộc sống ổn định ngư dân các làng trên Đảo bắt đầu xây dựng dinh, vạn để thờ Thần Nam Hải ( cá voi) vị thần phù hộ về mặt tinh thần cho những người đi biển. Đó cũng là phong tục truyền thống tín ngưỡng của người Việt đối xử với cá voi vị thần biển cả, ân nhân cứu mạng che chở cho họ khi đi biển và làm ăn trên biển.
Từ thế kỷ XVI-XVII người Việt đã di cư đến đảo Vạn An Thạnh xây dựng theo lối kiến trúc dân gian của người Việt như dạng đình làng trong đất liền các kiến trúc chính gồm chính điện, nhà Tiền hiền, Võ ca. Bên trong vạn còn có chỗ chứa xương cốt cá voi gọi là Tẩm.
Vạn An Thạnh được kiến tạo hoàn chỉnh năm Tân Sửu 1781 tại bờ biển làng Triều Dương, xã Tam Thanh huyện đảo Phú Quý, cách thành phố Phan Thiết 120 hải lý về hướng Đông.
Vạn An Thạnh đã được Bộ Van Hoá Thông tin công nhận xếp hạng di tích lịch sử văn hoá tại quyết định số 51-QĐ/BT ngày 12 tháng 1 năm 1996.