传说中，就是在南山，救苦救难的观世音菩萨把这里的居民和海岸线从一场灾难中解救出来。就是在这里，鉴真和尚在他东渡日本弘扬佛法的途中受阻，并漂流到南山。也是在这里，黄道婆开创了纺织业的新纪元，并沿续了著名的“丝绸之路”的历史。