U selu već generacijama žive pripadnici etničke skupine Tofinu u jednostavnim kućama od bambusa, podignutim na jezeru, a većina njih se oslanja na samo nekoliko stubova zabodenih u dno jezera. Zbog ovakvog načina života stanovnici Ganvie se često nazivaju Vodeni narod Benina, a njihovo selo Afrička Venecija na Štulama.
Vjeruje se da je selo prvi put naseljeno u šesnaestom ili sedamnaestom stoljeću, a njegovi stanovnici su ga izgradili na sredini jezera kako bi pobjegli od plemena Fon. U to vrijeme, pripadnici moćnog zapadnoafričkog plemena Fon su prodavali robove iz drugih plemena Portugalu. Tofinu su uskoro shvatili da pripadnici plemena Fon iz religijskih razloga ne smiju ući u vodu, niti napadati ljude koji žive na njoj pa su tako odlučili da temelje svog novog naselja podignu na sredini jezera.