Gårdsbebyggelserna på Ramsön har sina rötter i 1700-talet. Den ena gården har gått i arv inom samma släkt sedan dess och fungerar fortfarande som bostadshus. Byggnaderna är väl underhållna.
Den andra gården ägs idag av Stenungsunds kommun. Både bostadshus och ekonomibyggnader är i stort behov av renovering. Kommunen anlitar hantverkare med stor kunskap om gamla tiders sätt att bygga hus och restaureringen pågår mest under sommarhalvåret.
Förutom gårdarna finns ett torp och fem bostadshus på ön. Alla är fritidshus och flera av dem är bebodda av ättlingar från de båda gårdarna.
Det har funnits verksamhet kring stränderna på Ramsön. Det kan man se på spår efter gammal bebygglse. På öns sydöstra sida finns rester av ett trankokeri och det berättas att ett sillsalteri fanns i närheten. Detta var från mitten av 1700-talet och en bit in i 1800-talet.
