Gården har fått navn etter handelsmann Amund Madsen, som eide og bebodde gården fra slutten av 1800-tallet til han døde i 1915. Selve bygningen er imidlertid langt eldre enn som så. Antagelig ble den satt opp på første halvdel av 1700-tallet, som en to-etasjes bygning etter mønster av forretningsgårdene i Drammen og Kongsberg. Det må ha vært residens for en av Eikers fremste "borgefamilier" på denne tida, men vi vet dessverre ikke hvem.

Den første eieren vi kjenner navnet på, er Hans Christensen Strygen, som ble eier av gården på en auksjon sommeren 1800 for 600 riksdaler. Det var på denne tida at alle bygningene på "Strandstedet Hougsund" ble gitt et eget husnummer og ført inn i et register. Hans Strygens gård ble "Hus no.29".

Hans Strygen var korporal og gjestgiver. Militære var det flere av i Hokksund på denne tida, i og med at Det Hougsundske Compagni hadde Lerbergmoen som ekserserplass. Det var nok også flere vertshus og gjestgiverier, for Haugsund lå sentralt til for folk som var ute og reiste. Det var her riksveien fra Drammen krysset Storelva og svingte vestover mot Kongsberg, og det var her denne riksveien møtte en annen viktig ferdselsåre, veien mot Modum og bygdene i midtre og øvre del av fylket. .

Et nytt kapittel i denne bygningens historie startet i 1816, da ekteparet Nils Hansen Braathen og Marthe Gundersdatter flyttet inn der. Han var kjent som en ivrig tilhenger av den kjente predikanten Hans Nielsen Hauge, og han var en av dem om hadde vært med og starte hauigianernes papirfabrikk like utenfor Vestfossen - Ekers Papirmølle. Etter å ha trukket seg ut av denne bedriften, etablerte han seg som garver i Haugsund. Det var i 1810, og noen år seinere kjøpte han altså Hus No.29 og startet opp med garveri der.

Garveriet ble overtatt av den ene av sønnene, Petter Nilsen Braathen, i 1841. I tillegg til å drive garveriet videre, startet han etter hvert med landhandel i den samme bygningen. I 1865 var dette ett av tre landhandlerier i Haugsund, etter at en ly lov hadde kommet som tillot varehandel utenfor byene.

Gamle kart viser at eiendommen besto av to adskilte bygninger ut mot Storgata, med sidefløyer ned mot elva. Der var de bundet sammen av en stor tverrgående bygning. Antagelig har garveriet vært i denne bygningen, mens landhandelen lå ut mot Storgata. Da husene i Hokksund ble nummerert på nytt, ble dette "Hus no.42" istedenfor "Hus No.29".

I 1878 brant store deler av dette bygningskomplekset, blant annet garveriet, mens hovedbygningen med sidefløy ble stående igjen slik vi ser det i dag. Petter Braathen flyttet da garveriet ned til bruhjørnet, der Sanden Hotell ligger i dag. Landhandelen ble drevet videre i Hus No.42 og etter hvert overtatt av en kar fra Dynge som het Amund Madsen.

Som yrke i folketellingen 1891 oppgir Amund Madsen at han var "elvearbeider, fast Stenbergmand, akkordarbeide, modehandel ved siden" - en ganske spesiell kombinasjon av yrker! I løpet av 1890-tallet etablerte han seg i Hus No.42 A - den delen av bygningen som lå ut mot Storgata. Resten ble solgt til garver Bruun og fikk betegnelsen Hus No.42 B. I 1903 kjøpte Amund Madsen No.42 A, som altså med tiden skulle få navn etter ham - "Madsengården". Der hadde han moteforretning og solgte sløyfebånd og andre pyntesaker. På folkemunne gikk han under navnet "Dokke-Madsen".

Etter Amund Madsen døde i 1915, overtok en av døtrene hans, Emilie, som var enke etter Lauritz Sanden. Datteren deres, Anna Sanden, drev delikatesseforretning her i flere år. Seinere ble det bare benyttet som bolighus, og eiere var Jens Chr. Heggestad, veioppsynsmann Harald Stavn og Oscar Horgen.

Utover på 1900-tallet var Madsengården preget av slitasje og forfall, i likhet med mange andre bygninger i Gamle-Hokksund. Noen ble revet, andre ble modernisert og ombygd slik at de mistet det gamle preget. Heldigvis unngikk Hus No.42 A denne skjebnen. På midten av 1980-tallet overtok ekteparet Arne Alm og Randi Ramstad Alm som eiere. De bestemte seg for å bevare den gamle stilen, selv om mye måtte skiftes ut både utvendig og innvendig - kloakk, elektrisk anlegg, vinduer og utvendig panel.

Dermed har denne flotte 1700-tallsgården beholdt mye av sitt gamle utseende - og bidratt til at Gamle-Hokksund har beholdt litt av særpreget. Prislappen var stor - rundt 3 millioner kroner - men resultatet ble meget bra og har blitt belønnet med bevaringspriser både fra Buskerud Fylke og Fortidsminneforeningen. En må bare si seg enig i Hans Bakkens oppsummering: "Gården står i dag fram som et glimrende eksempel på pågangsmot, innsatsvilje og en ukuelig tro på at den en gjør kan komme ettertiden til gode, og ikke minst at vi kan ta vare på gamle verdier."