Gjest Baardsen Statue, Sogndal

Bårdsen sat mykje i fengsel, men klarde særs ofte å rømma. Han vert ofte samanlikna med Robin Hood. Det vart sagt om han at han tok omsyn til fattige og svake, og rekna som eit slag ikkje-valdeleg gentlemanstjuv.

I 1827 ble han idømt livsvarig straffarbeid og hensatt i Akershus slott. I fangenskap forfattet han blant annet selvbiografien Gjest Baardsen Sogndalsfjærns Levnetsløb (1835, tre bind), hvor han i stor grad konstruerte en versjon av sitt eget liv som romantisk og ridderlig rettferdig gentlemanstyv. Han skrev også en bok om rodi (fantespråket) og en utredning om fangelivet. Han ble benådet i 1845. Resten av livet reiste han omkring og solgte bøkene sine. Under koleraepidemien i Christiania i 1833 var han en av de som ble smittet, men Gjest Bårdsen døde først i Bergen i 1849. Han ble da titulert som «Boghandler».