Vid slutet av 1840-talet uppfördes Klaraborgs herrgård av greve Carl Gustaf Löwenhielm. Greven och hans hustru Natalie, född rysk furstinna, använde Klaraborg som bostad endast korta perioder medan man större delen av året bodde på Longs slott utanför Grums.
När Löwenhielm avled 1858 inköpte stadens myndigheter Klaraborg för en summa av 35 000 riksdaler. Efter att herrgården gjorts om till fattigvårdsanstalt ökade kostnaderna för fattigvården i staden år 1872 till 22. 905 riksdaler. Den största utgiften var bortackorderingar av omkring 100 barn och vuxna. Man lämnade dessutom hjälp till uppfostran av 40 barn. Övriga kostnader var avlöningen till sysslomannen, heltidsanställd tjänsteman, samt hans tre biträden. Vidare utgifter var mathållningen på Klaraborg, ved till eldningen, medicin och sjukvård, ordinarie och tillfälliga familjeunderstöd, hyreshjälp till behövande samt kläder. De intagna fattighjonen bidrog till att försörja sig med strumpstickning, fjäderspritning, beredning av tagel, drevnappning, tillverkning av brevkuvert samt sko- och snickeriarbeten. De som var intagna på arbetsinrättningen fick även mangla och hämta vatten åt olika hushåll i staden samt knacka sten till stadens gator. De var dessutom tvungna att sköta renhållningen av torg, gator och allmänna platser, elda i rådhusets tjänsterum samt vintertid hålla rådhustrottoarerna fria från snö.
