Dějiny obce Zboží se shodují s dějinami zdejšího zámku a panství. Kdy byla obec založena, není známo, ale jisté je, že stalo se to v dávném středověku.
V 13. století náležela obec Zboží pánům z Lichtenburku, z nichž Smil ze Světlice (* 1269) vystavěl hrad Světlici (pozdější Lichtenburk) nyní Lichnici. Jako knížecí rod vládli na Lichnici a pečovali o hornictví v krajinách sázavských, patřili mezi nejbohatší rody království. Smil rozdělil své jmění mezi svoje čtyři syny: Jindřicha (Hynka), Smila, Oldřicha a Remundta. Hynek dostal Žleby, Smil Ronov, Oldřich Lichnici s Chotěboří a Remundt zboží Smrdovské, k němuž i Zboží s Bačkovem náleželo. Všichni společně drželi Německý Brod.
Remundt se stal později pá
nem na Bítově a hejtmanem na Moravě, založil rod Bítovských z Lichtenburku. Z Čech se znenáhla vyprodával a zakupoval se na Moravě. Roku 1307 prodal statky Smrdovské klášteru Vilémovskému (dle "Legend a letopisů" a Ottova "Naučného slovníku".) Při klášteře Vilémovském bylo Zboží asi do roku 1400, kdy jej dal opat Mikuláš za souhlasu konventu bratru svému Beneši ze Smrdova a jeho synu Václavu na dluh i s Bačkovem. Syn Václavův byl Procek a ten psal se z Bačkova.
Dle archeologických památek od Jeronýma Solaře díl IV., náleželo Zboží i Bačkov zároveň panství světelským, vrbickým a j. r. 1578 Buriánu Trčkovi z Lípy. Avšak Zboží i Bačkov již mnohem dříve Trčkům náležely, neboť Trčkové stali se pány statků kláštera Vilímovského. Roku 1591 bylo Zboží i Bačkov při panství světelském pod svobodným rychtářem v Bačkově. Trčkové byli bohatá rytířská rodina. Nejčelnější údové této rodiny jsou Mikuláš Trčka z Lípy (+1453), přítel Jiřího z Poděbrad . Vnuk Mikulášův Mikuláš mladší (+1516) dal manželku svou Kateřinu z Kosti pro nevěru na Lichnici zazdíti. Bratr tohoto Burian (+1522) byl královským podkomořím. Vnuk Burianův Burian byl pánem na Lipnici, Světlé a Ledči i statkům k nim náležejícím. Byl královským podkomořím a místodržitelem v Čechách. Poslední mužští potomci rodiny Trčků byli Jan Rudolf (+29. 9. 1634) a vnuk Adam Erdman (+25. 2. 1634 v Chebu)
Adam Erdman hrabě Trčka měl za manželku Maxmiliánu z Harrachu, sestru manželky Albrechta z Valdštejna, jehož byl se svým švagrem Vilémem Kinským, hlavní stoupenec. S Valdštejnem i Kinským byl 25. 2. 1634 v Chebu zabit a jmění jeho konfiskováno. Stalo se tak patentem císařským 29. 3. 1634. Císař Ferdinand II. Statky Trčkův rozdal nebo rozprodal. Zboží s okolními statky zakoupil Burian Ladislav hrabě z Valdětejna. Po jeho smrti je spravovala Anna Marie ze Šternberka, pro velké dluhy musela Zboží přenechat Albrechtovi Beneši Klusákovi z Kostelce. Po smrti posledního z rodu Klusáků Terezie Amchové, manželky Matěje Amcha z Borovnice pána na Nové Vsi, drželi Zboží jezuité z kláštera u Kutné Hory. ( Ottův slovník a farní kronika ve Smrdově.)
Od jezuitů koupil Zboží František Ignác, rytíř Vražda z Kunvaldu. Ten je pak prodal Vojtěchovi Bláhovi vladykovi z Chotětova, po němž je držela jeho sestra Ludmila provdána Balnová. Tato prodala Zboží 15. 2. 1753 Janu Adolfu hraběti z Potingu, který je připojil k panství haberskému . Dne 14. 6. 1809 koupil Zboží Josef svobodný pán z Badenthalu. Roku 1892 převzal panství hrabě Osvald Thun z Hohensteinu. V roce 1913 dal hrabě Josef Osvald Thun panství do rozprodeje "Pozemkové bance".
Od "Pozemkové banky" koupil velkostatek Zboží v roce 1914 Richard Morawetz továrník v Úpici. Na počátku světové války nechal zřídit v zámku vojenský lazaret. Pak zůstal zámek prázdný, jen v létě sem zavítaly různé kolonie ( mrzáčci z Jedličkova ústavu v Praze a žáci pomocné školy z Libně.)
Při pozemkové reformě byl v roce 1925 zabrán i zdejší zámek. Zámek zakoupila od Státního pozemkového úřadu za 100 000,- Kč Odbočka Červeného kříže v Libni a převzala jej dne 23. 2. 1925 pod svou správu. V zámku byla zřízena Ozdravovna pro mládež po 3 měsíce v čase letním. V prvním turnusu ( po 6 týdnech) děvčata, v druhémturnusu chlapci.PoII. Světové válce , kdy jej němečtí vojáci používali jako velitelství (podle místních pamětníků též jako šantán), jej v roce 1949 převzal do péče stát. Tento v něm dal, po vzniku JZD v obci, zřídit kanceláře. JZD využívalo objekt do roku 1956, kdy 26. 7. 1956 byl uskutečněn bezplatný převod vlastnictví z červeného kříže na Odbor pracovních sil, zdravotnictví a sociálního zabezpečení rady ONV v Chotěboři, jenž dal v zámku zřídit domov důchodců. Důvodem převodu byla finanční nedostatečnost červeného kříže. 29. 8. 1963 Komise sociálního zabezpečení v Havlíčkově Brodě rozhodla o přeměně z domova důchodců na ústav pro mentálně postižené muže středního věku, který funguje s mírnými změnami až do dneška.
Zámek byl v roce 1964 i s parkem zapsán jako kulturní památka do státní památkové péče.
Vypracoval Martin Kozlík