Od března 1933 do srpna 1934 vězní nový politický režim v Německu na zámku bojovníky proti fašismu a komunisty. Ve vězeňské knize je zapsáno na 2 311 osob, které jsou zde vystaveny přísné izolaci, trestání bitím a mučení. K nejznámějším vězňům patří bývalý saský ministr vnitra Hermann Liebmann a spisovatel Bruno Apitz.
První zmínky o hradu pochází z roku 1046 v oddacím listu, kde se hovoří nejen o hradu Colditz, ale také o hradech Rochlitz a Leisnig. Král Jindřich III. daroval tento majetek své choti, Anežce z Poitou. Jejich syn daroval hrad Wiprechtovi Grojčskému. Když se hrad vrátil do vlastnictví německého královského rodu, byl propůjčen jednomu ze sluhů. Z tohoto rodu služebníků nakonec vznikl významný šlechtický rod pánů z Colditzu. Teprve v roce 1404 se museli pánové z Colditzu vzdát svého majetku ve prospěch Wettinů. V roce 1430 dobývají město a hrad Husité. O nové výstavbě hradu toho víme jen málo.
Hrad ve středověku
Lovecký zámek a vdovské sídlo
Kurfiřtka Markéta Habsburská získala Colditz jako doživotní věno. Stala se chotí Friedricha II. Saského. Po smrti svého chotě v roce 1464 však nejraději pobývá na zámku Altenburg. Kurfiřt Arnošt se ujímá vedení výstavby a využívá hrad Colditz pro své lovecké pobyty. Když v roce 1504 pekařský čeledín Klemens Bock zapálil město a hrad, byly budovy hradu naštěstí zničeny jen zčásti. Roku 1506 zahajuje Fridrich III. Saský opětovnou výstavbu hradu v renesančním stylu. Vznikají nové obytné knížecí místnosti. Lucas Cranach starší vyzdobil tyto pokoje svými malbami a navrhl a rozhodl o části vnitřního vybavení. Od roku 1520 přijíždí Fridrich do svého nového zámku tak často a tráví zde tolik času, jako na svém oblíbeném zámku Lochau, který dnes již neexistuje. Zůstává zde až do své smrti v roce 1525. Roku 1603 se do zámku Colditz stěhuje vdova, která se nesmazatelně zapsala do jeho historie. Žofie Braniborská byla v minulosti chotí kurfiřta Kristiána I. Pobývala na zámku Colditz až do roku 1622 a postarala se o poslední dobu rozkvětu této stavby. Zahrady v té doby obklopují již téměř celý zámek. Jsou vzájemně propojeny a zdobeny četnými schodišti, kavernami, terasami, letohrádky, rybníky, vinicemi a fontánami.
Chudobinec a ústav pro choromyslné
Ke konci 18. století se ze zámku Colditz stává zemský chudobinec pro žebráky a tuláky. Na 200 mužů a žen pracuje v krejčovské dílně, v přástevně a na vlastním hospodářství a zahradnictví zámku. Do práce se zapojují i tělesně postižení a duševně nemocní jedinci. V roce 1829 se ze zámku stává „zemský ústav pro nevyléčitelné duševně nemocné pacienty“. Jeho první ředitel, Christian August Fürchtegott Hayner prosazuje pohled, podle kterého se při zacházení s nemocnými pacienty nemá používat poutání a řetězy. Toto pojetí bylo v té době v Evropě teprve v plenkách. Poprvé také přijímá svobodný ošetřující personál a zamezuje tomu, aby se o duševně nemocné pacienty starali vězni. Ústav zůstává na zámku Colditz až do roku 1928.
Koncentrační tábor a Eutanázie
V lednu 1938 se ze zámku znovu stává „léčebný a ošetřovatelský ústav“. Cíleně jsou sem umísťováni a izolováni pacienti z ústavů v celém Sasku, pro které byli takoví pacienti z hlediska nároků na ošetřování příliš nákladní. Colditz se stává místem uskutečnění prvních vražd eutanázií vykonaných na „lidech s genetickými vadami a duševními chorobami“. Vzhledem k „mimořádným nákladům“ byl pacientům omezen jejich denní přísun kalorií v takové míře, že zde umírali v ukrutných bolestech. Na zámku zemřelo po mnoha měsících hladovění 84 lidí. Právě jim je od roku 2017 věnováno zvláštní pamětní místo ve sklepení sálu.
Oflag IV C
Tábor pro válečné zajatce Oflag IV C byl zřízen v říjnu 1939. Wehrmacht tábor vedl až do konce války podle pravidel Ženevské konvence. Prvními zajatci se stali důstojníci polské armády. Následovali je důstojníci z Británie, Francie, Nizozemska, Belgie a Jugoslávie. Od roku 1940 byli v táboře Colditz soustředěni jen důstojníci, kteří často utíkali z jiných táborů. Do tábora v Colditzu také mířili všichni ti, kteří se vůči Němcům chovali mimořádně nepřátelsky, a také prominentní zajatci. Svými odvážnými pokusy o útěk si získali pověst „zlých hochů“. Stali se legendami vojenské historie. Na popularitě zámek získal v roce 1952 po vydání knihy „The Colditz Story“ (příběh z Colditzu) od Pata Reida. Do dnešních dnů je toto místo předmětem mnoha knih, filmů a dokumentárních pořadů. Do Colditzu míří každý rok desetitisíce návštěvníků, aby si prohlédli na vlastní oči místo dění.