W okresie od marca 1933 r. do sierpnia 1934 r. nowy reżim polityczny w Niemczech zamykał w zamku antyfaszystów i komunistów. W księdze głównej znajdują się nazwiska 2311 osób, które były tu trzymane w izolacji, bite i torturowane. Do najbardziej znanych więźniów należał Hermann Liebmann, były minister spraw wewnętrznych Saksonii, i Bruno Apitz, pisarz.
Po raz pierwszy o zamku Colditz wspomniano w 1046 r. w akcie ślubu, w którym wymieniono także zamki w Rochlitz i Leisnig. Król Henryk III Salicki podarował te dobra swojej małżonce Agnieszce z Poitou. Jej syn podarował zamek Wiprechtowi z Grójca. Po tym jak zamek wrócił w posiadanie niemieckiego dworu królewskiego, został przekazany pewnemu ministeriałowi. Z tego rodu wyrośli późniejsi władcy Colditz. Dopiero w 1404 r. musieli oni oddać Colditz na rzecz Wettynów. W 1430 r. husyci zniszczyli miasto i zamek. Na temat odbudowy zamku wiadomo niewiele.
Zamek w okresie średniowiecza
Pałac myśliwski i siedziba wdów
Księżna elektorka Małgorzata Habsburg otrzymała Colditz jako rentę dożywotnią. Była małżonką Fryderyka Łagodnego. Jednak po śmierci męża w 1464 r. wolała przebywać w Zamku Altenburg. W końcu książę elektor Ernest postanowił kontynuować budowę i wykorzystywać Zamek Colditz do urządzania polowań. Gdy w 1504 r. pomocnik piekarza Clemens Bock podpala miasto i zamek, obiekt na szczęście tylko częściowo ulega zniszczeniu. W 1506 r. Fryderyk III Mądry poleca odbudować zamek w stylu renesansowym. Powstają nowe komnaty książęce. Lucas Cranach starszy wyposaża je w obrazy i projektuje elementy wystroju wnętrz. Od 1520 r. Fryderyk przebywa w swoim nowym zamku niemal tak często i długo jak w swoim, nieistniejącym już, ulubionym zamku Lochau. Zostaje tam do śmierci w 1525 r. Najbardziej znacząca dla Colditz wdowa wprowadza się do zamku ok. 1603 r. Zofia Hohenzollern była niegdyś małżonką księcia elektora Krystiana I. Rezydowała w Colditz do 1622 r. i za jej czasów zamek przeżył swój ostatni okres rozkwitu. Wokół zamku niemal w całości ciągnęły się ogrody. Były połączone ze sobą i ozdobione schodami, grotami, tarasami, pawilonami, stawami, winoroślami i fontannami.
Dom pracy i szpital dla umysłowo chorych
Pod koniec XVIII w. Zamek Colditz pełnił rolę domu pracy dla żebraków i włóczęgów. Blisko 200 mężczyzn i kobiet pracowało w zakładzie krawieckim, przędzalni oraz we własnym gospodarstwie rolnym i ogrodniczym. Wśród nich byli także niepełnosprawni i chorzy umysłowo. W 1829 r. zamek przekształcono w „zakład dla nieuleczalnie chorych umysłowo”. Jego pierwszy dyrektor Christian August Fürchtegott Hayner realizował koncepcję leczenia bez krępowania i zakuwania w kajdany. Wówczas w Europie leczenie osób umysłowo chorych było jeszcze w powijakach. Po raz pierwszy zatrudnił także niezależny personel pielęgniarski i nie oddelegował więźniów do opieki nad chorymi. Zakład ten funkcjonował w Colditz do 1928 r.
Wczesny obóz koncentracyjny i eutanazja
W styczniu 1938 r. zamek ponownie przekształcono w „zakład opiekuńczo-leczniczy”. Umieszczano tu jednak i odseparowywano pacjentów z całej Saksonii, którzy ze względu na duży wysiłek pielęgnacyjny byli uciążliwi dla innych zakładów. Colditz stało się miejscem wczesnych morderstw eutanazyjnych „osób cierpiących na choroby dziedziczne i chorych umysłowo”. Poprzez „specjalne wyżywienie” codzienna ilość dostarczanych kalorii była zmniejszana do tego stopnia, że pacjenci umierali w okrutny sposób. Wskutek trwającego miesiącami głodzenia w zamku zmarły 84 osoby.Od 2017 r. upamiętnia je wyjątkowe miejsce znajdujące się w piwnicy budynku Saalhaus.
Oflag IV C
Obóz jeniecki Oflag IV C utworzono w październiku 1939 r. Wehrmacht prowadził go do zakończenia wojny zgodnie z zasadami Konwencji Genewskiej. Pierwszymi więźniami byli polscy oficerowie. Potem do obozu trafiali Brytyjczycy, Francuzi, Holendrzy, Belgowie i Jugosłowianie. Od 1940 r. w Colditz przetrzymywano jedynie takich oficerów, którzy często uciekali z innych obozów. Do Colditz trafiali także wszyscy ci, którzy odnosili się do Niemców wyjątkowo wrogo lub byli prominentami. Swoją sławę „złych chłopców” zdobyli, podejmując śmiałe próby ucieczek. To legendy historii wojskowości. Ich popularność rozpoczęła się w 1952 r., kiedy to ukazała się książka Pata Reida „The Colditz Story”. Pociągnęła za sobą lawinę książek, filmów i programów dokumentalnych. Co roku do Colditz przybywają dziesiątki tysięcy gości.