Budova Červeného mlýna vznikla do roku 1792 v severní části parku jako dvoukřídlá jednopatrová stavba v gotizujícím slohu s půdorysem ve tvaru písmene "L". Původní návrh, zdobný "kulisový" mlýn, byl po záplavách v letech 1784 až 1785, kdy byl zničen mlýn ve Starých Ouholicích a řeka opustila u Veltrus své pravé rameno, hrabětem Chotkem přeprojektován na funkční mlýn. V prostoru dnešního severního křídla navazovaly na hlavní budovu dva nižší pomocné přístavky. Mlýn měl původně jen (dodnes zachované) západní křídlo, v jehož spodní části pracovala tři mlecí zařízení, později jen dvě. Ve věžovitém nástavci v západním rohu budovy byl neogoticky zařízen salonek se štukovou výzdobou, sloužící k odpočinku panstva při vycházkách a vyjížďkách na loďkách. Podle původní grafiky z té doby je v těchto místech kanál upraven na jezírko. U mlýna byl kanál rozšířen na dvě větší vodní nádrže rozdělené stavidlem u silničního mostku (jedna před přemostěním a druhá pod mlýnem). V roce 1824 byl veden v chotkovském soupisu jako výstavní nejlepší budova panství. Zhruba kolem poloviny 19. století byl objekt pronajímán a nakonec prodán. Po roce 1840 byla tato budova rozšířena na podkovovitý půdorys. Na nádvorním průčelí byla zřízena pavlač v gotizujícím slohu a nádvoří bylo z jihovýchodu uzavřeno zdí s branou. Ani původní část budovy se však nedochovala v nezměněném stavu. Byla odstraněna atika s fiálami, vyměněna nová okna, zničena podstatná část původních fasád, neboť budova prošla několika stavebními i funkčními proměnami. Dvakrát vyhořela, podruhé v roce 1929. Po opravě a odstranění mlýnského zařízení (koncem 19. století) sloužil Červený mlýn jako penzion a výletní restaurace. Za 2. světové války se stal sídlem Hitlerjugend a po roce 1948 byl upraven na Domov důchodců.