Stiftsøvrigheden med biskop og stiftamtmand var i 1890 forarget. Forarget over, at Viborg Latinskoles nye gymnastikhus om søndagen i kirketiden genlød af glade gymnasters råb. D’herrer klagede først til rektor og dernæst til ministeriet. Kom hviledagen i hu …
Hans Henrik Lefolii, rektor fra 1866 til 1892, svarede, at han ikke kendte en lov, der forbød gymnastiske øvelser i kirketiden. Alligevel fik han påbud om at holde inde. Gymnastikhuset i skolehavens vestlige ende var hans idé, idet han var stor tilhænger af svenskeren Pehr Henrik Lings metode. Den stod i stærk kontrast til den militæragtige eksercits, der ellers var praksis.
Viborgs rektor var en markant personlighed. Han forenede den lærde skole med højskolebevægelsens idealer. Tanken om et gymnastikhus udmøntede sig i 27.000 kroner på finansloven for 1882-1883. Kongelig bygningsinspektør Vilhelm Walther tegnede det i historicistisk stil, nærmest som et lille tempel.
Hvad det gymnastikhus ikke har oplevet af såvel hjernegymnastik som fysiske anstrengelser. Salen var også festsal, og rektor dekreterede dans på skoleskemaet.
Da skolen forlod huset, omdannede arkitekt Søren Vig-Nielsen det til et folkebibliotek. Den rolle spillede det mellem 1928 og 1963. Senere var det i gavlen mod Kompagnistræde, at den store brevsprække til selvangivelserne sad. I dag er gymnastikhuset domicil for Philipsen Gruppen, der har vist sig at være en talentfuld tempelvogter.