古樵樓主要指的南樵樓，它是宮殿式三層樓閣建筑，它的下層兩側(cè)有登樓石級，中間是人行通道。通道兩壁，對稱地豎立著二十六根木柱，俗稱“二十四根通天柱”（因?yàn)橹虚g兩根原來一直被砌在門墻內(nèi)）。
    此樵樓最早建于宋宣和年間，現(xiàn)存的古樵樓基本保持宋代的建筑風(fēng)格，特別是其中的“排柵柱”，乃正宗宋代“營造法”，今已很難見到。
    傳說古時(shí)候，有位鄺知府，自以為懂得風(fēng)水地理，為了鎮(zhèn)制他認(rèn)為不吉利的山勢，就在徽州府府堂正前方，建造了這幢皇式樓閣。據(jù)說，他為了區(qū)別于北京皇城城樓，特地少造了兩根柱子，只豎二十六根柱。誰知盡管如此，仍然被人告了御狀，說他與皇上分庭抗禮。結(jié)果，這位自作聰明的鄺知府，以欺君之罪名，受剝皮獻(xiàn)革酷刑致死。
    如今，這幢構(gòu)造獨(dú)特的古譙樓，是歙縣博物館的館址。博物館里展出歙縣歷代文物，包括各朝各代的書畫、瓷器、歙硯等。