حالا درست ۱۱۲ سال از آن روز، آن روز عجیب می‌گذرد؛ نوروز ۱۲۸۵ و تنها چند ماه پس از صدور فرمان مشروطه بود که فرخی یزدی، شاعر آزادیخواه دوران به جای این‌که مثل بسیاری از شاعران همشهری‌اش به دارالحکومه یزد برود و برای حاکم شهر نوروزنامه‌ای مملو از غلو و مدح بخواند، در مجمع آزادیخواه‌ها و دموکرات‌های شهر حاضر شد و در مذمت حاکم قصیده‌ای خواند و همین کافی بود.

این بنا با عنوان های « نارنج قلعه » « دیوانخانه » و « ارگ قلعه » نام برده اند. طبق آخرین نقل در تاریخ ساختن این قلعه در عهد امیرتیمور گورکانی و در سال ۷۹۹ق. به پایان رسیده است.