1883 yılında yapıldığı bilinen konak 1929 ve 1936 yılları arasında Yozgat Belediye Başkanlığı yapan Yusuf KARSLIOĞLU tarafından satın alınarak uzun süre kullanıldığı için “Karslıoğlu Konağı” olarak adlandırılmıştır. Arkeoloji Müzesi olarak kullanılmak üzere 1977 yılında Kültür ve Turizm Bakanlığı tarafından istimlak edilen konakta ilk restorasyon çalışmaları 1990 yılında tamamlanmıştır. Atatürk’ün Yozgat’a ilk gelişinde (3 Şubat 1934) burada kaldığı ve daha sonrada uzun bir süre Vali Konağı olarak kullanıldığı bilinmektedir. Konak şu anda İl Özel İdaresine tahsis edilmiştir.

Konak bodrum kat hariç iki katlı olan, alt katta köfeki taşına benzeyen işlenmesi kolay sarı renkli kesme taşlar üzerinde yükselen ince ahşap işçiliği tavan dekorasyonu ve süslemeleri ile dönemin ve günümüzün en güzel örneklerinden biri durumundadır. Eski Yozgat-Sungurlu yolu (şimdiki Hattuşaş yolu) üzerinde C. Ali Efendi Camii’nin yakınında yer alan birinci katı sarı renkli kesme taş (Nevşehir Taşı), ikinci kat kagir olan bu konak kırma çatılıdır. İkinci kat güney-kuzey yönünde çıkıntı yapar. Bu kısmın altı “S” konsollarla desteklenmiştir. Balkon tabanı sonradan betonlanmıştır. İkinci kat balkon pencereleri yuvarlak kemerli olup ahşap çerçevelidir. Binaya giriş, güneydeki taş çerçeveli yuvarlak kemerli bir sundurmadan sağlanmıştır. Bugün üst kata (birinci kata) beş basamaklı taş merdivenle doğudaki dikdörtgen küçük kapıdan çıkılmaktadır. Birinci kat girişi, yuvarlak kemerli ve dört revnaklıdır. Kemerler arasında sarı renkli taştan yapılmış, iyonik başlıklı sütunlar mevcuttur. Revak üzeri oymalı tonozlu sonradan betonlanmıştır. Sekizgen sofanın her köşesinde bir oda yer alır.

Güney- batı köşesinde, önemli konukların ikameti için ayrılmış özel bir oda yer alır. Bu odanın tavanı diğer odalarınkilerden daha güzel işlenmiştir. Salonun güney kısmı eyvanı hatırlatır. Bu eyvanın önünde bir balkon bulunmaktadır. Oda kapıları üzerinde görülen sonradan kazınılmış haç şekillerinden ve güneydeki sundurma üzerinde yer alan balkonun üçgen alınlığındaki Rumca yazılardan bu yapının eskiden Rumlara ait olduğu anlaşılmaktadır. Bu üçgen alınlığın ortasındaki Rumca üç satırlık yazı ve 1883 rakamı bu yapının tarihini vermektedir.