Köyümüz kurulmadan önce, Çarşınınöz ve Ahmet’in Köyünde yaşayan insanların olduğu zamanlarda buraların beyi, Yahya Bey varmış. Kendi adına yaptırmış olduğu sarayında yaşarmış. Günlerden bir gün şiddetli yağan yağmurlar sonucu büyük bir sel felaketi olmuş. Sel felaketinden, Yahya Beyin Sarayı da nasibini almış. İki’ ye bölünerek sarayın bir kısmı aşağıya doğru sürüklenmiş. Böylece yukarıda kalan kısmına Yukarı Yahyasaray, aşağıda kalan kısmına buralara yeni yerleşen insanlar tarafından Aşağı Yahyasaray denmiş. Böylece köyümüzün adı tahminen 1200 yılından dan bu tarafa Yahyasaray olarak değişmeden kullanılmıştır.
Çevre köylerde ,halk arasında yukarı köy ,aşağı köy tabirleri de sıkça kullanılmaktadır.Özellikle İnönü’ lüler bilerek ve ya bilmeyerek Yasereyin ismini sıkça kullanırlar. Köyümüzün adı ile ilgili olarak Durali Doğan’ın Yozgat Şair ve Yazarları adlı kitabının 154. sayfasında Aşağı Yahyasay köyünden Aşık Hacı’nın deyişiyle şu bilgiler vardır.
Yahyasaray Yahya bey yaptırmış kale sarayı Uğrunda konak var yücedir yeri Tarihini söyler aşığın biri Tarihinde yerin var Yahyasaray'ı Bin iki yüz yılında yapılmış kale Gelmiş bu günlere hep elden ele Aşıklar söyleyip getirir dile Tarih de yerin var Yahyasaray'ı Yahya Bey yaptırmış kaleyi saray Aşıklar dilinde tarihi kolay Başını ziyaret ederler her ay Tarih de yerin var Yahyasaray'ı "Kara Mollam der ki övdüm Saray'ı Sene bin iki yüz tarihdir deyi."

YORUMLAR