Yıldızeli tarihçesinin başlangıcı olarak 1639 yılı alınsa da, ilçede tarih öncesinde M.Ö.4500’lerden itibaren yerleşimlerin olduğu, yapılacak yeni arkeolojik çalışmalarla bu tarihin çok daha öncelerine inebileceği anlaşılmıştır. İlçenin Kalkolitik Devir’den itibaren, Eski Tunç, Orta Tunç, Hitit, Frig, Med ve Pers dönemleri, Makedonya Krallığı ve Hellenistik dönem, Roma, Bizans, Selçuklu, Beylikler ve Osmanlı döneminden günümüze kadar uzanan bir tarih sürecinde Orta ve Doğu Anadolu’nun bir geçiş bölgesi olarak sürekli iskana tabi olduğu anlaşılmaktadır.
Yıldızeli 1639 (Hicri 1049) yılında 4.Murat’ın Sadrazamlarından Kemenkeş Kara Mustafa Paşanın Bağdat seferi sırasında askerlerinin konaklaması için burada 1 cami, 1 han, 1 hamam yaptırmak için 4.Murat’tan izin istemesi üzerine 4.Murat buradaki toprakları Kemenkeş Kara Mustafa Paşaya vermiş, dilerse satacağını, bağışlayacağını vakfedeceğini bildirmiştir. Bunun sonucu olarak 1 han, 1 hamam ve 1 cami yapımı için vakıf kurulmuş, bazı köyler bu vakfa bağlanmış, zamanla etrafta yeni köyler ve yerleşme toplulukları oluşarak Yıldızeli bu şekilde kuruluşunu tamamlamıştır.Ancak kaynaklar 1075 yılında bu toprakların yerleşim yeri olduğunu kaydetmektedir. Söylentilere göre de İlçe kurulmadan önce çevresinin ormanlık, sazlık, bataklık olduğu, burada 10-15 evlik bir topluluk bulunduğu, sonradan burası temizlenerek yerleşime uygun bir hale getirildiği anlaşılmaktadır. Uzun süre Sivas Sancağına bağlı Bucak merkezliği yapan İlçe, 1863 yılından sonra yapılan teşkilatlandırmada Tokat’ın İl olmasıyla 1875 yılında İlçe olmuştur. İlçe Cumhuriyet dönemine kadar “YENİHAN” olarak anılmış, Cumhuriyet döneminde 1936 yılında Tokat’tan alınıp Sivas’a bağlanmış ve bölgedeki “YILDIZ” dağından esinlenerek “YILDIZELİ” adını almıştır. İlçe merkezinde merkez camii ve hamam halen kullanılmakta, han ise yıkılmıştır.