Šmarje pri Jelšah so izjemno bogat kraj, saj vsebuje mnogo naravnih in kulturnih znamenitosti, med visoko kulturo pa tukaj štejemo tudi dvorec Jelše oziroma Jelšingrad. Jelšingrad je tesno povezan z zgodovino samega kraja v srednjem veku, saj je sam dvorec dokaz o izjemno bogati srednjeveški zakladnici, ki premore mnogo različnih znamenitosti in podobno. Starejši viri pričajo, da naj bi bil Jelšingrad postavljen v visokem srednjem veku, vendar slednji podatek o postavitvi in obstanku zasledimo v literaturi leta 1424, poimenovan kot Erlach.
Slovenska oblika imena Jelše, se pojavi konec 15. stoletja, Jelšingrad pa je že kmalu zatem, leta 1635 bil napaden in oropan iz strani uporniških kmetov. Omembo dvorca zasledimo zopet v letu 1666, ko ga skupno s kar tremi kmetijami v zajem dobi baron Žiga Gaisruck. Takrat, je slednji Jelšingard izjemno povečal, ter dozidal in tako je nastal dvorec. Jelše in njena posest so izjemno hitro naraščale, tako so že sredi 18. stoletja k uradu sodili še trije drugi uradi, z približno 160 domačijami. Zgodovina pove tudi, da je Jelšingrad včasih vseboval tudi sodišče. Do druge svetovne vojne, je bil dvorec v lasti družbe Jelšingrad, ki se je ukvarjala z lesno trgovino. Slednja je stavbo izgubila med drugo svetovno vojno, ko je bila okupirana in je služila namenu mladinskega dela, pred vpoklicem v vojsko. Jelšingrad po končani vojni dobi še več različnih namembnosti. Bil je tudi prevzgojni dom za odrasle problematične ljudi, kasneje pa je bil namen stavbe spet spremenjen v dom ostarelih. Slednje je ostal vse do kozjanskega potresa leta 1974, ko je bil poškodovan del strehe. Takrat je bila stavba resneje poškodovana, zato čaka na obnovo in izkoristek še dandanes.