Betliar, ako súčasť rozsiahleho brzotínskeho panstva v stredoveku vlastnili Bebekovci, a pravdepodobne oni si na mieste dnešného kaštieľa dali postaviť malý vodný hrádok. Bebekovci však už v roku 1566 museli územie Horného Uhorska opustiť a ich majetky prešli do rúk cisárskeho dvora, ktorý ich spravoval prostredníctvom kapitánov z hradu Krásna Hôrka. V roku 1578 bol na Krásnu Hôrku prevelený Peter I. Andrássy, čím sa v Gemeri začalo takmer štyristoročná "vláda" jeho rodu. Dlhé roky boli Andrássyovci v pozícii hradných kapitánov, no v roku 1642 dostal Matej II. krásnohorské panstvo i betliarske majetky do dedičného vlastníctva od kráľa Ferdinanda III. Koncom 17. storočia došlo k deleniu rodového majetku, čím vznikli dve vetvy rodu - staršia betliarska so sídlom v Betliari a mladšia dlholúcka alebo monocká, ktorá zostala na hrade Krásna Hôrka. V 80-tych až 90-tych rokov 18.storočia menil kaštiel podobu podľa predsáv grófa Leopolda Andrássyho, ktorý bol veľký zberateľ a slobodomurár. Kaštieľ bol vo vlastníctve Andrássyovcov takmer nepretržite až do roku 1945, len niekoľko rokov 19. storočia bol v rukách rodu Nádasdyovcov (kúpou od Imricha Andrássyho), ktorí ho zasa predali Pálffyovcom a Grovestinsovcom. Starý rodový majetok so sídlom získal späť pre Andrássyovcov gróf Emanuel I.

V kaštieli možno vidieť vzácne umelecké diela starých i moderných majstrov, galériu predkov rodu Andrássy, historickú knižnicu, historický nábytok, umelecko-priemyselné predmety, poľovnícke trofeje, či exotické africké a ázijské zbierky.