A legkorábbi írásos említés egy 1011-es adománylevélben van, melyben II. Henrik német-római császár a brixeni püspökségnek adományozta a bledi uradalmat. Az adománylevélben a király átengedte az akkor még Veldes néven ismert vár tulajdonjogát Albuin püspöknek, az ortodox papság iránti hálája jeléül, akik segítettek megerősíteni a német uralmat ezen területek fölött. Ebben az időben még csupán egy római stílusú torony állt a szikla tetején. Ezen a helyen épült meg később a középkori kastély. A brixeni hercegpüspökök uralták a kastélyt több mint 200 éven át, de sosem laktak a kastély falai közt és látogatni is ritkán látogatták azt. A 300 km-es út Brixenből a kastélyhoz körülbelül 6 napot vett igénybe, ezalatt négyszer kellett lovakat cserélni, az út völgyeken át vezetett, ahol sok veszély leselkedett az utazókra. A vár ezért nem tartalmaz díszesebb szobákat, mindig a védelmi rendszer kiépítése volt a fő cél. A középkori szokásokhoz hűen a brixeni püspökök átengedték a kastélyt a helyi várnagyoknak, akiket a helyi nemesség köréből neveztek ki.
1278 augusztusában Carniola történelmi tartomány (amelyhez Bled is tartozott) I. Rudolf, a Habsburg-ház alapítójának uralma alá került. A Habsburgok egészen a 20. század elejéig birtokolták a várat, egyetlen rövid periódust leszámítva a napóleoni háborúk során, amikor Carniolát az újonnan alapított Illír Királyságba olvasztották be. A Habsburgok uralma idején a kastély bérbeadásának hagyománya folytatódott, leginkább a földek használata miatt, vagy a helyi nemesség érdekei szerint.A vár első bérlője Konrad von Kraig volt. Ő és családja közel 200 éven át volt az építmény birtokosa. A Kraig család (valamint rokonaik, a Thurnok) után Herbard Auersperg kapta a várat. Auersperg uralma alatt Bled protestáns erőd volt, ahová 1561 júniusában érkezett Primož Trubar reformer, az első szlovén nyelven nyomtatott könyv szerzője, valamint a szlovén protestáns mozgalom vezetője.
A késő középkorban további tornyokat építettek, árkokkal (befedték, ma már nem látható), lánchíddal látták el az erődítményt, és tovább erősítették a védelmi rendszert, mely mindig is a fő cél volt a vár életében.
A várra kettős struktúra jellemző. A központi megerősített rész volt a földesuraké, a külső rész az épületekkel és a várfallal pedig a szolgáké.A 18. században nemesek uralták a kastélyt, később azonban a tulajdonosok között középosztálybelieket és burzsoákat is találunk. 1803-ban, a francia hatalomátvételt követően a kastélyt államosították és az Illír Királysághoz került, ahonnét egészen 1838-ig nem is került vissza előző tulajdonosaihoz, Brixen püspökeihez. A gyakori tulajdonosváltás miatt, amely eddig az időszakig jellemző volt, gyakorlatilag semmi nem maradt a nagy történelmi értéket képviselő berendezésből, bútorzatból. Ezen felül a robot (feudális ingyenmunka) törvényben kimondott eltörlése után az erőd fenntartása lehetetlenné vált, ezért 1848-ben eladták azt egy kohászati üzem vezetőjének, Victor Ruard-nak, a jesenicei vasmű tulajdonosának, aki pár évtized múlva túl is adott rajta. 1882-ben a vár és a környező földek ismét gazdát cseréltek. Adolf Muhr, egy gazdag kereskedő lett a tulajdonosa.
1918-ban Ivan Kenda, egy helyi hotel tulajdonosa vásárolta meg a várat (ekkor került először szlovén tulajdonba), valamint a szigetet a közeli tavon, hogy hotelt alakítson ki. Sajnos a tervei nem váltak valóra, adósságai miatt 1937-ben az Egyesült Gazdasági Bank elkobozta a bledi kastélyt, amelyet új tulajdonosnak adott el. A második világháborúban a vár a megszálló nácik katonai főhadiszállása volt, a világháború befejeződése után pedig állami tulajdonba került.
