Kostelec nad Orlicí

Dalšími majiteli panství byli Vilém z Pernštejna (1495-1556) a od roku 1558 Václav Hrzán z Harasova. Jeho nástupcem byl Adam Hrzán, který také v roce 1585 slavnostně potvrdil osmnáct městských privilegií, ke kterým patřilo např. právo vařit a prodávat pivo, právo prodávat sůl na bečky i na drobno, vybírat za ni od přespolních kupujících poplatek atd. Adam Hrzán se již na rozdíl od dřívějších pánů podepisoval nejen na Potštejně, ale také na Kostelci. Poslední majitelka Kostelce z tohoto rodu Anna Kateřina Hrzánová z Harasova (provdaná Kaplířová) se přimluvila u císaře Matyáše, aby městu nejen r. 1614 potvrdil dosavadní privilegia, ale povolil i tři výroční dobytčí trhy s právem vybírat poplatky od kupujících i prodávajících.

V roce 1629 bylo potštejnské panství prodáno Belgičanu Kašparovi z Grambu, který byl císařským podplukovníkem Valdštejnovy armády. Kašpar z Grambu odkázal všechen svůj majetek jezuitské koleji u sv. Klimenta v Praze. Avšak Václav Záruba z Hustířan, manžel Františky z Grambu, se soudně domáhal kosteleckého dědictví a spor vyhrál. V roce 1667 koupil "zboží Grambovské". Vdova Magdalena Grambová se odstěhovala do Vamberka, kde zavedla vyspělou krajkářskou techniku (paličkování) rozšířenou v Belgii.

Po smrti Václava Záruby se stal majitelem Kostelce jeho syn František Karel, povýšený roku 1695 do hraběcího stavu. Po jeho synovi Josefu Antonínu Zárubovi zdědila Kostelec a Potštejn dcera Alžběta, provdaná za hraběte Cavriani. Roku 1746 prodala Potštejn slezskému podnikateli hraběti Harbuvalovi de Chamaré. Tak skončilo téměř pět století trvající nejprve podřízení a potom spojení Kostelce s Potštejnem. Roku 1796 koupil od dosavadního majitele kostelecké panství kníže Josef Kinský z Vchynic a Tetova, pán na Chocni, jehož potomkům patřilo téměř 150 let.

Za třicetileté války měl Kostelec nad Orlicí asi přes tisíc obyvatel, v roce 1836 již 2 565 obyvatel, v roce 1880 se uvádí 3 793 obyvatel, v roce 1900 téměř 5 000 obyvatel a v roce 1937 5 639 obyvatel. Dnešní stav je 6 221 obyvatel.