Zdeslav ze Šternberka, který založil ve 13. století hrad Šternberk v Čechách, dostal za své služby králi Václavovi I. zdejší území na úpatí Jeseníků. Tak i zde vznikl stejnojmenný hrad s městem. O rozšíření Zdeslavova hradu se přičinil především Albert II. ze Šternberka, významný diplomat a rádce Karla IV. Vybudoval mimo jiné hradby a kapli. Po jeho synovi Petrovi získali majetek páni z Kravař. Za husitských válek byl hrad silně poškozen.