Herzog Friedrich IV. war der jüngste Sohn des Habsburgers Leopold IV.

Die Ereignisse des Konzils von Konstanz 1414 – 1418, einberufen von König Sigismund, waren es, die das Leben Friedrichs in den darauffolgenden Jahren belasteten und ihm den Beinamen "mit der leeren Tasche" einbrachten. Das schon gespannte persönliche Verhältnis zum König wurde noch verschlechtert, als Friedrich Papst Johannes XXIII. Geleit durch sein Land nach Konstanz gab und dessen Flucht unterstützte – dadurch wurde der Bestand des Konzils gefährdet. König Sigismund verhängte die Reichsacht über Friedrich, worauf sich dieser dem König vor dem versammelten Konzil unterwarf und in Konstanz gefangengenommen wurde.

Nach beinahe einem Jahr Gefangenschaft gelang Friedrich die Flucht. Er kam glücklich nach Bludenz über den noch verschneiten Arlberg. Dort erwartete ihn der getreue Hans von Müllinen von Schloss Berneck am Eingang in das Kaunertal, der ihn aufnahm.

Anlässlich eines vom Herzog in Landeck aufgeführten Reimspiels stellte Friedrich fest, dass das darin gezeigte Schicksal eines vertriebenen Fürsten bei den Leuten starken Eindruck machte. Er gab sich zu erkennen und wurde umjubelt. Dennoch musste er sich noch des Öfteren verstecken. Bekannt ist auch, dass er sich im Widum zu Flaurling aufgehalten hat, von dort flüchtete er, vorbei an Schloss Petersberg, auf den Höpperg. Vom Verstecken und den vielen Strapazen müde, soll er sich hier, wo heute das Ferienschlössl steht, zur Rast niedergelassen und ausgerufen haben: "Ach wenn ich doch ein Schlössl hätt'!" Jahrhunderte später entstand an dieser Stelle tatsächlich ein Schlössl.

Da er hier auf dem Höpperg leicht von seinen Verfolgern gesehen werden konnte, hat er sich nicht weit von dieser Stelle einige Tage in einer einfachen Holzhütte im Wald versteckt. Diese Stelle unterhalb des Brandsees heißt heute noch "Beim Fürstenhäusl".

Nach längeren Verhandlungen in Konstanz hob Sigismund 1418 die Reichsacht über Friedrich auf und gab ihm gegen eine hohe Geldsumme seinen Besitz zurück. Geschickte Finanzpolitik und tüchtige Regierungstätigkeiten, verbunden mit dem Beginn der Bergbauzeit in Tirol, machten aus Friedl mit der leeren Tasche einen reichen Fürsten. Das reiche Erbe vermachte er seinem Sohn Sigmund, den man auch "den Münzreichen" nannte.