Schon Karl der Große hatte an den Grenzen des Frankenreiches Markgrafschaften eingerichtet. Diese nennt man auch kurz Marken.
Otto I. tat es Karl nach, als Ungarn und Slawen immer wieder ins Reich einfielen. In seiner Regierungszeit wurde die Sächsische Ostmark eingerichtet, aus der nach dem Tod des Markgrafen Gero fünf kleinere Marken hervorgingen: die Nordmark (die ab 1157 größtenteils zur Mark Brandenburg wurde), die Marken Meißen und Lausitz, die Mark Merseburg und die Mark Zeitz. Weiter im Süden, auf dem Gebiet des heutigen Österreich, entstanden weitere Marken, zum Beispiel die Steiermark oder die Mark an der Drau.
In der Mark wurde vom König ein Beamter eingesetzt, der Markgraf. Zunächst war ihre Macht geringerer als die eines Herzogs. Im 12. Jahrhundert wurden die Markgrafschaften zu Reichsfürstentümern. Ihre Macht war damit stark gestiegen.