Friedrich Kleemann, właściciel znanej w Niemczech fabryki Rex Konservenglas Gesellschaft produkującej słoiki do kompotów
w Bad Homburg był też jednocześnie akcjonariuszem firmy Columbus Motorenbau AG produkującej silniki pomocnicze do rowerów w pobliskim Oberursel. Jego syn Fritz był zagorzałym entuzjastą motocykli. Namówił więc ojca i w 1923 roku założyli razem firmę Horex Fahrzeugbau AG,
by rozpocząć produkcję motocykli. Nazwa „Horex” powstała z połączenia pierwszych liter nazwy miejscowości Homburg oraz marki produkowanych przez ojca słoików Rex Ho-Rex.
Pierwszy motocykl w firmie Horex powstał już w 1924 roku. Do spółki w międzyczasie przystąpiła też firma Columbus, która miała już doświadczenie w produkcji silników. Pierwszego Horexa napędzała jednostka Columbusa o pojemności 250 cm3 z rozrządem OHV (Over Head Valves – czyli górnozaworowa, popychaczowa), wyposażona w trzystopniową przekładnię. Napęd na tylne, sztywno zamocowane w ramie koło przekazywał łańcuch. Przód zawieszony był na „trapezie” z ciernym amortyzatorem.