Хотя официальное открытие архипелага состоялось во второй половине XIX века, ещё М. В. Ломоносов в труде под названием «Краткое описание разных путешествий по северным морям и показание возможного проходу Сибирским океаном в Восточную Индию» (1763) предполагал наличие островов к востоку от Шпицбергена.

В 1865 году русский военный моряк, адмирал Н. Г. Шиллинг в своей статье «Соображения о новом пути в Северном полярном море», вышедшей в «Морском сборнике», на основе анализа движения льдов в западной части Северного Ледовитого океана, предположил существование неизвестной земли, находящейся к северу дальше Шпицбергена.

В конце 1860-х годов знаменитый русский метеоролог А. И. Воейков поставил вопрос об организации большой экспедиции для исследования русских полярных морей. Эту идею горячо поддержал географ (впоследствии революционер) князь П. А. Кропоткин. Наблюдения над льдами Баренцева моря привели его к заключению, что:

«между Шпицбергеном и Новой Землей находится ещё не открытая земля, которая простирается к северу дальше Шпицбергена и удерживает льды за собой… Возможное существование такого архипелага указал в своем превосходном, но мало известном докладе о течениях в Ледовитом океане русский флотский офицер барон Шиллинг».

В 1871 году был составлен детальный проект экспедиции, но царское правительство отказало в средствах, и она не состоялась.

Земля Франца-Иосифа была открыта австро-венгерской экспедицией под руководством Карла Вейпрехта и Юлиуса Пайера на парусно-паровой шхуне «Адмирал Тегетгофф» (нем. Admiral Tegetthoff). Экспедиция имела целью проверить гипотезу германского ученого Августа Петермана о существовании теплого Северного Полярного моря и большого полярного материка. Финансировал экспедицию камергер австрийского двора граф Ганс Вильчек. Шхуна, отправившаяся в 1872 году для открытия Северо-Восточного прохода, в августе была затёрта льдами к северо-западу от Новой Земли и затем, постепенно уносимая ими к западу, через год, 30 августа 1873 года принесена была к берегам неизвестной земли, которая и была тогда же К. Вейпрехтом и Ю. Пайером обследована, насколько было возможно к северу и вдоль южной её окраины.

Ю. Пайеру удалось достигнуть 82°5′ с. ш. (в апреле 1874 года) и составить карту этого обширного архипелага, казавшегося первым исследователям состоящим из ряда обширных островов. Австрийские путешественники дали новооткрытой земле имя австро-венгерского императора Франца Иосифа I. Интересно, что в России как в дореволюционное, так и в советское время поднимался вопрос о переименовании архипелага: сначала в Землю Романовых, а позже, после 1917 года, в Землю Кропоткина либо Землю Нансена, однако эти предложения реализованы не были, земля по сей день носит своё первоначальное название.

20 мая 1874 года экипаж «Тегетгоффа» вынужден был бросить судно и по льдам отправиться к берегам Новой Земли, где встретился с русскими поморами-промысловиками, оказавшими помощь в возвращении экспедиции.