В 1891 г. фон Цеппелин оставил военную службу (в чине генерал-лейтенанта), окончательно решив заняться конструированием дирижаблей. С его точки зрения, будущее в воздухоплавании должно было быть не за аэростатами, а за большими дирижаблями. Главный упор в своей деятельности он сделал на организационных моментах, понимая, что не обладает достаточными познаниями в области конструирования. Проекты фон Цеппелина поначалу подвергались острой критике и насмешкам, так, в 1894 г. его проект составного «воздушного поезда» из соединённых между собой аэростатов был удостоен ряда нелестных оценок со стороны специалистов. Тем не менее, в 1895 г. он получил на него патент.
В 1896 г., однако, Цеппелин был принят в ряды Союза немецких инженеров (нем. Verein Deutscher Ingenieure (VDI)); комиссия позитивно оценила его работы. В 1898 г. он основал «Акционерное общество содействия воздухоплаванию» с основным (базовым) капиталом в 800 000 золотых марок.
Несмотря на то, что первые три полёта прошли успешно, Цеппелину пришлось пойти на ликвидацию своей компании, так как к этому моменту у неё закончились денежные средства; Союз инженеров (VDI) также не захотел оказать финансовую поддержку. Работы продолжились лишь несколько лет спустя, после того, как финансовую помощь оказал король Вильгельм II Вюртембергский.
В октябре того же, 1906 г., в небо поднялся третий по счёту летательный аппарат Цеппелина — Z1, построенный им за собственный счёт. Испытания прошли успешно. В связи с этим правительство Германии выделило средства на строительство нового ангара взамен старого. В январе 1908 г. после ряда успешных испытаний Z1 был приобретён военным ведомством.
Летом 1908 г. начались испытания нового аппарата — LZ4. Он пролетел через всю Швейцарию, а потом вернулся обратно в Германию. Однако незадолго до окончания триумфального полёта, о котором говорил уже весь мир, произошёл взрыв газа, разрушивший аппарат. Только пожертвования из разных источников, составившие в общей сумме более 5,5 млн. марок, позволили Цеппелину продолжить работы.
В 1909 г. фон Цеппелин основывает Luftschiffbau-Zeppelin, GmbH. Весной того же года он пролетел на своём очередном дирижабле 1100 км за 38,5 ч. За свои достижения он был приглашён на торжественный обед в резиденции кайзера Вильгельма II.
В течение короткого времени он провёл ряд очередных испытаний своих дирижаблей. Его успехи привлекли пристальное внимание со стороны военных ведомств, и ими было закуплены три аппарата класса «Саксония» (нем. «Sachsen»), после того, как один из них пролетел расстояния от Вены до Бадена менее, чем за 8 часов. В октябре 1912 г. ВМФ был куплен аппарат L-1 для испытания его возможностей в совместной работе с флотом. Дирижабль содержал 20 000 куб. м закаченного внутрь водорода и мог совершать длительные перелёты на большие расстояния — из Фридрихсхафена на Гельголанд, то есть через всю Германию. В следующем, 1913 г., ВМФ был закуплен ещё один аппарат — L-2. Он имел ещё больший объём (27 000 куб. м) и обладал мотором мощностью в 180 лошадиных сил.