Из писем мы узнаем, что Клейст с большим интересом относился к философии французского Просвещения, в частности, к Руссо. Он видит в ней разрушительную силу, сказавшуюся на французской революции, которая внушала Клейсту враждебные чувства, но не может не признать убедительности мыслен Руссо, направленных против социальной несправедливости. Они волнуют его как немца.
Внезапно покинув Франкфурт, Клейст отправляется в первое длительное путешествие 1801 года. Он хочет воочию увидеть, что творится во Франции. В Париже периода Консульства, полном противоречий, Клейста многое оттолкнуло. Хотя Клейст сочувствовал подавлению революции, однако он понял ее величие, постиг, что эпоха героев сменилась во Франции порою «тирании», как говорилось на политическом языке начала XIX века. Вскоре Клейст оказался в Швейцарии, будто желая проверить утверждение Руссо, что трудовая жизнь крестьянина чище и человечнее праздного и развращенного быта правящих классов.
В Швейцарии Клейст сблизился с писателем Генрихом Цшокке, поклонником Канта и свободолюбцем, автором ряда повестей из народной жизни, и с сыном известного писателя — Людвигом Виландом, который затем ввел Клейста в дом своего отца в Веймаре.
Впоследствии мировоззрение Клейста изменилось, но он сохранил сложившееся под воздействием Цшокке и самой швейцарской действительности сочувственное отношение к простому человеку и к его достоинствам.
В Швейцарии Клейст начал писать трагедию «Роберт Гискар», к которой затем возвращался неоднократно, и сделал набросок комедии «Разбитый кувшин», законченной только в 1805–1806 годах, а затем трагедию «Семейство Шроффенштейн» (напечатана в 1803 г.). Едва ли случайно то обстоятельство, что именно в Швейцарии, после дней, проведенных в Париже, где так остро чувствовался ритм истории и кипело еще непонятное движение новых исторических сил, выдвинувших Наполеона, начинается серьезная и систематическая поэтическая деятельность Клейста. Видимо, французское путешествие было сильным творческим импульсом для молодого поэта. Да и в образе норманнского витязя Роберта Гискара проступают черты некоей титанической личности, мечтающей о престоле Древней Византии. Дряхлеющая великая империя, уходящая в прошлое, порывы демонической, властолюбивой личности, дьявольское честолюбие, — «Роберт Гискар» читается как произведение, очень близкое по большим психологическим и моральным проблемам к эпохе Клейста…
Вскоре Клейст оказался в Веймаре. Здесь он познакомился с Гете и Шиллером. С особым вниманием к нему отнесся старый Виланд. Ненадолго задержавшись в Веймаре, Клейст отправился дальше — в Женеву, в Милан, в Лион, снова в Париж. В это время сказалась начавшаяся душевная болезнь Клейста: в нервном припадке поэт уничтожил рукопись трагедии «Роберт Гискар».