Вскоре пришло еще одно приглашение в Дюссельдорф на музыкальный Нижнерейнский фестиваль в качестве дирижера. Из всех немецких музыкальных фестивалей этот, основанный в 1817 году, был, бесспорно, самым значительным. Еще до начала фестиваля с Мендельсоном был заключен договор, согласно которому он становился музыкальным руководителем Дюссельдорфа. Это был богатый город, гордо называвшийся «Флоренцией на Рейне». И в то же время он был похож на большую деревню. «Городишко так очаровательно мал, что кажется, будто ты никогда не покидаешь своей комнаты», — писал Мендельсон. Здесь он чувствовал себя ужасно одиноким. Музыкальная жизнь города находилась в плачевном состоянии. Мендельсон всеми силами пытался поднять ее на должный уровень. Он как-то пожаловался другу: «Если бы ты услышал хоть раз, как я дирижирую этим оркестром, тебя бы и четверкой лошадей не затащить на второй концерт». А на репетиции «Эгмонта» он «впервые в жизни разорвал партитуру, выйдя из себя из-за дураков-музыкантов».
Основу его дирижерского репертуара составили оратории Генделя. Увлечение этим композитором сказалось в библейской оратории Мендельсона «Павел» (1836, Дюссельдорф). Но в результате конфликтов и интриг Мендельсон вынужден был уйти.
Весной 1835 года Мендельсон решил расторгнуть договор с Дюссельдорфом, так как получил приглашение из Лейпцига занять место музыкального директора Гевандхауза. Мендельсон в 26 лет стал самым молодым композитором, который когда-либо занимал столь ответственный пост. С этой должностью связаны его вершинные достижения как дирижера и организатора музыкальной жизни. Но и в славной истории концертов лейпцигского Гевандхауза началась новая глава. Став во главе оркестра, Мендельсон пропагандировал музыку Баха, Бетховена, Вебера, Берлиоза, Шумана (с которым его связывала близкая дружба). Композитор стал основателем Лейпцигской школы, отличавшейся ориентацией на классические образцы.
Во времена Мендельсона концерты обычно составлялись из разнообразных программ, включавших короткие легкие пьесы, отдельные части более крупных произведений и всегда новую музыку, сочиненную исполнителем, реже интерпретацию какой-либо работы старого мастера. Когда в возрасте двадцати шести лет Мендельсон взялся за устройство концертов в Гевандхаузе («Доме одежды») в Лейпциге, он навсегда изменил порядок их составления. Предлагались сочинения полностью, приглашались известные солисты (такие, как Лист и русский Антон Рубинштейн) и глубоко почитались великие мастера.
Дирижер Мендельсон сформировал также в единое целое оркестр Гевандхауза, игравший в унисон только под его руководством, как один исполнительский орган. Он стал первым современным дирижером. До Мендельсона дирижирование ограничивалось равнением на первую скрипку. Мендельсон использовал движение руки для того, чтобы задавать ритм, вызывать динамическую реакцию исполнителей и, таким образом, руководить оркестром. Со свойственным ему «магнетическим красноречием языка жестов» он смог подчинить себе музыкантов, которые даже не заметили этого.