Рубеж 50—60-х годов принес композитору одно из самых сильных разочарований в творчестве. В течение пяти лет он писал одно из самых страстных и мятежных своих произведений. Сначала он записал его для двух фортепиано, в него входили, как в симфонии, четыре части. Потом траурную сарабанду он включил в «Немецкий реквием». А все остальное превратил в фортепианный концерт opus 15. Современники считали, что первая часть отражает впечатления от попытки самоубийства Шумана. О второй части он говорил Кларе: «Я пишу твой портрет в мягких тонах». Премьера концерта потерпела полный провал.
Еще больше Брамс был огорчен неуспехом произведения в Лейпциге, который он считал городом Шумана и Мендельсона. Здесь жили их духовные наставники, продолжатели национальных традиций. Им противостояла «веймарская» школа. В 1860 году в Цвикау, на родине Шумана, праздновали 25-летие созданного им «Нового музыкального журнала». Ни Клара, ни друзья Шумана приглашены не были. «Веймарцы» объявляли себя единственными наследниками Шумана и говорили, что все музыканты Германии разделяют их взгляды.
Брамс был возмущен. Вместе с Иоахимом он написал «Протест», напечатанный в берлинской газете «Эхо», в котором говорилось, что взгляды Листа являются «заблуждением», «противоречат самому существу музыки и вредно влияют на развитие искусства». В связи с тем, что Иоахима знали только как исполнителя, две другие подписи принадлежали малоизвестным композиторам, автором «Протеста» посчитали Брамса.
В 1862 году композитор приехал в Вену. Этот город сразу же принял его как пианиста. Но он мечтал о славе в родном городе, мечтал занять в нем место руководителя певческой капеллы. Но «отцы города» не захотели выбрать музыканта, который родился в самом нищем квартале города.
Еще одно разочарование ждало его в личной жизни. Он вновь влюблен. Чувство вдохновляет его на создание замечательных песен, автографы которых он подарил красивой и очень талантливой певице Оттилии Хауэр. Но и этому браку не суждено было осуществиться. Потом Брамс с иронией говорил, что «натворил бы Бог весть каких глупостей, если бы кто-то, к счастью, быстро не подцепил ее…».
Единственным утешением стало постепенное признание его разносторонних талантов. Он получил приглашение занять пост руководителя Венской певческой капеллы. Концерты с его участием пользовались большим успехом. Правда, репертуар капеллы несколько смущал публику. Это были в основном кантаты и оратории Баха, сочинения XVII века, большей частью мрачного характера. Жизнерадостные венцы язвительно шутили: «Когда Брамс в веселом настроении, он заставляет петь: «Могила — мое блаженство».