Особое значение в глазах канцлера приобретали нейтралитет России и недопущение ее союза с Францией — Бисмарк очень опасался, что Германии придется воевать на два фронта. Поэтому уже в 1873 году была подписана российско-германская оборонная конвенция, согласно которой одна из держав при нападении третьей стороны на вторую обязывалась выслать помощь в 200 тыс. бойцов. Однако у российско-германского сближения был ограничитель в лице Австрии, конфликтующей с Санкт-Петербургом из-за Балкан и настороженно следящей за действиями Бисмарка в адрес российских властей. Германия очень ценила отношения с Австрией — в Берлине помнили о некогда тесных связях между Веной и Лондоном, а также понимали, что в Австро-Венгерской империи есть реваншисты, которые не прочь отыграться за поражение 1866 года и изгнание Австрии из Германии. Именно поэтому Бисмарк заявил, что подписанная конвенция не будет действительна до тех пор, пока к ней не присоединится Австрия. Австрийцы не присоединились — они не хотели быть вовлеченными в возможный конфликт с Великобританией (которая вполне могла бы воевать с Германией).
Канцлер старался преодолеть австрийско-российские противоречия, связанные с Балканами, и создать эффективный тройственный союз в лице Германии, Австро-Венгрии и России. Создание такой группировки обеспечивало полную безопасность Германии даже в случае казавшегося тогда невозможным англо-французского альянса. Однако балканские противоречия оказались непреодолимыми даже для гения Бисмарка. Канцлеру пришлось выбирать, и выбор был сделан в пользу Австрии: уже на Берлинском конгрессе в 1878 году Германия выступила против России и пересмотрела условия Сан-Стефанского мирного договора, завершившего русско-турецкую войну 1877–1878 годов в пользу Австро-Венгрии. А уже в 1879 году Бисмарк заключает тайный оборонительный союз с Австрией против России. Помимо гарантий военной поддержки в случае нападения России договор имел и общеевропейское значение. Если бы на одну из держав напала иная страна (например, Франция на Германию), то второй подписант обязан был занять позицию благожелательного нейтралитета — или же вступить в войну, если бы к этой третьей стране присоединилась Россия. Одновременно с политическим обострением российско-германских отношений между странами возникли и экономические проблемы. К 1879 году Германская империя потребляла 30% русского экспорта, занимая по этому показателю второе место после Англии. Однако Бисмарк взял курс на политику протекционизма, и связям с Россией был нанесен серьезный урон. Канцлер запретил ввоз скота в Германию, использовав в качестве повода эпидемию в Астраханской губернии. Кроме того, он обложил пошлинами российское зерно.