Во время перехода начался сильный шторм. Мощные удары волн нарушили герметичность корпуса «Каспия». Вода быстро заполняла отсеки ледокола, и вскоре его положение стало критическим. Пароход «Пролетарий», подошедший к ледоколу, помочь ему не смог. «Каспий» накренился, перевернулся вверх килем и затонул. Из состава команды и моряков-десантников спаслось лишь 12 человек, пересевших на шлюпки.
В 1929 году с Черного моря в Баку прибыло пятеро водолазов-эпроновцев во главе с водолазным инструктором Лариным. Они и составили первую нештатную Бакинскую партию ЭПРОНа, имевшую в своем распоряжении только водолазное снаряжение и ручные помпы. Ей было поручено найти и обследовать «Каспий». Задача оказалась нелегкой: за прошедшие годы место аварии ледокола было забыто. На поиск судна ушло несколько лет, хотя с 1931 года в него включились гидрографические и рыбацкие суда и дополнительно выделенные ЭПРОНом специалисты. Ледокол был найден лишь 12 мая 1934 года поисковой группой во главе с опытным моряком-черноморцем А. Н. Григорьевым.
В 1929 году поисковая партия значительно пополнилась водолазами и другими специалистами и стала штатной партией ЭПРОНа с дислокацией в г. Баку. Начальником ее был назначен Н. Ф. Кравец.
Помимо розыска ледокола «Каспий», эпроновцам пришлось выполнять самые различные водолазные работы на Каспийском море и в низовьях Волги.
В августе 1932 года начальником Каспийской экспедиции был назначен Александр Андреевич Кузнецов, бессменно возглавлявший ЭПРОН на Каспии до 1942 года.
В прошлом балтийский матрос, участник Великой Октябрьской социалистической революции и гражданской войны, Александр Андреевич в 1921 году окончил Кронштадтскую водолазную школу, находившуюся в те годы на Волге, в Вольске, и до 1932 года служил водолазом, водолазным старшиной и водолазным инструктором в ЭПРОНе на Черном море. Принимал участие в подъеме кораблей Черноморской эскадры под Новороссийском, подводных лодок и других судов под Севастополем, руководил водолазными работами по разделке броненосца «Ростислав» в районе Керченского пролива. Как один из наиболее опытных водолазных инструкторов, отдал много сил подготовке молодых водолазов в Водолазной школе ЭПРОНа. На различных подводных работах на Черном море проявил высокие организаторские способности.
Многое было сделано и для технического оснащения экспедиции. В первой половине 30-х годов эпроновцы Каспия получили небольшие водолазные боты с водолазными компрессорами, несколько 80-тонных и четыре новых 200-тонных судоподъемных понтона и мощные импортные компрессоры для их продувания. Для откачки воды из аварийных кораблей были получены метонасосы ХТЗ и ЗИС. В практику работ стала внедряться подводная электросварка и электрорезка. Однако спасательными и судоподъемными судами специальной постройки ЭПРОН на Каспии тогда еще не располагал. До 1938 года в его составе были только речной паровой буксир «Джигит» постройки 1894 года водоизмещением 215 тонн, паровой плавучий кран грузоподъемностью 85 тонн, установленный на плашкоуте речного типа, и маломореходный буксирный катер «Степан Разин» водоизмещением 150 тонн. В 1938 году Главное управление ЭПРОНа выделило на Каспий новый озерный буксир «Шлем» водоизмещением 465 тонн. Естественно, что с такими силами оказывать помощь в море аварийным судам в свежую погоду невозможно. Не годились эти средства и для использования в качестве плавбаз для судоподъема. Поэтому между экспедицией и пароходствами Наркомвода на Каспии и Нижней Волге было заключено соглашение о том, что в случаях аварий или для целей судоподъема эти организации выделяют в распоряжение ЭПРОНа на правах аренды необходимые суда. Сформированная временная аварийная группа, с водолазами и необходимой техникой, располагалась на выделенном судне, которое поступало в полное распоряжение начальника группы ЭПРОНа.