В Чифу Семенов познакомился с немецким купцом Густавом Кунстом, который торговал хлопком и шелком. Хотя дела у немца шли не блестяще, он во многом помог новому знакомому. Зато спустя некоторое время уже Семенов оказал поддержку Кунсту, когда тот решил обосноваться во Владивостоке.
Несмотря на большую конкуренцию со стороны китайских купцов, дела Семенова шли неплохо. На морской капусте, агар-агаре, а затем и на рыбе строилось его благосостояние. Спустя двадцать лет, обобщая свой опыт по добыче ценного морского продукта, Яков Лазаревич писал: «Что касается развития промысла и сбыта русской морской капусты в будущем, то с распространением ее в Китае и увеличением числа потребителей, на что есть некоторые данные, можно надеяться на постепенное увеличение...».
Мало-помалу Я. Л. Семенов оказался втянутым и в общественную жизнь поста Владивосток. К концу первого десятилетия поста жители сообща подали представителю местной власти — заведующему гражданской частью капитан-лейтенанту А. А. Этолину — около 70 прошений об отводе в частное владение земли во Владивостоке. Но до проведения межевых работ дело все не доходило, в основном потому, что пост не имел настоящего хозяина: военные, отслужив свой срок, возвращались на родину, не вспоминая о тех, кто остался на берегу Золотого Рога.
Меж тем Приморское областное управление послало во Владивосток землемера Почекунина, который, приступая к производству межевых работ во Владивостоке, попросил, чтобы при этом участвовал и городской староста. Он был очень удивлен, когда обнаружил, что никакого старосты во Владивостоке нет. Вот тут-то и призадумались жители молодого поста о том, что настала пора вводить общественное самоуправление. В результате горячих споров и обсуждений родился следующий документ: «1870 год, марта 27-го дня. Жители г. Владивостока как домовладельцы, так и имеющие земли, согласно заявлению г. начальника войск в г. Владивостоке, на основании параграфа 14 временных правил общественного управления во Владивостоке и п. Новгородском... избрали старосту и кандидата к старосте и постановили: всем обществом обязанности старосты возложить на купца Якова Лазаревича Семенова, а обязанности кандидата на Михаила Петрова Колесникова...» Бумагу подписали 30 человек, из них две женщины, десять иностранцев и православный китаец. Семь безграмотных мужиков поставили вместо подписи крестик.
Хлопотное и незнакомое дело не испугало Семенова. Мужицкая хватка да коммерческая сметка позволяли ему находить выход из самых сложных конфликтов. Различные проблемы — от дел о мошенничестве и клевете до вопросов, каким быть будущему городу, — приходилось решать простому купцу, который даже не получал никакого вознаграждения за свою общественную деятельность. Многие вопросы староста предлагал рассматривать всем миром. Не редкостью в те годы были такие объявления: «1871 год, января 11 дня общественное управление во Владивостоке просит всех жителей города пожаловать завтра в 3 часа после полудни в гостиницу Арнольда для решения некоторых вопросов, касающихся города. Общественный староста Семенов». Владивосток быстро рос. В том же 1871 г. шхуна купца Филиппеуса привезла сюда из Аяна еще 250 русских поселенцев. Стали появляться первые улицы. 13 февраля 1871 г. вышло в свет распоряжение генерал-губернатора Восточной Сибири, которого с нетерпением ждали первые владивостокцы: 127 дворовых участков по уплате посаженных денег поступали в полное распоряжение горожан. В 1874 г. Семенов был избран старостой на новый срок. При этом городское управление в докладе начальству характеризовало его и кандидата при нем так: «...выборные в сии должности лица под судом, следствием и в штрафах не были и имеют от роду староста 39 лет, православного вероисповедования, у исповеди и св. причастия бывает ежегодно...» Через год Семенов сдал хлопотные обязанности по общественному самоуправлению первому городскому голове М. К. Федорову, а сам стал бессменным гласным в городской думе.