У Деда было четверо детей от трех жен, и, простившись с последней, он с детьми не расставался, заботясь о старших и живя с младшими.
Зинаида Иосифовна, мать второго сына Баранского — Кости, женщина умная и практичная, забыв обиду, пришла на помощь первому мужу (хотя уже вновь вышла замуж). Она сняла с Деда все материально-финансовые дела, заботы о большой семье. Дед умилялся ее бескорыстием и предоставил полную свободу в действиях. Ее влияние на бывшего мужа в житейских вопросах было велико, он ее слушался, и приходится признать, что более подходящей супруги у него не было. И правда, справляться с его крутой натурой и тяжелым характером женщинам удавалось с трудом.
Есть люди, возле которых трудно быть. Трудно чувствовать себя свободно, быть самим собой. Кажется, они теснят тебя всей своей «массой», занимают все пространство и отнимают весь воздух. К ним надо как-то особо приспосабливаться и пристраиваться. Таким и был Баранский, наш Дед. Крупный человек, рядом с которым тесно и неуютно.
Несомненно, он был опора и защита для близких. Как могучий старый дуб — заслонит от опасности, укроет от дождя, но в тени его сильных ветвей не растут другие деревья. Даже молодые дубки, проклюнувшиеся из его желудей, не могут набрать роста и крепости. Никто из детей Деда не унаследовал его натуры.
Коля любил отца, преодолевая то неприятие, то недовольство, которое часто ощущал. Старший сын отцу не нравился. Это не значит, что отец его не любил, — он заботился и помогал, но это не была та полная любовь, в которую входит еще и любование, слагаемое весьма существенное и желанное.
Недовольство отца сын ощущал уже с детства. Деду не нравился мальчик-прутик, не нравился и подросток с бантом-галстуком, не одобрял он увлечения литературой. География их несколько сблизила, да и сын окреп и возмужал в экспедиционных походах, но все же он был «не такой», не такой, как хотелось отцу. Вообще — другой. Непохожий. Ни на отца, ни на деда Баранского. Другой, но непонятно какой. В том «какой», Дед разобраться не мог, так как вообще плохо разбирался в людях (помимо их деловых качеств). Не способен был воспринимать людей чувством, судил поверхностно и, как ни странно для такого самостийного человека, часто судил о людях опосредованно, с чужих слов.
Отец же нравился сыну чрезвычайно. Сын любовался отцом, его энергией, силой, жизнестойкостью. Тем, чего самому Коле недоставало.
Коля вырос в распадающейся семье. Брак, заключенный между родителями, молодыми социалистами, в годы первой революции, вскоре стал остывать. Родился сын, но семейная жизнь плохо сочеталась с тягой отца к общественной деятельности. Маленький Коля рос почти без отца. Когда родилась дочь Руфа (1916 г.), Баранский отвез жену с детьми к ее родным в Уфу. На этом первый опыт семейной жизни закончился.