В 1882 году отец мой перевелся на Кавказ, в г. Тифлис, а мы, пока он устраивался там на закавказской железной дороге, более года проживали в сел. Васильевском, у родственников по матери. Село большое и богатое и чрезвычайно живописное. По соседству тянулись леса и обширная тенистая роща с богатой помещичьей усадьбой в ней. На краю высокая каменная церковь. Это село мне тем особенно памятно, что там я от матери получил первые уроки грамоты, научился читать по складам. Для отца это было сюрпризом. Мне было тогда не более пяти лет. Таким образом, на Кавказ я приехал уже грамотным.
Не долго прожила на Кавказе мать. Спустя год по переезде она умерла от простуды в г. Тифлисе (в 1884 году). Начался трудный период скитаний для нас, детей. Негде было отцу пристроить малышей, оставшихся без призора. Ввиду этого отец, по миновании траурного года, женился на второй — грузинке, Евфросинии Мерабовне (урожд. Цкитишвили). Она осталась бездетной и это обстоятельство помогало ей отдавать свое внимание нашему воспитанию. Особенно заботилась она о моем религиозном развитии. Ей же, собственно говоря, я обязан и своими первыми стихотворными попытками, так как уже с восьми лет я слагал рифмованные поздравления в день ее ангела и получал за это большие похвалы. Это заставляло меня повторять опыты. Первым более сознательным пробуждением моей малютки — музы было стихотворение «Караван», написанное на девятом году жизни. Оно, как помнится, вышло у меня большое и картинное. Конечно, оно бесследно пропало, как и все мои тетради с первоначальными поэтическими упражнениями. Признаться, я и сам немало пожег их по чувству неудовлетворенности. Читал усердно. Что попадется под руку. Очень любил читать «Переписку с друзьями» Гоголя. А он ведь сжег же вторую часть своих «Мертвых душ» и великие риторы древности советовали: «Чаще поворачивай стиль», т. е. стирай обратным концом написанное тобой на вощеной доске. Я так и делал: «сжигал» и «чаще стиль поворачивал»…
Девяти лет определили меня в городское училище при Александровском учительском Институте. Из третьего отделения этой первой моей школы родители перевели меня в Тифлисское духовное училище. По окончании там курса я прошел в Тифлисскую духовную семинарию.
За это школьное время мои поэтические опыты не прекращались. В духовном училище моим цензором и руководителем был преподаватель русского языка В. В. Раевский, которому я отдавал на оценку стихи, тщательно переписывая их в тетради. Человек чуткий и музыкальный, он любил поощрять благие порывы в своих питомцах. Потом большое влияние на меня оказал А. П. Альбов, семинарский преподаватель русской литературы и философских наук. По его предметам я занимался с особенной любовью и усердием. Он также был пестуном моей музы.