Нужно учесть и то, что А.И. Герцен никогда, хотя бы относительно длительное время, реально не работал, то есть не был на государевой гражданской службе, не выполнял порученные задания начальства. Когда отец определил молодого Александра на службу к князю Н.Б. Юсупову в канцелярию Кремлевской экспедиции, то молодой человек только подписывал бумаги, никуда на службу не ходил, а через 3 года получил бумагу о повышении на службе. В ссылках в Перми, Вятке, Владимире, Великом Новгороде он также не работал много, хотя был куда-то определен для выполнения каких-то дел, но на службу регулярно не ходил, знать не знал, что такое рабочий график. Положение состоятельного, со связями человека (хотя и политически неблагонадежного) давало ему возможность для относительно свободной жизни, не обремененной трудами на государевой службе-работе. А.И. Герцен нарушил правила, женившись в 26 лет на своей двоюродной сестре, без разрешения родителей с обеих сторон, тайно увез ее, и они обвенчались.
Давала о себе знать яковлевская наследственность, склонность к чрезмерно вольной, в том числе личной, жизни с нарушением нравственных норм, но за это приходилось тяжело расплачиваться.
Отец Герцена – Иван Алексеевич Яковлев – 9 лет служил в гвардии, потом вышел в отставку, затем почти 11 лет жил и развлекался за границей, в 45 лет вернулся в Россию, стал жить без венчания с семьей в Москве. Он любил уединение и однообразие жизни. Имел двух незаконнорожденных детей: А.И. Герцена и старшего, неизлечимо больного сына. Любимый брат отца Герцена и любимый дядя Александра – Л.А. Яковлев (1764—1839) был посланником при вестфальском короле Иерониме Бонапарте, в 1820 г. стал сенатором. Когда вышел в отставку, жил барином в Москве, слыл добрым и приятным человеком. Оба брата гуманно обращались с их крепостными. Старший брат отца Герцена – Александр Алексеевич Яковлев (умер в 1825) был очень хорошо образован, одно время (как и И.А. Яковлев) служил в привилегированном полку, был адъютантом у князя Г.А. Потемкина, занимал пост обер-прокурора Синода (то есть был чиновником очень высокого ранга, стоявшим во главе высшего церковного управления), в его богатом доме в Москве родился А.И. Герцен. А.А. Яковлев был прижимистым, недружелюбным, эгоистичным человеком, жестоким крепостником, все это особенно четко проявилось, когда он вышел в отставку. Он имел нескольких незаконнорожденных детей. В возрасте за 60 лет женился на матери (ей за 50 лет) своего внебрачного совершеннолетнего сына Александра (1795—1868), узаконил его, сделал наследником, но унижал и тиранил его. Женился он и узаконил сына только для того, чтобы лишить своих взрослых младших братьев права на его наследство. Его узаконенный сын Алексей был психически и физически не вполне здоровым человеком, занимался с удовольствием только химией и чтением, ненавидел женское общество, детей не имел, жил один. У А.А. Яковлева была незаконнорожденная дочь – Наталья Александровна Захарьина, приходившаяся двоюродной сестрой А.И. Герцену. Они поженились (1838), нарушили светский и церковный запрет на родственные браки. Неудивительно, что, несмотря на большую любовь поначалу, брак их сполна счастливым не был, были обоюдные разочарования, из их четверых детей (пятеро умерли) один (Николай) был глухонемым. Как мы видим, за несоблюдение духовно-нравственных норм родителей расплачивались их дети. У отца Герцена И.А. Яковлева был еще один, также незаконнорожденный, сын, старше младшего на 10 лет, который был неизлечимо болен. Его 17 лет (с 13 до 30) бесконечно мучительно лечили, подвергли многим хирургическим операциям, он был полностью сломлен морально и физически. У старшего брата отца – А.А. Герцена также был незаконнорожденный сын, которого незадолго до смерти он узаконил. Но его сын Алексей был психически не вполне нормальным, физические болезни у него были серьезные. У семьи А.И. Герцена сын Николай был глухонемым, а младший сын – младенцем умер, едва родившись.