Только один анекдот из домашней жизни Смита дошел до нас — благодаря сэру Вальтеру Скотту, который был тогда студентом. Как рассказал Скотт, однажды во время чая, Смит привел свою кузину Джанет «в полное смущение тем, что, невзирая на ее настойчивое приглашение присесть за стол, ходил и ходил кругами… и останавливался, только чтобы стащить кусочек сахара из сахарницы, которую многоуважаемая кузина была вынуждена в конце концов поставить к себе на колени, чтоб сохранить от самого неэкономичного расхищения». Впрочем, сэр Вальтер Скотт и знаменит тем, что мог сделать историю из чего угодно.
Когда Смиту было около пятидесяти пяти, он взял в свой дом на воспитание и содержание девятилетнего Дэвида Дугласа, сына другой кузины. Скейтборды, телевидение и компьютерные игры еще не изобрели: Смит пользовался этим и давал Дэвиду уроки. (Хотелось бы надеяться, что на «Колебания в стоимости серебра в течение последних четырех веков» не делался особенный упор.) Дэвид Дуглас стал наследником Смита. В противоположность знакомым нам историям о наследниках знаменитостей, Дуглас вел достойную жизнь, заслужил признание и впоследствии взошел на скамью парламента Шотландии как лорд Рестон.
Нет никаких свидетельств, обвиняющих Адама Смита в безответственности, обмане, непорядочности или хотя бы в том, что он немного перебрал на светском рауте. Зато есть немало свидетельств противоположного характера. Например, когда Смит отказался от профессорской должности в Глазго, чтобы стать наставником юного графа Бэклу, и ушел посреди учебного семестра, он пытался возвратить студентам заплаченные ими деньги. Студенты так любили его, что никто из них не хотел принимать возмещение. Смит упрашивал: «Вы не должны отказывать мне в этом удовлетворении; нет, джентльмены, вам не стоит этого делать». Потом он схватил ближайшего молодого человека за курточку и сунул деньги ему в карман».
Смит получил пожизненный пансион за наставничество графа Бэклу, который впоследствии называл его «друг, которого я любил и уважал не только за его блестящие таланты, но и за все личные добродетели». Годы спустя граф помог Смиту получить правительственную должность, и Смит ответил на это предложением отказаться от своего пансиона. Единственным способом, которым граф мог отговорить Смита от этого пункта чести, было обращение к более личному пункту ее же. Как Смит объяснил в письме другу, «на это граф ответил мне… что я принял в расчет лишь то, что отвечало моей собственной чести, но не принял в расчет то, что пристало его; и что он никогда бы не хотел навлечь тень подозрения, что помог своему доброму другу получить службу, чтобы освободить себя от уговоренного долга».