Только один раз он попытался быть со мной грубым. Это было на заседании Политбюро. Как всегда, я записываю резолюции на картонной карточке и передаю её ему через стол, а он, прочтя, возвращает её мне. По каким-то разногласиям с членами Политбюро (не имевшим ко мне ни малейшего отношения) он рассердился и хотел показать членам Политбюро своё плохое расположение духа. Для этого он не нашёл ничего лучшего, как не возвращать мне через стол карточки, а швырять их через стол. Моя реакция была немедленной – следующую карточку я тоже не передал ему через стол, а бросил. Он удивлённо посмотрел на меня и сразу перестал бросать карточки.
Он совсем перестал понимать меня, когда в один прекрасный день в результате моей внутренней эволюции, став антикоммунистом, я потерял желание быть полезным винтиком этой политбюровской машины. Я сказал ему, что хотел бы перейти работать в Наркомфин (Сокольников предлагал мне руководить Финансово-экономическим бюро Наркомфина, заменившим Учёный совет царского министерства финансов). Сталин удивился: «Почему?» Настоящую причину я ему, конечно, сказать не мог, и ответил, что хотел бы усовершенствоваться в государственных делах финансово-экономического порядка. Он ответил, что я могу это делать, продолжая мою работу, и она от этого только выиграет. «И потом, партия поручает вам очень важную и ответственную работу; нет никакого резона от неё отказываться». Я начал работать и в Наркомфине (я дальше об этом расскажу), но для Сталина, для которого власть была всё, моё равнодушие к власти и готовность от неё уйти, были загадкой. Он видел, что во мне чего-то не понимает. Может быть, поэтому он был всегда со мной отменно вежлив.
В те времена (20-е годы) Сталин ведёт очень простой образ жизни. Одет он всегда в простой костюм полувоенного образца, сапоги, военную шинель. Никакого тяготения ни к какой роскоши или пользованию благами жизни у него нет. Живёт он в Кремле, в маленькой, просто меблированной квартире, где раньше жила дворцовая прислуга. В то время как Каменев, например, знает уже толк в автомобилях и закрепил за собой превосходный Роллс-Ройс, Сталин ездит на мощном, но простом Руссо-Балте (впрочем, дорог для автомобилей нет, ездить можно практически только по Москве, а выехать за город можно только чуть ли не по одному Ленинградскому шоссе). Конечно, для него, как и для других большевистских лидеров, вопрос о деньгах никакой практической роли не играет. Они располагают всем без денег – квартирой, автомобилем, проездами по железной дороге, отдыхами на курортах и т. д. Еда приготовляется в столовой Совнаркома и доставляется на дом.