Для Де Ниро-старшего живопись была всем. Ради искусства он шел на любые лишения и трудности. Он жил в палатке, работал на угольной барже, и даже прислуживал в ресторане — в том самом ресторане, где был официантом драматург Теннесси Уильямс… Само собой разумеется, вся материальная и моральная ответственность за сына ложилась на Вирджинию. Однако несколько лет спустя, получив 1000 долларов от Фонда Глории Вандербильт, Де Ниро отдал все Деньги своей бывшей жене. После их разрыва наступил период полного отчуждения родителей друг от друга, но Вирджиния и в это время не запрещала сыну общаться с отцом, скорее наоборот. Де Ниро-старший продолжал занимать студию в Гринвич Виллидж, и мог запросто дойти пешком до дома, где жил его сынишка.
Роберт проводил помногу часов, сидя на коленях у отца, писавшего за мольбертом и беспрестанно совершенствовавшего свои картины. Мальчик мог воочию наблюдать глубокую поглощенность человека творчеством… Память о часах, проведенных в студии отца, сохранится у Де Ниро навсегда.
Отец с сыном часто ходили по вечерам в кино. Именно отец приобщил юного Де Ниро к магическому очарованию Греты Гарбо, с которой в последующем его роднило фанатическое стремление к одиночеству. А Де Ниро-старший был безумно увлечен Гарбо. Бесспорно, многие его работы были навеяны этой блистательной кинозвездой в роли Анны Кристи. Будучи к тому же скульптором и поэтом, Де Ниро-старший выполнил несколько бюстов Гарбо в роли Кристи и писал о ней стихи. А Де Ниро-сын часто подчеркивал, что Гарбо была одной из тех актрис, чье творчество оказало огромное влияние на его собственную карьеру.
Вирджиния с сыном, проведя около года в неотапливаемой мансарде на Гудзон-стрит, 521, где остальные квартиры занимали ее друзья-художники, переезжают в относительно комфортабельную студию на верхнем этаже дома 219 по Западной Четырнадцатой улице. Тут были просторные уборные, центральное отопление, паркетные полы и большая спальня для Бобби, как его звали родители и вся округа. Однако эти хоромы обходились в целых 50 долларов в месяц!
Вирджинии Эдмирал необходимо было отложить все мысли о живописи и целиком заняться обеспечением своего ребенка и себя. Она работала в мастерской по изготовлению багетов для картин за 1 доллар 25 центов в час, что являлось в те времена минимальной официальной зарплатой. Потом она нашла работу в другой фирме, делающей те же багеты, но теперь уже за чуть более высокую плату — полтора доллара в час. Вирджиния бралась за все, что подворачивалось под руку. Она довольно успешно пробовала себя в качестве дизайнера швейных, а затем ювелирных изделий; временно поработала секретаршей; была помощником редактора в журналах «Андеруорлд Детектив» и «Детектив Уорлд», которые, казалось, доходили до грани безумия в публикациях триллеров… Тем временем маленький Бобби коротал часы в детском саду Гринвич Виллидж. В сущности, детский сад был большой подмогой: он финансировался правительственной программой поощрения труда женщин на оборонных предприятиях, и все удовольствие обходилось Вирджинии всего лишь в доллар с четвертью в неделю. Позже, в младших классах школы, Бобби иногда по «старой памяти» захаживал в свой детский сад, где его неизменно вспоминали как «чрезвычайно деятельного и творческого ребенка».