Грегори был порывистым, общительным человеком, он не обращал ни малейшего внимания ни на славу, ни на свое положение. Поэзию он считал своим призванием, спасающим его от криминала. Грегори был настоящим ньюйоркцем. Он родился в 1930 г. в самом сердце Гринвич-Виллидж в угловом доме между улицами Блекер и Макдугал, на первом этаже которого находилось похоронное бюро, тогда этот район считался итальянским. Он абсолютно не помнил свою шестнадцатилетнюю мать, которая отказалась от него, когда он был младенцем, и собиралась вернуться в горы родной Ломбардии. (В конце концов, они вновь встретились 60 лет спустя.) Его семнадцатилетний отец не мог его воспитать, и Грегори сменил восемь приемных семей в городе. Когда ему было одиннадцать, его отец снова женился и забрал его к себе, но, когда Соединенные Штаты вступили в войну, отца забрали во флот. Через год Грегори сбежал из дома и стал жить на улицах. Как-то в 1942-м он так проголодался, что разбил окно ресторана и ворвался внутрь в поисках еды. Его поймали, когда он вылез обратно, предъявили обвинение в воровстве и отправили в печально знаменитую Tombs, городскую тюрьму Нью-Йорка, на площади Фоли, место с жуткой репутацией, закрытое в 1947 г. Позднее Грегори вспоминал: «Меня отправили туда за кражу радиоприемника… В Tombs в возрасте 12 лет! Я там пробыл пять месяцев, без воздуха и молока. Большинство заключенных были темнокожими, они ненавидели белых и ужасно меня оскорбляли, но я вел себя как самый настоящий ангел: они крали мою еду, били меня и бросали очистки в мою камеру, а на следующий день я мог выйти и рассказать им, что видел дивный сон о призрачной девушке, стоящей на коленях возле глубокой ямы и смотрящей на меня».
Когда его освободили, идти ему было по-прежнему некуда. Окоченевший от холода и голодный, он подался в юношеский центр, чтобы поспать, но его арестовал ночной патруль и прямиком отправил обратно в Tombs. Ребенку было сложно выносить тюремные условия, и он заболел. Все службы во время войны работали на износ, и больница Tombs не справлялась, так что Грегори отправили на лечение в больницу Бельвю. Бельвю была переполнена, сотрудников не хватало. Однажды днем в столовой Грегори стряхнул крошки от хлеба и случайно попал в глаз одному из пациентов. В поднявшемся вслед за этим гвалте на Грегори одели смирительную рубашку и на три месяца, до тех пор пока он не поправился настолько, что мог вернуться в Tombs, он был помещен на четвертый этаж среди пациентов с серьезными психическими расстройствами. Когда он вышел из тюрьмы, ему было 15 лет, он знал, что значит жить на улице, был груб, вспыльчив и совсем один. «Я жил с ирландцами между улицами 99-я и Лекс, с итальянцами на 105-й и 3-й, с двумя сбежавшими техасцами на 43-й, – позднее писал он, – и так до семнадцати, когда совершил кражу и попал в тюрьму Клинтон».