Он был сообразительным пареньком и однажды понял, что уоки-токи могут быть очень полезными в ограблениях. Он спланировал ограбление и сумел скрыться, но один из его шайки стал сорить деньгами. Грегори выследили во Флориде, и в 1947 г. он был приговорен к трем годам заключения в государственной тюрьме Клинтон в Даннеморе, Нью-Йорк, прямо рядом с канадской границей. Именно в Клинтоне он увлекся поэзией и классической литературой. Он читал запоем, стараясь поднять свой культурный уровень. Он начал изучение с классического периода греков и римлян, и это навсегда наложило отпечаток на его поэзию. Кстати, позднее он посвятит свою книгу стихов «Бензин» «ангелам тюрьмы Клинтон, поддержавшим меня, семнадцатилетнего, и снабдившими книгами, которые помогли мне прозреть».
Грегори рассказывал биографу Нелли Черковски: «У меня были самые лучшие учителя. Было там несколько ребят в тюрьме. Когда я попал туда, мне было семнадцать, когда я вышел – девятнадцать. Понимаете? Это два очень важных года. Я был проблемой для общества. А знаете, что я приобрел в Даннеморе? “Красное и черное” Стендаля и моего Шелли. Это здорово встретиться с Шелли ребенком, когда они запирают тебя в клетку, потому что ты опасен… Ты сам хозяин своего времени. Я использовал его, чтобы исследовать книжные жемчужины. Я в тюрьме даже словарь изучал, я все слова выучил». Он занимался по огромному словарю, изданному в начале века, – Грегори начал с буквы «А» и планомерно изучил все слова, даже те, которые были помечены как архаизмы.
Его освободили в 1950 г., накануне его двадцатого дня рождения, теперь он считал себя поэтом. Позднее Грегори писал: «Вернулся домой, пожил там два дня, сбежал из дома навсегда, правда, вернулся к вечеру, чтобы умолять о прощении и забрать мою коллекцию марок». Он устроился на работу в округе Гармент, а вскоре познакомился с Алленом Гинзбергом. Приятель Грегори работал художником и рисовал портреты посетителей в лесбийском баре «Стойло пони» на Третьей улице по Шестой авеню в Виллидже. Грегори как раз зашел навестить его, когда в баре появился Аллен. У Грегори была с собой большая пачка стихов, и каждому встречному и поперечному он рассказывал, что он – поэт. В то время в Виллидже подобные заверения были обычным делом, но Гинзберг заметил, что все стихи были набраны на печатной машинке, а это уже было необычно, к тому же ему понравился молодой человек с взъерошенной шапкой волос на голове и блестящими темными глазами, он подошел и представился.
Гинзберг удивился, увидев, что стихи оказались хорошими. Там было одно, сейчас утерянное стихотворение, в котором была строчка, запомнившаяся Аллену на всю жизнь: «Мир камня приближается ко мне и говорит, что жизни час остался». Аллен был потрясен и с воодушевлением принялся рассказывать о своих друзьях, которые тоже были писателями. Они рассказали друг другу о своих жизнях, и Аллен спросил, как у него насчет секса. Грегори рассказал ему, что мечтает об одной из своих соседок. Он жил в маленькой меблированной комнатенке под самой крышей на 12-й Западной улице Шестой авеню и со своей командной высоты мог видеть все, что происходило в квартире молодой женщины, которая жила на четвертом этаже в доме напротив. Он мастурбировал, глядя, как она раздевается перед зеркалом, принимает ванну, ходит в туалет и занимается любовью с приятелем, который приходит к ней каждый вечер. Грегори мечтал, что перейдет улицу, постучится и познакомится с ней.