Возвратившись в Чарлстон, Джаспер поселился в своей прежней комнате в родительском доме на Ратлидж-авеню и стал преподавать физику и биологию в Епископальной ирландской школе. Его светская жизнь ограничивалась эпизодическими встречами с новой учительницей этой школы или с сестрами его однокашников по Цитадели. Он был приятным и, безусловно, завидным кавалером, и несколько особ женского пола намекнули ему, что готовы к серьезным отношениям, если он излечился от своей юношеской страсти, о которой знали все. Каждый раз, когда об этом заходила речь, он сам смеялся над собой — сходит с ума из-за женщины, которая никогда не будет принадлежать ни одному мужчине. Но он дал себе слово, что не женится, если вновь не почувствует того, что чувствовал, когда семнадцатилетним, держась за надувную камеру, плыл в одежде, сносимый течением по Чарлстонской гавани. Он точно знал, что такое любовь и какова она на вкус.
Летом 1947 года Джаспер приобрел два акра земли на берегу соленого озера, которое отделялось от реки Эшли Локвудским бульваром. С помощью друзей он построил двухэтажный дом, не пополнивший перечень архитектурных достопримечательностей Чарлстона. Дом был удобным и простым, как католическая церковь, построенная в то же время на окраине города. Отец оборудовал кабинет-лабораторию на втором этаже и пять спален. Даже собственная мать подтрунивала над ним: пять спален в доме, который, судя по всему, так и останется холостяцкой берлогой. Однако Джаспер придумал план, призванный и скрасить одиночество, и погасить ипотечный кредит. Он стал сдавать комнаты другим молодым холостякам из числа преподавателей школы, и не менее трех учителей всегда жили в доме. Отец вспоминал о том времени как о счастливом: почти каждое воскресенье устраивали вечеринки, танцевали, дом наполнялся молодым смехом, мужским и женским, который звучал как музыка.
Некоторые жильцы стали лучшими друзьями Джаспера, жизнь его в ту пору была наполнена дружбой. Даже отец Максвелл Сэдлер провел шесть месяцев в спальне на втором этаже после того, как пасторский дом пострадал от пожара из-за короткого замыкания. Денег с пастора Джаспер не брал и сожалел, когда тот уехал к себе после окончания ремонта. С пастором Джаспер сколько угодно мог говорить о своем негасимом чувстве к Линдси. Пастор слушал Джаспера с бесконечным терпением и не уговаривал, как остальные, забыть Линдси, он просто знакомил его с очаровательными девушками из своего круга.
Поскольку Джаспер оставался холостяком, по Епископальной ирландской школе поползли слухи о его гомосексуализме. Все более погружаясь в жизнь отшельника, Джаспер не мог рассеять эти слухи. Прошло несколько лет после возвращения в Чарлстон, и его все реже видели на балах, где танцуют котильон, или на обедах в лучших ресторанах города в обществе хорошеньких женщин, или в партере театра на Док-стрит. Однажды коллега, учитель английского языка, пригласил Джаспера в гей-бар, и Джаспер с ним больше не разговаривал. С каждым годом он становился все более замкнутым, религиозным, суровым и категоричным в оценках. Молодые учителя чувствовали себя с ним неуютно и перестали снимать у него комнаты.