Когда Бай узнал о том, что Ярдли собирался остаться в Калифорнии еще на месяц и что его лекции придется отменить, то предупредил своего клиента: «Я очень боюсь, что вы все глубже и глубже увязаете в какой-то ужасной трясине. Курс лекций способствовал бы продажам Вашей книги и поддержанию интереса к Вам со стороны широкой публики. А в Голливуде Вы застрянете намного глубже, даже чем если бы попытались разгадать самую великую криптограмму в мире. Ваш агент, занимающийся лекциями, вот-вот уволится». А Чамберсу Бай сказал, что попытается «вывести Ярдли из-под голливудского гипноза». Со своей стороны, Чамберс из вежливости поздравил Ярдли с новым контрактом и выразил сожаление по поводу отмены лекций. Критическое отношение Бая и Чамберса заставило Ярдли пересмотреть решение, и он телеграфировал своему агенту, что приступит к чтению лекций в январе 1932 года.
Однако в 1932 году ни «Американский Черный кабинет», ни работа в Голливуде, ни чтение лекций не принесли Ярдли желаемых доходов. В начале 1933 года он попробовал в очередной раз капитализировать свой главный актив – опыт работы в спецслужбах. Ярдли попытался наладить производство и продажу невидимых чернил. Попытка провалилась. А Ярдли к тому же еще и лишился указательного пальца на правой руке. Его пришлось ампутировать из-за пореза стеклом во время смешивания состава для изготовления невидимых чернил.
Ярдли подготовил новую порцию «ярдлиграмм» для «Либерти». Они были опубликованы в период с 27 мая по 12 августа 1933 года. И продолжил чтение лекций. На одной из них Ярдли был задан вопрос, на который он не смог ответить: «Вы бы пригласили погостить джентльмена, чтобы иметь возможность покопаться в его корреспонденции?» Подходящий ответ пришел на ум Ярдли только после того, как лекция завершилась: «С каких это пор дипломаты стали джентльменами?»
Ярдли решил больше не писать документальные произведения, поскольку посчитал, что заработает больше денег на беллетристике. В мае 1933 года Бай продал два рассказа Ярдли «Либерти». Ярдли также попытал свои силы в романистике. Однако его первый роман под названием «Пожиратели людей» про торговцев оружием никого из издателей не заинтересовал. Следующий написанный им роман, озаглавленный «Светловолосая графиня», был опубликован в апреле 1934 года издательством «Лонгман». А в середине июня 1934 года Ярдли закончил работу над третьим романом под названием «Красное солнце Японии». Он увидел свет в ноябре 1934 года.
Примерно в это же самое время американский драматург Томас Куртин, писавший радиопьесы, каким-то образом узнал, что Ярдли хочет поработать сценаристом на радио. Однако конкуренты, прослышав про намерения Ярдли, решили помешать их осуществлению и спровоцировали жалобы со стороны немецкого посла в США, сказав ему, что среди персонажей радиопьесы Ярдли будут фигурировать немецкие шпионы в США. Посол выразил опасения, что постановка подобной радиопьесы может привести к новому разжиганию антинемецких настроений в США. Недовольны были и американские военные, которые угрожали привлечь Ярдли к уголовной ответственности по «Закону о шпионаже» в случае новых разоблачений.