Ему на руку были аристократические предрассудки южан, смотревших на странствующего фотографа как на какого-нибудь торговца-мешочника, который не многим лучше, чем бродячий медник или сапожник, и во всяком случае стоит на одной доске со странствующим музыкантом, актером, книгопродавцем, коновалом и тому подобными клиентами мелких таверн. И все же Бейкер в сущности находился под арестом почти все время своей разведывательной работы и странствий южнее Потомака. Он чаще сидел в тюрьмах или караульных помещениях, чем в тавернах. В Ричмонде сам начальник военной полиции охранял его и держал под замком. Спасся Бейкер только потому, что президент Дэвис приказал отправить его для допроса к генералу Борегару, тогдашнему главнокомандующему южан. Бейкер, не колеблясь, передавал южанам те сведения, которые он якобы собрал во время своего проезда через Вашингтон. Руководители южан были довольны его информацией о положении северян, а он был доволен тем, что мог наблюдать за лихорадочными военными приготовлениями.
Постепенно он завоевал доверие военных кругов Виргинии и стал дейстовать свободнее. Но все не выполнял своего обещания проявить и отдать снимки, на что, наконец, обратили внимание. Это случилось в Фредериксберге, где его прямо обвинили в том, что он шпион «янки». Для Лафайета Бейкера наступил критический момент, он очутился перед альтернативой: либо предстать перед судом, жаждавшим продемонстрировать силу военного закона, либо умудриться улизнуть домой, к генералу Скотту. Он решил израсходовать остаток своего золота на приобретение инструментов, которые помогли бы бежать. Здание тюрьмы, в которую был заключен Бейкер, оказалось очень ветхим, и он с такой же легкостью взломал дверь своей камеры, с какой бросил свое снаряжение бродячего фотографа.
Передвигаясь по ночам с величайшей осторожностью, Бейкер пробрался к линиям федералистов. Молодой часовой его едва не пристрелил. Сдавшись в плен, беглец немедленно потребовал, чтобы его препроводили к генералу Скотту. В наши дни шпиону редко удается видеть главнокомандующего, разве что на парадах, после какой-либо победы. Но Бэкер умел убеждать, и вскоре Скотт и офицеры его штаба с изумлением слушали обстоятельнейший доклад, который сделал им бывший фотограф; память у него оказалась изумительной.
Генерал Скотт наградил Бейкера по его желанию: произвел в офицеры и открыл ему дорогу к быстрому повышению. Бейкер стал начальником военной полиции и единолично руководил большой группой шпионов и контрразведчиков.
На Западе генерал Гренвилл Додж, впоследствии прославившийся как строитель Тихоокеанской железной дороги, был назначен начальником секретной службы и умело управлял деятельностью доброй сотни шпионов. Одним из его агентов был способный, но эксцентричный «полковник» Филипп Хенсон, который после войны приобрел некоторую известность и зарабатывал скудное пропитание чтением лекций о шпионаже. Хенсона отличала выращенная за десять лет борода длиной в 6 футов и 4 дюйма. Сам Хенсон был ростом 6 футов и 2 дюйма, и когда эта величественная борода была не подвязана, он мог подметать ею пол лицея, ибо добрых несколько дюймов бороды волочилось по ковру. Как шпион, действующий за линией фронта мятежников, Хенсон проявил черты особого мужества. Генерал Натан Бедфорд Форрест, превосходный воин, называл Хенсона самым опасным шпионом федералистов, работавшим в расположении южан, и сожалел, что упустил удобный случай его повесить.