В апреле 1904 года у Муссолини снова было столкновение с полицией. Когда он впервые приехал в Ивердон, его швейцарская виза позволяла ему оставаться в Швейцарии в течение 18 месяцев, до 31 декабря 1903 года. Однако по мере приближения этой даты он стал бояться, что ему придется вернуться в Италию как раз к моменту получения призывной повестки. Ему пришло в голову, что будет очень легко изменить в визе «3» на «5», что он и сделал. Получилось, будто ему разрешено пребывание в Швейцарии до 31 декабря 1905 года. Но в апреле 1904 года полиция Женевы обнаружила подделку. Муссолини был арестован и после трех дней пребывания в женевской тюрьме приговорен к высылке из кантона.
Социалистам Женевы удалось провести в Великий совет кантона одного из своих лидеров, адвоката Адриена Висса. На совете Висе высказал возражение против депортации Муссолини, а социалисты провели несколько демонстраций протеста на улицах Женевы. Ряд местных отделений социалистической партии вынес резолюции с призывом к 24-часовой всеобщей забастовке. Тем временем полиция уже повезла Муссолини к границе, но из-за протестов это путешествие было прервано, и его передали властям в Люцерне. Так что Пасху он провел в тамошней тюрьме.
Социалисты и радикалы Тичино, зная, что Муссолини провезут через их кантон по пути к итальянской границе, присоединились к протестам против его высылки. Радикал, член Великого совета Тичино Антонио Фузони высказал этот протест на заседании совета. Шумные возражения увенчались успехом, и Муссолини, которого должны были доставить к границе в Кьяссо, был освобожден в Беллинцоне. Ему было разрешено остаться в Тичино. Власти Женевы отозвали приказ о высылке, и Муссолини летом и осенью 1904 года оставался в Женеве, Лозанне и других районах Швейцарии.
В апреле 1904 года Муссолини был заочно осужден военным трибуналом в Форли за уклонение от военной службы. Однако несколько месяцев спустя итальянское правительство даровало амнистию дезертирам. В это время Муссолини обдумывал намерение посетить Нью-Йорк, но ему хотелось повидаться с отцом и матерью, которые мечтали о его возвращении в Италию. Он также понимал, что если не откликнется на амнистию и не пойдет в армию, то ему придется быть изгнанником до конца своей жизни. В ноябре 1904 года он покинул Швейцарию. Дома он немедленно явился на призывной пункт в Форли и в январе 1905 года был направлен в 10-й полк берсальеров, расквартированный в Вероне.
В книге, посвященной юности Муссолини, вышедшей в 1936 году, его секретарь Ивон де Беньяк иначе рассказывал о призыве Муссолини на военную службу. Когда Муссолини был фашистским правителем Италии, ни он, ни его сторонники никогда не пытались скрывать его социалистическое прошлое. Его жена, его сестра, его сын Витторио, Маргерита Сарфатти и де Беньяк гордо писали о революционной деятельности Бенито и его отца Алессандро, о его бродячей жизни в Швейцарии, арестах, пребывании в тюрьмах там и в Италии. Даже о его оппозиции ливийской войне в 1911 году, хотя де Беньяк писал об этом, преуменьшая силу его противодействия. Было одно-единственное исключение: поклонники Муссолини никогда не признавались в том, что он уехал в Швейцарию, скрываясь от военной службы.