Речь по поводу городов была последним выступлением в сейме князя Станислава. Шляхта уже по горло была сыта ненавистным "умником", цепляющимся за каждое слово и вызывающим обструкцию. Об обстоятельствах, связанных с его уходом из сейма, мы узнаем из его воспоминаний. "Поскольку было сочтено во многих случаях, что я служу препятствием палате в делах, вызывающих наибольший энтузиазм и которые вроде как бы уже предрешены, сочли необходимым выставить меня из сейма, в связи с чем мне было предписано постоянно находиться в Гродно, возглавляя там скарбовую комиссию. Я на несколько дней выехал в одно из моих имений, туда мне прислали резолюцию сейма, после которой я решил проститься с общественной жизнью. Я написал королю, что подаю в отставку, отказываюсь от всех моих цивильных и воинских должностей, так как не чувствую себя в состоянии оставаться в стране в столь важный период, не будучи депутатом сейма. Король написал мне в ответ длинное сердечное письмо, но не смог меня переубедить".
В январе 1790 года князь Станислав официально передал командование пешей гвардией своему младшему кузену, князю Юзефу Понятовскому. Молодой герой, прославившийся под Сабачем, только что был принят в польскую армию в чине генерал-майора, и сейм выказал ему демонстративное расположение явно на зло князю Станиславу. Желание шляхты столкнуть младшего королевского племянника со старшим с большей очевидностью стало выявляться позднее, осенью 1790 года, когда сейм в последний раз обсуждал возможность наследования трона Понятовскими. Король писал об этом польскому послу в Лондоне Букатому: "Я сам прекратил печатные сплетни, которые сулят трон князю Юзефу. А когда на этом настаивают, я всегда подчеркивал, что достоинства князя Сланислава делают его более подходящим для трона, и достоинства эти за ним признают, но отказывают теперь в популярности по разным причинам, а именно в его отказе от звания литовского подскарбия некую странную гордость усматривают, тогда как он единственно оттого отказался, чтобы не ездить в Литву, которой уже прискучил..."
Надо думать, это оправдание князя Станислава было написано дядей исключительно для внешнего употребления и сам Станислав-Август не очень-то в это верил. Ведь совершенно ясно, что князь-подскарбий отказался от общественной деятельности не потому, что "прискучил Литвой", а именно "от гордости", смертельно обидевшись на сейм. И следует признать, что на сей раз он имел для этого гораздо больше оснований, чем во всех предыдущих случаях, когда он изволил обижаться.