Со временем запросы дворянства возросли и касса Заемного банка уже не могла их удовлетворить. К тому же служащие банка оказались замешанными в сомнительных сделках. Об одной из связанных с банком афер даже упоминает в своих «Записках» поэт Г. Р. Державин. При поступлении прошений дворян о выдаче ссуд директора банка отвечали, что денег нет, и советовали просить купцов делать вклады в банк. Петербургские купцы, в основном иностранного происхождения, разумеется, не реагировали на такие просьбы, однако предлагали брать взаймы у них, но уже под завышенные в два-три раза проценты, которые и разделялись впоследствии в долях с теми самыми купцами, маклерами и банком, точнее — с главным директором оного. Таким образом, купцы, маклеры и банковские служащие имели свою выгоду непосредственно за счет убытков заемщиков.
Существовала в Заемном банке и другая проблема — крупные хищения денег. Например, кассир Андрей Иванович Кельберг украл из кладовых пятьсот девяносто тысяч рублей, положив вместо десятитысячных пачек ассигнаций простую бумагу. По материалам следствия, учиненного по личному распоряжению Екатерины II в 1796 году, стало ясно, что хищение казенных денег было заранее спланированной акцией, в которой принимал участие один из директоров банка. Более того, на следствии кассир заявил, что по приказу главного директора П. В. Завадовского из банка было вывезено неизвестно куда два сундука денег. В Заемном банке были обнаружены и другие злоупотребления. К примеру, ссуды выдавались ассигнациями, а в книгах выдачи сумм они записывались как выдачи серебряными деньгами.
Приговор по этому делу был вынесен 30 сентября 1796 года. Кельберга и его сообщников лишили чинов, дворянства и постановили сослать на каторжные работы. Кроме того, все советники правления и директора Заемного банка были уволены с должностей. Однако затем произошло совершенно непредвиденное. После смерти Екатерины II взошедший на престол император Павел I вдруг проявил необъяснимое милосердие и простил проворовавшихся чиновников. Он же повелел определить их на службу в другие государственные учреждения.
Таким образом, как выяснил Трубецкой, на момент своей гибели Дубянский либо уже был уволен с должности советника правления, либо находился под следствием по обвинению в банковских махинациях. Однако в любом варианте он, очевидно, нуждался либо в деньгах, либо в покровительстве влиятельных особ. В конце концов от каторги его спасло высочайшее покровительство — провинившихся простил Павел I — Великий магистр Мальтийского ордена, официального правопреемника ордена тамплиеров…