Так как Медичи полностью вышли из компании, нет оснований верить версии, запущенной в обращение одним историком и повторяемой другими. В соответствии с ней Лоренцо Великолепный, разорвав отношения с Портинари, призвал к управлению филиалом в Брюгге Пьерантонио ди Гаспарре Бандини-Барончелли. Этот человек в 1478 г. был представителем банка Пацци в Брюгге; он был близким родственником Бернардо Бандини-Барончелли, убийцы Джулиано де Медичи, и жены Портинари, Марии Бандини-Барончелли. Хотя сам Пьерантонио и не участвовал в заговоре Пацци, его поведение после этого события едва ли способствовало доверию к нему Лоренцо Великолепного. Как только весть о провале заговора достигла Брюгге, Пьерантонио бежал в укрытие, прихватив с собой бухгалтерские книги и ценности, принадлежавшие банку Пацци. Когда Рикасоли представил мандат на конфискацию имущества Пацци, Пьерантонио Бандини-Барончелли отказался подчиниться; вероятно, ему удалось предотвратить конфискацию части активов. Поэтому маловероятно, чтобы Лоренцо выбрал именно его на ответственный пост. Более того, все доступные свидетельства показывают, что преемника у Портинари не было. Пьерантонио по-прежнему проживал в Брюгге и, возможно начиная с 1478 г., проводил операции от своего имени. В 1490 г., а может быть, и раньше он стал флорентийским консулом.
Уход Лоренцо Великолепного из Брюгге лишил Томмазо Портинари возможности пользоваться добрым именем Медичи. Он очутился в довольно опасном положении: оборотного капитала не было или почти не было, а кредиторы наседали со всех сторон, угрожая ему арестом. Главным должником Портинари оставался Максимилиан, эрцгерцог Австрийский, который стал регентом Нидерландов после смерти Марии Бургундской (1482). Мот и никудышный дипломат, Максимилиан был, наверное, худшим должником из всех европейских правителей. Тем не менее около 1480 г. он отдал Томмазо Портинари в залог дорогое украшение, геральдическую бургундскую лилию, украшенную драгоценными камнями и весившую не менее 19 фунтов. Однако драгоценность из казны – плохая замена наличным деньгам, особенно если по долгам накапливаются проценты. Бургундскую лилию хранили в надежном месте, в больнице Санта-Мария-Нуова во Флоренции. Судя по всему, Портинари вынужден был отдать ее в залог собственным кредиторам. В 1500 г., когда лилию наконец вернули в обмен на выплату 4 тыс. дукатов (или «широких» флоринов) и партию в 320 центнеров котсуолдской шерсти, Портинари не получил ничего: деньги, как и шерсть, перешли нескольким кредиторам, которые имели право удерживать у себя залог до уплаты долга. Есть и другие указания на то, что после разрыва с Медичи Портинари преследовали финансовые трудности. В 1485 г. ему вернули откуп на гравлинский таможенный сбор с разрешением пустить половину стоимости откупа на погашение долга Максимилиана. Но процесс шел слишком медленно, и в 1487 г. Портинари предоставили еще одну льготу из жалости к «просителю, его жене и семерым детям», потому что накопившиеся долги «вынудили его отойти от дел» и «вовлекли в большие расходы на поддержание кредита». Чтобы добыть средства, Портинари в конце концов вынужден был продать долговые требования к Максимилиану и Ганзейскому союзу своим племянникам, Бенедетто и Фолько ди Пиджелло Портинари – скорее всего, в убыток.