Колониальный порядок устанавливался постепенно. Сначала вооруженный конфликт разгорался между конкистадорами, затем — между испанцами и королевской властью, когда последняя пыталась воспрепятствовать им воцариться на ее территориях на правах феодалов. Эти войны продолжались до 1551 года, и местное население, встающее то на одну сторону, то на другую, стало их главной жертвой. Надеясь сыграть на разногласиях между конкистадорами, Манко принял в Вилькабамбе тех испанцев, что восстали против присланного испанским королем губернатора. В конце 1544 года один из этих вероломно убил правителя инков. Сопротивление возглавил сын Манко, Сайри Тупак. Рассчитывая на капитуляцию инков Вилькабамбы, испанские власти приступили к переговорам, которые завершились в 1558 году «выездом» Сайри Тупака, коему было обещано богатое владение неподалеку от Куско. Но это соглашение оказалось выгодным лишь для Верховного Инки, так как Сайри Тупак обрел возможность обеспечить безбедное существование своим родным и потомкам, тогда как другие инки, остававшиеся в Вилькабамбе, не получали ровным счетом ничего. Тишу Куси, который сменил Сайри Тупака во главе сопротивления Вилькабамбы, активизировал политическую и военную деятельность мятежных инков. После его смерти (1571 г.) власть переходит к другому сыну Манко, Ту паку Лмару, но уже в следующем году вице-король Толедо направляет в Вилькабамбу отряд из 250 испанцев, которым оказывают поддержку сотни каньяри и чачапойя. Плененного Тупака Лмару доставляют в Куско, где вскоре казнят. Инкскому сопротивлению в Вилькабамбе приходит конец.
Те из инков, что пережили эти события и эпидемии, лишились большей части своего имущества, которое перешло в руки конкистадоров. В одном из писем королю Карлу V, датированном 1539 годом, епископ Куско сетовал на материальные нужды детей и внуков Уайна Капака: «Ваше величество должны распорядиться, чтобы им назначили пенсию, так как они выглядят такими потерянными, что на них больно смотреть». В последующие годы король пожаловал потомкам инкских правителей дворянский статус, что освободило их от уплат податей, тяжким бременем легших на плечи простых инков. Так инкам удавалось еще почти триста лет существовать в качестве особой этнической и социальной группы. Именно из их рядов выходили касики, под властью которых на протяжении всей колониальной эпохи живут сообщества региона Куско. Другие представители этой местной знати проживали в городе, где занимались различными ремеслами. Завоевание Америки европейцами повлекло за собой беспрецедентную демографическую катастрофу в истории человечества. Подсчитано, что в 1520 году численность инкского населения составляла от 12 до 15 миллионов человек. Веком позже инков было уже не более 600 000. Местное население, изолированное на протяжении ста пятидесяти с лишним столетий от внешнего мира, оказалось бессильно против таких высокозаразных болезней, как корь, оспа, грипп, тиф, чума и холера, и эта иммунологическая уязвимость сопровождалась огромной экономической эксплуатацией, которой колониальная власть подвергала тех, кого называла «индейцами». Это демографическое падение продолжалось до начала XVIII века, когда началось медленное восстановление.