В Западной Европе изучение алгебры началось в XIII в. Одним из крупных математиков этого времени был итальянец Леонардо Пизанский (Фибоначчи) (ок. 1170 – после 1228). Его «Книга абака» (1202) - трактат, который содержал сведения об арифметике и алгебре до квадратных уравнений включительно (см. Числа Фибоначчи). Первым крупным самостоятельным достижением западноевропейских ученых было открытие в XVI в. формулы для решения кубического уравнения. Это было заслугой итальянских алгебраистов С. дель Ферро, Н. Тарталья и Дж. Кардано. Ученик последнего – Л. Феррари решил и уравнение 4-й степени (см. Алгебраическое уравнение). Изучение некоторых вопросов, связанных с корнями кубических уравнений, привело итальянского алгебраиста Р. Бомбелли к открытию комплексных чисел.
Отсутствие удобной и хорошо развитой символики сковывало дальнейшее развитие алгебры: самые сложные формулы приходилось излагать в словесной форме. В конце XVI в. французский математик Ф. Виет ввел буквенные обозначения не только для неизвестных, но и для произвольных постоянных. Символика Виета была усовершенствована многими учеными. Окончательный вид ей придал в начале XVII в. французский философ и математик Р. Декарт, который ввел (употребляемые и поныне) обозначения для показателей степеней.
Постепенно расширялся запас чисел, с которыми можно было производить действия. Завоевывали права гражданства отрицательные числа, потом – комплексные, ученые стали свободно применять иррациональные числа (см. Число). При этом оказалось, что, несмотря на такое расширение запаса чисел, ранее установленные правила алгебраических преобразований сохраняют свою силу. Наконец, Декарту удалось освободить алгебру от несвойственной ей геометрической формы.
Все это позволило рассматривать вопросы решения уравнений в самом общем виде, применять уравнения к решению геометрических задач. Например, задача об отыскании точки пересечения двух линий свелась к решению системы уравнений, которым удовлетворяли точки этих линий. Такой метод решения геометрических задач получил название аналитической геометрии.
Развитие буквенной символики позволило установить общие утверждения, касающиеся алгебраических уравнений: теорему Безу о делимости многочлена P(x) на двучлен x-a, где a - корень этого многочлена; соотношения Виета между корнями уравнения и его коэффициентами; правила, позволяющие оценивать число действительных корней уравнения; общие методы исключения неизвестных из систем уравнений и т.д.
Особенно далеко было продвинуто в XVIII в. решение систем линейных уравнений – для них были получены формулы, позволяющие выразить решения через коэффициенты и свободные члены. Дальнейшее изучение таких систем уравнений привело к созданию теории матриц и определителей. В конце XVIII в. было доказано, что любое алгебраическое уравнение с комплексными коэффициентами имеет хотя бы один комплексный корень. Это утверждение носит название основной теоремы алгебры.