Большинство задач решалось в Древней Греции путем построений циркулем и линейкой (см. Геометрические построения). Но не все задачи поддавались такому решению. Например, «не решались» задачи удвоения куба, трисекции угла, задачи построения правильного семиугольника (см. Классические задачи древности). Они приводили к кубическим уравнениям вида x>3 = 2, 4x>3 - 3x = a и x>3 + x>2 - 2x - 1 = 0 соответственно. Для решений этих задач был разработан новый метод, связанный с отысканием точек пересечения конических сечений (эллипса, параболы и гиперболы).
Геометрический подход к алгебраическим проблемам сковывал дальнейшее развитие науки, так как, например, нельзя было складывать величины разных размерностей (длины и площади или площади и объемы), нельзя было говорить о произведении более чем трех множителей и т.д. Отказ от геометрической трактовки наметился у Диофанта Александрийского, жившего в III в. В его книге «Арифметика» появляются зачатки буквенной символики и специальные обозначения для степеней неизвестного вплоть до 6-й. Были у него и обозначения для степеней с отрицательными показателями, обозначения для отрицательных чисел, а также знак равенства (особого знака для сложения еще не было), краткая запись правил умножения положительных и отрицательных чисел. На дальнейшее развитие алгебры сильное влияние оказали разобранные Диофантом задачи, приводящие к сложным системам алгебраических уравнений, в том числе к системам, где число уравнений было меньше числа неизвестных. Для таких уравнений Диофант искал лишь положительные рациональные решения (см. Диофантовы уравнения).
С VI в. центр математических исследований перемещается в Индию и Китай, страны Ближнего Востока и Средней Азии. Китайские ученые разработали метод последовательного исключения неизвестных (см. Неизвестных исключение) для решения систем линейных уравнений, дали новые методы приближенного решения уравнений высших степеней. Индийские математики использовали отрицательные числа и усовершенствовали буквенную символику. Однако лишь в трудах ученых Ближнего Востока и Средней Азии алгебра оформилась в самостоятельную ветвь математики, трактующую вопросы, связанные с решением уравнений. В IX в. узбекский математик и астроном Мухаммед ал-Хорезми написал трактат «Китаб аль-джебр валь-мука-бала», где дал общие правила для решения уравнений первой степени. Слово «аль-джебр» (восстановление), от которого новая наука алгебра получила свое название, означало перенос отрицательных членов уравнения из одной его части в другую с изменением знака. Ученые Востока изучали и решение кубических уравнений, хотя не сумели получить общей формулы для их корней.