дый тип слоя играет свою роль. Каждый слой CNN
шинного обучения, приведшие к эпохе глубокого
преобразует входной объем в выходной объем акти-
обучения. Среди которых появление больших высо-
вации нейрона, что в конечном итоге приводит к
кокачественных общедоступных помеченных набо-
окончательным полностью подключенным слоям,
ров данных, а также расширение возможностей па-
что приводит к отображению входных данных в
раллельных вычислений на GPU, которые позволи-
одномерный вектор признаков. CNN были чрезвы-
ли перейти с CPU на GPU, где обучение позволяет
чайно успешны в приложениях компьютерного зре-
значительно ускорить обучение глубоких моделей.
ния, таких как распознавание лиц, обнаружение
Дополнительные факторы, возможно, также сыгра-
объектов, мощное зрение в робототехнике и авто-
ли меньшую роль, такие как смягчение проблемы
мобили с автоматическим управлением.
исчезающего градиента из-за отрыва от насыщаю-
Архитектура CNN использует три конкретных
щих функций активации, предложение новых мето-
идеи: (а) локальные рецептивные поля, (б) привя-
дов регуляризации, а также появление мощных сред,
занные веса и (в) пространственная подвыборка. На
таких как TensorFlow [1], Theano и Mxnet, которые
основе локального восприимчивого поля каждый
позволяют быстрее создавать прототипы.
блок в сверточном уровне получает входные данные
Глубокое обучение позволило сделать большие
от набора соседних блоков, принадлежащих преды-
успехи в различных областях компьютерного зре-
дущему уровню. Таким образом, нейроны способны
ния, таких как обнаружение объектов, отслеживание
извлекать элементарные визуальные особенности,
движения, распознавание действий, оценка позы
такие как края или углы. Эти признаки затем объ-
человека (и семантическая сегментация.
единяются последующими сверточными слоями для
Методы глубокого обучения и разработки.
обнаружения признаков более высокого порядка.
Сверточные нейронные сети (CNN) были вдохнов-
Кроме того, идея о том, что детекторы элементар-
лены структурой зрительной системы, и в частности
ных признаков, которые полезны для части изобра-
ее моделями. Первые вычислительные модели, ос-
жения, вероятно, будут полезны для всего изобра-
5
Журнал «Интернаука»
№ 16 (145), часть 1, 2020 г.
жения, реализуется концепцией связанных весов.
мым данным и меткам. Они формируются путем
Концепция связанных весов ограничивает набор
сложения RBM и их тренировки. DBN изначально