Причёсывание данных тоже было небанальным. Сначала Саша использовал весь текст полностью. Тогда в мире творилась неразбериха. Возможно, на этом можно было бы остановиться. Но глядя матрицы, которые на тестах были не такими огромными, Саша понял, что нельзя принимать решение о важности новости, руководствуясь количеством частиц «не» и местоимений «все». Именно они встречались чаще всего. Почитав, что пишут умные люди на stackoverflow, Саша осознал: надо взять только самые важные части речи. Существительные, глаголы. Постойте. А прилагательные? Наречия? Все это ещё предстояло выяснить.
Новый виток понимания наступил, когда Саша читал блог американского путешественника и дата сайнтиста. Интересно, как в человеке могут сочетаться настолько противоположные вещи. Этот талантливый исследователь указывал на важность приведения слов к нормальной форме. Нормальная форма. Ненормальная форма. Как-то звучит обидно. Так дело дошло до стеммига. Выделения корня слова. Кстати процедуры в английском и русском языке сильно различаются. И вообще есть разные техники. То ли упростишь текст до неузнаваемости и потеряешь половину смысла. То ли выберешь лайтовый вариант, а вместе с ним получишь все старые искажения.
А дальше были тесты. Дни. Недели. Месяцы. Базовой библиотеки машинного обучения оказалось недостаточно, и Саша принял решение перейти к построению графа. После чего удалось получить результат, который команда и менеджер признала удовлетворительным. О чем писали больше всего? Конечно, о политике.
Эдуард был необычным руководителем. Он предоставлял свободу и брал на себя административные вопросы. Не было четкого времени и прихода в офис, обеда или совещаний. Сотрудники часто работали из дома. Или приходили к обеду и засиживались до позднего вечера.
Дизайнер интерфейсов Антон купил небольшие настольные светильники в икее. Тот, кто первым приходил в офис, включал все лампы и до конца дня они горели мягкими, сдержанными огоньками. Для каждого, кто бродил в темноте в поисках путей и решений. Члены команды во второй половине дня устраивали шведское фика около капсульной кофемашины. Иногда это случалось и утром. Ближе к вечеру все перемещались кодить на разноцветные пуфики и иногда заказывали пиццу.
В прошлом сценарист компьютерных игр Макс руководил VR-направлением. Сейчас его команда работала над проектом «Вселенная». В виртуальной реальности можно было путешествовать среди планет и астероидов и смотреть на солнце без страха ослепнуть.
– Сегодня я читал статью о том, что алгоритмы машинного обучения ограничивают наше сознание, – с порога заявил Макс.