Когда Philips в первый раз урезала премии и бонусы из-за отсутствия достижений по целям NPS, сотрудники компании начали пристально изучать систему. И выяснилось, что люди, отвечавшие на вопросы анкет, представляли далеко не полный круг заинтересованных лиц, а лишь небольшую его часть. Особенно важно, что в этой выборке недостаточно были представлены ответственные за принятие решений лица, а также те, кто оказывал на них влияние. Размеры выборок тоже не позволяли сделать надежные выводы. И, как это всегда бывает при использовании искаженных данных, полученные показатели совершенно не соотносились с последующим покупательским поведением и покупками клиентов. А поскольку одним из самых вожделенных преимуществ NPS считается четкая связь с финансовыми результатами деятельности компании, жизненно важный экзамен компания безнадежно провалила.
Вместо того чтобы отказаться от NPS, руководство компании удвоило усилия по выработке надежной системы измерений. Через год Philips Healthcare составила точные списки клиентов по всем видам бизнеса и географическим рынкам, и увеличила размер выборки по каждому ключевому конкуренту. Менеджеры пришли к выводу, что для получения оценки, при которой различие между конкурентами в 5 пунктов представляется статистически значимым, им придется организовать заполнение 40 тысяч анкет по всему миру. Сбор данных в таком объеме требовал свыше 2 млн долл. инвестиций — существенные затраты, но по сравнению со средним бюджетом на маркетинговые исследования в отрасли (10 млн долл.) и с затратами на создание надежных финансовых отчетов сумма представляется довольно скромной. В настоящее время показатели NPS Philips проходят аудит в компании KPMG наряду с финансовыми данными. Аудиторы тщательно проверяют предварительные результаты опросов, фактические показатели, результаты их анализа и процессы, используемые для расчета показателей. Они выборочно прослушивают телефонные звонки, просматривают текстовые комментарии и тщательно анализируют списки клиентов, с которыми контактировала проводившая опрос организация. Проанализировав качество взаимосвязи между новыми надежными данными по NPS и изменением доли рынка в сравнении с ключевыми конкурентами, аудиторы обнаружили, что значение коэффициента детерминации составляет почти 90 %, что соответствует очень высокой степени корреляции.
Как показал дальнейший опыт Philips, соотнесение зрелой и надежной системы измерений с компенсационными выплатами персоналу обеспечивает компании определенные преимущества. По словам финансового директора Philips Пьера-Жана Сивиньона, сделав индекс чистой поддержки одним из шести элементов сбалансированной системы показателей, от которых зависит размер премиальных, компания «повысила уровень осведомленности о системе не только среди сотрудников, но и среди инвесторов и финансовых аналитиков со стороны покупателя». Но здесь необходимо помнить, что Сивиньон говорит о прошедших аудит показателях, полученных методом оценки сверху вниз в рамках анонимных опросов. А если говорить о компаниях, которым удалось успешно связать полученные по методу снизу вверх показатели с компенсациями менеджеров низшего звена, то таких примеров найдется очень мало, зато будет множество историй о сомнительных оценках, полученных путем подтасовок и манипуляций. Поэтому многие лидеры в области применения NPS проявляют в данном вопросе большую осторожность. Apple, например, не публикует индексы и формально не связывает их с компенсационными выплатами персонала, опасаясь, что продавцы магазинов станут выпрашивать у клиентов высокие оценки. При этом менеджеры магазинов компании используют показатели для информирования наставников.