Один и тот же пользователь не может проходить тест несколько раз, иначе его результаты будут посчитаны как за отдельного посетителя, но при этом он ведь уже видел изменения, и теперешнее его поведение будет отличаться от того, как он вел себя тогда, когда впервые увидел их.
Кроме однородности аудитории, важно количество аудитории и временной отрезок тестирования. Даже если будет протестировано несколько тысяч пользователей, но за несколько дней, то это не может являться объективным результатом, потому что в следующие несколько дней могут прийти пользователи с иным мнением. Чем дольше проводится тестирование, тем более точный результат получается на выходе.
Для достоверности А/Б-тестирования необходимо найти способ однородного разделения всех пользователей приложения. Так, если вы запустите тест только на один месяц, то это вовсе не гарантия того, что все пользователи будут использовать вариант А и вариант Б приложения.
И не забывайте: меняя что-то в приложении, вы можете получить резкий всплеск роста или падения показателей, вызванных исключительно новизной того, что вы предлагаете пользователям. Пользователи будут выполнять определенные действия не потому, что вы сделали лучше, а только потому, что новая версия отличается от старой. И если сравнить показатели в более долговременном промежутке, то может оказаться, что этот всплеск через месяц-два исчезнет, как будто бы его и не бывало.
Теперь, когда ваше приложение почти готово, заведите себе одну хорошую привычку: постоянно отслеживайте конкурирующие приложения и их авторов. Вы должны знать о них все и всегда. Это может прекратиться только с «кончиной» вашего приложения и никак иначе. Отслеживайте любую доступную информацию. При ограниченных ресурсах лучше всего делать это периодически, например раз в месяц выделять на это столько времени, сколько понадобится.
Сравните приложения наверху и в конце списка. Самые прибыльные и топовые приложения помогут вам понять, что любит ваша целевая аудитория, а самые ненужные приложения покажут, чего точно не стоит никогда делать и что ваши пользователи ненавидят. Составьте список из 10 лучших и 10 худших приложений, после чего внимательно их изучайте и записывайте свои идеи.
Вас должно интересовать мнение большинства пользователей, а не ваше собственное. С другой стороны, деньги приносит меньшинство, и эту группу вы тоже должны хорошо изучить. Большинство пользователей определяет успех или провал приложения, а не вы, поэтому читайте отзывы о приложении, а затем идите в Google и ищите все, что сможете найти об этом приложении, изучайте обсуждения, обзоры и т. п.