Оказалось, что этот пустой макет был оценен некоторыми членами комиссии! Они не могли поверить, что книги не было, ведь оценки-то были. Более того, оценки у несуществующей книжки были выше, чем у двух других. То обстоятельство, что книги не было, ничуть не помешало ее оценке.
Я подумал, что система работает так: когда вы раздаете книги людям, им нет до этих книг никакого дела. Они заняты, они думают: «Ну, ведь не я один должен это прочитать – многие. Так что неважно, что я там напишу». И ставят наобум оценку. Некоторые, по крайней мере. Не все, но некоторые так делают. Потом вы получаете отзывы, и вы не знаете, почему именно эта книга получила меньше всего отзывов, т.е. на одну книгу пришло, допустим, десять отзывов, а на другую только шесть. Дальше вы усредняете все полученные оценки; естественно, вы не учитываете неприсланные отзывы. Так что полученная цифра кажется вам вполне разумной. При этом усреднении попросту упускается из виду то, что внутри обложки абсолютно ничего нет!
Я построил эту теорию, увидев, что случилось в нашей комиссии. Пустую обложку оценили только шесть из десяти членов, а остальные книжки – восемь или девять человек из десяти. Результат усреднения получился не хуже, чем результат усреднения восьми или девяти оценок. Все были очень смущены, когда это выяснилось, и это придало мне уверенности. Оказалось, другие члены комиссии проделывали большую работу, раздавая книги, собирая потом отзывы, посещая все собрания, приемы, где издатели давали им пояснения к своим книгам прежде, чем они успевали их прочитать. Я был единственным в комиссии, кто сам читал все книги и не получал от издательства никакой информации, кроме той, что содержалась в самих книгах и должна была, в конце концов, попасть в школы.
Эта проблема – как лучше составить мнение о книге: внимательно ее изучив или собрав много отзывов от людей, невнимательно ее просмотревших, – напоминает известную задачу. Никому не позволяется видеть китайского императора. Спрашивается, какой длины нос у китайского императора? Чтобы это выяснить, предлагается обойти всю страну и у каждого жителя спросить, что он думает о длине носа императора. Потом вывести среднее арифметическое. Ответ будет очень «точным», так как вы усредните гигантское множество мнений. К сожалению, таким способом ничего не узнаешь. Среднее арифметическое, выведенное даже из очень широкого диапазона мнений незаинтересованных и невнимательных людей, не улучшает вашего понимания ситуации.
Сначала в наши обязанности не входило обсуждение стоимости книг. Нам сказали, сколько книг мы можем выбрать, поэтому мы придумали программу, которая задействовала множество дополнительной литературы, потому что все новые учебники имели те или другие недостатки. Самые серьезные недостатки были в «новых математических» учебниках: там не упоминалось о приложениях математики и было слишком мало словесных задач. В них не было и речи о продаже марок; зато они изобиловали пространными рассуждениями о коммутации и прочих абстрактных понятиях, а приложение математики к каким-то конкретным повседневным ситуациям отсутствовало. Что ты делаешь: складываешь, вычитаешь, умножаешь или делишь? Поэтому мы предложили несколько учебников, в которых была хоть какая-то часть всего этого в качестве дополнительных – один-два учебника на каждый класс, – кроме основного учебника для каждого ученика. После многочисленных дискуссий мы привели все это в состояние равновесия.