Нужно отметить, что на самом деле выборка для опросов перед общенациональными выборами формируется вовсе не методом слепого отбора. Это было бы оправданно, если бы все избиратели в стране имели равные шансы попасть в выборку. Если это не так, вы рискуете получить серьезную ошибку выборки. Один из первых предвыборных опросов в США, проведенный журналом Literary Digest, показал, что Франклин Рузвельт проиграет выборы 1936 г., на которых на самом деле он одержал бесспорную победу. В чем была ошибка этого опроса? Он проводился по телефону, а в то время только очень обеспеченные люди (и большинство из них — республиканцы) имели дома телефон.
Нечто похожее произошло с некоторыми из предвыборных опросов, проведенных в 2012 г. Компания Rasmussen, проводившая опросы общественного мнения, не звонила на мобильные телефоны, игнорируя тот факт, что люди, у которых есть только мобильные телефоны и нет домашних, в большинстве своем молоды и чаще всего симпатизируют Демократической партии. Поэтому компания систематически переоценивала поддержку кандидата от Республиканской партии Митта Ромни по сравнению с результатами опросов путем звонков и на домашние, и на мобильные номера.
Когда люди отвечали на телефонные звонки и пускали в дом проводящих соцопросы, можно было достичь практически идеальной случайной выборки. В наши дни точность опроса зависит частично от данных, имеющихся у лиц, проводящих опросы, и интуиции, подсказывающей, какой лучше сделать выборку — подмешать ли в колдовское зелье из чисел вероятность, с какой респонденты пойдут голосовать, их симпатии той или иной партии, пол, возраст, статистику о том, как это сообщество или регион голосовали на прошлых выборах, глаз тритона или лягушачью лапку...
Рассмотрим следующие две задачи.
Университет А известен постановками мюзиклов в студенческом театре. Талантливые выпускники школ, от которых ждут больших успехов в будущем, могут получить стипендию на обучение в этом университете. Директор университетской театральной программы Джейн знакома с преподавателями актерского мастерства в окрестных школах. Однажды она отправляется посмотреть выступление ученицы, которую все преподаватели в один голос называют замечательной юной актрисой. Но на репетиции эта девушка несколько раз путает текст роли и, кажется, вообще неверно понимает характер своего персонажа. Да и особого сценического обаяния она не демонстрирует. Посмотрев репетицию, директор говорит своим знакомым, что теперь будет сомневаться в их оценках таланта их учеников. Верный это вывод или нет?
Джо подбирает игроков в футбольную команду университета Б. Он всегда ездит на тренировки школьных команд, если тренеры сообщают ему, что появился кандидат в университетскую сборную. Однажды он отправляется в школу, чтобы понаблюдать за нападающим, которого расхваливают его тренеры. Но на тренировке юноша промахивается, не может прорваться сквозь защитников и в целом не слишком результативен. В своем отчете начальству Джо пишет, что игрока переоценили, и рекомендует университету больше не рассматривать его в качестве кандидата в команду. Верное это решение или нет?
Если вы ответили, что Джейн приняла верное решение, а Джо нет, готов поспорить, что вы разбираетесь в спорте, но не в актерском мастерстве. Если же вы сказали, что Джо прав, а Джейн нет, вы, вероятно, разбираетесь в актерском мастерстве, но не в спорте.
Я обнаружил, что люди, которые мало понимают в спорте, чаще говорят, что Джо прав, заключив, что футболист не так уж талантлив, а люди, которые разбираются в спорте, считают, что Джон поторопился с выводом. Они допускают возможность, что выборка, представляющая собой единственную игру нападающего, была слишком мала и, возможно, это была худшая тренировка этого игрока. Таким образом, остается возможность, что способности этого спортсмена на самом деле гораздо больше соответствуют отзывам о нем, чем тому, что увидел Джо.
Люди, которые мало понимают в актерском мастерстве, скорее всего согласятся, что юная актриса не очень талантлива, но те, кто в этом разбирается, скажут, что Джейн пренебрежительно относится к суждениям своих друзей, преподающих в школе. При прочих равных условиях чем больше вы понимаете в каком-то вопросе, тем чаще можете применять статистические закономерности в своей работе. В данном случае важно помнить о законе больших чисел.
И вот почему здесь этот закон здесь необходим. Надежным показателем качества игры и уровня способностей футболиста можно считать то, как он играл на протяжении всего сезона или даже нескольких сезонов. Если его тренеры подтверждают эту информацию, настаивая на том, что он отличный игрок, это уже база доказательств — множество исходных данных, указывающих на то, что игрок, за которым наблюдал Джо, действительно талантлив. Результаты наблюдений Джо ничтожны по сравнению с наблюдениями тренеров, которые каждый день видят игрока на тренировках и в играх.
Конечно, уровень игры футболиста и даже целой команды может меняться от матча к матчу. Как гласит популярная присказка, в любое воскресенье любая команда Национальной футбольной лиги может победить любую другую команду Национальной футбольной лиги. Это не означает, что все команды одинаково сильны, просто нужно помнить: для того, чтобы с уверенностью судить об уровне команды, нужно увидеть много примеров ее игры.
Та же логика определяет мнение директора театральной программы о юной актрисе, выступление которой она смотрит. Если несколько человек, хорошо знающих эту девушку, говорят, что она талантлива, имеет смысл больше довериться их мнению, чем своему, основанному на недостаточном числе примеров. Однако мало кто признает это, за исключением тех, кто сам имеет за плечами сценический опыт и понимает, насколько разными могут быть выступления. Известный актер Стив Мартин писал в автобиографии, что почти любой комедийный актер может иногда сыграть великолепно. Но успех приходит к тем, кто умеет играть по меньшей мере неплохо — раз за разом.