(Дата первой публикации – июнь 2007)
При выборе и сравнительной оценке товаров или технологий большинство людей — так уж повелось — обычно ориентируется на мнение компетентных экспертов. А эксперты, в свою очередь, руководствуются наработанным опытом и собственными предпочтениями.
Однако существуют и иные, куда более объективные критерии оценки, которые зачастую дают весьма неожиданные результаты. Наглядной иллюстрацией чему могут служить недавние тесты, сравнивавшие, в одном случае, качество по-разному сжатых аудиозаписей, а в другом случае — качество принтерной печати при разных чернилах и сортах бумаги.
Честный путь к истине
Так называемый «двойной слепой» метод тестирования пришел из науки, где является очень важной частью исследовательского инструментария ученых, поскольку позволяет получать наиболее объективные результаты экспериментов с участием людей.
Цель двойного слепого метода — эффективно нейтрализовать первоначальные субъективные предубеждения и сдвиги во мнениях, которые всегда свойственны и тестируемым, и самим организаторам эксперимента, а потому явно или неявно влияют на анализ тестовых данных и оценку итоговых результатов. На сегодняшний день этот метод считается одним из самых важных во многих серьезных областях исследований от медицины и психологии до социологии и криминалистики.
Что представляет собой слепой метод тестирования в принципе, очень просто пояснить на примере с дегустацией, скажем, чая. При открытом способе дегустации приглашенные потребители пробуют чай разных марок и фирм в условиях, когда принадлежность содержимого каждой чашки к определенному брэнду известна заранее, а потому дегустаторы обычно делают выбор в пользу тех названий, которыми пользуются регулярно или по крайней мере что-то о них знают.
Из опытов хорошо известно, что если при дегустации тех же напитков скрыть все сведения о брэндах, то те же самые испытуемые нередко выбирают совсем другую марку. Иначе говоря, слепой метод помогает убрать сознательные или подсознательные сдвиги в представлениях испытуемых, существенно влияющие на исход эксперимента.
В более серьезных научных испытаниях вроде медицинских, когда важно не то, «нравится» или «не нравится» лекарство, а насколько эффективно оно помогает при лечении, один из общепринятых методов проверки носит название single-blind, т.е. «одинарный слепой». При этом методе каждый из испытуемых не знает, входит ли он или она в «тестовую группу», принимающую новое лекарство, или же в «контрольную группу», которой дают нечто нейтральное для сравнения результатов с тестовой.
Но, как показывает опыт, этот метод не очень хорош, потому что сами экспериментаторы тоже являются людьми и при организации опытов вольно или невольно пытаются повлиять на получение желаемого исхода. Поэтому, скажем, пациенты нередко могут догадываться, дают им пустышку или настоящее лекарство.
Более яркий пример того же самого — это процедура опознания преступника свидетелем, когда организаторы опознания заранее знают, кого нужно «разоблачить», и вроде бы обезличенный метод устраивается так, чтобы подтолкнуть испытуемого к нужному выбору.
Для ликвидации всех подобных перекосов разработан двойной слепой (double-blind) метод тестирования, в экспериментах с участием людей позволяющий эффективно нейтрализовать субъективные предубеждения как испытуемых, так и самих испытателей. В условиях двойного слепого уже ни испытуемые, ни экспериментаторы не знают, кто является членом тестируемой группы, а кто членом контрольной группы для сравнения (в условиях правоохранительной работы, это когда организаторы опознания сами не знают, кто предполагаемый преступник).
Лишь после того, как все данные тестов зафиксированы (а в некоторых случаях и после того, как проанализированы), исследователи, наконец, получают от независимой третьей стороны информацию о том, кто был кто. При аккуратной организации и случайном распределении испытуемых по группам «тестирования» и «контроля» двойной слепой метод позволяет полностью избавиться от человеческого субъективизма и проводится в тех случаях, когда хотят добиться наиболее высоких стандартов научной строгости.
Хотя двойные слепые методы получили наибольшее распространение в медицине, в принципе их можно применять в любых экспериментальных ситуациях, где существует возможность того, что результаты испытаний окажутся под влиянием сознательных и / или подсознательных сдвигов в представлениях участников эксперимента.
Особенно удобно устраивать двойные слепые тесты с помощью компьютера, поскольку программу, организующую эксперимент, легко сделать так, чтобы она не имела никаких сдвигов в пользу того или иного выбора. По аналогии с приведенными выше примерами из медицины и криминалистики, та часть программы, которая обеспечивает взаимодействие с испытуемым человеком — это работающий вслепую экспериментатор, а та часть, которая знает, что именно предложено для оценки — это независимая третья сторона.
Классическим, можно сказать, примером такого подхода, часто реализуемым с помощью компьютера, является так называемый «тест ABX», где испытуемому человеку предлагается на пробу неизвестный стимул X, который следует отнести к одному из двух возможных и уже известных выборов A или B. Помимо того, что этот тест очень просто организовать в различных модификациях, ABX давно знаменит тем, что легко и наглядно развенчивает устойчивые мифы, бытующие среди населения.
За что его, мягко говоря, недолюбливают многие «авторитетные эксперты», эти мифы создающие.
Читать «Двойной слепой» далее
kiwi arXiv 