Архив метки: double-blind

Чудеса с их разоблачением

(Октябрь 2007)

Руткиты на основе виртуальной машины и патологическая аудиофилия, скепсис иллюзиониста и тайны НЛО — что может быть общего между столь разными вещами?

magic

Всякий грамотный и образованный человек обычно хорошо себе представляет, как наука относится к так называемым чудесам. Если формулировать научную позицию предельно кратко, то никаких чудес в мире не бывает.

Но есть некие феномены, которые при надлежащей настойчивости и правильном подходе к делу вполне можно объяснить, сводя все к уже известным и освоенным наукой результатам. Либо — другой случай — выявить умышленный обман и наглядно разоблачить нечестных людей, дурачащих публику.

В реальной жизни, правда, эта простая и понятная схема может приводить к весьма двусмысленным итогам.

Вот, скажем, есть известный маг-иллюзионист Джеймс Ранди, к старости подуставший обманывать зрителей своими фокусами и посвятивший остаток жизни разоблачению всевозможной «паранормальщины». Учредив даже особый приз в 1 миллион долларов любому, кто в контролируемых по научным методикам условиях докажет обладание сверхъестественными способностями.

jRandi

За много лет никто так и не сумел этот миллион выиграть, из чего естественно должно вроде бы следовать подтверждение правоты мага, уверенного, что все экстрасенсы с их чудесами — это либо шарлатаны, либо погрязшие в самообмане люди.

Но есть, однако, и совсем другие примеры, вроде приснопамятной «комиссии Робертсона», в 1950-е годы созданной в США из авторитетных ученых с одной, по сути, целью — разоблачать так называемые «феномены НЛО» и растолковывать неразумной публике, что все это вполне обычные явления, объясняемые естественными причинами.

Лишь много лет спустя стало известно, что комиссия Робертсона была создана на тайные деньги ЦРУ и совсем с иной задачей — сбить в обществе обостренный интерес к непонятным объектам в небе Америки и всячески прикрывать пристальное внимание к этой проблеме со стороны спецслужб…

В контексте текущих ИТ-новостей столь длинная преамбула понадобилась для того, чтобы прокомментировать два вроде бы совсем разных, но кое в чем очень даже созвучных события.

Первая новость касается известной проблемы с трудностями выявления виртуальных машин (VM) в компьютере. Читать далее Чудеса с их разоблачением

Улики под сомнением

(Впервые опубликовано – июль 2007)

Криминалистика – наука без научных критериев достоверности?

fingerprints

Постоянный рост доли преступлений, так или иначе совершаемых с применением компьютеров, – это, ясное дело, вполне закономерное следствие процессов всеобщей компьютеризации.

С одной стороны, остается лишь радоваться, что никому, похоже, не приходит в голову навязчивая идея винить именно компьютерные технологии в никак не снижающемся уровне преступности. С другой же стороны не может не озадачивать определенная, скажем так, неадекватность, с которой подобного рода технологии зачастую воспринимаются в судах.

Особенно в тех моментах, что связаны с извлекаемыми экспертами из компьютеров доказательствами вины – в виде разного рода лог-файлов и содержимого технических полей в файлах прочих данных и программ.

Как показывает жизнь, имеется вполне отчетливая тенденция к излишне завышенным оценкам достоверности подобного рода улик.

Типичный тому пример дает одно из недавних решений американского суда, по убеждению которого компьютерные записи «уникально надежны в том смысле, что они были сгенерированы компьютером, а не являются результатом записей человека»…

Для любого компьютерного специалиста – да и просто продвинутого пользователя – вполне очевидно, что сформулировать подобную идею мог лишь тот мыслитель, кто очень смутно представляет себе принципы работы компьютера и степень возможного контроля человека за содержимым файлов.

Конечно, в среде компьютерных экспертов, участвующих в криминальных расследованиях, имеется достаточно много честных и знающих людей, которые в своих выступлениях и статьях пытаются донести до суда, полиции и общества в целом более адекватное представление о реальной картине.

О том, что содержимое любого лог-файла при желании можно менять, что имеются и доступны специальные, несложные в управлении утилиты для быстрой перезаписи содержимого в технических полях файлов, невидимых обычному пользователю.

О том, наконец, что грамотный злоумышленник может сделать с содержимым компьютера что угодно – хочешь, вычистить практически все обычно доступные улики, а хочешь, залить в память машины тучу фальшивых доказательств вины вполне натурального вида.

Но главная проблема в том, что компьютерные улики – это лишь наиболее очевидный пример излишнего доверия правосудия к не особенно надежным доказательствам. И если копнуть чуть поглубже, то нечто весьма похожее откроется и в других, куда более освоенных областях криминалистической науки. Читать далее Улики под сомнением

Двойной слепой

(Дата первой публикации – июнь 2007)

the3monkeys

При выборе и сравнительной оценке товаров или технологий большинство людей — так уж повелось — обычно ориентируется на мнение компетентных экспертов. А эксперты, в свою очередь, руководствуются наработанным опытом и собственными предпочтениями.

Однако существуют и иные, куда более объективные критерии оценки, которые зачастую дают весьма неожиданные результаты. Наглядной иллюстрацией чему могут служить недавние тесты, сравнивавшие, в одном случае, качество по-разному сжатых аудиозаписей, а в другом случае — качество принтерной печати при разных чернилах и сортах бумаги.

Честный путь к истине

Так называемый «двойной слепой» метод тестирования пришел из науки, где является очень важной частью исследовательского инструментария ученых, поскольку позволяет получать наиболее объективные результаты экспериментов с участием людей.

Цель двойного слепого метода — эффективно нейтрализовать первоначальные субъективные предубеждения и сдвиги во мнениях, которые всегда свойственны и тестируемым, и самим организаторам эксперимента, а потому явно или неявно влияют на анализ тестовых данных и оценку итоговых результатов. На сегодняшний день этот метод считается одним из самых важных во многих серьезных областях исследований от медицины и психологии до социологии и криминалистики.

Что представляет собой слепой метод тестирования в принципе, очень просто пояснить на примере с дегустацией, скажем, чая. При открытом способе дегустации приглашенные потребители пробуют чай разных марок и фирм в условиях, когда принадлежность содержимого каждой чашки к определенному брэнду известна заранее, а потому дегустаторы обычно делают выбор в пользу тех названий, которыми пользуются регулярно или по крайней мере что-то о них знают.

Из опытов хорошо известно, что если при дегустации тех же напитков скрыть все сведения о брэндах, то те же самые испытуемые нередко выбирают совсем другую марку. Иначе говоря, слепой метод помогает убрать сознательные или подсознательные сдвиги в представлениях испытуемых, существенно влияющие на исход эксперимента.

В более серьезных научных испытаниях вроде медицинских, когда важно не то, «нравится» или «не нравится» лекарство, а насколько эффективно оно помогает при лечении, один из общепринятых методов проверки носит название single-blind, т.е. «одинарный слепой». При этом методе каждый из испытуемых не знает, входит ли он или она в «тестовую группу», принимающую новое лекарство, или же в «контрольную группу», которой дают нечто нейтральное для сравнения результатов с тестовой.

Но, как показывает опыт, этот метод не очень хорош, потому что сами экспериментаторы тоже являются людьми и при организации опытов вольно или невольно пытаются повлиять на получение желаемого исхода. Поэтому, скажем, пациенты нередко могут догадываться, дают им пустышку или настоящее лекарство.

Более яркий пример того же самого — это процедура опознания преступника свидетелем, когда организаторы опознания заранее знают, кого нужно «разоблачить», и вроде бы обезличенный метод устраивается так, чтобы подтолкнуть испытуемого к нужному выбору.

Для ликвидации всех подобных перекосов разработан двойной слепой (double-blind) метод тестирования, в экспериментах с участием людей позволяющий эффективно нейтрализовать субъективные предубеждения как испытуемых, так и самих испытателей. В условиях двойного слепого уже ни испытуемые, ни экспериментаторы не знают, кто является членом тестируемой группы, а кто членом контрольной группы для сравнения (в условиях правоохранительной работы, это когда организаторы опознания сами не знают, кто предполагаемый преступник).

Лишь после того, как все данные тестов зафиксированы (а в некоторых случаях и после того, как проанализированы), исследователи, наконец, получают от независимой третьей стороны информацию о том, кто был кто. При аккуратной организации и случайном распределении испытуемых по группам «тестирования» и «контроля» двойной слепой метод позволяет полностью избавиться от человеческого субъективизма и проводится в тех случаях, когда хотят добиться наиболее высоких стандартов научной строгости.

Хотя двойные слепые методы получили наибольшее распространение в медицине, в принципе их можно применять в любых экспериментальных ситуациях, где существует возможность того, что результаты испытаний окажутся под влиянием сознательных и / или подсознательных сдвигов в представлениях участников эксперимента.

Особенно удобно устраивать двойные слепые тесты с помощью компьютера, поскольку программу, организующую эксперимент, легко сделать так, чтобы она не имела никаких сдвигов в пользу того или иного выбора. По аналогии с приведенными выше примерами из медицины и криминалистики, та часть программы, которая обеспечивает взаимодействие с испытуемым человеком — это работающий вслепую экспериментатор, а та часть, которая знает, что именно предложено для оценки — это независимая третья сторона.

Классическим, можно сказать, примером такого подхода, часто реализуемым с помощью компьютера, является так называемый «тест ABX», где испытуемому человеку предлагается на пробу неизвестный стимул X, который следует отнести к одному из двух возможных и уже известных выборов A или B. Помимо того, что этот тест очень просто организовать в различных модификациях, ABX давно знаменит тем, что легко и наглядно развенчивает устойчивые мифы, бытующие среди населения.

За что его, мягко говоря, недолюбливают многие «авторитетные эксперты», эти мифы создающие.

Читать далее Двойной слепой