суббота, 01 сентября 2012
зависла на хабре
откуда все эти люди? другая планета
однако вроде все же земляне: вот в дискасе поста об ИИ почитал про негативные прогнозы/оценки экспертов. и очень как-то все знакомо показалось
читать дальшеВ рамках данных предположений была сформулирована гипотеза о сообществе экспертов, включающая в себя следующие пункты:
1. Для каждого эксперта существует область его компетентности, в которой он практически и на личном опыте наступил на все грабли.
Заявленная область компетентности эксперта однако шире, и включает в себя информацию, не проверенную им лично, а полученную из других источников — книжек, коллег или просто собственной фантазии.
2. Области реальной компетентности разных экспертов не совпадают, чем больше несовпадение тем выше эффективность группы или область покрытия.
3. Если эксперт оценивает что-то внутри своей зоны компетентности (зеленой зоны) — он обычно прав.
Если эксперт оценивает что-то вне своих практических знаний (красной зоны) — он попадает пальцем в небо.
4. В процессе минимизации личного риска любой эксперт более рестриктивно оценивает события в красной зоне. Чем более успешен и известен эксперт — тем больше он выстраивает ограничений в красной зоне.
Грубо говоря эксперт имеет в голове карту. На этой карте есть области которые он обошел сам и проверил и есть граница за которой написано «здесь живут драконы».
И если его спросить об красной зоне — средний эксперт ответит одним словом — «НИЗЗЯ!!!».
Хотя это и неправда.
Причем этот шаблон абсолютно иррационален и часто лежит в области страхов.
В зеленой зоне для быстрого вердикта эксперт применяет ряд шаблонов, которые в общем неплохо описывают предметную область. Если эксперт говорит «да» в зеленой зоне — ему можно верить. Если он говорит «нет» в красной зоне — верить ему можно только как генератору случайных чисел.
В сообществе экспертов область с драконами уменьшается, однако возникает область ада. Та, где все эксперты начинают кричать «нет» согласованно и ссылаясь друг на друга.
Негативная ориентация экспертных групп — это большая проблема, но корень ее как раз в шаблонном мышлении.
Когда эксперт в качестве префильтрации применяет последовательно набор шаблонов — ничего другого не может получиться.
И чем дольше существует эксперт — тем жестче ограничения и толще колючая проволока на границе красной зоны.
Знание этого факта добавляет множество возможностей.
Пока сам не превратился в эксперта.
....
Я отнесся к экспертам как к черному ящику. Т.е. для измерения функции отклика сначала пропустил через них небольшой массив случайных данные.
И сделал обычные измерения качества на реальном датасете, на рынок не выпускал, слишком дорого было бы.
На случайных данных большинство вердиктов лежали в красной зоне, что было вполне ожидаемо, так я прикинул ошибку экспертов.
Цвет вердикта (не данных) я определял просто — опросом и наблюдением за действиями эксперта.
Красная зона считалась если эксперт давал быстрый негативный вердикт без глубокого анализа.
В таких случаях он обосновывал вердикт одним единственным критерием — вот здесь так, а так нельзя.
Причем на вопрос — а почему нельзя? — следовал недоуменный взгляд и попытки обоснования типа
1. Потому что так нельзя
2. Потому что и так видно
3. Потому что так принято у нас
4. Здравый смысл подсказывает
5. Ты не специалист, не понимаешь
Если эксперт смотрел на данные, и начинал полную процедуру проверки, грузил инструментарий и вообще обрабатывал данные более часа — его вердикт считался из зеленой зоны. Независимо от того был он позитивным или негативным.
Существует область быстрых вердиктов.
И область негативных вердиктов.
В той задаче они пересакались не менее чем на 95%.
Я вообще не вспомню ни одного быстрого позитивного вердикта, максимум что я мог получить — «интересно, надо посмотреть поглубже». И вердикт переходил в зеленую зону.
Пересечение двух областей и давало красную зону для отдельно взятого эксперта.
А объединение красных зон всей экспертной группы создавало непробиваемую стену.
Это вполне понятный результат, цена ошибки была достаточно высока в той задаче.
Однако даже в случае с симметричной функцией потерь быстрые вердикты в большинстве случаем негативные.спизженно
отсюда