Незнание — сила. Почему избыток информации может мешать точным прогнозам

Эвристики — это когнитивные процессы, которые игнорируют информацию. Изучение эвристик показывает, что меньший объем данных и затраченного на их вычисление времени может повысить точность прогноза. Казалось бы, это идет вразрез с очевидной аксиомой, согласно которой меньший объем вводных данных снижает точность выводов. Почему так?

РЕКЛАМА

Парадокс эвристики вместо сухости статистики


Термин «эвристика» имеет греческое происхождение и означает «служащий для выяснения или открытия». Но как игнорирование информации помогает что-либо выяснить?

Всё просто, потому что всё сложно. Многие стоящие проблемы вычислительно очень сложны. По крайней мере, для человека и для компьютера на сегодняшний день. А раз многие стоящие проблемы вычислительно очень сложны, инженеры и исследователи искусственного интеллекта часто полагаются на эвристику, чтобы сделать компьютеры умными. Забавно, что в 1970-х годах термин «эвристика» изменил слоган с «делаю компьютеры умными» на «объясняю, почему люди тупые».

Но суть эвристики совсем не в глупости людской, скорее наоборот. По Саймону, люди полагаются на эвристику не только потому, что их когнитивные ограничения не позволяют им оптимизировать вычислительный процесс.

Люди также вооружаются эвристикой из-за условий задач, с которыми сталкиваются. Например, у шахмат всегда есть самое оптимальное решение, но ни один компьютер или разум, будь то Deep Blue или Каспаров, не может найти эту оптимальную последовательность ходов, потому что эту последовательность трудно обнаружить и проверить с помощью вычислений.

Эта задача не поддается вычислениям. Но задачки с подобными условиями ставятся перед нами каждый день.

Ах, если бы информация всегда была бесплатной, а люди обладали бы вечным временем… В таком случае, конечно же, больше информации и вычислений всегда было бы лучшим выбором. И можно было бы спокойно, не торопясь изучать всю многолетнюю и многомиллионную статистику, чтобы сделать вывод о том, например, что лучше всего приготовить сегодня на обед… Но пролетит много обедов, пока мы будем считать. Да, все мы прекрасно знаем, что реальность пугающе далека от воздушных замков бесконечностей и халяв.

Значит, нам нужно как-то пробивать кратчайший путь к оптимальному решению, в чем нам и помогает эвристика. Причем это не просто «костыли» в безнадежной ситуации. Эвристика действительно может привести к более точным выводам, чем стратегии, использующие огромные объемы информации и сложнейшие вычисления. Соотношение «точность — вычислительные затраты» работает далеко не всегда.

Зачем человеку тратить время и усилия на излишние вычисления, когда они зачастую оказываются избыточными и даже отвлекают от самой деятельности?

Задача людей и других животных — предсказать свой мир, несмотря на присущую ему неопределенность, и для этого им приходится упрощать. Да, упрощаем не только мы, ленивые люди, но и животные.

Эвристика. По-простому, по-народному


Необязательно иметь семь пядей во лбу и знать значение слова «эвристика», чтобы уметь прикидывать что-то в повседневной жизни: приблизительный размер, время, вес чего-либо.

Самки павлинов тоже «прикидывают», когда выбирают партнера. Конечно, они не делают сложных вычислений, чтобы выяснить, кто обладает наибольшей ожидаемой полезностью для продолжения рода. Они даже не рассматривают все доступные кандидатуры. Вместо этого самка рассматривает трех-четырех особей и выбирает самца с наибольшим количеством точек на перьях.
Многие из этих эволюционных правил удивительно просты и в то же время эффективны.

В биологии не существует проработанной теории эвристики, так что пример с павлином — это просто курьез. Однако теория эвристики существует вне биологии, и мы можем доставать оттуда разные «открывашки» для наших задач.


Открываем коробку с инструментами для принятия решений


Некоторые исследователи (например, Герд Гигеренцер) предполагают, что эвристики состоят из строительных блоков, из которых, как из деталей конструктора, можно моделировать всё новые эвристики.

Эвристический конструктор можно разделить на три вида. То есть мы неизбежно столкнемся с тремя блоками: правила поиска, правила остановки и правила принятия решений.

Логично, что искать и выбирать надо лучшее. Это утверждение можно назвать эвристикой лучшего выбора (take-the-best strategy). Но как расставить приоритеты?

Чтобы сделать вывод о том, какая из альтернатив имеет более высокую ценность, необходимо: перебирать подсказки в порядке их ценности; прекращать поиск, как только подсказка становится критической; выбирать ту альтернативу, которой эта подсказка благоприятствует.

Схема проста как раз, два, три. Искать, остановиться, выбрать. Однако она часто предсказывает точнее, чем нейронные сети и алгоритмы дерева решений. Методы мультирегрессии тоже порой курят в сторонке.

Начнем с правил поиска


Поиск подсказок и признаков логично проводить в порядке их значимости.

Это правило можно проиллюстрировать поведением оленей в период спаривания. Когда самец сталкивается с конкурентом, сначала он оценивает его рев. Если рев достаточно внушительный для того, чтобы испугаться за свою жизнь, — это уже валидный признак, и можно спасать свою шкуру. Если рев такой себе — то олень приближается, чтобы оценить физическую мощь противника. Если олень видит, что противник значительно крупнее и мускулистее, несмотря на слабый рев, то это значимая подсказка, и она означает: пора делать ноги. А вот если соперник не такой уж внушительный, то можно пойти на риск и вступить в поединок.

На самом деле олень, конечно, не думает об абстрактных значимостях подсказок, он просто руководствуется подсказками в порядке их доступности. В лесной среде, где зрение ограничено, первая подсказка — это, конечно же, звук, затем визуальные стимулы и только потом физический контакт.

Искать — это хорошо, но нужно уметь вовремя остановиться


Когда? Эвристика отвечает: останавливайтесь, как только найдены две подсказки, указывающие на один и тот же объект. Уже можно сделать вывод, что этот объект обладает наибольшей значимостью по искомому критерию.

Это правило остановки, называемое правилом подтверждения, хорошо работает в ситуациях, когда принимающий решение мало знает о достоверности подсказок, а затраты на получение новой подсказки довольно низкие.

Например, мы ищем в магазине вкусное яблоко, но не очень в них разбираемся. Мы ищем признаки, которые должны подсказать нам, что яблоко спелое и, следовательно, вкусное. Видим, что одно яблоко ярко-красное, потом замечаем, что оно крупное. Этого может быть достаточно, чтобы остановить поиск и выбрать это яблоко. Мы просто взяли два критерия, не имея понятия о том, какой в этом случае имеет больший вес.

Это правило удивительно устойчиво и нечувствительно к знаниям об упорядоченности подсказок. Есть экспериментальные доказательства того, что значительная часть людей полагается именно на правило остановки, когда проблема является для них новой.

Остановка нужна для дальнейшего принятия решения<>/h2>
Это самая трудная часть. Если упрощать, то зачастую жизненные решения связаны с выводом, что тот или иной объект обладает более высокой ценностью. Более высокая ценность подстегивает нас тратить какой-то из наших ресурсов в поиске какой-либо выгоды.

В реальности, конечно, не всё так просто и приходится изловчаться. Давайте посмотрим на некоторые выработанные трюки.

<1/N, или Эвристика равенства: когда альтернатив слишком много


Легко сказать, что нужно выбрать самый ценный вариант. А что делать, когда вариантов очень много и они имеют примерно одинаковую ценность? Или когда ценность вообще трудно определить?

Можно избежать метаний, распределив ресурсы поровну между каждым из альтернативных вариантов. Но если нет совершенно никакой информации об альтернативах, то лучше вовсе воздержаться от действия.

Такую эвристику рационально использовать, когда мы находимся в условиях высокой непредсказуемости, изученная выборка очень маленькая, а альтернатив очень много (число N устрашающе большое).

Эта тактика может быть удачным выбором, когда последствия выбора трудно предвидеть и когда теории предпочтений не работают.

Как известно, поведение рынка часто описывают как шторм. В условиях шторма последствия выбора трудно предвидеть. Тут-то мы и можем попробовать применить 1/N.

Однажды Гарри Марковиц получил Нобелевскую премию по экономике за нахождение оптимального инвестиционного решения — портфеля средней дисперсии (mean-variance portfolio). Но когда дело дошло до собственных пенсионных накоплений, он выбрал простую эвристику вместо своей оптимизационной стратегии. Он распределил свои деньги поровну между каждым из альтернативных вариантов N. Была ли его интуиция верна?

На примере семи инвестиционных задач было проведено исследование, в котором правило 1/N сравнивалось с 14 оптимизирующими моделями, включая портфель средней дисперсии.

Оптимизирующие стратегии используют огромное количество данных о прошлом, а вычисления делаются по временным окнам. Чтобы превзойти эталон 1/N, в среднем нужно вычислять как минимум 3000 месяцев для портфеля с 25 активами и около 6000 месяцев для портфеля с 50 активами.
Вы никуда не опаздываете?


Когда альтернатив немного (допустим, две) — попробуйте эвристику узнавания


Она гласит, что если распознается одна из двух альтернатив, то можно сделать вывод, что узнанная альтернатива имеет более высокую ценность по искомому критерию.

Допустим, вы хотите поставить на победу одного из двух теннисистов. Вы узнаёте имя одного из них — где-то его уже слышали. Ставьте на этого теннисиста, если вы больше чем наполовину уверены, что узнали именно эту альтернативу.

Если вы узнали оба варианта — прибегните к эвристике беглости


Если оба варианта распознаются, но один распознается быстрее, сделайте вывод, что он имеет более высокую ценность по искомому критерию.

То есть если вы узнали сразу двух игроков, то ставьте на того, кого узнали быстрее. Такая тактика может сработать, если вы больше чем наполовину уверены, что узнали именно эту альтернативу быстрее.

Здесь, как и в предыдущем случае, роль играет эффект «меньше — больше». Да, систематическое забывание может и вправду иногда оказаться полезным.

Но что делать, если критериев выбора очень много?

Надо анализировать много равнозначных критериев? Попробуйте эвристику подсчета


Подсчет — это ведение счета чего-либо, например количества слов в документе или очков в игре. Если критерии более-менее равноценны, каждый можно свести к одному условному очку, чтобы не заморачиваться с детальными подсчетами. Это и есть единично-весовая линейная модель: каждой единице присваивается одинаковый вес для упрощения.

То есть чтобы оценить критерии, не оценивайте вес каждого из них, а просто подсчитайте количество положительных сигналов.

Такая тактика позволяет предсказывать одинаково или в некоторых случаях даже точнее, чем с помощью множественной регрессии. Эта эвристика работает, когда ценность критериев варьируется незначительно и критериев не так уж много.

Например, мы выбираем свитер. Первый приятный на ощупь, красиво выглядит, его можно стирать в машинке. Второй свитер приятный на ощупь, красиво выглядит, но его нельзя стирать в машинке. Мы сводим каждый критерий к одинаковому весу и считаем очки: 3:2 в пользу первого свитера.

А теперь давайте сделаем физкультурную паузу и рассмотрим эвристики, которые мы применяем при ориентации в пространстве и в спорте.

Главным нашим помощником становится наш взгляд.

Эвристика взгляда


Когда мы двигаемся, мы решаем кучу задач по физике. И что мы знаем наверняка, так это то, что большинство спортсменов не решают дифференциальные уравнения, когда предсказывают траекторию мяча. На подсознательном уровне происходит нечто функционально эквивалентное математическим вычислениям, когда мы смотрим на мяч.

Эвристика взгляда состоит из трех строительных блоков. Она работает только тогда, когда мяч уже находится высоко в воздухе, но не работает, если мяч находится в начале своей траектории. То есть когда процесс уже окончательно запущен. Порядок действий такой:

1) зафиксировать взгляд на мяче;
2) начать бег;
3) отрегулировать скорость бега в зависимости от задачи:

— либо так, чтобы угол взгляда оставался постоянным;
— либо так, чтобы мяч поднимался с постоянной скоростью.

Игрок, который полагается на эвристику взгляда, может игнорировать все причинные переменные, необходимые для расчета траектории мяча: начальное расстояние, скорость, угол, сопротивление воздуха, скорость и направление ветра, вращение и т. д.

Обращая внимание только на одну переменную, игрок всё равно окажется там, где упадет мяч, не вычисляя точного места.

Ту же эвристику используют животные для ловли добычи. Летучие мыши, птицы и стрекозы поддерживают постоянный оптический угол между собой и добычей. Это же делают собаки при ловле фрисби.

РЕКЛАМА

Как выбрать подходящую эвристику?


Можно реагировать на новые задачи и меняющиеся условия окружающей среды с помощью адаптирования составных частей эвристики.

Понимание этого в основном бессознательного процесса далеко от полного. Память ограничивает набор эвристик и тем самым создает специфические когнитивные ниши для разных решений.

Поскольку эвристик много, вопрос заключается не в том, всегда ли нужно полагаться на ту или иную эвристику. Вопрос в том, используем ли мы ту или иную эвристику адаптивным образом. Благоприятные ли условия для ее применения? Или можно подыскать что-то получше?

Чтобы принять решение, нужно принять решение.

Эвристика эвристики


Эвристики тоже нужно тестировать, чтобы добиться адаптированного результата.

Проверка эвристики должна удовлетворять трем минимальным условиям.

1. Проверяйте в условиях конкуренции. Эвристики нужно проверять в сравнении, а не просто расчленять их по одной. Глупо заявлять об эффективности эвристики, протестировав лишь одну из возможных.

2. Тестируйте на индивидуальном уровне. Не нужно применять эвристику к среднестатистическому Пете. Применяйте модели для конкретных людей и конкретных задач. Зачастую средний показатель — это бессмысленная болванка.

3. Проверяйте, используется ли эвристика в благоприятных для нее условиях. Помните, что выбор наилучшей стратегии не является полезной эвристикой в любой ситуации. Ни одна стратегия не является лучшей — в противном случае разум напоминал бы механика с одним-единственным инструментом под рукой.

Не упускайте из виду тот факт, что благотворная степень упрощения повышает точность умозаключения.

Конечно, любая эвристика — это пари, своего рода ставка. У нее много общего с игрой в орла или решку. Именно поэтому эвристика не является по сути хорошей или плохой, точной или неточной, как люди иногда уверенно заявляют. Точность той или иной эвристической модели всегда зависит от структуры окружающей среды.
Поэтому главный вопрос, который стоит задать при выборе эвристики: в каких условиях та или иная модель будет успешной, а в каких — провальной? Понять, в чем преуспевает та или иная эвристика, часто легче, если сначала спросить себя, почему она может быть провальной.

Чтобы принять правильное решение, нужно не забывать о нашем внутреннем компасе, который может нам помочь, даже когда мы что-то забыли.

Екатерина Бурак
Источник: knife.media
Поделись
с друзьями!
457
11
15
19 месяцев
РЕКЛАМА
Здравствуйте. На мой взгляд, в примере, где описывается выбор свитера, дано не точное объяснение "мы сводим каждый критерий к одинаковому весу и считаем очки". Люди часто выбирают одежду, которую можно постирать, по виду и качеству изготовления, и потому что просто понравилась.
2 19 месяцев • Ответить
Эвристический анализ проводится с учётом знаний, опыта, вкуса, а иногда выбор провоцируется рекламой. Также без знаний и опыта эвристический анализ будет неточным, выводы будут сделаны не верно, не будут правильно расставлены приоритеты при выборе того или иного действия. В тоже время эвристика помогает получить знания и опыт - когда что-то делаешь всегда получаешь и знание и опыт.
19 месяцев • Ответить
Смысл эвристического анализа заключается в том, как лучше сделать - в оптимизации.
1 19 месяцев • Ответить
При разных критериях выбора возможен разный результат со своими плюсами и минусами. К сожалению, часто получается:
- Хотели как лучше, а получилось - как всегда!
3 19 месяцев • Ответить
Даже слишком часто так и получается. И, таки, и эвристика не помогает. Не знаете, почему?
19 месяцев • Ответить
Потому что одно и то-же событие, разные люди могут оценивать по-разному. Даже здесь, на этом форуме, встречаются абсолютно противоположные мнения по одному и тому-же вопросу. Эвристика, у этих аппонентов, соответственно, будет тоже разной.
1 19 месяцев • Ответить
"Задача людей и других животных"))-в самую точку!Хотя,увы,это не далеко от истины... Но,если серьезно...есть ПОДСОЗНАНИЕ,которое может просчитать всё,что -угодно.В том числе,и то что непосильно нашему логическому мышлению.Оно-то и выбирает оптимальные варианты решения проблемы,НЕ ОБЪЯСНЯЯ почему.Это еще то,что называется "интуиция".На самом деле,это работа мозга-компьютера в режиме отключенного "монитора"(экрана сознания)
А вы знаете,что память есть способность в ТРАНС входить,
и в "большой библиотеке" нужный образ находить?...
1 19 месяцев • Ответить
Подсознание тоже может забрасывать людей в разные уголки бесконечной библиотеки. И то, что подходит одному человеку, может быть противопоказано другому.
19 месяцев • Ответить
Ничего не поняла. Статья для кандидата философских наук.
4 19 месяцев • Ответить
Для профессоров околовсяческих наук!
6 19 месяцев • Ответить
Это неудачная диссертация, нахватавшая чёрных шаров при голосовании.
2 19 месяцев • Ответить
по моему мнению немного замудрено! если у человека развито системное мышление, ему не обязательно много знать или мучаться выбором, что в данной ситуации приемлемо, то и выбираешь
2 19 месяцев • Ответить
Даже не немного. Знание сила и незнание сила. Мешает не избыток, а неумение работать с информацией. Не знание точного целеполагания и неопределённость. Как я понимаю.
18 месяцев • Ответить
Эвристика-нудистика! Время только отнимаете у людей подобными статьями.
1 18 месяцев • Ответить
отменная хрень!
15 месяцев • Ответить
анонимно
как
Запрещено: оскорбления в любой форме, мат и ссылки на внешние ресурсы. Пожалуйста, будьте добрее и терпеливее к другим людям.
Уважаемый посетитель!

Показ рекламы - единственный способ получения дохода проектом EmoSurf.

Наш сайт не перегружен рекламными блоками (у нас их отрисовывается всего 2 в мобильной версии и 3 в настольной).

Мы очень Вас просим внести наш сайт в белый список вашего блокировщика рекламы, это позволит проекту существовать дальше и дарить вам интересный, познавательный и развлекательный контент!