Рациональность: От ИИ до Зомби

fb2

«Рациональность: от ИИ до зомби» (англ. Rationality: From AI to Zombies) — книга-сборник из 333 эссе о человеческой рациональности. Стоит начать с этой книги, если хотите разобраться в темах, которые часто обсуждают в сообществе LessWrong. Вы прочтете о когнитивных искажениях, соотношении «карты» и «территории», обществе и языке, о рисках искусственного интеллекта, о науке и её философии.

Искажения: введение

Роб Бенсинджер

Это не тайна. Но почему-то это редко всплывает в разговорах и очень немногие спрашивают, что же нам с этим делать. Это шаблон, спрятанный за всеми нашими победами и поражениями, невидимый нашему глазу. Что же это?

Представьте себе урну с 70 белыми и 30 красными шарами; вы вытаскиваете 10 наугад. Возможно, 3 из них будут красными, и вы верно угадаете, сколько всего красных шаров в урне. Или, возможно, у вас будет 4 красных шара, а может быть, другое число. И тогда вы получите неверное общее число.

Эта случайная ошибка — цена за неполное знание, и это в целом неплохо, как и любая ошибка. В среднем наши оценки будут верны, и чем больше мы узнаём — тем меньше мы делаем ошибок.

Но предположим, что белые шары тяжелее и опускаются на дно урны. Тогда ваша выборка может быть нерепрезентативной постоянно.

Такие ошибки называются систематическими. Когда ваш метод познания мира искажён, изучение мира может вводить вас в заблуждение. Накопленные данные могут даже искажать предсказания. Для человека, привыкшего высоко ценить знания и способы их получения, это пугающая перспектива. Если мы хотим быть уверены, что познание помогает, а не делает всё только хуже, нужно узнавать об искажениях в наших данных и исправлять их.

Идея когнитивного искажения в психологии работает похожим образом. Когнитивное искажение — систематическая ошибка нашего мышления (в противоположность случайной ошибке, вызванной простым невежеством). Статистическая погрешность искажает выборку так, что она менее точно отражает положение дел. Когнитивные искажения же портят не выборку, а наши убеждения, и убеждения менее точно отражают факты; такие искажения вмешиваются в процесс принятия решений, и мы достигаем наших целей с меньшей надёжностью.

Возможно, вы оптимист, а красные шары можно использовать как лекарство от редкой тропической болезни, которую подхватил ваш брат. Тогда вы переоцените количество красных шаров в урне, потому что вам хочется, чтобы их было больше. И здесь искажена не выборка, а вы сами.

Тем не менее нужно быть осторожным, говоря про искажения в людях. Обычно мы имеем в виду, что люди нечестны или предвзяты. Но когнитивные искажения — это совершенно другое. Они — неотъемлемая часть человеческого мышления, а не дефект, который можно списать на воспитание или гнилой характер1.

Когнитивное искажение — это проторенная дорожка для ваших внутренних шаблонов мысли, по которой нельзя прийти к истине (или другой потенциально достижимой цели — например, счастью). Как и статистические погрешности, когнитивные искажения могут искривлять наше видение реальности, в большинстве случаев их нельзя исправить, просто собрав побольше данных, и их эффекты со временем суммируются. Но когда неточный инструмент, который нужно откалибровать, это вы сами — избавиться от искажений будет уникальным вызовом.

И тут возникает вполне очевидный вопрос. Если нельзя доверять своему мозгу, то как вообще чему-то можно доверять?

Хорошо бы иметь конкретное название для преодоления когнитивных искажений и вообще ошибок, которыми наши сознания могут себе навредить.

Мы могли бы назвать этот проект как угодно. Я считаю, что на данный момент название «рациональность» прекрасно подходит.

Рациональные чувства

Голливуд считает, что быть «рациональным» — значит суровым и гиперинтеллектуальным. Вспомните Спока из «Звёздного пути» — он «рационально» подавляет эмоции, «рационально» отказывается полагаться на интуицию, но его может легко сбить с толку «иррациональный» оппонент2.

Есть и другое определение «рациональности», которое используют математики, психологи и социологи. Грубо говоря, идея в том, чтобы действовать наилучшим возможным образом. Рациональный человек, даже если он не знаком с темой, формирует максимально близкие к реальности убеждения на основе имеющихся у него свидетельств. Неважно, насколько плохо идут дела у рационального человека — он делает наилучший возможный выбор и таким образом повышает свои шансы на успех.

Реальная рациональность состоит не в том, чтобы игнорировать интуицию и эмоции. Для рационального человека быть рациональным зачастую означает лучше осознать свои чувства и учитывать их при принятии решений.

Рациональность — это и знание о том, когда не нужно слишком долго размышлять. В экспериментах, где нужно было выбрать постер на стену или предсказать исход баскетбольного матча, испытуемые показывали худший результат, если старательно обдумывали своё решение. 34 Есть задачи, решать которые лучше вдумчиво, и есть другие задачи, где лучше принять решение быстро. Психологи, работающие над теорией двух процессов, выделяют процесс «Система 1» (быстрое, неявное, ассоциативное, автоматическое суждение) и процесс «Система 2» (медленное, явное, интеллектуальное, подконтрольное суждение)5. Стереотипный рационалист целиком полагается на Систему 2, игнорируя чувства и импульсы. Если посмотреть не на стереотип, а на того, кто действительно рационален, кто достигает своих целей, кто действительно смягчает урон от когнитивных искажений, можно обнаружить, что он сильно полагается на привычки и интуицию Системы 1, в ситуациях, где на них можно положиться.

К сожалению, Система 1 является плохим помощником, когда надо определить «стоит ли сейчас доверять Системе 1?». Наша нетренированная интуиция не подскажет нам когда мы должны перестать полагаться на нее. Предвзятость и непредвзятость ощущаются одинаково6. С другой стороны, поведенческий экономист Дэн Ариели отмечает: мы предсказуемо иррациональны. Мы запарываемся одними и теми же способами, снова и снова, систематически.

Если мы не можем использовать инстинкт, чтобы понять, когда поддаемся когнитивному искажению, то можно использовать науки о разуме.

Многоликие Ошибки

В процессе эволюции наши мозги для решения задач научились применять когнитивные эвристики — грубые методы, которые позволяют получить ответ быстро. В большинстве случаев этот ответ оказывается правильным, но иногда — нет. Когнитивные искажения возникают в тех случаях, когда эти эвристики достаточно последовательно порождают ярко-выраженные ошибки.

Эвристика репрезентативности, например, является нашей склонностью оценивать феномен, основываясь на том, насколько он характерен по отношению к разным категориям. Это может вести к таким ошибкам, как конъюнктивное заблуждение. Тверский и Канеман обнаружили, что субъекты эксперимента считали менее вероятным, что сильный игрок в теннис «проиграет в первом сете», чем «проиграет в первом сете, но выиграет матч»7. То, что сильный игрок сможет отыграться, кажется более характерным, так что мы переоцениваем вероятность такого сложного-но-так-разумно-звучащего рассказа, по сравнению с вероятностью действительно простого сценария.

Также эвристика репрезентативности может быть частью нечувствительности к априорной вероятности, когда мы основываем наше суждение на том, насколько «нормальна» комбинация атрибутов, пренебрегая тем, насколько распространены атрибуты в популяции в целом8. Стив более вероятно является застенчивым библиотекарем, или застенчивым продавцом? Большинство людей будет думать над этим, анализируя насколько «застенчивость» сочетается с стереотипами этих профессий. Они терпят неудачу в том, чтобы учесть насколько больше продавцов в сравнении с библиотекарями в Соединенных Штатах9.

Среди других примеров искажений есть: игнорирование срока действия (оценка опыта без учета того, как долго он будет переживаться), заблуждение невозвратных затрат (чувство необходимости продолжать заниматься тем, на что уже потрачены силы и время, тогда как следует сжечь мосты и двигаться дальше), и ошибка подтверждения (придавать больше значения подтверждающим наши убеждения свидетельствам)10. Игнорирование вероятности — еще один пример когнитивного искажения. В течение месяцев и лет после атаки 11 сентября, множество людей предпочитали вождение на дальние расстояния полетам. Захват был маловероятен, но теперь чувствовалось, что он был одним из вариантов; всего лишь возможность захвата самолета сильно влияла на решения. Полагаясь на черно-белое мышление (машины и самолеты либо «безопасны» либо «опасны», и точка), люди подвергали себя еще большей опасности. В то время как им следовало взвешивать вероятности умереть в автомобильной аварии против смерти во время перелета через страну — первое гораздо более вероятно; они, вместо этого, полагались на общее чувство беспокойства и тревоги (аффективная эвристика).

Такой же поведенческий шаблон можно наблюдать и у детей, которые, слушая аргументы за и против ремней безопасности, мечутся между мыслями «ремень это хорошо» и «ремень это плохо», вместо взвешивания за и против11. Еще несколько примеров искажений: правило кульминации\завершения (оценка воспоминаний на основе самых интенсивных моментов и того, как они завершились); якорение (принятие решения, основываясь на недавно полученной информации, даже если она не относится к делу)12 и само-якорение (использование самого себя в качестве модели определения вероятных черт, не оценивая внимательно насколько вы атипичны)13; искажение «статус кво» (чрезмерная переоценка пользы нормального и ожидаемого, по сравнению с новым и другим)14.

Знание об искажениях редко может защитить от них. В ходе исследований слепоты по отношению к искажениям, субъекты эксперимента предсказали, что если они будут знать, что оцениваемая картина принадлежит кисти известного художника, им будет сложней нейтрально оценить качества этой картины. И, действительно, субъекты, которым сообщили имя автора картины и попросили оценить ее качество продемонстрировали действие искажения, которого они предсказали, относительно контрольной группы. Когда их опрашивали после, эти же субъекты заявляли, что их оценка картины была объективной и нетронутой искажением — и так во всех группах! 15. По аналогии, Пронин пишет на тему искажения гендерной слепоты:

В одном из исследований, участники оценивали мужские и женские кандидатуры на пост шефа полиции, и потом сравнивали пользу «знание жизни на улице» против «формального обучения». В результате, участники предпочитали то образование, которое получили мужские кандидаты (т.е. если им было сказано, что он «знает жизнь на улице», то это считали более важным). Участники были слепы по отношению искажению гендерного восприятия; действительно, чем объективней они себя считали, тем больше признаков искажения демонстрировали16. Даже если мы знаем об искажениях, замечает Пронин, мы остаемся «наивными реалистами», когда речь идет о наших собственных убеждениях. Мы быстро откатываемся на позицию оценки наших убеждений, как свободных от искажений представлений о реальности, такой, какая она на самом деле есть17.

Особенно отвратительна мысль о том, что именно наши убеждения ошибочны. Даже если мы корректно определим ошибки других, для своих у нас есть особое слепое пятно. Как показал опрос, проводившийся в аэропорту среди 76 ожидающих, люди оценивали себя, в среднем, как менее подверженных когнитивным искажениям, чем типичная персона в аэропорту. В частности, люди думали о себе, как о необычайно объективных, когда речь заходила об общественно порицаемых искажениях или искажениях с мало заметными в ближайшем времени последствиями 18. Другое исследование показало, что сильные чувства по отношению к проблеме воспринимались людьми как усиливающие понимание и объективность, если эти чувства испытывали опрашиваемые, если же речь заходила о других, то их, по мнению опрашиваемых, такие чувства делали менее объективными и более предвзятыми. Нам не удается заметить «ошибочно-чувствующиеся мысли», когда мы занимаемся самоанализом, так что мы полагаем себя более объективными, чем все остальные19.

Изучение искажений может сделать вас более уязвимыми для сверхуверенности и ошибки подтверждения, по мере того, как вы будете видеть влияние искажений у окружающих, но не у вас. И слепое пятно, в отличии от остальных искажений, особенно серьезно проявляется среди интеллектуальных, вдумчивых, непредубежденных2021.

И это причина для беспокойства.

И все же… Кажется, мы способны быть лучше. Известно, что мы способны снизить влияние нечувствительности к априорной вероятности, думая о вероятностях, как о частоте событий. Мы можем минимизировать игнорирование срока действия, уделяя внимание сроку действия и изображая его графически22. Люди различаются в том, как сильно у них проявляются различные искажения, так что должны существовать способы повлиять на наши заблуждения.

Однако, если мы хотим стать лучше, недостаточно просто создать список когнитивных искажений. Подход к устранению искажений в «Рациональности: от ИИ до Зомби» предполагает системное понимание того, как работает правильное мышление и как мозг отстает от него. В определенных границах, эта книга делает свою работу, ее подход может быть сравнен с тем, что описан у Серфаса, который заметил, что «годы работы в финансовом секторе» не влияют на уязвимость к заблуждению невозвратных затрат, тогда как «посещение некоторого количества курсов по бухгалтерскому учету» влияет.

Следовательно, следует различать опыт и компетентность, которая означает «развитие схематических принципов, включающих концептуальное понимание проблем», что, в свою очередь, позволяет лицу, принимающему решения, распознать конкретное искажение. Однако, использование контрмер компетентности требует большего, чем знание контекста проблемы и того, что вы являетесь экспертом в своем деле. Это требует полного понимания скрытой подоплеки конкретного искажения, способности заметить его, наличия соответствующих инструментов для нейтрализации искажения23.

Цель этой книги — заложить фундамент для создания рациональной компетентности. Что означает глубокое понимание структуры широкой проблемы: человеческие ошибки, самообман, и тысяча способов, как утонченная мысль может победить себя.

Слово об этом тексте

«Рациональность: от ИИ до Зомби» родилась в качестве серии эссе Элиезера Юдковского, опубликованных между 2006 и 2009 на экономическом блоге «Overcoming Bias» и побочном блоге «Less Wrong». Я работал с Юдковским вот уже год в Machine Intelligence Research Institute(MIRI), некоммерческой организации, основанной им в 2000 для исследования теоретических требований к созданию умней-чем-человеческого интеллекта (ИИ).

Читая его посты, я заинтересовался его работой. Он впечатлил меня способностью кратко передать идеи, выработка которых у меня занимала годы изучения аналитической философии. Ища пути соединить дух науки и скептицизма со строгим и системным подходом к исследованиям, Юдковский старается не только опровергнуть, но и понять ложные шаги и слепые пятна плохой философии (плохой недо-философии). Помогая собрать его эссе в книгу, я надеюсь облегчить погружение в них и понимание их как целого.

Получившийся в результате рациональный букварь полон личных деталей — Юдковский использует свой опыт общения со своей матерью, ортодоксальной иудейкой (психиатром) и отцом (физиком), разговорах в чате и рассылках. Читатели, знакомые с Юдковским по «Гарри Поттеру и Методам Рационального Мышления», его научно-ориентированной интерпретацией Гарри Поттера Дж. К. Роулинг, узнают элементы непочтительного иконоборчества, и основные концепты.

С точки зрения стилистики, эссе в этой книге представляют гамму от «жизнерадостный учебник» до «сборник вдумчивых виньеток» и «буйного манифеста», контент, соответственно, тоже отличается от эссе к эссе. В книге собраны сотни статей Юдковского в двадцать шесть «цепочек», как бы глав, связанных по смыслу постов. Цепочки же сгруппированы в шесть книг, раскрывающих темы:

Книга 1 - Карта и территория. Что такое убеждение и почему одни убеждения работают лучше других? Эти четыре цепочки объясняют Байесовские понятия рациональности, убеждений и свидетельств. Основная тема: штуки, которые мы называем «объяснениями» и «теориями», не всегда функционируют как карты для навигации по миру. В результате есть риск перепутать наши ментальные карты с другими инструментами.

Книга 2 - Как Действительно Изменить Свое Мнение. Штука, называемая «правдой», похоже полезная. Так почему же мы спешим с выводами, наступаем на те же грабли, повторяя те же ошибки? Почему мы так плохо умеем вырабатывать точные убеждения и как делать это лучше? В этих семи цепочках обсуждаются мотивированные рассуждения и ошибка подтверждения, особый фокус на образцах самообмана, которые трудно заметить, и ловушке «использования аргументов как солдат».

Книга 3 - Машина В Призраке. Почему мы не эволюционировали более рациональными? Даже при условии ограниченных ресурсов, похоже, мы могли бы получать больше эпистемической отдачи от наших свидетельств. Чтобы получить более реалистичную картину того, почему и как наш разум исполняет свои биологические функции, нам нужно залезть под капот и внимательно посмотреть как работает эволюция и наш мозг. Эти три цепочки иллюстрируют, как даже философы и ученые могут заблуждаться, если полагаются на интуитивное, не-техническое понимание эволюционных и психологический идей. Обозначив наши разумы внутри огромной целеполагающей системы, мы можем идентифицировать некоторые основы человеческого рассуждения и понять как эта система может «потерять цель».

Книга 4 - Всего Лишь Реальность. В каком мире мы живем? Каково наше место в нем? Основываясь на примерах работы эволюционных и когнитивных моделей из предыдущих цепочек, в этих шести цепочках мы исследуем природу ума и физического закона. В дополнение к применению и обобщению прошлых уроков о научных тайнах и скупости, эссе этой части поднимают новые вопросы о роли науки в рациональности отдельного индивида.

Книга 5 - Всего Лишь Доброта. Как что-то становится ценным — морально, эстетически или пруденциально? Эти три цепочки задаются вопросами о том, как мы можем оправдать, пересмотреть и принять наши ценности и желания. Цель — понять наши цели, не повредив их достижению. Самая сложная проблема: как понять, когда стоит доверять запутанному, сложному, работающему от случая к случаю импульсивному пониманию «хорошо» и «плохо», а когда заменить его на простые, не ведающие исключений, принципы.

Книга 6 - Становясь Сильней. Как люди и сообщества могут применить все это на практике? Эти три цепочки начинаются с автобиографической истории о самых серьезных философских промахах Юдковского, сочетающейся с советами о том, как другие люди могут избежать подобных. Книга заканчивается рекомендацией по разработке курса обучения прикладной рациональности, основанной (основана рациональность, а не рекомендация (прим. перев.)) на фактических данных. И по формированию групп и институтов для поддержки заинтересованных студентов, педагогов, исследователей и друзей.

Еще цепочки дополнены «интерлюдиями», эссе с личного сайта Юдковского (http://www.yudkowsky.net). Они связаны с разными цепочками, например, «Двенадцать добродетелей рациональности» лирически суммируют множество уроков «Рациональности: от ИИ до Зомби», и часто цитируются в эссе.

Кликнув на звездочку в конце каждого эссе, вы попадете на оригинальную версию с сайта Less Wrong (так можно оставить комментарий) или с сайта Юдковского. Также вы можете обнаружить словарь терминов на http://wiki.lesswrong.com/wiki/RAZ_Glossary.

Карта и территория

Первая книга начинается с цепочки о когнитивных искажениях: «Предсказуемо неправы». Книга не ограничена этой темой: плохие привычки и плохие идеи тоже имеют значение, даже если они становятся следствием содержания нашего разума, а не его структуры. Таким образом, эволюционировавшие и изобретенные будут показаны в цепочках, начиная с дискуссии в «Ложных Убеждениях» о том, как ожидания расходятся с декларированными убеждениями.

Оценка иррациональности была бы неполной без теории, описывающей рациональность, или если «теория» будет состоять из смутных трюизмов, без точного объяснительного механизма. Цепочка «Замечая замешательство» раскрывает вопрос: почему полезно основывать поведение на «рациональных» ожиданиях и как это ощущается изнутри.

Дальше, «Загадочные ответы» ставит вопрос: способна ли наука решить эти проблемы для нас. Ученые основывают свои модели на повторяемых экспериментах, а не на спекуляциях и слухах. Наука также имеет великолепную репутацию в сравнении с историями, религией и… Да в сравнении с чем угодно имеет. Стоит ли волноваться по поводу «ложных» убеждений, ошибки подтверждения, ошибки знания задним числом и им подобных, если мы работаем с сообществом людей, желающих объяснять феномены, а не рассказывать трогательные истории?

За этим следует «Простая Истина», отдельная аллегория о природе знания и убеждений.

Однако именно когнитивные искажения предоставляют наиболее ясное и прямое представление о нашей психологии, виды эвристик и логику наших ограничений. Именно с искажений мы и начнем. Строка в Чжуан-цзы, пре-Даосского философского трактата, гласит: «Ловушка для рыбы существует из-за рыбы, заполучив рыбу, ты можешь позабыть о ловушке» 24.

Приглашаю исследовать эту книгу именно в таком духе. Используйте ее так, как использовали бы ловушку для рыбы, всегда внимательно следя за целью, для которой вы ее используете. Берите то, что можете использовать, то, что будет полезным, остальное — отбросьте. И пусть ваша цель послужит вам верно.

Благодарности

Я чрезвычайно признателен Nate Soares, Elizabeth Tarleton, Paul Crowley, Brienne Strohl, Adam Freese, Helen Toner и десяткам волонтеров, вычитывавших эту книгу.

Отдельно от всей души хочу сказать спасибо Alex Vermeer, который помог довести эту книгу до конца, и Tsvi Benson-Tilsen, который прочел ее от корки до корки, чтобы убедиться в удобочитаемости и связности изложения.

Что такое рациональность

Элиезер Юдковский

Здесь под «рациональностью» имеется в виду:

Эпистемическая рациональность: образ действий и мыслей, укрепляющий соответствие между местностью и её когнитивной картой, корректировка убеждений в свете новой информации. Искусство обретения убеждений, согласующихся с реальностью настолько близко, насколько возможно. Это соответствие обычно называют «точностью», «правдивостью» или «правильностью», и нас удовлетворяет подобное обозначение.

Инструментальная рациональность: реализация ваших ценностей. «Ваших» не обязательно в смысле «личных» или «эгоистичных»: «твоей ценностью» может быть любая вещь, которая тебе небезразлична. Искусство направлять будущее в сторону более устраивающих тебя результатов. На LW это порой называется «выигрыванием».

Если это кажется довольно неплохим определением, вы можете прекратить чтение здесь; в ином случае продолжаем.

Временами экспериментальные психологи обнаруживают человеческие умозаключения, которые выглядят крайне удивительно — например, кто-то оценивает вероятность «Билл играет джаз» меньше, чем вероятность «Билл — бухгалтер, который играет джаз». Это выглядит странным суждением, так как любой играющий джаз бухгалтер — это явно человек, играющий джаз. Но к каким именно правилам мы обращаемся, называя данное суждение ошибочным?

Экспериментальные психологи применяют два золотых стандарта: теорию вероятностии теорию принятия решений. Поскольку в теории вероятности P(A) ≥ P(A & B), то суждение P(«Билл играет джаз» & «Билл — бухгалтер») > P(«Билл играет джаз») считается неверным.

Говоря формально, это утверждение не байесианское. Убеждения, соответствующие какому-либо логически непротиворечивому распределению вероятности, и решения, максимизирующие вероятностное ожидание логически непротиворечивой функции полезности, называются байесианскими.

Вопрос о том, как применять рациональность на практике, вовсе не исчерпывается этим абзацем. Причиной этому — два весомых обстоятельства.

Во-первых, байесианские алгоритмы «в чистом виде» плохо применимы к большинству задач реального мира из-за своей трудновычислимости. Математик, попытавшийся это сделать, столкнётся примерно с теми же проблемами, что и физик, попытавшийся предсказать поведение фондовой биржи, вычисляя траектории кварков.

Именно поэтому здесь вы видите целый сайт, а не просто список формальных аксиом с жирной точкой в конце. К тому же, совсем другое искусство необходимо для того, чтобы находить истину и достигать цели, находясь в недрах человеческого разума: нужно узнать о недостатках нашей когнитивной архитектуры, победить порождённые ей ошибки (искажения), сорвать с глаз все шоры самообмана, достигнуть хорошей эмоциональной формы перед тем, как столкнуться с истиной, избавиться от влияющих на решение посторонних факторов и так далее и тому подобное.

Во-вторых, иногда корректность самих формул вызывает сомнения. Правила теории вероятности получают удар от, скажем, задач на антропный принцип(English), где неизвестно число наблюдателей. Правила теории принятия решений разваливаются под действием, скажем, задачи Ньюкома(English), где другие агенты могут предсказать ваше решение до того, как оно было совершено.

В таких случаях бессмысленно придумывать альтернативное определение слова «рациональность» и надеяться, что это разрешит проблему. Фраза «Выбранный мною ответ, по определению, рационален» всего лишь создаёт новый вопрос: почему кого-то должно интересовать новое определение? Теорией вероятности пользуются не потому, что она была спущена с небес руками Святого Лапласа. Мы используем корректировку убеждений в байесианском стиле (с априорными вероятностями, выбранными согласно бритве Оккама) потому, что мы считаем, что этот образ мышления систематически приближает нас к точности: к карте, которая отражает местность.

(подробнее о диспутах, где фраза «по определению» выступает в качестве главного аргумента можно почитать здесь(English) и здесь(English))

Не стоит также забывать о вопросах из разряда «как мыслить?», ответов на которые нет ни в теории вероятности, ни в теории принятия решений. Например, какие чувства испытывать по отношению к правде после того, как она найдена? Определение и переопределение «рациональности» не в силах найти ответа, разве что лишь разрешить его.

Из «Двенадцати добродетелей рациональности»:

Как можно улучшить свое представление о рациональности? Явно не за счёт напевания мантры «мой долг — быть рациональным»; так можно лишь закрепить ошибочное представление. Возможно, твоё понимание рациональности состоит в том, что нужно верить словам Великого Учителя; Учитель говорит: «Небо зелёного цвета», ты поднимаешь глаза и видишь, что оно голубое. Если мысль «Можно подумать, что небо голубое, но суть рациональности состоит в доверии словам Великого Учителя» промелькнёт в твоём мозгу, то ты потеряешь шанс обнаружить свою ошибку.

Не спрашивай, как советует поступить Учение; вместо этого спрашивай, какого цвета небо. Чрезмерно говорящий об Учении не достигнет просветления.

Можно попытаться назвать самый главный принцип: например, «карта, отражающая местность» или «опыт успеха и поражений», или «байесианская теория принятия решений». Но ты мог ошибиться в описании безымянной добродетели. Как ты обнаружишь свой промах? Не благодаря тому, что ты сравнишь описание с самим собой, но благодаря тому, что ты сравнишь описанное с неописанным.

Споры о том, какое значение вкладывать в слово, — даже в такое важное слово, как «рациональность», — бессмысленны. Привязка последовательности букв к определённым понятиям нужно для того, чтобы позволить людям обмениваться информацией(English); для того, чтобы помочь перенести мысли из одного разума в другой. Манипулирование этими привязками не может изменить мир.

Если ты понимаешь, примерно в каком направлении мы показываем, говоря о «рациональности», «эпистемической рациональности» и «инструментальной рациональности», то обмен информацией между нами уже произошёл. Нельзя достичь большего, оставаясь в рамках спора об определениях. Пришло время говорить не о том, какое понятие лучше всего привязать к набору слогов «ра-ци-о-наль-ность», а о том, каким образом стоит думать.

С учётом всего этого, имей в виду, что многие из нас будут считать спорным — как минимум — любое ненормативное толкование слова «рациональность».

Например, говорящий «убеждение X рационально, но убеждение Y правдиво», скорее всего, использует слово «рационально» в не совсем принятом здесь смысле (например, считается, что рациональность должна быть логически последовательна при переходе к рефлексии: т.е. «рациональный» взгляд на информацию и «рациональное» моделирование того, как твой разум «рационально» обрабатывает эту информацию, не должны вести к двум разным выводам). Аналогично с «рационально сделать X, но правильно сделать Y» — «рационально» или «правильно» сказавшего это человека почти наверняка не «рационально» или «правильно» большей части читателей.

В таких случаях — да и в любых других случаях, когда слова можно понять превратно, — рекомендуется говорить более конкретно: «Предельно эгоистичный поступок — убежать, но я хотя бы попытался стащить девочку с рельс» или «Причинная теория принятия решений говорит, что в задаче Ньюкома нужно выбрать оба ящика, но я лучше заберу миллион долларов».

Как правило, фраза «X рационально» означает то же, что «я думаю, что X правдиво» или «я думаю, что X хорошо», но просто звучит чуточку более вычурно. Зачем нужны отдельное слово «рациональность», когда есть «правдивость» и «хорошесть»? Потому что так легче говорить о методичных техниках добычи правды и выигрывания.

В слове «рациональность» хватает подводных камней, но есть куча неграничных случаев, в которых это слово отлично выполняет свою коммуникативную функцию; в таких ситуациях не бойтесь его использовать.

Но всё же не стоит злоупотреблять этим словом. Нельзя заработать очки, просто громко произнеся его вслух. Чрезмерно говорящий об Учении не достигнет просветления.

Мне сегодня рационально

Элиезер Юдковский

Есть распространённое мнение, что рациональность противостоит эмоциям: все оттенки грусти и все оттенки радости автоматически нелогичны лишь потому, что это всего лишь чувства. Что удивительно, я не нашел ни одной теоремы в теории вероятностей, которая бы доказывала, что я должен быть холодным и бесчувственным.

Выходит, рациональность вообще не имеет отношения чувствам? Это не так, ведь наши эмоции порождаются нашими моделями реальности. Если я решу, что мой мёртвый брат воскрес, я обрадуюсь; если я проснусь и пойму, что это был сон, я буду расстроен. Пэт Ходжилл однажды сказала: «То, что может быть разрушено правдой, должно быть разрушено». Во сне я был счастлив, но правда этому счастью противоречила. Проснувшись, я ощутил грусть, но эта грусть рациональна: нет такой правды, которая могла бы её разрушить.

Рациональность начинается с вопроса «каков мир на самом деле и как он работает», но словно вирус, распространяется на любую другую мысль, зависящую от того, каков он, по нашим представлениям. Убеждения о том, каков мир на самом деле, могут включать все, что ты думаешь о реальности, что существует, а что нет, и что угодно из класса «вещи, которые могут заставить случаться другие вещи». Если ты считаешь, что в твоем чулане живёт гоблин, который привязывает друг к другу шнурки твоих ботинок, то это — убеждение о том, как работает мир. Шнурки реальны: их можно потрогать. Сущность, которая может их связать, тоже должна быть реальной: она — часть гигантской сети причин и следствий, которую мы называем «вселенной».

Чувство злости на гоблина, за то что он связал шнурки - это состояние разума, которое касается не только того, как работает мир. Если ты, скажем, буддист, или тебе сделали лоботомию, или ты просто родился очень флегматичным человеком, то действия гоблина тебя не разозлят. Это не влияет на твои ожидания: ты все еще уверен, что открыв чулан, увидишь пару ботинок, привязанных друг к другу шнурками. Зол ты или спокоен - это не должно влиять на твои прогнозы, поскольку твои эмоции не влияют на происходящее в чулане (хотя, конечно, может потребоваться некоторое усилие, чтобы рассуждать трезво).

Однако, злость сцеплена с состоянием разума, имеющим отношение к тому, как работает мир: ты злишься потому, что думаешь, что гоблин связал шнурки ботинок. Критерий рациональности рапространяется как вирус: от исходного вопроса, завязал ли гоблин шнурки, и до возникшей в итоге злости.

По мере улучшения представлений о том, каков мир на самом деле, эмоции могут как ослабнуть, так и усилиться. Иногда мы избегаем сильных эмоций, отрицая факты, прячась от мира, порождающего столь сильные эмоции. В таком случае, изучая искусство рациональности и тренируясь не отрицать факты, ты можешь заметить усиление эмоций.

Когда я начинал учиться рациональности, я постоянно сомневался, нормально лииспытывать сильные эмоции, допустимо ли это вообще, и правильно ли. Не думаю, что замешательство было вызвано только лишь моим неверным представлением о рациональности. Я встречал немало людей с подобными проблемами, и эти люди даже и не думали становиться рационалистами. Когда они были счастливы, они сомневались в своём праве быть счастливыми, а когда расстроены - не могли понять, нужно ли бороться с этой эмоцией. Ещё со времён Сократа (а возможно, и гораздо раньше) в кругу людей, считавших себя культурными и утончёнными, было не принято показывать, что вам что-то небезразлично. Испытывать чувства постыдно — в приличном обществе так просто не делают. Надо видеть взгляды, которые на меня бросают люди, узнав, насколько мне важна рациональность. И я подозреваю, что причина кроется не в необычности предмета интереса, а в том, что они не привыкли встречать здравомыслящих взрослых людей, которые демонстрируют, что им важно хоть что-то.

Но сейчас я знаю, что нет ничего постыдного в сильных эмоциях. Усвоив правило «То, что может быть разрушено правдой, должно быть разрушено», я также понял, что «То, что питается правдой, должно расцветать». Когда случается что-то хорошее, я счастлив, и не мучаюсь сомнениями, рационально ли быть счастливым. Когда случается что-то ужасное(English), я не бегу от печали, ища ложные утешения и фальшивые плюсы. Я представляю прошлое и будущее человечества, десятки миллиардов смертей на протяжении всей истории, горе и страх, поиск ответов, дрожащие руки, тянущиеся вверх из рек крови, то, чем мы можем стать в тот день, когда звёзды станут нашими городами, вся эта тьма и весь этот свет; я знаю, что я никогда не смогу полностью это понять, и я не знаю слов, которыми можно было бы передать эти мысли. Несмотря на всю мою философию, я всё ещё смущаюсь показывать сильные эмоции, а тебе, возможно, некомфортно видеть их проявления. Но теперь я знаю, что в чувствах нет ничего иррационального.

Зачем нужна истина?

Элиезер Юдковский

Некоторые комментаторы спрашивают меня, зачем необходимо искать истину (к счастью, почти никому не нужно объяснять, что есть истина). Желание сделать своё мировоззрение рациональным вырастает именно из стремления к истине, и уже благодаря этому желанию все мировоззрения можно разделить на «хорошие» и «плохие».

В «Двенадцати добродетелях рациональности» я писал: «Первая добродетель — любопытство». Любопытство — первая причина искать истину, и, несмотря на то, что эта причина не единственна, в ней есть особая восхитительная чистота. В глазах человека, движимого любопытством, приоритет вопроса зависит от его эстетической ценности. Сложный вопрос, где вероятность неудачи необычно высока, стоит больших усилий, чем простой, где ответ и без того ясен — ведь узнавать новое интересно.

Кто-то может возразить: «Любопытство — эмоция, а эмоции иррациональны». Я называю эмоцию «иррациональной», если она основана на ложных убеждениях или, точнее, поведении, неправильном в свете известной информации: «К твоему лицу подносят железо, и ты веришь, что оно раскалено, но можно видеть, что оно холодно — тогда Учение осуждает твой страх. К твоему лицу подносят железо, и ты веришь, что оно холодно, но можно видеть, что оно раскалено — тогда Учение осуждает твоё спокойствие». И наоборот: эмоцию, вызванную истинными убеждениями либо рациональным с точки зрения желания узнать истину мышлением можно назвать «рациональной эмоцией» (Поэтому удобно считать, что спокойствие — не абсолютный ноль шкалы, а тоже эмоция, не лучше и не хуже всех остальных).

Мне кажется, что люди, противопоставляющие «эмоции» и «рациональность», на самом деле говорят о Системе 1 — системе быстрых, основанных на восприятии суждений — и Системе 2 — системе медленных обоснованных суждений. Обоснованные суждения не всегда правдивы и интуитивные суждения не всегда ложны, поэтому важно не путать эту дихотомию с вопросом о рациональности и иррациональности. Обе системы могут служить как истине, так и самообману.

Что ещё заставляет искать истину, не считая любопытства? Желание достигнуть какой-то цели в реальном мире: например, братья Райт хотят построить самолёт и для этого им необходимо знать правду о законах аэродинамики. Или, более повседневно: я хочу шоколадного молока, и поэтому меня интересует, можно ли купить его в ближайшем магазине: тогда я смогу решить, пойти ли туда, или куда-нибудь ещё. В глазах человека, движимого прагматизмом, приоритет вопроса определяется ожидаемой полезностью ответа на него: степенью влияния на решения, важностью этих решений, вероятностью того, что ответ сместит итоговое решение в сторону от первоначального решения.

Поиск истины в прагматичных целях выглядит неблагородным — разве истина не ценна сама по себе? — но такие поиски очень важны, поскольку они создают внешний критерий проверки. Упавший на землю самолёт или отсутствие молока в магазине говорят о том, что ты сделал что-то неправильно. Ты получаешь обратную связь и можешь понять, какие методы мышления работают, а какие нет. Чистое любопытство прекрасно, но стоит найти ответ — оно исчезает вместе с поразительной загадкой, и ничто уже не заставляет проверять ответы. Любопытство — древняя эмоция, появившаяся задолго до древних греков, руководившая ещё предками их предков. Но легенды о богах и героях удовлетворяют любопытство ничуть не хуже результатов научных экспериментов, и очень долго никто не видел в этом ничего плохого. Лишь наблюдение «некоторые методы мышления отыскивают суждения, позволяющие управлять миром» уверенно направило человечество на путь науки.

Итак, есть любопытство, есть прагматизм, что ещё? Третья причина поиска истины, которая приходит мне в голову — честь. Вера в то, что отыскание истины благородно, нравственно и важно. Такой идеал приписывает истине внутреннюю ценность, но он не похож на любопытство. Мысль «Интересно, что за занавесом» ощущается не так, как мысль «Мой долг — заглянуть за занавес». Паладину истины легче верить в то, что за занавес должен заглянуть кто-то ещё, и легче осуждать кого-то за добровольное закрывание глаз. Из этих соображений я называю «честью» убеждение в том, что истина имеет практическую ценность для общества и поэтому её следует искать всем. Приоритеты паладина истины в отношении белых пятен карты определяются не полезностью и не интересностью, но важностью; кроме того, в одних ситуациях долг искать истину зовёт сильнее, чем в других.

Я с подозрением отношусь к долгу как мотивации для поиска истины: не потому, что идеал плох сам по себе, а потому, что из такого мировоззрения могут вытекать некоторые проблемы. Слишком легко приобрести в корне ошибочные методы мышления. Например, посмотрим на наивный архетип рациональности — мистера Спока из «Звёздного пути». Эмоциональное состояние Спока всегда зафиксировано на отметке «спокойствие», даже когда это совершенно неадекватно ситуации. Он часто сообщает чудовищно неоткалиброванные вероятности, называя при этом слишком много значащих цифр («Капитан! Если ты отправишь Энтерпрайз в эту чёрную дыру, то вероятность нашего выживания всего лишь 2,234%!» — и при этом в девяти случаях из десяти Энтерпрайз отделывается мелкими царапинами. Оценка отличается от реального значения на два порядка; каким идиотом надо быть, чтобы раз за разом называть четыре значащие цифры?). Но при этом многие люди, думая о «долге быть рациональным» представляют себе в качестве примера именно Спока — неудивительно, что они не принимают искренне такой идеал.

Если сделать рациональность моральным долгом, то она теряет все степени свободы и превращается в деспотичный первобытный обычай. Получившие неверный ответ люди возмущённо утверждают, что они действовали в точности по правилам, вместо того, чтобы учиться на ошибках.

Но всё же, если мы желаем стать более рациональными, чем наши предки охотники и собиратели, то нам необходимы обоснованные убеждения о том, как правильно мыслить. Написанные нами ментальные программы рождаются в Системе 2, системе медленных обдуманных решений, и очень медленно переселяются — если вообще переселяются — в цепи и сети нейронов, образующих Систему 1. Поэтому, если мы желаем избежатьнекоторых определённых типов рассуждений, — например, когнитивных искажений — то это желание остаётся внутри Системы 2 в качестве предписания сторониться нежелательных мыслей, превращается в своеобразный профессиональный долг.

Некоторые методы мышления помогают найти истину лучше, чем другие — это приёмы рациональности. Часть приёмов рациональности говорят о преодолении определённого класса препятствий, когнитивных искажений.

Что же такое искажение?

Элиезер Юдковский

Искажения — определённый вид препятствий на пути к истине (то есть их характер как препятствие мешает найти истину, но при этом существует множество других препятствий, искажениями не являющихся).

Если спросить «что такое искажение?» прямо сейчас, то вопрос будет задан слишком рано. Как говорится в английской поговорке, «существует сорок видов безумия, но лишь один вид здравого смысла». Истина — небольшая цель, компактная область в пространстве возможных конфигураций. «Любит она меня или нет?» — простой общий вопрос, однако E=mc2E=mc2 — всего лишь маленькая точка в пространстве всех возможных уравнений, словно выигрышный лотерейный билет в пространстве всех лотерейных билетов. В ошибке нет ничего исключительного, объяснения требует успех — настолько он невероятен априори.

Моральный долг «бороться с искажениями» (потому что искажения — плохие, злобные и Просто Неправильные штуки) — неверный подход к проблеме. Так может думать кто-то, кто приобрёл деонтологический долг «быть рациональным» в результате социального осмоса. Это порождает людей, пытающихся применять техники, не понимая стоящих за техниками причин (а это плохая, злобная и Просто Неправильная штука, если верить замечательной книге «Вы, конечно, шутите, мистер Фейнман»).

Подойдём к проблеме правильно.

По какой-то причине мы желаем попасть к истине, и по пути нам встречаются различные препятствия. Эти препятствия не сильно отличаются друг от друга: например, есть препятствия, имеющие отношение к недостатку вычислительных мощностей или к дороговизне информации. Большая группа препятствий разделяет общие черты — образует кластер в пространстве препятствий-на-пути-к-истине — и члены этого кластера называются искажениями.

Что такое искажение? Можно ли найти простой тест на принадлежность к этому эмпирическому кластеру? Может быть, мы так и не сможем найти объяснения, лучшего чем «показать пальцем на несколько ярких примеров и надеяться, что слушатель поймёт». Порой для учёного, только начавшего изучать огонь, мудрее сказать «огонь — это вон та яркая оранжевая штука», чем «я определяю огонь как алхимическую трансмутацию материи, выделяющую флогистон». Как я сказал в «Простой истине», нельзя игнорировать что-то лишь потому, что ты не знаешь, как это определить. Я не помню уравнения Общей Теории Относительности наизусть, но тем не менее, если я шагну с обрыва, то я упаду. То же самое можно сказать и про искажения — они не перестанут больно кусаться, если выяснится, что никто не может внятно объяснить, что такое «искажение». Поэтому вполне законно рассказать про ошибки в ситуации с логическим «И», эффект знания задним числом, сверхуверенность, эвристику доступности, ошибочную оценку поведения и гиперболическое обесценивание, а после сказать «Что-то типа этого».

Можно заметить, что мы называем «искажениями» те препятствия на пути к истине, которые созданы ни дороговизной информации, ни недостатком вычислительных мощностей, но формой ментального оборудования. Например, эволюция оптимизировала оборудование для целей, противостоящих эпистемологической точности (оборудование выигрывать политические споры). Или давление естественного отбора извратило желание добиться эпистемологической точности (вместо этого люди верят в то же, что и окружающие, приобретая благодаря этому союзников и друзей). Или классическая проблема эвристики, когда оборудование работает по понятному алгоритму, который обычно делает всё правильно, но временами совершает систематические ошибки. Сама по себе, эвристика доступности не является искажением, но она порождает характерные, компактно описываемые искажения. Человеческий мозг делает что-то неправильно, и проведя кучу экспериментов и/или хорошо подумав, кто-нибудь формулирует проблему на понятном Системе 2 языке — тогда мы называем эту ошибку «искажением». Даже если мы так и не узнаем большего, всё же ясно, что эта ошибка возникает — известным образом — из-за определённой формы когнитивного оборудования. Не из-за того, что оборудования слишком мало, а из-за того, что оно особой формы.

«Искажения» — это не ошибки, порождённые информацией внутри мозга (например, перенятые у кого-то убеждения или некого рода моральный долг). Они не называются «искажениями», и их намного проще исправить после того, как они замечены (тем не менее, источником ошибки, или источником источника ошибки, может быть и какое-либо искажение).

«Искажения» — это не ошибки, вызванные каким-то индивидуальным повреждением мозга или впитанными культурными нравами. «Искажения» — следствие работы механизмов, общих для всех людей.

Нельзя сказать «Платон страдал от когнитивных искажений, ведь он не знал теории относительности» — он не мог о ней узнать, его незнание было порождено не формой его ментального оборудования. Но если Платон считал, что лучшими правителями будут философы, из-за того что он сам был философом — а это убеждение, в свою очередь, возникло благодаря универсальному политическому инстинкту рекламировать себя, а не из-за того, что отец Платона говорил «долг каждого — говорить, что его профессия достойна занимать трон правителя», и не из-за того, что в детстве Платон нюхал слишком много клея — то тогда это значит, что Платон страдал от когнитивных искажений, и не имеет значения, знал ли об этом сам Платон.

Возможно, искажения трудно исправить. Возможно, они не исправляются в принципе. Но дело не в этом. Если, взглянув на своё ментальное оборудование, мы видим заурядный пример известного класса ошибок, и эта ошибка возникает из-за созданной эволюцией формы оборудования, а не из-за недостатка оборудования или плохого его содержимого, то мы называем её искажением.

Лично я вижу цель оттачивания навыков рационалиста в усилении способностей находить истину. Задание состоит в том, чтобы добраться до позитивной отметки (истины), а не в том, чтобы избежать негативной отметки (неудачи). Пространство неудач велико, там найдётся бесконечное множество ошибок в бесконечном их разнообразии. Трудно описать столь обширное пространство: «Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире». Пространство успеха меньше, и поэтому про него можно рассказать большее.

Я не питаю отвращения к разговорам об определениях, но нельзя забывать, что это не главная наша цель. Мы преследуем великую цель нахождения истины, нам отчаянно нужны знания, и кроме того, мы любопытны. Поэтому мы стремимся преодолеть все лежащие на пути препятствия, и без разницы, как мы их при этом называем.

Доступность

Элиезер Юдковский

Эвристика доступности - суждение о частоте или вероятности события по тому, насколько легко приходят на ум примеры данного события.

В известном исследовании 1978 года «Оценка частоты смертельных исходов»1 изучались ошибки при количественной оценке серьёзности рисков. Испытуемым называли два бедствия и спрашивали, какое из них происходит чаще. Испытуемые считали, что несчастные случаи уносят столько же жизней, сколько и болезни, думали, что убийство является более частой причиной смерти, нежели самоубийство. Хотя на самом деле, число умерших от болезней в шестнадцать раз превосходит число погибших от несчастного случая, а самоубийства происходят в два раза чаще убийств.

Очевидная гипотеза, объясняющая эти искажённые убеждения - что об убийствах чаще говорят, нежели о самоубийствах, и, таким образом, людям проще вспомнить разговор об убийце, нежели о суициднике. Несчастные случаи производят большее впечатление, нежели болезни - возможно, поэтому людям проще запомнить или вспомнить несчастный случай. В 1979 году, следующее исследование Комбса и Словика показало, что суждения с искажённой вероятностью сильно коррелируют (0.85 и 0.89) с искажёнными цифрами, которые были размещены в двух газетах2. Хотя это не проясняет, легче ли вспомнить убийства, потому что о них больше пишут, или же репортёры больше пишут об убийствах, потому что убийства производят большее впечатление (и поэтому легко запоминаются).

Но так или иначе, эвристика доступности тут присутствует. Избирательная отчётность - это один из основных источников искажений доступности. В родоплеменном окружении большая часть ваших знаний была основана на вашем личном опыте или же услышана напрямую от члена племени, который видел это. То есть между вами и фактом был максимум один слой избирательного сообщения. Сегодня, при помощи интернета, вы можете увидеть сообщения, которые проходят через шесть и более рук по пути к вам - шесть последовательных фильтров. По сравнению с нашими предками, мы живём в большем мире, в котором происходит больше событий, информации о которых к нам доходит меньше, поэтому эффект избирательности куда сильнее, что создает большие искажения доступности.

В реальной жизни, едва ли вы встречались с Биллом Гейтсом. Однако благодаря избирательным сообщениям от СМИ, у вас может появиться искушение сравнивать ваш жизненный успех с его - и страдать, соответственно, от полученного результата. Объективная частота встречи таких людей как Билл Гейтс - 0.00000000015, но слышите вы о нем куда чаще. И наоборот, 19% планеты живёт менее чем на один доллар в день, но я сомневаюсь, что хотя бы одна пятая тех постов, что вы сегодня читали, пишут о них.

Использование доступности, похоже, отвечает и за искажение абсурдности; события, которые никогда не происходили, нельзя вспомнить, вследствие чего их вероятность наступления начинает считаться нулевой. Если давно не было наводнений (а вероятности все еще считаются правильно), люди отказываются покупать страховку от наводнения, даже когда стоит она не больше, чем должна, а выплаты по ней немалые. Кунрейтер и соавторы в своём исследовании3 предполагают, что недооценка угрозы наводнения может происходить от «неспособности людей осмыслить концепцию наводнений, которых никогда не было…люди на затапливаемых равнинах, похоже, являются узниками своего опыта…недавно пережившие наводнение имеют тенденцию привязываться к верхней границе потерь, которую потом считают величиной, о которой и следует задумываться».

В исследовании Бёртона и соавторов4 говорится, что когда строятся дамбы и плотины, они уменьшают частоту наводнений, и, видимо, создают ложное ощущение безопасности, приводя к снижению мер безопасности, в то время как постройка дамб уменьшает частоту наводнений, но увеличивает ущерб от тех, что все же могут произойти (4). Мудрый человек экстраполировал бы из памяти о небольших угрозах возможность больши́х. Но вместо этого, прошлый опыт небольших угроз, похоже, устанавливает верхнюю «границу» риска. Общество, хорошо защищённое от малых угроз, не предпринимает действий против больши́х, расселяясь на затапливаемых равнинах как только риск небольших наводнений уходит. Общество рассматривает регулярные небольшие угрозы так, словно таких угроз большего размера не существует, предпринимая меры безопасности против регулярных небольших наводнений, но не против редких крупных наводнений.

Память не всегда хороший проводник даже для вычисления вероятностей прошедших событий, не говоря уже о будущих.

1.Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.

2.Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.

3.Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.

4.Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.

Обременительные детали

Элиезер Юдковский

«Простая подтверждающая подробность, чтобы добавить художественной правдоподобности в противном случае сухому и неубедительному рассказу…»

—Pooh-Bah, in Gilbert and Sullivan’s The Mikado (1).

Конъюнктивное заблуждение это когда люди оценивают вероятность P(A, B) выше вероятности P(B), несмотря на то, что доказано P(A, B) ≤ P(B). Например, в ходе эксперимента в 1981, 68% испытуемых эксперимента оценили «Рейган увеличит поддержку незамужних матерей и снизит поддержку местных администраций» выше, чем «Рейган увеличит поддержку незамужних матерей».

Длинная серия ловко разработанных экспериментов, отделивших альтернативные гипотезы и прибивших стандартную интерпретацию, показали, что конъюнктивное заблуждение возникает, потому что мы «подменяем суждением репрезентативности суждение о вероятности». Добавляя дополнительные детали, можно сделать итоги более похожими на процесс их производящий. Слова о том, что Рейган увеличит поддержку для незамужних матерей, будут звучать убедительней, если добавить утверждение о том, что Рейган снизит поддержку местных администраций. Неправдоподобность одного утверждения компенсируется правдоподобностью другого; они усредняются.

Поэтому и говорят: добавив деталей, можно сделать сценарий звучащим более правдоподобно, несмотря на то что события, в совокупности, станут менее вероятными.

Если это так, то мы можем легко найти футуристов, бессовестно распространяющих правдоподобные и детализированные сценарии будущего, или людей, легко принимающих огромные порции неподтвержденных утверждений, сдобренных несколькими звучащими сильно добавками. Если вы сталкиваетесь с конъюнктивным заблуждением лоб в лоб, вы, возможно, преуспеете в преодолении этой конкретной проблемы, постоянно поправляя себя. Но это лишь временное решение.

В эксперименте 1982 года профессиональные прогнозисты назначали систематически более высокие вероятности утверждению «Россия вторгнется в Польшу после приостановки дипломатических отношений между СССР и США», чем «Возникнет приостановка дипломатических отношений между СССР и США». В этом эксперименте каждую группу прогнозистов просили оценивать только одно утверждение (2). Какой стратегии эти прогнозисты, как группа, могли следовать, дабы исключить влияние конъюнктивного заблуждения, если никто не знал про альтернативное утверждение? Если никто не знал, что эксперимент и был про конъюнктивное заблуждение? Как они могли улучшить их суждения о вероятностях?

Вре́менные решения не помогут. Лечить нужно не симптомы, а болезнь.

Что прогнозисты могли предпринять во избежание конъюнктивного заблуждения, не видя с чем сравнивать, не зная даже о том, что тестироваться будет именно конъюнктивное заблуждение? Мне кажется, что им следовало заметить «и». С этим надо быть поосторожней, да не просто так, а бежать от него. Даже без знания, что исследователи специально тестировали их на конъюнктивное заблуждение. Им придется замечать соединение деталей, быть шокированными наглостью просьб оценить вероятности таких безумно сложных предсказаний. Им придется штрафовать вероятность существенно - как минимум в четыре раза, в соответствии с деталями эксперимента.

Размышления о возможных причинах приостановки дипломатических отношений между США и Советским Союзом так же помогли бы прогнозистам. «США и Советский Союз приостановили дипломатические отношения без причины» не являлся сценарием, им был «США и Советский Союз приостановили дипломатические отношения по любой причине».

Что насчет субъектов, оценивавших «Рейган увеличит поддержку незамужних матерей и снизит поддержку местных администраций»? Опять же, они должны быть шокированы союзом «и». Более того, им нужно сложить силу утверждений (логарифм вероятности со знаком минус), а не взять среднее. Им следует думать: «Рейган может снизить поддержку местных администраций, а может и не снизить (1 бит), но увеличение поддержки незамужних матерей кажется маловероятным (4 бита). Итоговая сила утверждения: 5 бит».1 Или: «Рейган не поддержит незамужних матерей. Один промах и он вне игры. Другое предположение только ухудшает дело».

По аналогии, давайте рассмотрим шестигранную игральную кость с четырьмя зелеными гранями и двумя красными. Испытуемым давали на выбор три серии исходов — 1 [КЗККК], 2 [ЗКЗККК] или 3 [ЗККККК] — и просили поставить на ту из них, которая с их точки зрения встретится в серии из двадцати бросков (3). Шестьдесят пять процентов испытуемых выбрали [ЗКЗККК], вероятность получения которой меньше, чем вероятность получения [КЗККК], так как любая серия, содержащая [ЗКЗККК] включает и [КЗККК]. Как испытуемые могли преуспеть больше? Заметив вкрапление? Возможно; но это лишь лечение симптома, оно не решит фундаментальной проблемы. Вычисляя вероятности? Это определенно решило бы фундаментальную проблему, но мы не всегда можем вычислить точную вероятность.

Испытуемые проиграли эвристически, думая: «Ага! Цепочка 2 имеет наибольшую пропорцию зеленых и красных! Я должен ставить на нее!» Чтобы выиграть эвристически, им следовало думать: «Ага! Цепочка 1 короче. Я должен ставить на нее!».

Бритва Оккама должна вызывать у них сильные эмоции - каждая деталь должна ощущаться как бремя, даже один поворот кости.

Однажды, я беседовал кое с кем, очарованным одним неосмотрительным футуристом (тем, который добавляет множество изящно звучащих деталей). Я пытался объяснить почему я не был так же очарован этими потрясающими, невероятными теориями. Так что я рассказал про конъюнктивное заблуждение, конкретно про эксперимент «приостановленные отношения ± вторжение в Польшу». И он сказал: «Ладно, но как это связано с -», и я ответил: «Более вероятно, что вселенная копируется по любой причине, чем что она копируется посредством черных дыр, которые создаются продвинутыми цивилизациями, созданных в результате эволюции этой вселенной для этой конкретной цели». И он сказал «Ох».

До этого он не ощущал дополнительные детали, как бремя. Вместо этого они были подтверждающими деталями, добавляющими художественной правдоподобности рассказу. Кто-то подает вам группу странных идей, одна из них - вселенная копируется. Далее, он предоставляет поддержку утверждению о копировании. Но это не поддержка группы, несмотря на то, что рассказывается, как одна история.

Вам следует распутывать детали. Следует рассматривать их отдельно и вопрошать: «Откуда мы знаем эту деталь?». Кто-то набрасывает картину падения человечества в нанотехнологическое столкновение, где Китай отказывается подчиняться международному соглашению о контроле, за этим следует гонка вооружений… Подождите-ка… Откуда вы знаете, что это будет Китай? Это хрустальный шар в вашем кармане или вы просто рады быть футуристом? Откуда взялись все эти детали? Откуда взялась эта конкретная деталь?

И было сказано: если можешь облегчить бремя свое, сделай это. Нет соломинки, что бессильна сломать твой хребет.

William S. Gilbert and Arthur Sullivan, The Mikado, Opera, 1885.

Tversky and Kahneman, “Extensional Versus Intuitive Reasoning.”

Amos Tversky and Daniel Kahneman, “Judgments of and by Representativeness,” in Judgment Under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (New York: Cambridge University Press, 1982), 84–98.

1.Здесь «сила утверждения» — его двоичный логарифм со знаком минус; чем она больше, тем менее вероятно утверждение. В примере вероятности утверждений должны быть 1/2 и 1/16 соответственно, вероятность всего утверждения — 1/32. — Прим. перев.

Ошибка планирования

Элиезер Юдковский

Международный Аэропорт Денвера открылся на 16 месяцев позже, эта задержка стоила 2 млрд $ (я видел еще и предположение о 3,1 млрд $). Еврофайтер Тайфун, совместный оборонный проект нескольких европейских стран, был закончен 54-ю месяцами позже, стоимость составила 19 млрд $ вместо 7 млрд $. Сиднейский Оперный Театр, возможно, самый легендарный по превышению начальной стоимости проект. Изначально, оценка предполагала завершение в 1967 за 7 млн $, но в итоге был завершен в 1973 за 102 млн $. (1)

Неужели эти отдельные катастрофы привлекли наше внимание благодаря селективной доступности? Неужели они являются симптомами бюрократического или правительственного провала? Да, очень может быть. Но так же тут играет роль соответствующее когнитивное искажение, повторенное экспериментально с отдельными планирующими индивидуумами.

Бюлер и др. просили студентов оценить сроки сдачи своих академических проектов (2). Конкретно они просили сказать, когда проекты будут сданы с 50%, 75%, 99% вероятностью. Попробуйте догадаться сколько студентов закончили до или после оцененного в 50%, 75%, 99% вероятности срока сдачи?

• 13% испытуемых уложились в срок, оцененный с 50% вероятностью успеха.

• 19% уложились в срок, оцененный в 75% вероятности успеха.

• и лишь 45% (менее половины!) уложились в срок, оцененный в 99% вероятности успеха.

Как Бюлер и др. отметили: «Результаты оценки 99% вероятности особенно удивляют: даже если их просили сделать крайне осторожное предсказание, по отношению к которому они чувствовали бы сильную уверенность, самоуверенность студентов намного превзошла их реальные достижения (3).

В целом, этот феномен известен как «ошибка планирования». Ошибка

планирования - это когда люди думают, что могут планировать, ха, ха.

Ньюби-Кларк и др. нашли ключ к скрытой подоплеке алгоритма планирования. Обнаружили, что

• Просьба спрогнозировать сценарии на лучшей реалистичной догадке

и

• Просьба спрогнозировать сценарии на самом удачном стечении обстоятельств…

… Привели к неразличимым результатам (4).

Когда людей просили предоставить «реалистичный» сценарий, они воображали, что все пойдет как запланировано, без неожиданных задержек или непредвиденных катастроф - такой же сценарий, как и при самом удачном стечении обстоятельств.

Как оказалось, реальность преподносит обстоятельства хуже, чем «самое неудачное стечение обстоятельств», какое мы обычно воображаем.

В отличие от большинства когнитивных искажений, для борьбы с ошибкой планирования есть хорошая эвристика. Она не сработает для масштабного бардака вроде Международного Аэропорта Денвера, но пойдет для личного планирования или организации чего-то небольшого масштаба. Просто используйте «наружное наблюдение» вместо «взгляда изнутри».

У людей есть склонность генерировать предсказания, думая о конкретных, уникальных деталях задания, первыми приходящих на ум. И создавать сценарии того, как они будут выполнять задание - это мы, обычно, и называем планированием. Когда вы желаете, чтобы что-то было сделано, вам необходимо спланировать где, когда, и как; подумать сколько времени и ресурсов это потребует; визуализировать все шаги от начала до успешного завершения. Все это - «взгляд изнутри», и он не принимает в расчет неожиданные задержки и непредвиденные катастрофы. Как мы уже увидели, просьба визуализировать «худший сценарий» явно недостаточно сильно гасит оптимизм - они воображают недостаточно Мёрфично.

Взгляд снаружи - когда вы специально избегаете мыслей о конкретных, уникальных деталях проекта, и просто вопрошаете, сколько времени заняло завершение похожего проекта в прошлом. Это кажется контринтуитивным, ведь взгляд изнутри позволяет заметить больше деталей. Мысль об аккуратно сотканном предсказании, в котором было учтена вся доступная информация, выдающем лучшие результаты, искушает.

Но эксперименты показали: чем подробней испытуемые визуализировали, тем оптимистичнее (менее точными) они становились. Бюлер и др. просили испытуемых описать исключительно подробно их планы по шоппингу на Рождество: где, когда и как (5). В среднем, эта группа ожидала покончить с покупками менее чем за неделю до Рождества. Другую группу просто попросили сказать, когда они планируют купить необходимые рождественские подарки; средний ответ: четыре дня. Обе группы закончили в реальности за три дня до Рождества в среднем.

Точно так же, Бюлер и др. сообщили об исследовании, в котором японские студенты ожидали закончить их сочинения за десять дней до срока сдачи. Закончили же они за один день до срока. Когда их спрашивали о прошлых сочинениях, выяснилось, что они так же были закончены «за день до срока» (6). Такова сила взгляда снаружи против взгляда изнутри.

Похожее исследование свидетельствует, что опытные посторонние, знающие меньше деталей конкретного задания, но имеющие в памяти выполнение похожих, менее оптимистичны и более точны, чем те, кто проводит планирование.

Похоже, есть относительно надежный способ исправить ошибку планирования, если вам предстоит делать что-то похожее на то, что вы делали ранее. Просто задайтесь вопросом о том, сколько такие проекты длились в прошлом, игнорируя детали. Еще лучше: посоветуйтесь с опытным аутсайдером о том, сколько времени заняло выполнение похожих проектов в прошлом.

Вы получите ответ, который будет звучать отвратительно долгим, который, очевидно, был дан без учета всех особых причин по которым ваше конкретное задание будет выполнено быстрей. Но ответ остается правдой. Смиритесь.

Roger Buehler, Dale Griffin, and Michael Ross, “Inside the Planning Fallacy: The Causes and Consequences of Optimistic Time Predictions,” in Gilovich, Griffin, and Kahneman, Heuristics and Biases, 250–270.

Roger Buehler, Dale Griffin, and Michael Ross, “Exploring the ‘Planning Fallacy’: Why People Underestimate Their Task Completion Times,” Journal of Personality and Social Psychology 67,

no. 3 (1994): 366–381, doi:10.1037/0022-3514.67.3.366; Roger Buehler, Dale Griffin, and Michael Ross, “It’s About Time: Optimistic Predictions in Work and Love,” European Review of Social Psychology 6, no. 1 (1995): 1–32, doi:10.1080/14792779343000112.

Buehler, Griffin, and Ross, “Inside the Planning Fallacy.”

Ian R. Newby-Clark et al., “People Focus on Optimistic Scenarios and Disregard Pessimistic Scenarios While Predicting Task Completion Times,” Journal of Experimental Psychology: Applied

6, no. 3 (2000): 171–182, doi:10.1037/1076-898X.6.3.171.

Buehler, Griffin, and Ross, “Inside the Planning Fallacy.”

Ibid (?).

Иллюзия прозрачности: почему вас не понимают

Элиезер Юдковский

Существует когнитивное искажение «знание задним числом». Оно проявляется так: люди, знающие, чем закончилась ситуация, верят, что исход можно было легко предсказать заранее. Когда мы знаем результат, мы переосмысливаем ситуацию с учетом этого результата. Даже если мы знаем об этом искажении, мы не можем восприниматьситуацию так, как её воспринимает человек, который не знает того, что знаем мы.

С этим тесно связана иллюзия прозрачности: мы всегда знаем, что означают наши слова, и ожидаем, что остальные тоже это знают. Мы правильно понимаем смысл, читая написанное нами, обладая знаниями о том, что мы действительно имели в виду. Этим смыслом сложно поделиться с кем-то, кто будет руководствоваться лишь словами.

Джун порекомендовала ресторан Марку; Марк обедает там и обнаруживает, что там (а) посредственные еда и сервис или (б) вкусная еда и безупречный сервис. Затем Марк оставляет сообщение на автоответчик Джун: «Джун, я только что пообедал в ресторане, который ты мне порекомендовала, и я должен сказать, что это было изумительно, просто изумительно». Кейсар рассказал сценарий (а) группе людей, и 59% решило, что сообщение Марка было саркастическим и что Джун распознает сарказм.(1)

Среди тех, кому рассказали сценарий (б), только 3% решили, что Джун должна подумать о сообщении Марка как о саркастическом. Keysar и Barr, по видимому, указывают, что испытуемые слышали голосовое сообщение. Keysar показал, что если испытуемым сказали, что ресторан ужасен, но что Марк хотел скрыть свою реакцию, то они верили, что Джун не распознает сарказм в подобном сообщении.

Они предсказывали, что Джун должна распознать сарказм, когда Марк пытался скрыть негативную реакцию, так же легко, как когда он искренне хвалил ресторан. Так что они восприняли сообщение Марка прозрачным. Как будто они ожидали, что Джун поймет всё, что Марк захочет ей сказать.

«The goose hangs high» («Дело на мази») - старая английская идиома, которая не используется в современном языке. Keysar и Bly сказали группе испытуемых, что «the goose hangs high» означает, что будущее выглядит многообещающим; другой группе сказали, что она означает, что будущее кажется мрачным. Затем испытуемых спросили, какое значение из этих двух кажется более подходящим для идиомы. Каждая группа решила, что именно услышанный ими смысл будет восприниматься как значение идиомы.

(Также тестировались другие идиомы: “come the uncle over someone”, “to go by the board” и “to lay out in lavender”. Ах, английский, прелестный язык).

Кейсар и Хенли тестировали калибровку ораторов. Будут ли они недооценивать, переоценивать, или оценивать верно, как часто слушатели понимают их? (6). Ораторам были предоставлены туманные выражения («Мужчина преследует женщину на велосипеде») и «растуманивающие» изображения (мужчина бежит за женщиной, которая едет на велосипеде). Ораторов попросили произнести выражения перед аудиторией и оценить, как много слушателей поняли вложенный смысл. Ораторы думали, что были поняты в 72% случаев, тогда как в настоящая цифра - 61%. Когда слушатели не понимали, ораторы оценивали понимание в 46%. Когда слушатели понимали, ораторы оценивали непонимание в 12%.

Другие субъекты, подслушавшие объяснение, показали отсутствие таких ошибок: они оценивали понимание в 56%.

Как заметили Кейсар и Барр, за два дня до атаки Германии на Польшу, Чемберлен послал письмо, вложив туда намерение показать, что Британия вступит в бой, если вторжение состоится (7). Письмо, составленное из дипломатичных выражений, было воспринято Гитлером как примирительное - и танки поехали.

Так что не стоит винить тех, кто не понял твои очевидные слова, в разговоре или письменно. Есть шанс, что твои слова более туманны, чем кажутся.

Boaz Keysar, “The Illusory Transparency of Intention: Linguistic Perspective Taking in Text,” Cognitive Psychology 26 (2 1994): 165–208, doi:10.1006/cogp.1994.1006.

Keysar and Barr, “Self-Anchoring in Conversation.”

Boaz Keysar, “Language Users as Problem Solvers: Just What Ambiguity Problem Do They Solve?,” in Social and Cognitive Approaches to Interpersonal Communication, ed. Susan R. Fussell and Roger J. Kreuz (Mahwah, NJ: Lawrence Erlbaum Associates, 1998), 175–200.

Keysar and Barr, “Self-Anchoring in Conversation.”

Boaz Keysar and Bridget Bly, “Intuitions of the Transparency of Idioms: Can One Keep a Secret by Spilling the Beans?,” Journal of Memory and Language 34 (1 1995): 89–109,

doi:10.1006/jmla.1995.1005.

Boaz Keysar and Anne S. Henly, “Speakers’ Overestimation of Their Effectiveness,” Psychological Science 13 (3 2002): 207–212, doi:10.1111/1467-9280.00439.

Keysar and Barr, “Self-Anchoring in Conversation.”

Ожидая короткие понятийные расстояния

Элиезер Юдковский

Эволюция приспособила

 homo sapiens к жизни в маленьких (

не более 200 человек

)

племенах охотников и собирателей

, не знающих письменности. В этих условиях — в так называемой «среде эволюционной адаптации» — всё накопленное знание сохранялось в памяти и передавалось устно.

В таком мире все фундаментальные знания — всеобщи. Любая информация, которую нельзя назвать строго приватной, является публичной, и из этого правила нет исключений.

В среде эволюционной адаптации было очень маловероятным оказаться от кого-то на расстоянии, большем чем один понятийный шаг, одно логическое умозаключение. Когда ты обнаруживал новый оазис, тебе не надо было рассказывать своим соплеменникам, что такое оазис, или почему стоит пить воду, или как перемещать ноги для того, чтобы ходить. Где находится оазис, знаешь только ты; это знание приватно. Но у всех остальных уже есть предпосылки для того, чтобы понять описание оазиса, все уже владеют понятиями, необходимыми, чтобы думать о воде; это знание универсально. В тех редких случаях, когда какие-то объяснения были необходимы, тебе

почти никогда

 не нужно было разъяснять свои понятия. В самом худшем случае, нужно было рассказать об одном новом понятии, но не о двух (или больше) одновременно.

В среде эволюционной адаптации не было абстрактных дисциплин, сжимавших огромные кучи свидетельств в элегантные теории, описанные в книгах, выводы которых

на десятки понятий и сотни умозаключений удалены

 от всеобщего информационного фундамента.

В среде эволюционной адаптации лишь лгуны или идиоты пытаются рассказывать о вещах, обоснование которых не очевидно. У их слушателей вряд ли возникнет мысль о том, что, возможно, этот парень располагает какой-либо достоверной фундаментальной информацией, неизвестной никому в твоём окружении. Невозможность такого положения дел была надёжной неизменной характеристикой среды эволюционной адаптации.

И наоборот, если ты сказал что-то вопиюще очевидное, а твой собеседник с этим не согласился, то он либо идиот, либо намеренно упирается с целью позлить тебя.

И к тому же, если кто-то рассказывает о какой-то вещи, обоснование которой не очевидно, а затем ждёт от тебя понимания и поддержки, — и возмущается, не найдя их — то он явно безумен.

И я думаю, что этот эффект (вкупе с

иллюзией прозрачности

 и

самоякорением

(English)) объясняет

многие

 аспекты тех легендарных затруднений, с которыми сталкиваются учёные, пытающиеся общаться с обывателями (или даже просто с учёными из других областей науки). Я часто вижу следующую картину: объяснение не удаётся. Популяризатор науки делает

один

 шаг назад, хотя правильным было бы сделать два, или даже больше шагов назад. Слушатель же, в свою очередь, считает, что всё должно стать понятным через один шаг, хотя на самом деле для этого необходимо больше шагов. Обе стороны ведут себя так, словно понятийное расстояние между ними очень мало; будто бы всеобщие знания очень близки к любому новому знанию.

Биолог, говоря с физиком, может обосновать теорию эволюции, сказав, что она — «простейшее объяснение». Но легендарная история науки не впиталась в души большинства остальных людей; они не видят этих столетий, от Ньютона до Эйнштейна, подаривших фразе «простейшее объяснение» весь её потрясающий смысл, превративших её в Слово Силы, что произносится при рождении теорий и высекается на их надгробных камнях. Для не-учёного фраза «но это — простейшее объяснение!» звучит, как любопытный, но вряд ли решающий аргумент; простота не выглядит могущественным инструментом для постижения офисных интриг или для починки автомобиля. Должно быть, биолог слишком ослеплён любовью к своим идеям для того, чтобы непредвзято взглянуть на альтернативные объяснения, которые звучат настолько же убедительно (они звучат убедительно для меня, поэтому они должны звучать убедительно для любого человека из моего окружения).

Биолог может понять, что впервые теория эволюции звучит странновато. Однако, если кто-то отвергает эволюцию даже после того, как биолог рассказал, что это наиболее простое объяснение и пояснил, почему… Ну, видимо, не-учёные просто глупы, и нет смысла с ними разговаривать.

Хорошее выступление должно

проложить понятийный путь

, начинающийся от позиций, которые аудитория

уже знает или принимает

. Если ты задашь недостаточную глубину рекурсии, то в итоге ты будешь просто разговаривать сам с собой.

Каждое новое заявление должно очевидным образом опираться на аргументы, сказанные тобой ранее и принятые аудиторией. Как только эта цепочка нарушается, аудитория начинает считать тебя жертвой секты.

То же самое произойдёт, если ты позволишь себе опираться на аргумент более сильно, чем готовы разрешить слушатели. Например, если ты посчитаешь фразу «эволюция — простейшее объяснение» решающим аргументом (таким она и является), а не любопытным, чуточку забавным нюансом (так она выглядит в глазах человека, не привыкшего чтить Бритву Оккама).

И не давай слушателям намёков на то, что ты считаешь их отставшими от тебя на дюжину понятийных шагов, или то, что ты думаешь, что располагаешь какими-то особыми неизвестными им фундаментальными знаниями. Слушатели не знают о том, что эволюционная психология предсказывает существование дефекта мышления, ведущего к недооценке понятийных расстояний. Они не думают, что у пробок на дороге общения есть какая-то особенная причина. Поэтому их просто будет раздражать твоя снисходительность.

И если ты считаешь, что можешь кратко объяснить понятие «систематической недооценки понятийных расстояний», быстренько бросив пару слов, то вынужден тебя огорчить…

Линза, видящая свои изъяны

Элиезер Юдковский

Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки; и теперь ты убеждён в том, что твои шнурки и в самом деле развязаны.

Вот секрет осознанной рациональности: в этом процессе передачи сцепленности нет ничего магического, и его можно понять. Ты можешь понять, как ты видишь свои шнурки. Ты можешь думать о том, какие когнитивные процессы создают убеждения, отражающие реальность, и какие когнитивные процессы — нет.

Мыши могут видеть, но они не могут понять зрения. Ты можешь понять зрение, и поэтому ты способен на вещи, которые мышам и не снились. Подивись этому несколько секунд, ведь это действительно чудо.

Мыши видят, но они не знают, что у них есть зрительная кора, и поэтому они не могут систематически бороться с оптическими иллюзиями. Мышь живёт в ментальном мире, где есть кошки, дыры, сыр и мышеловки, — но нет мышиных мозгов. Их камеры не могут сфотографировать линзы собственного объектива. Но люди могут посмотреть на причудливую картину и осознать, что часть того, что они видят, является линзами их объектива. Ты не обязан всегда верить своим глазам, но ты обязан понимать, что у тебя есть глаза — у тебя должны быть отдельные участки памяти для карты и для местности, для чувств и реальности. Если ты считаешь этот навык тривиальным, вспомни, насколько он редок в царстве животных.

Вся идея Науки — это, в сущности, поиск наиболее надёжного способа отразить в зеркале разума содержимое целого мира. Мыши никогда не смогли бы изобрести такую идею. Размышляя о всех вопросах вроде «мы проводим повторяемые эксперименты, чтобы фальсифицировать теорию», мы можем разобраться, почему именно наука работает. Наука — это не отдельный магистерий, далёкий от реальной жизни и непонятный для простых смертных. Нельзя сказать, что науку можно применять только в лабораториях. Наука — это постижимый и объективно существующий процесс, который связывает содержимое мозга с реальностью.

Наука довольно логична, если как следует о ней подумать. Но мыши не могут думать о мышлении, и поэтому у них нет науки. Не проглядите заключённого в этом чуда, не упустите потенциальной мощи, которую нам дарит этот факт. Нам — в смысле «личностям», а не «научным сообществам».

Нужно признать, что задача понять мыслительный механизм может быть сложнее задачи понять часовой механизм — но между этими задачами нет фундаментальных различий.

Однажды я спросил посетителей канала #philosophy: «Верите ли вы в то, что ядерная война случится в течение ближайших 20 лет? Если нет, то почему?». Один человек сказал: «Я не думаю, что в ближайшие 100 лет начнётся ядерная война: все игроки, участвующие в принятии подобных решений, сейчас в ней не заинтересованны». Я спросил: «Но почему ты считаешь, что ситуация сохранится в течении 100 лет?». «Просто надежда», ответил он.

Если поразмыслить об этом мыслительном процессе, то можно увидеть, что перспектива ядерной войны пугает этого человека, и поэтому его мозг отвергает соответствующее убеждение. Но если представить себе миллиард миров — ответвления Эверетта или дупликаты Тегмарка(English) — то станет ясно, что такие размышления не создают корреляции между оптимистами и мирами без ядерной войны, как должно было бы быть, если бы они были бы рациональными.

(В этот момент у кого-то может появится соблазн сказать «Но если у меня есть надежда, я буду работать лучше, заработаю больше денег, тем самым помогу мировой экономике, и в результате страны будет не так просто столкнуть в пучину злобы, бедности и отчаяния, когда возможность ядерной войны всерьёз угрожает будущему. Получается, что надежда имеет отношение к реальности». Раз уж дошло до такого, мне придётся вытащить теорему Байеса и количественно измерить силу этого свидетельства. Оптимизм не может иметь столь огромный эффект на мире; его недостаточно для того, чтобы сместить вероятность ядерной войны на 20%, или насколько там оптимизм смещает степень убеждённости. Сильно изменять свои убеждения из-за события, несущего очень малый заряд сцепленности — практика, не способствующая точному картографированию.)

Задуматься о том, какие убеждения сделают тебя счастливым — посмотреть внутрь, а не наружу. Ответ может сказать что-то новое о твоей психике, но это не свидетельство, сцепленное с окружением. Я не имею ничего против счастья, но счастье должно порождаться картиной мира, а не преступным использованием ментальных карандашей в целях сокрытия правды.

Если ты можешь это увидеть — если ты можешь заметить, что надежда слишком сильно влияет на твои размышления первого уровня; если ты можешь увидеть свой мозг как рисующий карты механизм, в котором есть недочёты — то ты можешь что-нибудь исправить. Мозг — дефектная линза, не совсем точно показывающая действительность. Это верно в отношении мозга как мыши, так и человека. Но мозг человека — это линза, могущая понять свои изъяны, могущая увидеть свои систематические ошибки, свои искажения, а после применить к ним исправления второго уровня. Этот факт делает дефектную линзу намного могущественней на практике. Делает её не совершенной, но намного более эффективной.

Ложные убеждения

Убеждения должны окупаться

Элиезер Юдковский

Начало одной древней притчи звучит так:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук? Кто-то говорит «да, оно порождает колебания воздуха». Другой говорит «нет, никакой мозг не производит обработку слуховой информации».

Представим, что после того, как дерево упало, эти двое вместе входят в лес. Будет ли первый ожидать увидеть дерево, упавшее влево, а второй — дерево, упавшее вправо? Представим, что перед падением дерева двое оставили рядом с ним включённый диктофон; а после — воспроизводят его запись. Будет ли кто-либо из них ждать не тех звуков, что другой? Представим, что они присоединили электроэнцефалограф к каждому мозгу на планете — планирует ли кто-нибудь увидеть график, который не рассчитывал увидеть второй? Несмотря на то, что эти люди спорят, один говорит «нет», а другой «да», ожидаемые ими переживания не отличаются. Спорщики считают, что у них разные модели мира, но в этих моделях нет никаких различий по отношению к тому, какие будущие наблюдения им предстоят.

Соблазнительно попытаться уничтожить этот класс ошибок с помощью запрета всех убеждений, не являющихся ожиданиями какого-либо чувственного опыта. Но в мире есть многое, что не ощущается напрямую. Мы не видим атомов, из которых состоит кирпич, но эти атомы действительно существуют. Под твоими ногами пол, но ты не ощущаешь его напрямую, ты видишь отражённый от него свет (или, точнее, ты видишь результат обработки этого света сетчаткой и зрительной корой). Сделать вывод о существовании пола на основе его зрительного наблюдения — значит подумать о незримых причинах, стоящих за ощущениями. Этот шаг выглядит очень незначительным и очевидным, но это всё же шаг.

Ты стоишь на вершине небоскрёба, рядом с тикающими старинными часами, имеющими часовую, минутную и секундную стрелки. В твоей руке шар для боулинга, и ты сбрасываешь его с крыши. На какой по счёту щелчок стрелок ты ожидаешь услышать грохот шара, упавшего на землю?

Чтобы точно ответить на этот вопрос, тебе нужно использовать убеждения вроде «гравитация Земли равна 9,8 м/с^2» и «высота этого здания равна 120 метрам». Эти убеждения нельзя назвать бессловесными ожиданиями чувственного опыта; они довольно словесные, пропозициональные. Можно, не сильно погрешив против истины, описать эти убеждения как предложения, составленные из слов. Но эти убеждения имеют выводимое последствие, которое является прямым чувственным ожиданием — если секундная стрелка часов стоит на числе 12, когда ты бросил шар, то ты ожидаешь увидеть её на числе 1, когда ты услышишь грохот пять секунд спустя. Для того, чтобы ожидать чувственный опыт настолько точно, насколько это возможно, необходимо обрабатывать убеждения, не являющиеся ожиданиями чувственного опыта.

Великая сила Homo Sapiens состоит в том, что мы, лучше чем любой другой вид на планете, можем научиться моделировать невидимое. И в этом же состоит одна из наших величайших слабостей. У людей нередко встречаются убеждения о вещах, которые не просто незримы, но и нереальны.

Тот же самый мозг, что может логически вывести и построить сеть причин, лежащую за чувственным опытом, может построить и сеть причин, не соединённую ни с каким чувственным опытом (или очень плохо соединённую). Алхимики были убеждены в том, что флогистон вызывает огонь — очень упрощённо, это можно представить, как узел с надписью «флогистон», от которого тянется стрелка к чувственному опыту тёплого костра — но это убеждение не производило предсказаний на будущее; связь между флогистоном и наблюдениями всегда корректировалась после наблюдений, вместо того, чтобы как-нибудь ограничить наблюдения заранее. Или, скажем, учитель литературы говорит тебе, что знаменитый писатель Валки Вилкинсен — «пост-утопист». Что изменилось в твоих ожиданиях по поводу его книг в свете этой новой информации? Ничего. Это убеждение — если вообще можно называть это убеждением — вообще никак не связано с чувственным опытом. Но, тем не менее, тебе лучше запомнить о связи между Валки Вилкинсеном и атрибутом «пост-утопист»: тогда ты сможешь извергнуть это обратно на будущем экзамене. Если тебе сообщат, что «пост-утописты» показывают «охлаждение колониальных чувств», то ситуация совершенно аналогична: если автор письменного теста спросит, показывал ли Вилкинсен охлаждение колониальных чувств, то стоит ответить утвердительно. Убеждения связаны друг с другом, хоть и не связаны ни с каким ожидаемым опытом.

Люди могут построить целые сети убеждений, соединённые только друг с другом — будем называть это явление «плавающими» убеждениями. Это уникальный человеческий изъян, не имеющий аналогов у остальных животных, извращение способности Homo Sapiens строить абстрактные и гибкие сети убеждений.

Одна из добродетелей рационализма — эмпиризм — состоит в привычке постоянно задаваться вопросом о том, какой опыт предсказывается этим убеждением — или, ещё лучше, какой запрещается. Ты убеждён, что флогистон — причина огня? Тогда что ты ожидаешь увидеть, исходя из этого? Ты считаешь Валки Вилкинсена пост-утопистом? Тогда что ты рассчитываешь встретить в его книгах? Нет, не «охлаждение колониальных чувств»; какое переживание случится с тобой? Веришь ли ты в то, что если дерево падает в лесу, и нет никого рядом, чтобы это услышать, то оно всё равно создаёт звук? Тогда какой опыт должен выпасть на твою долю?

Ещё лучше спросить о том, какой опыт тогда с тобой точно не случится. Ты веришь в то, что жизненная сила объясняет загадочную разницу между живым и неживым? Тогда какие происшествия это убеждение запрещает, какое событие совершенно точно опровергнет это убеждение? Ответ «никакое» говорит о том, что это убеждение не ограничивает возможные переживания. Оно позволяет случиться с тобой чему угодно. Оно плавает.

Споря по поводу вопроса, вроде бы связанного с фактами, всегда держи в уме различие ожиданий будущего, из-за которого происходит спор. Если найти это различие не удаётся, то, скорее всего, вы спорите о названиях ярлыков в сети убеждений — или, ещё хуже, о плавающих убеждениях: ракушках-прилипалах на сети убеждений. Если ты не представляешь, какой опыт следует из того, что Валки Вилкинсен принадлежит к пост-утопистам, то ты можешь спорить бесконечно (а ещё ты можешь опубликовать бесконечное количество статей в литературных журналах).

И самое главное: не спрашивай, во что верить, — спрашивай, чего ожидать. Каждый вопрос об убеждениях должен порождаться вопросом о предсказаниях, и именно этот вопрос о предсказаниях должен быть в центре внимания. Каждое смутное убеждение должно рождаться как смутное ожидание, а затем оплачивать жилплощадь прогнозами будущего. Если убеждение становится злостным неплательщиком — высели его.

Сказ о науке и политике

Элиезер Юдковский

Во времена Византийской империи светская жизнь оказалась разделена на два лагеря: Синий и Зелёный. Синие и Зелёные убивали друг друга на дуэлях, в драках «стенка на стенку», в засадах и погромах. Прокопий Кесарийский говорил о них: «Вражда к противникам возникает у них без причины и остаётся навеки; не уважаются ни родство, ни свойство, ни узы дружбы. Даже родные братья, приставшие один к одному из этих цветов, другой к другому, бывают в раздоре между собою». Эдвард Гиббон писал: «Поддержка одной из группировок стала необходимой для любого кандидата, будь он светским или духовным лицом».

Кто же были эти Синие и Зелёные? Всего лишь спортивные болельщики — сторонники синей и зелёной команд в гонках на колесницах.

А теперь представьте общество будущего, которому пришлось сбежать в сеть подземных туннелей и пещер и закрыть все входы. Мы не будем уточнять, бежали ли они от болезни, войны или от радиации. Первым подземным жителям удалось наладить производство еды, возобновление воздуха, найти воду, организовать освещение и выжить. Их потомки благоденствовали и даже стали строить города. О верхнем мире остались лишь легенды, написанные на клочках бумаги, и один из таких клочков описывал небо, бескрайний простор воздуха над полом без стен. Небо было лазурного цвета, и в нем летали странные объекты, напоминающие пучки белого хлопка. Значение слова «лазурный» вызывало противоречия, некоторые говорили, что оно обозначает синий цвет, а другие — зелёный.

В ранние дни подземного сообщества соперничество Синих и Зелёных доходило до открытого насилия, но теперь царит перемирие — мир, рождённый отвращением к бессмысленной вражде. Культурные обычаи изменились, существует многочисленный и преуспевающий средний класс, воспитанный в духе правового государства и непривычный к насилию. В школах преподаётся история: как долго длилась вражда между Синими и Зелёными, как много людей погибло, как мало в итоге изменилось. Граждане подготовлены к странной новой философии, гласящей, что люди — это люди, не важно, за Синих они или за Зелёных.

Сам конфликт не исчез. Общество всё ещё разделено на Синие и Зелёные области, в любом актуальном культурном или политическом вопросе выделяется «Синяя» и «Зелёная» позиции. Синие ратуют за налоги на личные доходы, Зелёные поддерживают налоги на продажи торговцев. Синие придерживаются более строгих законов о браке, в то время как Зелёные хотели бы упростить бракоразводный процесс. Синие пользуются поддержкой центральных городских районов, а периферийные фермеры и продавцы воды обычно оказываются в лагере Зелёных. Синие верят, что Земля — это огромная шарообразная скала в центре вселенной, а Зелёные считают, что Земля — это огромная плоская скала, вращающаяся вокруг другого объекта, называемого Солнцем. Отнюдь не каждый Синий или Зелёный гражданин принимает «Синюю» или «Зелёную» позицию по любому вопросу, но довольно тяжело найти городского торговца, который считает, что небо было синим, и в то же время голосует за налоги на личные доходы и более свободные законы о браке.

Подземелье всё ещё поляризовано. Царит хрупкий мир. Есть некоторое число людей, искренне считающих, что Синие и Зелёные должны быть друзьями. Обычное дело, когда Зелёный покровительствует Синему магазину или Синий любит посещать Зелёную таверну. Из перемирия, изначально рождённого усталостью, медленно растёт дух терпимости и даже дружбы.

Однажды в Подземелье произошло небольшое землетрясение. Группа из шести туристов почувствовала содрогание земли, находясь на прогулке среди руин древнего поселения, где-то в верхних пещерах. Один из туристов упал и поранил колено, и группа решила повернуть назад, опасаясь новых землетрясений. На обратном пути один из них заметил странное дуновение воздуха, какой-то запах, исходящий из давно заброшенного туннеля. Не обращая внимания на предостережения спутников, этот человек одолжил лампу и направился к туннелю. Каменный коридор шёл выше… и выше… и наконец закончился дырой, выходящей из этого мира. Каменные стены закончились. Пространство, бесконечное пространство простиралось в никуда, здесь хватило бы места для тысячи городов. Невообразимо далеко наверху и слишком ярко, чтобы смотреть не щурясь, жгучий огонёк лучился светом, освещающим всё вокруг, как ничем не прикрытая нить накаливания какой-то гигантской лампы. В воздухе, ничем не поддерживаемые, висели непостижимые пучки белого хлопка. И цвет бескрайнего сияющего потолка был…

На этом месте история разветвляется, в зависимости от того, кто именно из туристов решил последовать по коридору к поверхности.

Адитья Синяя стояла под синей бесконечностью и медленно улыбалась. Улыбка не была радостной. В ней была ненависть и раненная гордость. Она припоминала каждый свой аргумент в спорах с Зелёными, каждое соперничество, каждую вырванную победу. «Ты всё время была права», — шепнуло ей небо, — «и теперь ты можешь это доказать». Какое-то мгновенье Адитья стояла, впитывая послание, упиваясь им, а затем она повернулась и ушла в коридор, неся его миру. Шаг, ещё шаг… её пальцы сжались в кулак. «Перемирие закончено», — сказала она.

Бэррон Зелёный бессмысленно глазел на хаос цветов долгие секунды. А потом запоздавшее понимание взорвалось в его животе, как удар молота. Слёзы потекли из его глаз. Бэррон думал о Катэйской Резне, когда армия Синих вырезала всё население городка Зелёных, включая детей. Он думал о древнем Синем генерале — Аннасе Релле, который объявил Зелёных «чумной ямой, язвой, нуждающейся в прижигании». Он думал об огоньках ненависти, которые он замечал в глазах Синих, и что-то внутри него треснуло. «Как ты можешь быть на их стороне?!» – закричал он небу и начал рыдать. Стоя под злобным синим свечением, он знал, что вселенная всегда была обителью зла.

Чарльз Синий ошеломлённо созерцал синий потолок. Как профессор смешанного колледжа он всегда аккуратно подчёркивал, что Синяя и Зелёная точки зрения в равной степени верны и заслуживают терпимого отношения, небо — это метафизическая сущность, а «лазурный» — цвет, который может восприниматься по-разному. На мгновенье Чарльз задумался, не увидит ли какой-нибудь Зелёный, встав на его место, зелёный потолок, или не будет ли потолок зелёным завтра, но он не стал бы делать выживание цивилизации ставкой в этом споре. Это был всего лишь природный феномен, не имеющий никакого отношения к морали или к обществу… Но феномен, который наверняка поймут неправильно, как опасался Чарльз. Он вздохнул и повернулся к коридору. Завтра он придёт сюда один и закроет проход.

Дарья, когда-то Зелёная, пыталась дышать посреди обломков своего мира. «Я не зажмурюсь» — сказала она себе. — «Я не отвернусь». Всю свою жизнь она была Зелёной, а теперь она должна стать Синей. Её друзья, её семья… все они отвернутся от неё. Говори правду, даже если твой голос дрожит, когда-то говорил ей отец. Но сейчас отец был мёртв, а мать никогда не сможет понять. Дарья смотрела в спокойный синий глаз неба, пытаясь принять его, и наконец её дыхание успокоилось. «Я ошибалась», — скорбно сказала она себе. В конце концов, не так уж это и сложно. Она найдёт новых друзей, и, возможно, семья сможет простить её… А может, они даже отважатся сами встать под этим небом и пройти этот экзамен, подумала она с надеждой. «Небо синее», — произнесла Дарья в качестве эксперимента, и ничего ужасного с ней не произошло, правда, у неё не получилось заставить себя улыбнуться. Дарья Синяя печально выдохнула и пошла обратно в свой мир, думая о том, что она скажет.

Эддин Зелёный посмотрел в синее небо и цинично рассмеялся. Наконец-то он понял учебник мировой истории, правда, ему всё равно не верилось, что они были такими дураками. «Глупцы», — произнёс Эддин, — «глупцы, глупцы, всё это время оно было здесь». Ненависть, убийства, войны, и всё это время оно было просто явлением, о котором кто-то когда-то написал на бумаге, как обычно пишут о любом другом явлении. Никакой поэзии, никакой красоты, ничего такого, о чём любой здравомыслящий человек станет беспокоиться. Просто одно бессмысленное слово, влияние которого распространилось за любые разумные границы. Эддин устало прислонился к стене пещеры, пытаясь придумать, как не дать миру взорваться от этого открытия, и задаваясь вопросом, а не заслуживают ли все они именно этого.

Феррис невольно открыл рот, он замер на месте в абсолютном изумлении и восхищении. Его глаза жадно метались туда-сюда, с неохотой покидая одно зрелище, чтобы впиться взглядом в другое. Синее небо, белые облака, бескрайняя неизвестность снаружи, полная мест и предметов, а, возможно, и людей, которых никогда не видели в Подземелье. «О, так вот какой это цвет», — сказал Феррис и отправился исследовать.

Дополнение от ex-Parrot

Лоретта Зелёная посмотрела на небо и сказала: «Оно синее. Следовательно, это не небо. Несмотря на безграничность, несмотря на открытость и несмотря на эти штуки, похожие на клочки белого хлопка. Вообще, после того, как я задумалась, они не кажутся так уж сильно похожими на хлопок» .

Джон Экуменист сказал: «Как я всегда и говорил. Оно лазурное!»

Вера в убеждения

Элиезер Юдковский

Карл Саган как-то рассказал притчу(English) о человеке (для удобства дадим ему имя Кредерус), который пришёл к нему и заявил: «В моём гараже живёт дракон». Потрясающе! В течение столетий по всему миру гуляли легенды о драконах, но до сих пор ни у кого нет никаких убедительных свидетельств их существования. Конечно же, любой человек ответит: «Я хочу посмотреть на настоящего дракона, где этот гараж?». Но гость вынужден нас огорчить: дракон невидим.

Далее Саган замечает, что невидимость не делает гипотезу о драконе нефальсифицируемой. Можно войти в гараж и услышать громкое дыхание из пустоты, увидеть неожиданно возникающие следы на земле, а потом при помощи инструментов обнаружить, что что-то в гараже поглощает кислород и выделяет углекислый газ.

Поэтому стоит ответить: «Ничего страшного, я попробую услышать его дыхание». Но Кредерус отвечает, что дракон совершенно бесшумен. — А что, если я измерю содержание углекислоты в воздухе? — Нет, дракон не дышит. — Можно распылить в воздухе муку, тогда она налипнет на дракона, и его контур можно будет увидеть. — Дракон проницаем для муки.

Мораль этой басни в том, что плохая гипотеза должна ловко маневрировать, чтобы избежать опровержения. Но я рассказываю эту историю не для того же, что и Карл Саган. Я хочу проиллюстрировать другую идею.

Где-то в недрах разума Кредеруса явно хранится правильная модель ситуации, поскольку он заранее ожидает определённых результатов всех этих проверок (а именно — таких результатов, которые ему придётся оправдывать).

Некоторые философы запутываются в подобных сценариях, не понимая, верит ли Кредерус в дракона, или всё-таки нет. Можно подумать, что в человеческом мозге мало места, и храниться может только одно убеждение за раз! Реальный разум намного сложнее. Как я уже говорил, убеждения бывают разными, не все можно назвать «прямыми ожиданиями чувственного опыта». Кредерус явно не ожидает увидеть в гараже ничего необычного, иначе он не оправдывался бы заранее. Также возможно, что в его фонде словесных убеждений хранится «В моём гараже живёт дракон». Рационалисту может показаться, что эти два убеждения должны конфликтовать друг с другом, даже несмотря на то, что они разных видов. Но, тем не менее, если написать «небо зелёное» на фотографии синего неба, то бумага и не подумает исчезать в языках пламени.

Добродетель эмпиризма должна не позволить нам совершать подобные ошибки. Рационалисты должны постоянно выяснять, какие переживания предсказывают их убеждения — требовать, чтобы убеждения окупались. Но проблема Кредеруса лежит глубже, и её не исцелить этим простым советом. Довольно просто соединить убеждение в драконе с ожидаемым наблюдением гаража: если ты веришь в живущего в гараже дракона, то ты, открыв дверь, рассчитываешь увидеть этого дракона. Если ты не видишь дракона, то это означает, что в гараже дракон не живёт. Действия довольно просты. Ты даже можешь попытаться повторить это со своим гаражом.

Но нет, эта невидимость — симптом чего-то похуже.

Возможно, ты помнишь тот момент из детства, когда ты уже начал сомневаться в существовании деда Мороза, но ещё считал правильным верить в деда Мороза, и поэтому пытался отвергнуть сомнения. Дэниел Деннет заметил: когда трудно верить в X, намного легче верить в то, что ты обязан верить в X. Как можно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное? Эта фраза вводит в замешательство; непонятно, что это означает в смысле ожидаемых переживаний, непонятно, во что именно ты бы верил, если бы верил. Намного проще поверить в то, что правильно, хорошо, добродетельно и полезно верить в то, что Первичное Космическое Небо одновременно полностью зелёное и полностью синее. Деннет называет это «верой в убеждение» (того же термина буду придерживаться и я).

Ну и затем, раз мы имеем дело с человеческим разумом, всё как обычно усложняется. Думаю, что даже Деннет слишком сильно упростил то, как эта психологическая уловка работает на практике. К примеру, если человек верит в убеждение, то он не может признаться себе в том, что он просто верит в убеждение: ведь добродетельно верить, а не верить в убеждение, следовательно если ты веришь в убеждение, а не просто веришь, то ты не добродетелен. Никто не скажет (даже про себя): «Я не считаю, что Первичное Космическое Небо одновременно синее и зелёное, но я считаю, что мне следует так считать», разве что этот человек необычайно хорошо умеет признавать свои недостатки. Люди не верят в веру в убеждения, они просто верят в убеждения.

(Если вы находите предыдущий абзац сложным для понимания, попробуйте поизучать математическую логику, которая учит остро различать такие вещи, как утверждение P, доказательство P и доказательство того, что P доказуемо. Такие же коренные различия есть и между P, желанием P, верой в P, желанием верить в P и верой в то, что ты веришь в P.)

Вера в убеждения бывает разной. Она может быть явной: человек осознанно повторяет про себя «Добродетельно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное» (и при этом считает, что он в это верит, разве что этот человек необычайно хорошо умеет признавать свои недостатки). Бывают и менее бросающиеся в глаза формы. Возможно, Кредерус боится публичного осмеяния, которое, как он считает, неизбежно последует, если он публично признает, что был неправ (хотя, фактически, любой рационалист искренне порадуется за него, а остальные будут скорее высмеивать Кредеруса, если он, отнюдь, продолжит заявлять о драконе, живущем в гараже). Возможно, Кредеруса передёргивает от перспективы признаться себе в том, что дракона нет (точно также, как его передёргивало бы от физической боли): это противоречит его представлению о себе как о победителе-первооткрывателе, увидевшем в своём гараже то, что упустили все остальные.

Будь все наши мысли теми осознанными предложениями на естественном языке, которыми обычно манипулируют философы, человеческий мозг был бы намного проще для понимания. Быстро утекающие мысленные образы, невысказанные вспышки боли, исполняемые без сознательного ведома желания — всё это составляет такую же часть личности, как и слова.

Несмотря на то, что я не соглашаюсь с Деннетом касательно некоторых деталей и тонкостей, я всё равно считаю, что введённое им понятие вера в убеждение — ключ к понимаю Кредеруса. Однако, необходимо более широко трактовать понятие «убеждения», не ограничивать его вербальными утверждениями. «Убеждение» может включать в себя неявные регуляторы ожиданий. «Вера в убеждение» может содержать неявные ориентиры когнитивного поведения. С точки зрения психологии, утверждение «Кредерус не убеждён в том, что в его гараже живёт дракон; но он убеждён в том, что полезно быть убеждённым в существовании дракона в гараже» в лучшем случае нереалистично. Но вполне допустимо сказать, что Кредерус рассчитывает на отсутствие дракона, и оправдывается,словно он убеждён в наличии дракона.

Человек может каждый день использовать заурядную мысленную картину своего гаража (без драконов), всегда правильно предсказывающую его ощущения после открытия двери, но ни разу в жизни не произнести про себя предложение «В моём гараже драконов нет». Это почти наверняка случалось и с тобой: открывая дверь гаража, или спальни, или чего-нибудь ещё, и ожидая не увидеть драконов, на сознательном уровне ты думаешь о чём угодно, но не о драконах.

И для того, чтобы продолжать стоять на своём и верить в дракона — или чтобы продолжать уклоняться от мысли изменения представления о себе как о верящем в дракона — совсем необязательно думать: «Я хочу верить в дракона, живущего в моём гараже». Достаточно лишь нежелания перспективы признания в ложности заявленных убеждений.

Для того, чтобы правильно готовить оправдания для будущих экспериментальных результатов, Кредерус должен, во-первых, хранить где-то в разуме правильную модель ситуации, контролирующую его ожидания, и, во-вторых, действовать и мыслить таким образом, чтобы защитить либо своё свободно плавающее убеждение о драконе, либо своё представление о себе, как о верящем в дракона.

Если Кредерус верил в убеждение о существовании дракона и вдобавок был убеждён в существовании дракона, то проблема была бы уже не так грозна. Кредерус желал бы рисковать, если речь идёт об экспериментальных предсказаниях, и, возможно, даже согласился бы отказаться от убеждения о существовании дракона, если бы его предсказания бы не сбылись (хотя, если Кредерус был бы не до конца уверен в существовании дракона, то его вера в убеждение могла бы помешать этому признанию). Однако, когда кто-то заранее оправдывается, это обычно требует расхождения убеждения и веры в убеждение.

Байесианское дзюдо

Элиезер Юдковский

Вы можете получить массу удовольствия, общаясь с людьми, чьи ожидания будущего теряют связь с их же верой в убеждения.

Как-то на одном званом обеде я пытался объяснить человеку, чем я зарабатываю на жизнь; и он сказал: «Я не верю в возможность искусственного интеллекта, ведь лишь Бог может создать душу».

Я, должно быть, движимый божественным наитием, немедленно ответил:

— То есть, если я смогу создать искусственный интеллект, то это докажет ложность вашей религии?

— Что? — сказал он.

— Ну, если ваша религия предсказывает, что я неспособен создать искусственный интеллект, то факт создания мной искусственного интеллекта будет означать неправоту вашей религии. Либо ваша религия допускает возможность создания ИИ, либо его создание опровергнет вашу религию.

Повисла пауза — он осознал, что только что сделал свою гипотезу фальсифицируемой — и затем он ответил:

— Ну, я не имел ввиду, что вы не сможете создать интеллект. Я хотел сказать, что он не может испытывать эмоции таким же образом, что и мы.

— Итак, если я создам искусственный интеллект, в который не будет заложено ничего навроде заранее написанного сценария, и моё творение начнёт говорить о чём-то, похожем на нашу духовную жизнь, то тогда ваша религия неверна.

— Ну, гм, видимо нам придётся остаться при своих мнениях на этот счёт. «Согласиться не соглашаться» — в таких случаях говорят англичане.

— На самом деле, так нельзя. Есть теорема из области рациональности — теорема Ауманна о согласии — которая говорит о том, что два рационалиста не могут согласиться не соглашаться. Если два человека не соглашаются друг с другом, то хотя бы один из них должен быть в чем-то неправ.

Мы коротко прошлись по этой теме. И, наконец, он сказал:

— Ну, кажется, на самом деле я пытался сказать вот что: я считаю, что вы не можете создать что-то вечное.

— Ну, я тоже так считаю!— ответил я. — Я рад, что мы смогли прийти к консенсусу по этому вопросу, как и требует теорема Ауманна о согласии.

Я протянул свою руку и он пожал ее, а потом побрёл дальше.

Женщина, которая стояла рядом и слушала наш разговор, серьёзно посмотрев на меня, сказала: «Это было прекрасно».

— Большое спасибо, — ответил я.

Притворная мудрость

Элиезер Юдковский

Самое жаркое место в аду закреплено за теми, кто во время кризиса оставались нейтральными.

– Данте Алигьери, эксперт по аду. Ой, то есть Джон Ф. Кеннеди, который приписывал цитаты кому попало.

Нейтральность и неторопливость с выводами - широко известный прием, который часто применяется в тех случаях, когда люди желают выставить себя взрослыми, мудрыми, непредвзятыми, или просто показать свое превосходство над другими.

Примером этого выступают мои родители, которые отвечали на теологические вопросы вроде «Почему в Древнем Египте, несмотря на обилие хороших записей о множестве разных событий, нет записей о том, что евреи хотя бы были там?» фразами: «Когда я был в твоем возрасте, я тоже задавал такие вопросы, но теперь я это перерос».

Другой пример – директор школы, который, представ перед двумя детьми, пойманными за дракой на игровой площадке, строго говорит: «Неважно кто начал драку, важно лишь кто ее закончил». Ну разумеется важно, кто начал драку. Директор, возможно, не имеет доступа к точной информации на этот счет, но если так, то ему стоит так и сказать, а не отрицать важность того, кто же ударил первым. Представим, что родитель ударил директора – как высоко оценит суд мудрость фразы «не важно кто начал драку» в этом случае? Но для взрослых детская драка – всего лишь неудобство, и для их удобствасовершенно не важно, кто ее начал. Для их удобства важно только то, чтобы она закончилась и закончилась так быстро, как только можно.

Похожая динамика, по-моему, управляет международными дипломатическими случаями, когда Великие Силы строго говорят меньшим группам прекратить конфликты прямо сейчас. Великим Силам не важно кто начал: кто спровоцировал, кто непропорционально ответил на провокацию, ведь длящееся неудобство для Великих Сил - это только всего лишь функция длящегося конфликта. Блин, почему бы Израилю и Хамасу не найти наконец общий язык?

Это я называю «притворяться Мудрым». Разумеется, есть множество способов продемонстрировать мудрость. Но демонстрировать ее отказываясь делать догадки, отказываясь анализировать свидетельства, отказываясь выносить суждения, отказываясь принимать сторону, оставаясь в стороне, взирая высокомерно и снисходительно, т.е. демонстрировать мудрость ничего не говоря и не делая - ну, это я нахожу особенно претенциозным.

Паулу Фрейре сказал: «Умывать руки во время конфликта между сильным и бессильным – значит встать на сторону сильного, а не быть нейтральным.1 Игровая площадка на которой учителей не волнует кто начал конфликт представляет собой хорошее место для хулиганов, и отвратительное для их жертв. Это касается и международной политики: мир, где Великие Силы отказываются принимать сторону и лишь требуют немедленных договоренностей – удобный мир для агрессоров и ужасный для тех, на кого эта агрессия направлена. Но, разумеется, это очень удобный мир, если вы в нем Великая Сила или школьный директор.

Так что это поведение по крайней мере отчасти можно объяснить элементарным эгоизмом со стороны Мудрого.

Однако, в то же время, это еще и выражение превосходства. В конце концов, что подумают о директоре другие взрослые, если он встанет на чью-то сторону в обыкновенной детской драке? Ну как же, это ведь понизит статус директора до обычного участника столкновения!

То же самое касается любого уважаемого старшего – исполнительного директора, влиятельного академика, основателя форума – чья репутация непредвзятого человека основывается на том, что он практически никогда не выносит суждений сам, пока другие занимают стороны. Стороны обращаются к ним за поддержкой, но почти всегда впустую. Ведь Мудрых почитают как судей только при условии, что они почти никогда не выносят суждений – ведь в противном случае они были бы рядовыми участниками спора, ничем не лучше других.

(Как ни странно, судьи в судах могут себе позволить регулярно выносить реальные приговоры без автоматической потери своей репутации непредвзятых. Может потому, что все понимают, что они должны судить, ведь это их работа. Или потому, что судьям не приходится раз за разом разрешать вопросы, разделяющие на две части племя, от чьего уважения они зависят).

Существуют случаи, в которых рационально подождать с суждениями. Это, когда люди торопятся с выводами исключительно из-за своих искажений. Как сказал Майкл Руни: «Эту ошибку я неоднократно замечал у студентов, которые начинают изучать философию: столкнувшись с причинами стать скептиками, они вместо этого становятся релятивистами». Выходит, что в случаях, когда рационально не торопиться с выводами о чем-либо, слишком многие вместо этого приходят к решению, что все выводы одинаково приемлемы.

Как мы можем избежать связанной с предыдущей, но отдельной ошибки –псевдорационального поведения, заключающегося в демонстрации вашей неискаженной непредвзятости путем необоснованного утверждения, что что текущий баланс свидетельств нейтрален? «Ох, ну, разумеется, есть немало убежденных дарвинистов, но я думаю, что свидетельства не позволяют нам сделать окончательный вывод о превосходстве естественного отбора над разумным творением».

Тут я предлагаю вспомнить, что нейтральность это точное суждение. Это совсем не то же самое, что оставаться вне и над. Это выражение ясной и конкретной позиции о том, что баланс свидетельств в конкретном деле допускает только одну трактовку - нейтральную. Это суждение тоже может оказаться неверным. Вывод о нейтральности может обсуждаться так же, как и вывод о правоте любой из сторон.

Точно так же дело обстоит и с политическими вопросами. Если какие-то люди утверждают, что и у пролайф («движения в защиту жизни») и у прочойс («движения в защиту репродуктивного выбора») позиции есть разумные идеи, и им определенно стоит стремиться к компромиссу и уважению, то они не занимают позицию вне дискуссии. Они выносят конкретное суждение, настолько же конкретное как и суждения «пролайф правы» или «прочойс правы».

Кстати говоря… этот текст не является приглашением к дискуссии об абортах или Палестино-Израильском конфликте в комментариях. Этот сайт - не для этих дискуссий, есть другие места чтобы обсуждать эти полностью заслуживающие обсуждения темы. Может быть потом, когда LessWrong станет достаточно большим… но сейчас не время.

Но дело не в том, что рационалисты слишком зрелые, чтобы говорить о политике. Дело не в том, что рационалисты выше этой глупой потасовки, до участия в которой унижаются только обычные сторонники политических партий и юные энтузиасты.

Робин Хэнсон отмечает, что способность участвовать в горячих спорах - ограниченный ресурс. Если вам удастся найти, где применить те же силы с большим результатом, то с вашей стороны разумно тратить силы на обсуждения, от которых может быть больше пользы, чем на те, в которых множество участников тратит много сил.

Но в таком случае ваши приоритеты – это следствие вашей ограниченности в ресурсах. Это не значит, что вы мудро и спокойно парите над схватками, в которых решаете не участвовать.

Мой ответ Полу Грэхэму на Хакер Ньюс, похоже, стоит повторить здесь:

Есть разница между:

Принятием нейтрального суждения

Отказом вложить незначительные ресурсы.

Претензией на то, что любой из вариантов выше является признаком большой мудрости, зрелости и демонстрацией превосходства, с подтекстом, что исходные стороны конфликта - это худшие точки зрения, которые не так уж сильно отличаются с высоты вашего полета.

Претензия религии на неопровергаемость

Элиезер Юдковский

Самое раннее известное мне упоминание научного эксперимента — это, как ни иронично, история об Илии и жрецах Ваала.

Народ Израиля колеблется между Иеговой и Ваалом, поэтому Илия объявляет, что проведёт эксперимент, чтобы решить эту проблему— какое новаторство по тем временам! Жрецы Ваала поместят своего быка на алтарь, а Илия поместит на алтарь быка Иеговы, но никому из них не будет позволено зажечь огонь; чей Бог истинный, тот и заставит огонь сойти на Его жертву. Жрецы Ваала служат для Илии контрольной группой — такое же древесное топливо, такой же бык и такие же жрецы, возносящие молитвы, но ложному богу. Затем Илия льёт воду на свой алтарь, разрушая симметрию эксперимента, но ведь это было так давно — тем самым он обозначает добровольное принятие бремени доказательства — эквивалент современного уровня значимости в 0,05. Огонь сходит на алтарь Илии, что является экспериментальным наблюдением. Народ Израиля, кричащий: «Господь есть Бог!» — экспертная оценка.

А потом они оттащили 450 жрецов Ваала к реке Кишон и перерезали им глотки. Это сурово, но необходимо. Надо жёстко отсечь опровергнутую гипотезу — и сделать это быстро, прежде чем она сможет найти предлог для самозащиты. Если бы жрецам Ваала сохранили жизнь, они бы начали болтать, что религия на самом деле — отдельный магистерий, недоступный ни подтверждению, ни опровержению.

В былые дни люди действительно

верили

 в то, что говорила им их религия, а не просто считали религию

важной

. Библейские археологи, отправившиеся искать Ноев Ковчег, не считали, что впустую тратят своё время; они

предполагали

 стать знаменитыми. И лишь после того, как не смогли найти подтверждающих свидетельств — а нашли опровергающие — только тогда эти святоши совершили то, что Уильям Бартли назвал

возвращением к убеждению

: «Я верю, ибо я верую».

В былые дни не существовало концепции религии как отдельного магистерия. Ветхий Завет — это свалка культурного потока сознания: история, право, притчи о морали, и, да, модели того, как работает Вселенная. Вы не найдёте ни в одной строчке Ветхого Завета трансцендентного восхищения сложностью Вселенной. Но вы найдёте множество вполне

научных заявлений

 (English), вроде Вселенной, созданной за шесть дней (что является метафорой Большого Взрыва), или кроликов, жующих жвачку (что является метафорой…).

В былые дни заявление о том, что местную религию «невозможно подтвердить», привело бы вас на костёр. Одно из главных верований ортодоксального иудаизма заключается в том, что Бог появился на горе Синай и произнёс громовым голосом: «Ага, это всё правда». В

байесианской перспективе

 это, чёрт возьми, весьма однозначное доказательство существования нечеловечески могущественной сущности. (Хотя и не того, что эта сущность,

собственно

, Бог, или что эта сущность добродетельна — это могли быть и подростки-инопланетяне.) Абсолютное большинство религий в истории человечества — не считая придуманных

совсем

 недавно, — рассказывают истории о событиях, которые представляли бы собой совершенно безошибочное доказательство, если бы действительно случились. Независимость религии от фактических реалий — весьма

недавняя

 и исключительно

западная

 концепция. Люди, создававшие оригинальные писания, даже не знали о разнице между одним и другим.

Римская империя унаследовала древнегреческую философию, установила закон и порядок в своих провинциях, вела бюрократические записи и насаждала религиозную терпимость. Новый Завет, созданный уже во времена Римской империи, благодаря этому несёт на себе своеобразную печать модерна. Вы не можете придумать историю о том, как Бог полностью уничтожает город Рим (à la Содом и Гоморра), потому что римские историки ткнули бы вас в это носом, и вы не смогли бы просто закидать их камнями.

Но в былые дни люди, придумавшие истории Ветхого Завета, могли сочинять всё, чего бы им ни захотелось. Ранние египтологи были неподдельно шокированы тем, что не нашли абсолютно никаких следов еврейских племён, когда-либо бывавших в Египте — найти записи о Десяти казнях они и не мечтали, но они хоть что-нибудь обнаружить надеялись. Как оказалось, кое-что всё-таки нашли. Они обнаружили, что в предположительное время Исхода Египет правил большей частью Ханаана. Это гигантская историческая ошибка, но, поскольку библиотек не существует, вас некому ткнуть в неё носом.

А вот в Римской империи были библиотеки. Поэтому Новый Завет не заявлял о больших красочных широкомасштабных геополитических чудесах, что было привычным для Ветхого Завета. Вместо этого Новый Завет заявляет о меньших чудесах, которые, тем не менее, помещаются в те же самые доказательные рамки. Мальчик падает на землю, у него изо рта идёт пена; причина тому — нечистый дух; резонно ожидать, что нечистый дух убежит от истинного пророка, но не убежит от шарлатана; Иисус изгоняет нечистый дух; таким образом, Иисус — истинный пророк, а не шарлатан. Это совершенно обычное

байесовское рассуждение

, если принять в качестве базовой предпосылку, что эпилепсия вызывается демонами (и что прекращение эпилептического припадка доказывает, что демон сбежал).

Религия высказывала своё мнение не только в фактических и научных вопросах, религия высказывала своё мнение

обо всём

. Религия создала кодекс законов до возникновения законодательных органов; религия записывала историю до историков и археологов; религия устанавливала сексуальную мораль до женской эмансипации; религия расписывала формы государства до конституций; и религия отвечала на все научные вопросы: от биологической таксономии до формирования звёзд. Ветхий Завет не говорит о чувстве восхищения сложностью Вселенной — он слишком занят назначением смертной казни женщинам, носящим мужскую одежду, что, по тем временам, было вполне удовлетворительным содержанием религиозного текста. Современная концепция религии как чего-то строго

морального

 порождена тем, что все остальные сферы были отняты у неё более компетентными институтами. Мораль — это всё, что

осталось

.

Или, скорее, люди

думают

, что мораль — это всё, что осталось. Возьмите свалку культуры, какой она была 2500 лет назад. Со временем человечество безмерно продвинется вперёд и части древней культурной свалки станут уже вопиюще устаревшими. Мораль не защищена от человеческого прогресса — например, сейчас мы весьма неодобрительно смотрим на такую одобренную Библией практику, как рабство. Почему люди

думают

, что такая мораль всё ещё допустима?

В действительности, нет ничего несущественного в этической проблеме убийства тысяч невинных перворождённых младенцев мужского пола, совершённого с целью убедить неизбранного фараона выпустить рабов, которые, если рассуждать логически, могли быть просто телепортированы из страны. Это должно быть

более

 вопиющим, чем сравнительно тривиальная научная ошибка в заявлении, что у кузнечиков четыре ноги. Однако если вы заявите, что Земля плоская, на вас посмотрят, как на идиота. А вот если вы скажете, что Библия — источник вашей морали, ни одна женщина не даст вам пощёчины. Для большинства людей концепция рациональности определяется тем, что, по их мнению, может сойти им с рук; они думают, что одобрение библейской морали сойдёт им с рук; так что для того, чтобы закрыть глаза на моральные проблемы Библии, нужен лишь весьма терпимый уровень самообмана. Все согласились не замечать слона в посудной лавке, и такое состояние дел какое-то время может сохраняться.

Может быть, однажды человечество продвинется дальше, и каждый, кто предложит Библию в качестве источника морали, столкнётся с тем же отношением, с каким столкнулся Трент Лотт (Trent Lott), поддержавший президентскую кампанию Строма Термонда (Strom Thurmond). И тогда скажут, что истинной сутью религии всегда была генеалогия или ещё что-нибудь.

Идея, что религия — это отдельный магистерий, который нельзя

ни доказать, ни опровергнуть

, — это Большая Ложь, повторяющаяся снова и снова, так что люди говорят её не вдумываясь; но, критически рассмотренная, она оказывается попросту неверной.

Это — невероятное искажение того, как религия исторически зарождалась, как писания выражают свои верования, что говорят детям для того, чтобы убедить их, и того, во что до сих пор верит большинство религиозных людей на Земле. Нельзя не восхищаться беспредельной дерзостью этой лжи, стоящей на уровне с «Океания всегда воевала с Остазией». Прокурор показывает всем окровавленный топор, а обвиняемый, шокированный на мгновение, заявляет, поразмыслив: «Но вы не можете опровергнуть мою невиновность какими-то там доказательствами — это отдельный магистерий!»

А если это не сработает, возьмите листок бумаги и намалюйте себе карточку «Бесплатный выход из тюрьмы».

Провозглашения и крики одобрения

Элиезер Юдковский

Однажды я посетил конференцию по теме «совместимы ли религия и наука?». Одна женщина-язычник с жаром рассказывала о своих представлениях о сотворении Земли: гигантская первичная корова была рождена в первичной бездне, а затем создала первичного бога при помощи слюны и языка; потомки первичного бога убили корову и сотворили Землю из её плоти, и так далее. История была длинной, подробной и более абсурдной, чем модель мира, в которой Земля покоится на спине огромной черепахи. И эта женщина явно разбиралась в науке достаточно, чтобы это понимать.

Я до сих пор не могу подобрать слов, чтобы описать, как именно говорила эта женщина. Она говорила… гордо? С самодовольством? Осознанно щеголяя собой?

Казалось, что женщина рассказывала этот миф о сотворении целую вечность (на самом деле, вероятно, прошло не более пяти минут). Странное нечто, гордость/удовлетворение/выставление себя напоказ, явно имело какое-то отношение к её знанию того, что эти убеждения были возмутительны с научной точки зрения. И она не презирала науку: она выступала за то, что наука и религия совместимы. Она даже рассказала о том, что, если взглянуть на землю, в которой жили викинги, то нетрудно понять, почему они верили в первичную бездну (этим объяснением она свела свои верования к чему-то заурядному!), но при этом всё равно настаивала на своей вере в этот миф, говоря об этом с исключительным удовлетворением.

Я не думаю, что понятие «вера в убеждение» можно растянуть настолько, чтобы покрыть это событие. Слишком странной была эта речь. Она не повторяла легенду с фанатичной верой кого-то, кому нужно подбодрять себя. Она не надеялась убедить в чём-то аудиторию, и ей не нужна была наша поддержка для того, чтобы чувствовать себя полноценной.

Деннет, автор понятия «веры в убеждение», считает, что большую часть того, что мы называем «религиозными верованиями» (или «религиозными убеждениями») стоит изучать как «религиозные провозглашения». Представим, что пришелец-антрополог изучает группу современных студентов-филологов, все из которых, кажется, считают,что Валки Вилкинсен является пост-утопистом. В этом случае правильный вопрос звучит не как «почему все они разделяют это странное убеждение?», а как «почему все они пишут это странное предложение на письменном экзамене?». Даже если предложение совершенно бессмысленно, ты всё равно знаешь, когда следует его громко пропеть.

Я думаю, что всё же несколько чересчур считать, что религиозные верования заключаются лишь в громком повторении определённых фраз: большинство людей довольно честны, и после произнесения религиозных предложений вслух чувствуют себя обязанными повторить их мысленно, чтобы эта мысль прозвучала и в сознании.

Но даже понятие «религиозных утверждений» вряд ли покрывает рассказ язычницы о своей вере в первичную корову. Если кому-то нужно произнести религиозное убеждение вслух, чтобы понравиться священнику или собрату по вере — да что там, просто, чтобы подтвердить своё представление о себе как о верующем — ему стоит притвориться верящим намного убедительнее, чем притворялась эта женщина. Пересказывая легенду с нарочито подчёркнутой гордостью, она даже не пыталась быть убедительной, даже не пыталась заставить аудиторию поверить в то, что она воспринимала свою религию всерьёз. Кажется, именно это меня и ошеломило. Несколько известных мне людей верят в свою веру касательно совершенно абсурдных вещей; но когда они страстно рассказывают о предмете своей веры в убеждениях, они намного сильнее стараются убедить себя в том, что воспринимают всё это всерьёз.

Наконец, я понял, что язычница не пыталась убедить в чём-то нас и не пыталась убедить в чём-то себя. Её пересказ легенды о сотворении вообще не имел отношения к сотворению мира. Пятиминутная обличительная речь была одобрительным возгласом, что-то вроде транспаранта на футбольном стадионе. Транспарант с надписью «ВПЕРЁД СИНИЕ» не утверждает ничего о фактах и не пытается быть убедительным. Это просто кричалка.

Та странная подчёркнутая гордость… язычница словно участвовала в гей-параде обнажённой (Замечу мимоходом: не имею ничего против участия в гей-параде в обнажённом виде. Лесбиянство не относится к числу вещей, которые могут быть уничтожены правдой). Это было не просто выражением одобрения, как участие в гей-параде, это было оскорбительно эпатажным выражением одобрения, как участие в гей-параде голышом. В этом проглядывало убеждение в том, что её не смогут раскритиковать или арестовать, ведь всё это сделано во имя прославления её сообщества.

Именно поэтому для неё столь большое значение имела смехотворная абсурдность её слов. Попытка звучать более разумно эквивалентна надеванию одежды.

Убеждение как одеяние

Элиезер Юдковский

Я уже разделил убеждения на контроллеры ожиданийверу в убежденияпровозглашения и крики ободрения. Контроллеры ожиданий мы будем называть «полноценными убеждениями», остальные формы «неполноценными убеждениями». Полноценное убеждение может быть неверным или иррациональным (искреннее убеждение в том, что молитва исцелит больного ребёнка), но остальные формы иногда трудно вообще считать за убеждения.

Ещё один подвид неполноценных убеждений — убеждение как групповая идентификация, способ входить в сообщество. Робин Хансон использует великолепную метафору(English): люди, носящие необычную одежду в качестве своей униформы (например, риза священника или еврейская кипа), поэтому я буду называть это «убеждением как одеянием».

Зная человеческую психологию, можно сказать, что мусульмане, атаковавшие Всемирный торговый центр, без сомнения считали себя героями, защищающими истину, правосудие и Путь Ислама от ужасающих инопланетных чудовищ а-ля «День независимости». Нужно быть сильно не от мира сего — не иметь ни малейшего представления о том, как видят мир обычные люди — чтобы сказать это вслух в баре Алабамы. Американцы так не говорят. Американцы говорят, что террористы «ненавидят нашу свободу», а столкновение самолёта со зданием было «актом трусости». Нельзя говорить «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже с целью правдиво показать, как видит мир Враг. Само понятие «отвага и альтруизм террориста» является одеянием Врага — поскольку об этом понятии говорит Враг. Понятие «трусость и социопатия террориста» является американским одеянием. Хочешь описать, как мир видит Враг, — забудь о кавычках; ты же не одеваешься на Хэллоуин фашистом, так?

Убеждение-как-одеяние может объяснить, почему люди могут придавать такой веснеполноценным убеждениям. Подозреваю, что вера в убеждения или религиозные провозглашения, сами по себе, с трудом порождают глубокие и мощные эмоциональные эффекты. Я не эксперт в этой области, но у меня сложилось следующее впечатление: люди, переставшие ожидать предсказанного религией будущего, пойдут на многое ради того, чтобы убедить себя в своей страстной вере, и эту отчаянность легко спутать с настоящим сильным чувством. Но всё же, это уже не тот огонь, который они носили в детстве.

С другой стороны, человеку очень легко искренне, пылко, на инстинктивном уровне принадлежать группе, болеть за любимую команду (Этот факт — фундамент надувательства под названием «Республиканцы против Демократов» и аналогичных лжедилемм(English) в других странах, но это уже другой разговор). Идентификация с племенем — очень мощная эмоциональная сила, люди готовы за неё умереть. И после того, как человек стал членом племени, он начинает вкладывать в убеждения, которые играют роль племенной униформы, всю ту страсть, с которой он принадлежит этому племени.

Требование аплодисментов

Элиезер Юдковский

Во время Сингулярного Саммита 2007, один из ораторов ратовал за создание демократичного мультинационального проекта по разработке Искусственного Интеллекта. Я подошел к микрофону и задал вопрос:

Предположим, группа демократических республик сформирует консорциум по разработке ИИ; в процессе будет много политизирования: некоторые группы будут иметь необычайно сильное влияние, другие будут отодвинуты на задний план, другими словами, результат будет напоминать другие продукты современной демократии. С другой стороны, группа независимых ботаников разработает ИИ у себя в подвале. Снабдит его инструкциями опросить все населения земного шара: даже раздать мобильники всем, кто их не имеет, и выполнить то, что будет утверждено подавляющим большинством голосов. Какой из вариантов более «демократичный» и с каким вы будете чувствовать себя более спокойно?

Я хотел узнать, верит ли он в прагматическую адекватность демократического политического процесса или он верит в моральную правильность голосования.

Но оратор ответил:

Первый сценарий выглядит как редакторская статья в журнале «Reason», а второй - как сюжет голливудского фильма.

Смутившись, я спросил:

Так какой демократический процесс вы имели ввиду?

Оратор ответил:

Что-то вроде Проекта Человеческого Генома (это был интернационально финансируемый проект).

Я спросил:

Как разные группы будут разрешать свои разногласия в структуре вроде Проекта Человеческого Генома?

И оратор ответил:

Я не знаю.

Благодаря этому обмену репликами, я вспомнил цитату одного диктатора или кого-то еще, которого спрашивали о его намерениях двигать его карманное государство к демократии:

«Мы полагаем, что уже находимся в демократической системе. Некоторые факторы пока отсутствуют, вроде выражения воли народа».

Суть демократии в специфическом механизме разрешения политических конфликтов. Если все группы имеют одинаковые предпочтения, то в демократии не будет нужды - мы и так будем сотрудничать. Процесс разрешения может выражаться через голосование, или выбранного представителя, или даже через чувствительного к голосованию ИИ, но выражение должно быть хоть каким-нибудь. Какой смысл призывать к «демократическому» решению, если не подразумевается какой-то механизм разрешения конфликтов?

Думаю, это означает, что, сказав «демократия», ты ожидал аплодисментов от аудитории. Это не столько предложение, сколько эквивалент надписи «Аплодисменты» в студии, которая загорается как сигнал к тому, что аудитория должна начать аплодировать.

Этот случай запомнился лишь потому, что я перепутал требование аплодисментов с политическим предложением, к моему стыду. Большая часть требований аплодисментов более прямолинейны и могут быть выявлены простым реверсивным тестом. Например, кто-то скажет:

«Мы должны сбалансировать риски и возможности ИИ»

Если перевернуть это высказывание, мы получим:

Мы не должны соблюдать баланс рисков и возможностей ИИ.

Поскольку обратное звучит абсурдно, следовательно, неперевернутое утверждение, возможно, нормально, подразумевая, что это не несет новой информации. Есть множество хороших причин для утверждения, которое не является информативным вне контекста. «Нам нужно соблюдать баланс рисков и возможностей ИИ» может быть темой для обсуждения; может делать ударение на важности определенных планов для баланса; может критиковать планы, не соблюдающие баланс. Связывая другие утверждения, предложение может передать новую информацию ограниченному рационалисту - но сама по себе связь может быть неочевидной. Но без уточняющих положений, утверждение не более чем табличка «Аплодисменты!»

Порой мне хочется толкнуть речь, целиком состоящую из требований аплодисментов, чтобы посмотреть, сколько времени пройдет, прежде чем аудитория начнет хохотать.

Я здесь, чтобы предложить взвесить риски и возможности продвинутого Искусственного Интеллекта. Нам следует избегать рисков и, если получится, реализовывать возможности. Нам не следует беспричинно подвергаться совершенно необязательным рискам. Для достижения этих целей нам следует планировать рационально и мудро.

Нам не следует действовать из страха и паники, или поддаваться технофобии; однако, не следует и действовать в слепом энтузиазме. Нам следует уважать интересы всех партий, принимающих участие в Сингулярности. Мы должны убедиться, что преимущества продвинутых технологий будут доступны для как можно большего числа индивидов, а не для нескольких. Мы должны, по мере сил наших, избегать конфликтов с применением этих технологий; и мы должны предотвратить попадание этих технологий в руки опасных индивидов. Нам следует думать над этими вопросами до, а не после, когда уже будет поздно что-либо предпринимать…

Нам следует взвешивать риски и возможности ИИ.

Замечая замешательство

Сфокусируй неуверенность

Элиезер Юдковский

Что случится с процентом по облигациям: он поднимется, опустится, или не изменится? Если ты работаешь экспертом в телепрограмме, где тебе нужно объяснить произошедшее постфактум, то тебе незачем волноваться. Какая бы из этих трёх возможностей ни реализовалась, ты всё равно сможешь объяснить, почему результат отлично вписывается в разработанную тобой теорию рынка. Нет смысла думать о том, что эти три возможности каким-то образом противоречат друг другу или несовместимы между собой, поскольку ты в любом случае на сто процентов выполнишь свою работу в качестве эксперта.

Хотя подожди. Представь, что ты только совсем недавно появился на телевидении и недостаточно опытен для того, чтобы придумывать правдоподобные объяснения на лету. Нужно заранее подготовить заметки для завтрашнего прямого эфира, а времени у тебя не так уж и много. Тогда было бы очень полезно знать, какой именно результат произойдёт на самом деле, — поднимется или опустится ли процент по облигациям — ведь тогда понадобится подготовить лишь один набор оправданий.

Увы, предвидеть будущее невозможно. Что ты собираешься делать? Ты определённо не будешь использовать «вероятности». Школа рассказала нам, что такое «вероятности»: так называются числа от нуля до единицы в тексте некоторых задач; сейчас же никто не сообщил тебе никаких чисел от нуля до единицы. Что ещё хуже, ты чувствуешь себя как-то неуверенно, а — если тебе не изменяет память — во время вычисления ответа на такие задачи у тебя никогда не было таких ощущений. Лекции по математике читаются в чистых и знакомых аудиториях — разве уместно применять математику не в стенах института, а в запутанных и непонятных жизненных ситуациях? Использовать какой-либо стиль мышления в непригодной для него обстановке — всегда плохая идея. Ясно, о «вероятностях» вспоминать не надо.

Тем не менее, у тебя есть всего лишь 100 минут для того, чтобы подготовить оправдания. Нельзя потратить все 100 минут, обдумывая сценарий «повышение», и ещё потратить все 100 минут, набрасывая реплики для сценария «понижение», и ещё потратить 100 минут на размышления о сценарии «неизменность».

Если какая-нибудь проверочная комиссия собирается исследовать твоё расходование времени, то лучше бы потратить равное количество времени на подготовку к каждому возможному исходу. Никто не сообщил тебе чисел от нуля до единицы, и поэтому у тебя на руках нет никакой документации, могущей обосновать неравные временные затраты. Ты легко можешь представить, что именно скажут тебе проверяющие: «И почему же вы работали над оправданием №3 ровно 42 минуты, мистер Финклдинджер? Почему не 41 или 43 минуты? Признайте свою необъективность! Вы отдаёте предпочтение своим субъективным любимчикам!»

Однако ты с облегчением вспоминаешь, что никакая проверочная комиссия и не собирается искать в твоих поступках повода для обвинений. Это замечательно, ведь завтра прозвучит важное объявление от Федерального Резерва Банка США, и кажется маловероятным, что цены на процент по облигациям не изменятся. У тебя нет ни малейшего желания тратить драгоценные 33 минуты на подготовку речи, которую ты не планируешь произносить.

В голове всплывают наброски объяснений: подробные рассказы о том, почему каждое событие правдоподобно вытекает из твоей теории рынка. Но почти сразу становится ясно, что сейчас правдоподобность не поможет: все исходы правдоподобны. Каждый сценарий вписывается в твою теорию рынка, но это не имеет никакого отношения к тому, как следует поделить время на подготовку. Между сотней минут и способностью вписывать события в теорию есть принципиальное отличие: первое — ограниченно, второе — нет.

И всё же… У тебя нет зацепок, но всё же ты, кажется, ожидаешь эти события с разной силой. Какие-то оправдания кажутся тебе более важными, какие-то — менее. И — восхитительная деталь — если представить что-то, делающее повышение процента болеевероятным, то объяснения для сценариев понижения и неизменности кажутся уже менеенужными.

Кажется, что существует связь между тем, насколько ты ожидаешь увидеть каждый из исходов, и тем, как ты хочешь разделить время подготовки между их оправданиями. Разумеется, эту связь невозможно измерить. У тебя есть 100 минут на подготовку, но здесь и не пахнет сотней «единиц предвкушения», или чего-нибудь такого. (Хотя ты всё-таки понял, что твоя функция полезности растёт примерно как логарифм от времени, потраченного на подготовку оправдания того события, которое произойдёт на самом деле.)

Но всё же… В мысли о том, что ожидание конечно, — и конечное ожидание подобно конечному времени на подготовку объяснений, а не бесконечной способности объяснять — явно что-то есть. Возможно, имеет смысл думать об ожидании, как о каких-нибудь ресурсах: например, как о деньгах. После такого сравнения сразу же тянет подумать о том, где можно достать ещё ожидания, но это бессмысленно: сколько ожидания бы ты не раздобыл, времени на подготовку от этого не прибавится. Нет, задача решается по-другому: нужно попытаться использовать свои ограниченные запасы ожидания наилучшим образом.

Ни о чём подобном на лекциях по статистике не говорилось. Никто не рассказал, что делать, когда это чёртово ощущение неопределённости так сильно давит на мысли. Никто не рассказал, что делать, когда неизвестно никаких чисел от нуля до единицы. Хотя при чём тут это? Если уж использовать числа, то с равным успехом можно использовать любые числа: нет никаких зацепок, указывающих на то, какой раздел математики следует использовать, если здесь стоит использовать вообще хоть какой-нибудь раздел математики. Может быть, пригодятся пары чисел: число слева, число справа. Такой подход можно будет назвать «теорией Декстера-Синистера», поскольку именно так «правый» и «левый» звучат на латыни. Или что-нибудь ещё, какой-нибудь другой метод и иная аксиоматика. (Во всяком случае, число «100» — 100 минут на подготовку — точно должно где-то участвовать, это понятно)

Почему никто не открыл правил фокусировки неопределённости? Правил, позволяющих распределить ожидание таким образом, чтобы большинство ожидания попало в тот исход, который произойдёт на самом деле?

Но как будет называться это искусство? И как будут выглядеть эти правила?

Что такое свидетельство

Элиезер Юдковский

«Предложение „снег белый“ истинно тогда и только тогда, когда снег белый» — Альфред Тарский.

«Говорить, что сущее есть и не-сущее не есть, — значит говорить истинное» — Аристотель, «Метафизика 4».

Если две эти цитаты не выглядят удовлетворительным определением «истины» — прочтите это. Сегодня я расскажу о «свидетельствах» (причём речь будет идти об убеждениях-о-фактах, говорящих о том, каким является мир, а не об эмоциях или морали. О разнице между этими понятиями сказано здесь).

Человек идёт по улице, неожиданно его шнурки развязываются. Некоторое время спустя, по какой-то непонятной причине, он становится убеждён в том, что его шнурки развязаны. Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки. Происходит последовательность событий — цепочка из причин и следствий — начавшаяся во внешнем мире и закончившаяся внутри мозга, в конечном итоге которой человек приобретает имеющиеся у него убеждения. На выходе этого процесса — состояние разума, которое отражает состояние шнурков.

Что такое «свидетельство»? Это событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий. Если, к примеру, объект исследования — твои шнурки, то входящий в зрачки свет есть свидетельство, сцепленное со шнурками. Замечу, что здесь я использую слово «сцепленность» не в том смысле, что принят в квантовой механике (entanglement, в русской литературе иногда встречается как «запутанность»); две вещи «сцеплены», если благодаря соединяющей их цепочке причин и следствий, их состояния становятся скореллированными.

Не каждое воздействие создаёт нужный для свидетельства вид сцепленности. Не очень впечатляюще построить машину, гудящую, если в неё ввести выигрышный лотерейный номер, если эта машина будет точно также гудеть и на все остальные лотерейные номера. Отражённый от ботинков свет не будет полезным свидетельством касательно шнурков, если фотоны были бы одними и теми же вне зависимости от того, завязаны ли шнурки.

Говоря более формально: событие называется свидетельством о сущности А, тогда и только тогда, когда это событие проявляется по-разному в зависимости от различных состояний сущности А (говоря на языке теории информации, взаимная информация события и сущности А должна быть больше нуля).

Сцепленность заразительна, если с ней правильно обращаться, и именно поэтому людям нужны и глаза, и мозг. Если фотоны отразятся от шнурков и затем столкнутся с камнем, то камень не сильно изменится. Камень не будет сцеплен со шнурками никаким полезным с практической точки зрения образом, его состояние будет одним и тем же вне зависимости от того, были ли завязаны шнурки. Именно поэтому камни не стоит приглашать в суд в качестве свидетелей. Фотоплёнка, напротив, будет сцеплена со шнурками через отражённые от обуви фотоны, и поэтому её можно предъявить как улику. Если твои глаза и мозг работают правильно, то ты сам становишься сцеплен со своими шнурками.

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.

Если твои глаза и мозг работают правильно, то твои убеждения становятся сцепленными с фактами. Рациональное мышление порождает убеждения, сами по себе являющиеся свидетельствами.

Если твой язык говорит правду, то твои рациональные убеждения — которые есть свидетельства — могут быть свидетельствами в глазах кого-то ещё. Сцепленность передаётся по цепочке причин и следствий, а слова произнесённые есть причина, и слова услышанные есть следствие. Сказав «У меня развязались шнурки» по телефону, ты делишься сцепленностью с другом.

Поэтому среди честных людей, верящих в честность друг друга, рациональные убеждения будут заразительны. Именно поэтому выглядит столь подозрительным заявление о том, что твои убеждения не заразительны: заявление о том, что ты веришь, исходя из каких-то личных причин, не распространяющихся на остальных. Если твои убеждения сцеплены с реальностью, то они должны быть заразительны среди честных людей.

Если твоя модель реальности говорит о том, что результаты работы твоих когнитивных процессов не должны быть заразительны, то твоя модель реальности говорит о том, что твои убеждения не есть свидетельства, что твои убеждения не сцеплены с реальностью. В этом случае нужно что-то исправить, и отметить свои убеждения как «ложные».

Разумеется, если ты до конца осознаёшь — ощущаешь — смысл всего этого, то это означает, что ты уже отметил свои убеждения как «ложные». Потому что «убеждение не сцеплено с реальностью» означает «убеждение не истинно». В ту же секунду, когда ты перестал верить в то, что «предложение „снег белый“ истинно», ты автоматически перестал верить и в то, что снег белый, или на очень глубоком уровне сломалось что-то очень важное.

Поэтому объясни, почему используемый тобой тип мышления порождает убеждения, отражающие реальность. Объясни, почему ты считаешь себя рациональным. Объясни, почему, используя подобный твоему тип мышления, люди будут думать «снег белый» если, и только если, снег белый. Если ты не веришь в то, что результаты работы твоих когнитивных процессов сцеплены с реальностью, то почему ты доверяешь результатам работы своих когнитивных процессов? Ведь это должно быть одним и тем же!

Свидетельство: рациональное, правовое, научное

Элиезер Юдковский

Предположим, ваш добрый друг, комиссар полиции, говорит вам по строжайшему секрету, что криминальный главарь вашего города - Вилки Вилкинсен. Как рационалист, вы обязаны поверить этому заявлению? Попробуем так: если вы возьмете и оскорбите Вилки, я назову вас безрассудным. Так как благоразумно вести себя так, как если быВилки имел существенно большую-чем-по-умолчанию вероятность быть криминальным главарем, следовательно, заявление комиссара полиции должно быть сильным Байесовским свидетельством.

Наша судебная система не поместит Вилки под стражу на основе заявления комиссара полиции. Оно не рассматривается как законное свидетельство. Возможно, если упекать за решетку всех обвиненных комиссарами полиции в том, что они возглавляют преступную организацию, то вы по-началу поймаете множество боссов, плюс, тех, кто не нравился комиссарам. Власть имеет свойство портить людей с временем, так что со временем вы будете ловить все меньше реальных боссов (которые будут применять более серьезные меры для обеспечения своей анонимности) и все больше невинных (несдержанная власть привлекает коррупцию, как мед привлекает мух).

Но это не значит, что заявление комиссара полиции не является рациональным свидетельством. Оно все еще обладает однозначными отношениями правдоподобия, и ты все еще будешь безрассудным, оскорбляя Вилки. Но на социальном уровне, преследуя социальную цель, мы осознанно определяем «законное свидетельство», как совокупность лишь конкретных типов свидетельств, например, наблюдения комиссара полиции в ночь на четвертое апреля.

Все законные свидетельства, в идеале, должны быть рациональными свидетельствами, но не наоборот. Мы внедряем особые, сильные стандарты, прежде чем объявлять, что данное рациональное свидетельство является еще и «законным».

Набирая эту фразу в 8:33 вечера, Pacific time, 18-го августа 2007, я ношу белые носки. Следует ли тебе, как рационалисту, верить этим словам? Да. Могу я давать показания об этом в суде? Да. Это научное заявление? Нет, ведь нет эксперимента, который бы ты мог провести, дабы верифицировать это. Наука собрана из множества обобщений, применяемых к множеству частных случаев, чтобы ты мог провести новые реальные эксперименты, которые тестируют обобщения, и следовательно, подтвердить для себя, что обобщение является правдой, не полагаясь на чей-то авторитет. Наука - публичное, воспроизводимое знание человечества.

Как и судебная система, наука - социальный процесс, включающий подверженных ошибкам людей. Мы хотим защитить фонд убеждений, которые особенно надежны. Так же мы хотим социальные правила, которые бы способствовали производству нового знания. Так что мы внедряем особые, сильные, дополнительные стандарты прежде чем объявить конкретное рациональное знание «научным», добавив его в фонд убеждений. Должен ли рационалист верить в историческое существование Александра Великого? Да. У нас есть лишь грубая картинка древней Греции, не слишком достоверная, но это лучше чем максимальная энтропия. Но мы зависим от авторитетов, Плутарха, например; мы не можем игнорировать его и проверить все сами. Историческое знание - ненаучное знание.

Должен ли рационалист верить, что Солнце взойдет 18-го сентября 2007 года? Да, но не с абсолютной уверенностью, таков уж принцип ставок. (Для педантов: стоит ли верить, что 18-го сентября 2007 года вращение Земли и её орбита относительно Солнца останутся примерно такими же?) Это заявление, которое я написал в своем эссе 18-го августа 2007-го является научным убеждением?

Отрицание применимости прилагательного «научный» к заявлению «Солнце взойдет 18-го сентября 2007-го» может показаться ошибочным. Если наука не может делать предсказания о будущих событиях, которым еще предстоит произойти, то она бесполезна; она не будет способна предсказывать результаты эксперимента перед его проведением. Предсказание о том, что Солнце взойдет, определенно, является экстраполяцией научного обобщения. Оно основано на моделях Солнечной системы, которые ты можешь подтвердить самостоятельно.

Но представь, что ты создаешь новый эксперимент для верификации предсказания №27 в новом контексте теории Х. У тебя может не быть причин полагать, что предсказание ошибочно; ты можешь лишь хотеть проверить его в новом контексте. Утверждение о «научности» этого убеждения может показаться опасным, до завершения эксперимента. Уже есть «традиционное предсказание» и «предсказание теории Х». Но если ты уже знаешь «научное убеждение» о результате, зачем осложнять себе жизнь экспериментом?

Ты начинаешь, надеюсь, понимать, почему я отождествляю Науку с обобщениями, а не с историей экспериментов. Исторические события случаются лишь раз; обобщения же применяются для множества событий. История не воспроизводима, научные обобщения - да.

Является ли мое определение «научного знания» истинным? Это не слишком хорошо сформулированный вопрос. Особые стандарты, что мы внедряем для науки имеют практическую цель. Нигде на звездах или горах не написано, что p < 0.05 является стандартом научной публикации. Сейчас многие утверждают, что 0.05 - слишком слабый стандарт; что будет полезно понизить его до 0.01 или 0.001.

Может быть будущие поколения, действуя в соответствии с убеждением, что научное знание - публичное и воспроизводимое, будут помечать как «научные» лишь те статьи, что напечатаны в бесплатных журналах. Ведь если ты требуешь плату за знание, является ли оно знанием человечества? Можем ли мы доверять результатам, если людям приходится платить, чтобы критиковать их? Действительно ли это наука?

Вопрос «Действительно ли это наука» плохо сформулирован. Является ли байесовским свидетельством журнал с закрытым доступом и ценой подписки 20000$ в год? Вместе с частными заявлениями комиссара полиции о том, что Вилки — криминальный босс, думаю я, ответ — «Да». Но следует ли канонизировать журналы с ограниченным доступом как «науку»? Должны ли мы допускать их в защищенный фонд убеждений? Как по мне, так науке послужит больше, если научным будет считаться публичное, воспроизводимое знание в фонде человечества.

Сколько свидетельств понадобится

Элиезер Юдковский

Напомню, что свидетельство — это «событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий», а сцепленность — «событие проявляется по-разному в зависимости от различных состояний цели». Так какое количество сцепленности — сколько свидетельств — требуется для того, чтобы поддержать убеждение?

Начнём с простого вопроса (достаточно простого для того, чтобы можно было получить ответ математически): насколько нужно сцепиться с лотереей, чтобы выиграть? Скажем, есть 70 шаров, вытаскиваемых в случайном порядке, и, чтобы выиграть, нужно, чтобы совпало шесть чисел. Тогда существует 131 115 985 возможных комбинаций, и вероятность того, что произвольный лотерейный билет выиграет, равна 1/131 115 985 (это 0,0000007%). Чтобы выиграть в лотерею, необходимы свидетельства, достаточно избирательные для того, чтобы благоволить одной комбинации, а не 131 115 984 её альтернативам.

Скажем, существуют вероятностные тесты, различающие выигрышные и проигрышные билеты. Например, можно ввести комбинацию в чёрный ящик, который всегда гудит, если комбинация выигрышна, и не всегда гудит, если комбинация проигрышна. Допустим, вероятность этого лишь 1/4 (или, в байесианской терминологии, отношение правдоподобия чёрного ящика — четыре к одному: если комбинация была выигрышной, то ящик загудит с вероятностью в четыре раза больше, чем для проигрышной).

Но возможных комбинаций очень много. Если ввести в ящик 20 проигрышных комбинаций, 5 из них (в среднем) заставят его загудеть — просто из-за вероятности ошибиться в 25%. Если ввести в ящик все 131 115 985 возможных комбинаций, то ящик загудит не только после выигрышной, но и после 32 778 996 проигрышных (в среднем).

Этот чёрный ящик не позволит выиграть лотерею, но это лучше, чем ничего. Благодаря ему, вероятность выигрыша вырастает от 1/131 115 985 до 1/32 778 997. Наблюдается прогресс в деле отыскания истины внутри обширного пространства возможностей.

Теперь предположим, что можно использовать второй ящик для того, чтобы проверить комбинацию дважды, независимо. Оба ящика точно загудят на правильную комбинацию, а вероятность гудка в ответ на неправильную комбинацию — 1/4 независимо для каждого ящика, и поэтому оба ящика загудят на проигрышную комбинацию с вероятностью лишь в 1/16. Можно сказать, что суммарное свидетельство, полученное в результате двух независимых тестов, имеет отношение правдоподобия 16:1. Число проигрышных лотерейных билетов, прошедших оба теста — 8 194 749 (в среднем).

Раз всего возможно 131 115 985 лотерейных билетов, то соблазнительно сказать, что необходимы свидетельства, чья суммарная сила будет примерно 131 115 985 к 1 — то есть нужно событие (или серия событий), в 131 115 985 раз более вероятное при условии, что комбинация выигрышная, чем при условии, что комбинация проигрышная. Но на самом деле этого свидетельства хватит лишь на то, чтобы дать 50% вероятность выигрыша. Почему? Потому что, если применить фильтр этой силы к 131 миллиону проигрышных билетов, то один (в среднем) проигрышный билет его пройдёт. Выигрышный билет тоже его пройдёт, и в результате получатся два прошедших фильтр билета. Вероятность выиграть 50%, если купить можно лишь один.

Лучше посмотреть на ситуацию следующим образом. Вначале, есть 1 выигрышный билет и 131 115 984 проигрышных, поэтому шансы выиграть 1:131 115 984. Шансы ящика загудеть — 1 (для выигрышного билета) к 0,25 (для проигрышного). Умножив 1:131 115 984 на 1:0,25 , получаем 1:32 778 996. После добавления ещё ящика свидетельств, шансы опять умножаются на 1:0,25 , и теперь они равны 1 к 8 194 749: 1 выигрышный билет и 8 194 749 проигрышных.

Удобно измерять свидетельства в битах — не в тех битах, которые можно найти на жёстком диске, а в математических битах, которые концептуально от них отличаются. Эти биты — просто логарифмы вероятностей по основанию 1/2. Например, если возможны четыре случая — A, B, C и D, чьи вероятности 50%, 25%, 12,5% и 12,5% соответственно, и я говорю, что случилось D, то тем самым я передаю тебе 3 бита информации, так как вероятность сообщённого результата — 1/8.

Удачное совпадение: 131 115 984 чуточку меньше, чем 2 в 27-й степени. Поэтому 14 ящиков, или 28 бит свидетельствующей информации — событие, в 268 435 456 раз более вероятное при условии, что гипотеза-о-билете верна, чем при условии, что она ложна, — увеличит шансы с 1:131 115 984 до 268 435 456:131 115 984, что примерно равно 2:1. Шансы 2:1 означают, что на каждые две победы приходится один проигрыш, то есть, если взять в руки 28 битов свидетельствующей информации, то вероятность выигрыша будет 2/3. Добавим ещё один ящик, 2 бита свидетельствующей информации, и шансы сдвинутся до 8:1. Появление ещё двух ящиков превратит шансы выигрыша в 128:1.

Так что, если ты хочешь получить право на сильное убеждение в том, что ты выиграешь лотерею (то есть, скажем, чтобы вероятность твоей неправоты была меньше 1%), то 34 бит свидетельствующей информации о выигрышной комбинации вполне достаточно.

В общем случае, для ответа на вопрос «сколько свидетельств для этого понадобится?» нужно использовать примерно такие же правила оценки. Чем больше пространство возможностей, или чем сильнее априорная невероятность гипотезы по сравнению с её ближайшими соседями, или чем более уверенным хочется быть, тем больше нужно свидетельств.

Правила нельзя обмануть. Никто не может формировать убеждения, основываясь на неадекватных свидетельствах. Скажем, у тебя есть ряд из 10 ящиков, и ты вбиваешь комбинации в каждый из них. Ты не можешь остановиться на первой комбинации, успешно прошедшей все ящики, и сказать: «Но шанс на то, что это случится для проигрышного билета — один к миллиону! Чёрт с этими полурелигиозными обычаями байесианцев, я закончил!». Этот тест пройдёт не только победитель, но ещё и 131 проигрышный билет (в среднем). Ты пришёл к слишком сильному выводу, основываясь на недостаточном количестве свидетельств, не сумев побороть громадность пространства возможностей и априорную невероятность. Это не надуманное бюрократическое предписание, это математика.

Конечно, можно быть убеждённым в чём-то, основываясь на неадекватных свидетельствах, если сильно хочется; но убеждения при этом не могут быть истинными. Ситуацию можно сравнить с попыткой завести машину без бензина, игнорируя глупое, закостенелое, несправедливое и смехотворное правило «автомобилю нужен бензин для того, чтобы ездить». Было бы намного удобнее и дешевле, если бы люди отменили этот закон, разве это не очевидно вообще всем? Что же, можно попробовать, если сильно хочется. Можно даже закрыть глаза и представить себе, что машина движется. Но для того, чтобы на самом деле прибыть к правдивым убеждениям, необходимы свидетельства-бензин и, чем дальше ехать, тем больше бензина понадобится.

Самоуверенность Эйнштейна

Элиезер Юдковский

В 1919 году сэр Артур Эддингтон возглавил экспедиции в Бразилию и на остров Принсипи, чтобы пронаблюдать солнечные затмения и тем самым опытным путем проверить то, что предсказывает новая теория, созданная Эйнштейном, — общая теория относительности. Некий журналист спросил Эйнштейна, что тот будет делать, если наблюдения Эддингтона разойдутся с предсказаниями теории. Как известно, Эйнштейн ответил: «Тогда мне будет жаль Господа Бога. Теория всё равно верна».

Это заявление звучит чрезмерно дерзко, словно бросая вызов общепринятой в Традиционной Рациональности позиции, которая утверждает, что эксперимент — главный судья. Эйнштейн словно был одержим столь великой гордыней, что отказывался преклонить голову перед тем, что говорит мироздание, как это должен делать всякий ученый. Кто способен узнать, верна ли теория, еще до экспериментальной проверки?

Конечно, Эйнштейн оказался прав. Я стараюсь не подвергать критике людей, когда они правы. Если они по-настоящему ее заслуживают, мне не придется долго ждать случая, который прояснит их ошибку.

И Эйнштейн, возможно, был не столь уж опрометчиво дерзок, как это звучало.

(От переводчика: далее под силой эксперимента или сложностью гипотезы будет иметься в виду их разрешающая способность в битах в соответствии с подходом Шеннона. Для тех, кто слабо знаком с теорией информации, можно, не вдаваясь в детали, сказать, что это мера длины кратчайшего сообщения, описывающего гипотезу. См. также статью о бритве Оккама)

Чтобы назначить вероятность, большую 50%, одной верной гипотезе из набора в 100 млн возможных, вам нужно как минимум 27 бит свидетельств, или около того. Если у вас нет столь информативного способа проверки, нельзя рассчитывать, что вы сможете найти верную гипотезу: недостаточно сильные эксперименты оставят более чем одну идею потенциально истинной. Если вы попробуете произвести проверку, дающую ложноположительный исход в одном случае из миллиона (т. е. силой примерно в 20 бит), то в итоге получите сотни возможных гипотез. Чтобы просто отыскать верный ответ в широком пространстве возможностей, нужно много свидетельств.

Традиционная Рациональность подчеркивает роль подтверждения: «Если вы хотите убедить меня в истинности X, вам потребуется предоставить мне Y свидетельств». Я часто соскальзывал к подобной формулировке, когда на самом деле хотел сказать что-то вроде «Чтобы обосновать убежденность в этом заявлении с вероятностью большей 99%, нужно 34 бита свидетельств». Или «для того, чтобы присвоить вашей гипотезе вероятность больше 50%, вам нужно 27 бит свидетельств». Традиционная формулировка подразумевает, что вы начинаете исследование с догадок или неких только вам понятных рассуждений, которые приводят вас к гипотезе, и только затем накапливаете «свидетельства», подтверждающие ее, чтобы убедить научное сообщество или обосновать свою убежденность.

Однако с байесовской точки зрения вам, чтобы просто задать гипотезу на пространстве возможных теорий, нужны свидетельства в объеме, примерно равном сложности этой гипотезы. (Вопрос пока не в том, чтобы убедить кого-либо или обосновать что-либо.) Если перед вами сто миллионов альтернатив, вам нужно не меньше 27 бит свидетельств, чтобы просто однозначно сосредоточиться на единственной версии.

Это справедливо, даже если вы называете свою идею «догадкой» или «озарением». Работа интуиции — реальный процесс в настоящем мозге. Если ваш разум не обладает хотя бы десятью битами байесовски непротиворечивых, неизбыточных и соответствующих гипотезе данных, то он не в состоянии выделить корректную гипотезу силой в 10 бит — ни сознательно, ни подсознательно, ни как-либо еще. Если вы хотите отыскать одну из миллионов целей с помощью только лишь 19 бит связанной информации, подсознание не сможет сделать это лучше, чем сознание. Подсознательные догадки могут казаться загадочными тому, в чью голову приходят, но не в состоянии нарушить принципы устройства мироздания.

Вы уже видите, к чему я веду: в момент, когда Эйнштейн изначально формулировал гипотезу, когда уравнения начали приходить ему в голову, у него уже должны были быть достаточные экспериментальные данные, чтобы его внимание смогло сосредоточиться единственным образом именно на уравнениях ОТО. Иначе они не получились бы верными.

Теперь подумаем, насколько похоже на правду, что Эйнштейн мог владеть именно такими экспериментальными данными, чтобы ОТО завладела его вниманием, но ее достоверность была бы оценена лишь в 55%? Предположим, что сложность гипотезы ОТО — 29,3 бита. Правдоподобно ли, чтобы в курсе физики, который изучал Эйнштейн, было ровно 29,5 бит свидетельств?

Неправдоподобно. Если у Эйнштейна было достаточно экспериментальных данных, чтобы единственным способом разработать уравнения ОТО в самом начале, то, вероятно, у него уже было достаточно свидетельств, чтобы быть чертовски уверенным в истинности общей теории относительности.

Из-за того, что мозг человека — несовершенный обработчик информации, на деле у Эйнштейна, возможно, было чрезмерно больше свидетельств, чем в принципе требуется идеальному байесовскому агенту, чтобы присвоить ОТО внушительную степень доверия.

Слова учёного «Тогда мне будет жаль Господа Бога, теория всё равно верна» не звучат так уж пугающе, если вы взглянете на них с этой точки зрения и будете помнить, что из всего пространства вариантов именно общая теория относительности оказалась справедливой.

Бритва Оккама

Элиезер Юдковский

Чем сложнее объяснение, тем больше свидетельств необходимо, чтобы просто определить его в пространстве убеждений (в Традиционной Рациональности это формулируется вводящим в заблуждение образом, скажем, «чем сложнее утверждение, тем больше требуется оснований, чтобы его принять»). Как можно измерить сложность объяснения? Как определить, сколько свидетельств потребуется?

Допустим, вы, проведя какие-то эксперименты, получили ряд интересных результатов. Почему эти данные выглядят именно так, а не иначе? На ум приходят несколько объяснений, но какое из них выбрать?

Кажется, пришло время вспомнить принцип бритвы Оккама, точнее, следующую его формулировку: «следует считать верным самое простое объяснение, не противоречащее собранным данным». Но как оценить степень простоты? Роберт Хайнлайн как-то заявил, что самое простое объяснение звучит так: «Женщина, живущая дальше по улице — ведьма, значит это сделала она».

Становится понятно, что длина предложения на естественном языке — не очень хороший способ измерить «сложность». И нельзя утверждать, что теория «вписывается» в факты просто потому что не может опровергнуть их - этого недостаточно.

Но в чём причина того, что длина предложения — плохая мера сложности? Потому что, произнося предложение, ты используешь обозначения для понятий, которые знает слушатель, и именно в них слушатель уже хранит сложность. Скажем, можно превратить предложение Хайнлайна в аббревиатуру «ЖЖНВТСО!», тогда всё объяснение можно сообщить одним словом. Или, ещё лучше, можно дать предложению короткий произвольный код навроде «фнорд!». Уменьшают ли эти действия сложность? Нет, потому что тогда собеседнику нужно заранее сказать, что «ЖЖНВТСО!» означает «Женщина, живущая напротив — ведьма, так сделала она». «Ведьма», в свою очередь, тоже обозначение для ряда очень необычных утверждений, и то, что все знают, каких именно, не означает, что «ведьма» — это просто.

Гигантский электрический искровой разряд падает с неба, сжигая дерево, и древние скандинавы говорят: «Наверное, какая-то могущественная личность разгневалась и бросила в дерево молнию». Человеческий мозг — самый сложный артефакт во всей известной вселенной. Гнев выглядит простым лишь потому, что мы не видим всей паутины нейронов, отвечающей за эту эмоцию (Представь, как трудно было бы объяснить пришельцам без чувства юмора, почему мы смеёмся над «Летающим цирком Монти Пайтона». Но это не говорит, что люди лучше пришельцев — у людей нет ощущения фнордотоватости). Сложность гнева, и, конечно, сложность разума, не бросилась в глаза авторам гипотезы о Торе, агенте-швыряющим-молнии.

Чтобы человек понял гипотезу Тора, нужно всего лишь бросить пару фраз. Чтобы человек понял уравнения Максвелла, нужно пересказать ему несколько книг. У людей есть встроенное понятие «гнев», но нет встроенного понятия «дифференциальное исчисление». Придётся объяснять язык, и язык, лежащий за языком, и основы математики, и лишь потом можно начинать лекцию об электричестве.

И всё же кажется, что в каком-то смысле уравнения Максвелла проще, чем человеческий мозг, или чем швыряющий-молнии-агент.

Вот разгадка: как выяснилось, намного проще написать компьютерную программу, симулирующую уравнения Максвелла, чем компьютерную программу, симулирующую пронизанный эмоциями разумный мозг Тора.

В алгоритмической теории информации «сложность описания» измеряется длиной кратчайшей компьютерной программы, выводящей это описание. Прежде чем говорить о «кратчайшей компьютерной программе», нужно задать пространство компьютерных программ, для чего нужен язык и интерпретатор. Индукция Соломонова использует машины Тьюринга (точнее, последовательности битов, задающие машины Тьюринга). Что делать, если тебе не нравятся машины Тьюринга? Можешь заплатить некоторый фиксированный штраф за сложность и спроектировать универсальную машину Тьюринга, которая будет интерпретировать любой код на том языке, который тебе нравится. Штраф за сложность зависит лишь от размера универсального интерпретатора для выбранного языка программирования, и поэтому различные формулировки в некотором смысле совершенно равносильны.

На мой взгляд, лучшая формулировка индукции Соломонова — требующая, чтобы компьютерная программа делала не детерминистическое предсказание, а приписывала строкам вероятности. Например, программа, объясняющая поведение симметричной монеты, будет просто приписывать одинаковую вероятность всем 2N2N строкам длины NN. Как понимать «объясняющая поведение» или «не противоречащая данным»? Чем больше вероятность, которую программа приписывает полученным данным, тем лучше программа их «объясняет». И сумма всех вероятностей должна равняться единице, и поэтому, чтобы лучше «объяснить» одну возможность, программа должна забрать сколько-то вероятностной меры у другой возможности, и теперь она будет «объяснять» её хуже. Монета не может в 100% случаев выпадать орлом, и в 100% случаев выпадать решкой.

Что можно сказать про оптимальный компромисс между сложностью программы и её способностью объяснять данные? Если забыть о сложности и думать только об объяснении, то лучшими будут программы, предсказывающие данные детерминистически, то есть приписывающие им 100% вероятность. Если монета выпала «ОРРООР», то программа, заявляющая, что монета фиксирована и изначально должна была показать «ОРРООР», объясняет данные в 64 раза лучше, чем программа, считающая монету симметричной. С другой стороны, если рассматривать только сложность, то гипотеза о симметричной монете всегда проще любой другой гипотезы. Даже если монета выпадает «ОРООРОООРООООРОООООР…». Гипотеза «монета симметрична» действительно проще и объясняет эту последовательность точно также хорошо, как и любую другую последовательность из 20 бросков — не лучше и не хуже — но легко увидеть другую гипотезу, выглядящую не слишком уж сложной, и объясняющую эти наблюдение намного лучше.

Программа, которой позволили хранить дополнительный бит информации, способна в два раза урезать пространство возможностей, и, следовательно, приписать в два раза больше вероятности точкам в оставшемся пространстве. Отсюда выходит, что один бит сложности должен стоить как минимум двукратного улучшения способности объяснять. Поэтому программа, в явном виде хранящая инструкцию «приписать ОРРООР 100% и 0% всем остальным», не сможет выиграть у всех остальных программ. Шесть бит, отведённые на хранение «ОРРООР» сводят на нет всю достоверность, полученную 64-кратным улучшением способности объяснять. Иначе, рано или поздно, придётся решить, что все симметричные монеты фиксированы.

Если, конечно, эта программа не написана умно, и не пытается сжать строки данных. Во всех остальных случаях перемещение информации из данных в код не помогает укрепить достоверность программы.

Как именно работает индукция Соломонова? Нужно расcмотреть все допустимые программы (если допустима любая программа, то индукция становится невычислимой), причём каждая программа имеет априорную вероятность, равную (1/2)N(1/2)N, где NN — её длина в битах, а затем вероятность корректируется, исходя из того, насколько хорошо программа объясняет данные на текущий момент. В результате получается группа «экспертов» различной степени достоверности, могущая предсказывать следующие биты: просто просуммируй мнения, умножив их на весовой коэффициент авторитета.

Принцип минимальной длины сообщения почти эквивалентен индукции Соломонова. Сначала ты посылаешь строку, описывающую код, а затем строку, описывающую данные, используя этот код. Объяснение, создающее кратчайшее суммарное сообщение, считается лучшим. Если приравнять набор возможных кодов к пространству всех компьютерных программ и считать сообщение-с-определениями универсальным интерпретатором, то принцип минимальной длины сообщения почти эквивалентен индукции Соломонова (почти — потому, что он выбирает кратчайшую программу, а не суммирует все возможные программы).

Это позволяет яснее увидеть проблему с использованием фразы «женщина, живущая напротив — ведьма, так сделала она» для объяснения закономерности в последовательности «0101010101». Если ты отправляешь другу письмо, пытаясь описать последовательность, которую ты наблюдал, тебе придётся сказать: «женщина, живущая напротив — ведьма, она сделала так, что последовательность вышла 0101010101». Обвинения в колдовстве не позволили сократить вторую половину сообщения. Тебе по-прежнему нужно описать, во всех подробностях, порождённые её запретным искусством данные.

Колдовство объясняет известные данные в том смысле, что оно качественно их разрешает. Но это лишь потому, что колдовство позволяет вообще всё, как и флогистон. Поэтому, после того, как слово «ведьма» сказано, тебе всё равно предстоит описать все наблюдения, не упуская даже мельчайшей детали. Посылая сообщение о колдовстве, ты не сжимаешь сообщение с данными. Первое сообщение — бесполезный пролог, мёртвый груз, увеличивающий суммарную длину.

Подвох фразы «так сделала ведьма» спрятан в слове «так». Как именно сделала ведьма?

Конечно, благодаря эффекту знания задним числомякорениюлжеобъяснениямлжепричинностипредвзятости подтверждения и целенаправленным размышлениям, может казаться совсем очевидным то, что, если женщина ведьма, то, конечно же, она заставит монету выпасть 0101010101. Но это уже отдельный разговор.

Сила рационалиста

Элиезер Юдковский

(Этот случай произошёл ещё в те давние седые времена, когда я посещал IRC-чаты. Время затуманило память и мой рассказ может быть неточным)

Итак, дело происходило в IRC-чате. Один из посетителей спрашивает совета у сведущих в медицине людей. Его друг обратился к нему со следующей историей: у него начались внезапные боли в грудной клетке, поэтому бедняга вызвал скорую, и скорая приехала, но медработники сказали «ничего страшного» и уехали, боль в груди же становится всё сильнее и сильнее. «Что мне делать?» — спрашивает он у людей в чате, пересказав эту историю.

Эта история сбила меня с толку. Я помню, как я читал о бездомных Нью-Йорка, вызывающих скорую только для того, чтобы оказаться где-нибудь в тёплом месте, и о медиках, вынужденных отвозить их в пункт неотложной медицинской помощи. Даже на 27-й итерации, ведь, в противном случае, медкомпания может быть засужена на очень серьёзную сумму денег. Аналогично, пункты неотложной помощи юридически обязаны лечить всех, вне зависимости от их платежеспособности (Эти серьёзные расходы ложатся на плечи госпиталя, поэтому госпитали закрывают свои пункты неотложной помощи… В связи с этим мне очень интересно узнать, в чём смысл обучать экономистов, если мы всё равно собираемся их игнорировать?).

Так что я не совсем понимал, как могли произойти описанные события. Любогожалующегося на боль в груди человека, должны были бы немедленно увезти на скорой.

А затем я потерпел неудачу как рационалист. Я вспомнил несколько случаев, когда мой доктор совершенно отказывался паниковать в ответ на сообщения о симптомах, которые, на мой взгляд, были крайне тревожными. И медицинское учреждение всегда оказывалось правым. Каждый раз. Боли в грудной клетке как-то были и у самого меня, но доктор терпеливо разъяснил мне, что я описываю мышечную боль, а не инфаркт.

Поэтому я написал в чате: «Что же, если врачи сказали «ничего страшного», то это действительно так и есть — они бы увезли больного в госпиталь, если бы его состояние грозило бы хоть чем-нибудь серьёзным».

Таким вот способом я всё же впихнул историю в уже существующую модель, хотя в глубине души ощущал, что объяснение немного натянуто…

Некоторое время спустя этот товарищ возвращается в чат и сообщает, что его друг целиком всё выдумал: от болей в груди до отказа врачей помочь. Очевидно, это был не самый честный его друг.

И лишь в эту секунду я осознал то, что должен был понять сразу же: слова неизвестного знакомого знакомого по IRC-каналу могут быть не так достоверны(English), как опубликованная в журнале статья. Увы, вера легче неверия; мы верим инстинктивно, но неверие требует сознательного усилия(English).

Но вместо того, чтобы заподозрить розыгрыш, я, сильно постаравшись, заставил свою модель реальности объяснить аномалию, которая никогда не происходила. И я знал, насколько постыдны подобные поступки. Я знал, что полезность модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может. Ничего не запрещающая гипотеза позволяет всё, тем самым терпя неудачу в попытке упорядочить ожидания будущего.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Временами все мы слабы. Тогда я был способен быть сильнее, но, увы, совершил ошибку. У меня была вся информация, необходимая для правильного ответа, я даже заметилпроблему — а затем я её проигнорировал. Замешательство было Подсказкой, а я выбросил свою Подсказку.

Ощущение натянутости заслуживает львиной доли внимания.

Замешательство — важная подсказка на пути к истине, часть твоей силы, силы рационалиста. Серьёзный дизайнерский недочёт человеческого мышления заключается в том, что это ощущение лишь тихо шуршит на самой границе восприятия, вместо того, чтобы под вой сирен вешать яркую неоновую надпись «ЛИБО ТВОЯ МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА».

Отсутствие свидетельств — свидетельство отсутствия

Элиезер Юдковский

Запоздалое впихивание свидетельств в гипотезу сыграло свою роль в самой горестной главе истории Соединенных Штатов, интернировании японцев в начале Второй Мировой. 21 февраля 1942 года Эрл Варрен, губернатор Калифорнии, в ответ на замечание об отсутствии случаев саботажа, шпионажа или иной подрывной деятельности живущих в Америке японцев, сказал:

«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности» — Робин Дэйвс, «Rational Choice in an Uncertain World».

Рассмотрим утверждение Варрена через призму теоремы Байеса. Когда мы видим свидетельство, приписавшая этому свидетельству большое правдоподобие гипотеза увеличивает вероятность своей истинности за счёт гипотезы, приписавшей этому свидетельству меньшее правдоподобие. На исход влияют лишь относительныеотношения правдоподобия и вероятности: можно приписать свидетельству очень большое правдоподобие, но всё равно потерять вероятностную меру из-за того, что какая-то другая гипотеза приписала этому свидетельству ещё большее правдоподобие.

Варрен, похоже, утверждает, что отсутствие саботажа закрепляет его убеждение о существование Пятой Колонны. Да, возможно, Пятая Колонна совершит саботаж потом. Но вероятность того, что отсутствие саботажа совершила существующая Пятая Колонна ниже вероятности того, что отсутствие саботажа совершила несуществующаяПятая Колонна.

Пусть E — наблюдение отсутствия саботажа, H1 — гипотеза о американо-японской Пятой Колонне и H2 — гипотеза о том, что её не существует. Чему бы ни равнялась вероятность того, что Пятая Колонна не совершит саботажа (величина P(E|H1)), она не может быть больше вероятности того, что отсутствие Пятой Колонны не совершит саботажа (величины P(E|H2)). Поэтому наблюдение отсутствия саботажа увеличивает вероятность того, что Пятой Колонны не существует.

Отсутствие саботажа не доказывает, что Пятой Колонны не существует. Отсутствие доказательства — не доказательство отсутствия. В логике A->B, «из А следует B» не эквивалентно ~A->~B, «из не-А следует не-B».

Но в теории вероятности отсутствие свидетельства — свидетельство отсутствия. Если E — бинарное событие и P(H|E) больше P(H), «наблюдение E увеличивает вероятность H», то P(H|~E) меньше P(H), «неудачное наблюдение E уменьшает вероятность H». P(H) — это взвешенное среднее P(H|E) и P(H|~E), и поэтому она обязательно лежит между ними.

В большинстве случаев, которые встречаются в реальном мире, явление не обязано постоянно создавать свидетельства своего существования, но ждать этих свидетельств от отсутствия этого явления ещё более безнадёжно. Отсутствие наблюдений может быть как сильным свидетельством отсутствия, так и очень слабым свидетельством отсутствия — зависит от вероятности, с которой явление создаёт эти наблюдения. Отсутствие довольно слабо разрешённого события (пусть даже альтернативная гипотеза не разрешает его вообще) — довольно слабое свидетельство отсутствия (но всё же свидетельство). В этом заключается ошибка креационистов, ссылающихся на «пробелы в летописи окаменелостей»: окаменелости формируются редко, и поэтому бессмысленно праздновать отсутствие наблюдения, слабо разрешённого теорией, достоверность которой уже установлена множеством сильных положительных наблюдений. Однако, если не зафиксировано вообще ни одного положительного наблюдения — время беспокоиться; отсюда и парадокс Ферми.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. Сила модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может — только запреты могут упорядочить ожидания будущего. Если ты не замечаешь, вероятность каких наблюдений твоя модель уменьшает, то ты с тем же успехом можешь выбросить эту модель, и с тем же успехом можешь жить без этих наблюдений; без мозга и без глаз.

Закон сохранения ожидаемых свидетельств

Элиезер Юдковский

Фридрих Шпее фон Лангенфельд, духовник присуждённых к смерти ведьм, в 1631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.

Шпее давал последние напутствия более двумстам осуждённым ведьмам. У него имелась возможность посмотреть на каждую ветвь дерева обвинений и увидеть, что абсолютно любые слова или действия обвинённой лишь укрепляли уверенность инквизиторов в её вине. Однако в каждом отдельном случае люди видели только одну ветвь дилеммы. Именно поэтому учёные формулируют свои экспериментальные предсказания заранее.

Но нельзя получить и то, и другое. «Нельзя» в смысле «математически невозможно», а не просто «нечестно». Правило «отсутствие свидетельства есть свидетельство отсутствия» — частный случай более общего утверждения, которое я называю законом сохранения ожидаемых свидетельств: математическое ожидание апостериорной вероятности с учётом будущего свидетельства должно равняться априорной вероятности.

P(H) = P(H)

P(H) = P(H,E) + P(H,~E)

P(H) = P(H|E) ∙ P(E) + P(H|~E) ∙ P(~E)

Или, перенеся P(H) на другую сторону: (P(H|E) − P(H)) ∙ P(E) + (P(H|~E) - P(H)) ∙ P(~E) = 0, ожидаемое изменение вероятности — ноль.

Следовательно, для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против.

Если имеется высокая вероятность получения слабого свидетельства в одну сторону, то она компенсируется низкой вероятностью получения сильного свидетельства в другую сторону. Если ты очень уверен в своей теории, и поэтому ожидаешь увидеть предсказанный результат, то исполнение предсказания лишь самую чуточку усиливает убеждённость в этой теории (эта убеждённость и без того близка к 1), однако неожиданная неудача нанесёт уверенности сильный удар, как и должно быть. В среднем, твоя убеждённость остаётся совершенно неизменной. Аналогично, одно лишь ожиданиевстретить свидетельство — до того, как ты увидел, в чём именно оно заключается — не должно сдвигать твоей априорной убеждённости.

Поэтому, заявляя, что отсутствие саботажа подтверждает существование японско-американской Пятой Колонны, человек должен подразумевать, что наличие саботажа опровергает существование Пятой Колонны. Если доброта и благочестие — свидетельство того, что женщина является ведьмой, то злоба и грех должны быть свидетельством её невиновности. Если Господь, проверяя нашу веру, отказывается явить Себя нашим глазам, то описанные в Библии чудеса должны разубеждать нас в существовании Бога.

Звучит как-то неправильно, ведь так? Прислушивайся к ощущению натянутости, внимательно ищи это тихое напряжение на границе восприятия. Это важно.

Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.

Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, какие бы будущие стратегии ты ни вырабатывал, — ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.

С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.

…временами я ужасаюсь извращённости человеческой психики.

Знание задним числом обесценивает науку

Элиезер Юдковский

Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию», стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что ты и так мог предсказать и ожидал увидеть».

Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом(эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающиеся угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).

Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:

У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах).

Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату).

Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»).

Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими).

Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).

Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.

Все утверждения из этого списка прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.

А ещё я мог, перепечатывая этот остроумный список за авторством Поля Лазарсфельда, перевернуть результаты ещё раз — тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?

Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?

Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тратят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой — перевёрнутый результат того же социологического исследования. Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.

Что приводит людей к мысли, что им не нужна наука, ведь всё «и так ясно».

(довольно очевидный вывод, не так ли?)

Знание задним числом заставляет нас систематически недооценивать неожиданность научных открытий, особенно тех открытий, которые мы можем понять; тех открытий, которые нам близки, и которые мы можем постфактум уместить в свою модель мира. Регулярно читающий новости человек, разбирающийся в неврологии или физике, скорее всего тоже недооценивает неожиданность открытий в этих дисциплинах. Этот эффект несправедливо обесценивает вклад исследователей, и, что ещё хуже, не даёт тебе заметить свидетельства, которые отличаются от того, что бы ты предсказал на самом деле.

Без сознательного усилия невозможно почувствовать должный уровень шока.

Загадочные ответы

Лжеобъяснения

Элиезер Юдковский

Давным-давно жила-была в одном городе учительница физики. В один прекрасный день она пригласила в класс своих студентов и показала им широкую квадратную металлическую пластину рядом с обогревателем. Студенты прикладывали ладони к пластине и ощущали, что сторона пластины рядом с обогревателем кажется холодной, а дальняя от обогревателя сторона кажется тёплой. «В чём дело, как вы думаете?» — спросила учительница. Некоторые заговорили о конвекции воздушных потоков, остальные предположили наличие странных примесей в пластине. Студенты предложили много изобретательных объяснений, никто не снизошёл до фраз «Я не знаю» или «По-моему, это просто невозможно».

А разгадка была в том, что учительница развернула пластину ненагретой стороной к обогревателю перед тем, как студенты вошли в комнату.

Посмотрим на студента, растерянно бормочущего «Э… Ну, может быть, это из-за теплопроводности и всего такого?». Являются ли его слова полноценным убеждением? Слова достаточно легко произнести громким, убедительным голосом. Но контролируют ли они ожидание?

Подумаем о маленьком невинном предлоге «из-за», который стоит перед словом «теплопроводности». Подумаем о других вещах, которые он может предварять: например, можно сказать «из-за флогистона» или «из-за волшебства».

«Магия — не научное объяснение!» — можете закричать вы. Действительно, легко заметить, что эти две фразы — «из-за теплопроводности» и «из-за волшебства» — принадлежат различным литературным жанрам. Слово «теплопроводность» можно найти в лексиконе Спока из «Звёздного пути», а про «волшебство» может рассуждать Руперт Джайлз из «Баффи — истребительницы вампиров».

Но, будучи байесианцами, мы игнорируем жанры литературы. В наших глазах модель определяется через её воздействие на ожидания будущих событий. Ты сказал «теплопроводность»; на какие будущие переживания ты рассчитываешь, исходя из этой модели? В нормальных условиях эта модель подскажет тебе, что более тёплой на ощупь должна быть сторона пластины, которая ближе к обогревателю. Если фраза «из-за теплопроводности» может объяснить ещё и то, что ближняя к обогревателю сторона ощущается холоднее, то эта фраза может объяснить вообще всё что угодно.

Ну и, как все уже — я надеюсь — поняли к этому моменту: если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. (В этом предложении автор ссылается на следующие материалы 1 — прим. пер.)

Если постоянно злоупотреблять фразой «из-за теплопроводности», то эта модель превратится в замаскированную гипотезу максимальной энтропии. В плане предсказаний такое предположение изоморфно фразе «это магия». Выглядит как объяснение, но им не является.

Представим, что мы измеряем температуру металлической пластины в различных точках и в разное время, вместо того, чтобы высказывать догадки вслух. Видя металлическую пластину рядом с нагревателем, обычно мы ожидаем увидеть, что температуры точек удовлетворяют равновесию диффузионного уравнения с учётом граничных условий, наложенных окружающей средой. У тебя может не получиться правильно определить температуру в первой точке измерения, но после измерения нескольких первых точек — я не настолько физик, чтобы знать, сколько именно точек потребуется — уже можно с отличной точностью вычислить температуру остальных.

Истинный гуру искусства Ограничения Ожиданий По Поводу Материальных Явлений С Помощью Чисел — один из тех людей, которых мы называем «физиками» — сделает измерения и скажет «Эта пластина находилась в равновесии с окружением две с половиной минуты назад, потом её повернули на 180 градусов, и сейчас она снова к нему приближается»

Ошибка студентов не просто в том, что они не сумели ограничить свои ожидания. Их менее явная, и более глубокая ошибка заключалась в том, что они думали, что занимаются физикой. Они сказали «потому что», дополненное чем-то похожим на изречения Спока в «Звёздном пути», и решили, что тем самым они приобщились к магистерию науки.

Это не так. Они просто переместили магию из одного жанра литературы в другой.

Угадай слово, задуманное учителем

Элиезер Юдковский

В юности я читал популярные книги по физике, например «КЭД — странная(English) теория света и вещества» Ричарда Фейнмана. Я знал: свет — это волны, звук — это волны, материя — это волны. Мне было девять лет и я гордился своей научной грамотностью.

Намного позже, когда я начал читать фейнмановские лекции по физике, я наткнулся на жемчужину под названием «волновое уравнение». Я мог проследить за его выводом, но у меня не выходило охватить это доказательство одним взглядом(English). В течении трёх дней, от случая к случаю, я думал об этом уравнении, и, наконец, понял, что оно до смешного очевидно. И после этого я осознал, что всё то время, когда я верил в честные заверения физиков о том, что свет — это волны, звук — это волны, материя — это волны, я не имел ни малейшего понятия о том, какой именно смысл вкладывают физики в слово «волна».

Вполне естественно думать, что если учёный говорит: «Свет — это волны», и учитель спрашивает, что такое свет, на что студент отвечает: «это волны», то студент произнёс истинное утверждение. По-другому ведь нечестно, правда? Если мы считаем фразу «свет — это волны» верной в устах физика, то она же должна быть верна и в устах студента? В самом деле, утверждение «свет — это волны» либо истинно, либо ложно, не так ли?

И это — ещё одна плохая привычка, которой нас учат в школе(English). У слов нет встроенных значений. Когда я слышу слоги «бо-бёр», в моём мозгу возникает образ большого грызуна; но это факт о состоянии моего разума, а не о слогах «бо-бёр». Последовательность слогов «это волны» (или «из-за теплопроводности») — это не гипотеза. Это набор колебаний воздуха, либо форма, принятая чернилами на бумаге. Внутри разума может быть связь между этой фразой и какой-нибудь гипотезой, но эта фраза, сама по себе, не является ни истинной, ни ложной.

Однако, если сказать школьному учителю «это волны», то ты получишь пятёрку с плюсом: учитель считает ответ «это волны» правильным, поскольку он наблюдал, как физик создаёт эти же колебания воздуха. А раз пятёрки с плюсом раздают за определённые фразы (написанные либо произнесённые), то студенты начинают думать, что у фраз есть истинностное значение. В конце концов, свет либо волны, либо не волны, так?

И это ведёт к ещё более ужасной привычке. Представим, что учитель ставит перед тобой странную задачу: ближняя сторона металлической пластины, лежащей рядом с обогревателем, ощущается менее тёплой, чем дальняя. Учитель спрашивает, в чём дело. Ответить «я не знаю» нельзя: тогда ты ни только не получишь пятёрку с плюсом, но даже не будешь считаться участвовавшим в уроке. Но в течение этого семестра учитель использовал фразы «из-за теплопроводности», «из-за конвекции» и «из-за теплового излучения». Видимо, одну из них учитель и желает услышать в ответ. Поэтому ты тянешь: «Нууу… может быть, из-за теплопроводности?».

Это не гипотеза о металлической пластине. Это даже не полноценное убеждение. Это попытка подобрать пароль.

Даже вспомнить уравнение диффузии (математическое описание процесса теплопроводности) — не то же самое, что и сформировать гипотезу о металлической пластине. Это не школа, и никто не собирается проверять, способен ли ты написать уравнение диффузии по памяти. Это байесоткачество, и мы начисляем очки за ожидания будущих переживаний. Если ты используешь уравнение диффузии — измерив температуру нескольких точек термометром, а затем пытаясь предсказать результат следующего измерения — то тогда это определённо привязано к переживаниям реального мира. Даже если студент просто представляет себе движение тепла, и поэтому подносит спичку к холодной стороне для того, чтобы измерить, куда течёт тепло, то этот мысленный образ движения привязан к переживаниям и контролирует ожидание будущего.

Если ты не используешь уравнение диффузии: не подставляешь в него числа и не получаешь данные, влияющие на твои ожидания определённых переживаний, то тогда твоя когнитивная карта полностью отрезана от местности. То, что осталось, даже нельзя назвать убеждением — это просто речевое поведение.

Школьная система построена вокруг речевого поведения, выражается ли оно через колебания воздуха, или через узор чернил на бумаге. От речевого поведения зависит, получишь ли ты пятёрку с плюсом, или двойку вместе с вызовом родителей. Осознавать различие между объяснением и паролем — первый шаг на пути избавления от этой вредной привычки.

Не слишком ли это жестоко? Ведь, когда человек пытается разрешить загадку металлической пластины, мысль «теплопроводность?» может быть первым шагом к нахождению ответа, верно? Может быть, но только в том случае, если этот человек старается разрешить загадку, а не подобрать пароль. Если нет учителя, готового указать на ошибку, то ловушка становится ещё страшнее. Тогда можно считать фразу «Свет — это вакаликс» хорошим объяснением, можно думать, что слово «вакаликс» — правильный пароль. Когда мне было 9 лет, это случилось и со мной: не потому что я был глуп, а потому, что это то, что случается обычно, по умолчанию. Это привычный для людей образ мыслей, и чтобы его избежать, нужно приучить себя не попадать в эту ловушку. Человечество падало в такие ямы и сидело в них тысячелетиями.

Возможно, если вдолбить студентам, что слова не считаются, а имеют значение лишь контроллеры ожиданий, то никто больше не застрянет в западне алгоритма «Теплопроводность? Нет? Тогда конвекция? Тоже не то?». Возможно, тогда мысль «может быть, теплопроводность?» будет началом действительно полезного пути, например:

«Теплопроводность?»

Но это только фраза — что она означает?

Уравнение диффузии?

Но это только символы — как мне их применить?

Будь уравнение диффузии справедливым, чего бы я рассчитывал почувствовать?

Я определенно не рассчитывал бы обнаружить, что отдаленная от обогревателя часть металлической пластины будет теплей.

Я замечаю своё замешательство. Возможно ближняя сторона всего лишь ощущаетсяболее холодной? Скажем, она изготовлена из какого-нибудь плохо проводящего тепло материала и поэтому передает меньше теплоты моей руке? Я попробую измерить температуру…

Ладно, не сработало. А если проверить, приложимо ли вообще уравнение диффузии к этой металлической пластине? Тепло течет как обычно, или происходит нечто иное?

Можно поднести спичку к пластине и попробовать измерить, как тепло распространяется с течением времени…

Если не выкорчевать сорняк лжеобъяснения «Эмм, может быть из-за теплопроводности?», то студент, скорее всего, застрянет на стадии паролей и вакаликса. Это происходит по умолчанию, это происходило со всем человечеством на протяжении тысяч лет.

Наука как одеяние

Элиезер Юдковский

В трейлере фильма «Люди Икс» голос за кадром говорит: «В каждом человеке… есть генетический код… вызывающий мутации». Несложно заметить, что, мутировав, можно приобрести разнообразные полезные способности. К примеру, мутант Шторм без труда метает молнии.

Прошу тебя, дорогой читатель, подумать о биологических приспособлениях, необходимых для производства электричества; о природной защите от собственного электричества; а также о структурах внутри мозга, отвечающих за тонкое управление разрядом молнии. Если мы бы и в самом деле обнаружили бы организм, который приобрёл такие способности за одно поколение, в результате мутации, то это бы одним махом вдребезги бы опровергло неодарвинистскую модель естественного отбора: это было бы ещё убийственнее, чем скелет кролика, датируемый докембрием. Если теорию эволюции действительно можно растянуть так, чтобы она не возражала против истории Шторм, то она станет способной объяснить всё, что угодно, и нам прекрасно известно, к чему такое ведёт.

Серия комиксов «Люди X» использует термины вроде «эволюция», «мутация» и «генетический код» лишь для создания атмосферы наукообразия; лишь для того, чтобы она относилась к науке как литературному жанру. И меня пугает то, как часто я встречаю людей (особенно в СМИ), воспринимающих науку исключительно как жанр литературы.

Я сталкиваюсь с людьми, которые твёрдо верят в эволюцию и не воспринимают всерьёз креационистов. При этом они вообще не имеют представления о том, что запрещено законами эволюционной биологии, а что нет. Они могут говорить про «следующий шаг эволюции человечества», как если бы естественный отбор имел бы свой план действий. Хуже того, они могут говорить о явлениях, вообще находящихся за пределами эволюционной биологии, вроде улучшений дизайна компьютерных чипов, дробления корпораций, или загрузке человека в компьютер, называя всё это «эволюцией». Если это относится к эволюционной биологии, то эволюционная биология относится ко всем явлениям на Земле.

Вероятно, большинство людей, которые верят в эволюцию, используют фразу «вследствие эволюции», потому что они хотят чувствовать себя причастными к научной тусовке. Выражение становится деталью имиджа, символическим одеянием, навроде лабораторного халата. Если бы научная тусовка вместо «вследствие эволюции» говорила бы «вследствие разумного замысла», то такие люди вдохновенно повторяли бы и это — это совершенно бы не затронуло их ожидания того, что можно встретить в мире. Для нихнет разницы, говорить ли «из-за эволюции» или «из-за разумного замысла». По их мнению, эволюция никоим образом не запрещает существования Шторм, а научные словечки имеют единственное назначение — возможность отождествлять себя с племенем.

Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них — лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат; а учёные не похожи на футбольную команду, за которую они болеют.

Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное — скорее всего, лишь пароли или одеяния.

Лжепричинность

Элиезер Юдковский

Флогистон — это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали — «флогистон».

…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».

Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.

Разумеется, никто не использовал теорию флогистона для того, чтобы предсказатьрезультат химического превращения. Алхимик сначала смотрел на результат, а затем при помощи флогистона объяснял его. Не было и намёка на то, чтобы флогистонщики предсказали прекращение горения в замкнутом сосуде; они, скорее, зажгли огонь в сосуде, увидели его угасание и затем сказали: «Должно быть, воздух насытился флогистоном». Теорию флогистона нельзя применить для того, чтобы выяснить, чего ты точно не сможешь увидеть. Она может объяснить всё.

Наука ещё только начинала выходить на сцену. Очень долго никто не осознавал, что в этой теории что-то не так.

Встретив лжеобъяснение, очень легко не ощутить его фальшивость: потому они и опасны.

Современные специалисты предполагают, что люди думают о причино-следственных связях, используя нечто вроде направленных ациклических графов или байесовских сетей. Поскольку шел дождь, тротуар мокрый; поскольку тротуар мокрый, он скользкий:

[Дождь] -> [Тротуар мокрый] -> [Тротуар скользкий]

Из этого можно вывести (а, имея байесовскую сеть, можно даже точно вычислить эту вероятность), что, если тротуар скользкий, то, вероятно, шёл дождь. Однако, если уже известно о мокрости тротуара, то сообщение о его скользкости не несёт в себе никакой новой информации о дожде.

Почему огонь горячий и яркий?

[«Флогистон»] -> [Огонь горячий и яркий]

Это выглядит как объяснение. И в мозгу эта информация хранится в том же формате и под тем же расширением, что и «настоящие» объяснения. Но человеческий разум неспособен автоматически определить, что стрелка, соединяющая гипотезу с её возможными следствиями, никак не ограничивает пути, которыми могут проявляться эти следствия. Эффект знания задним числом делает ситуацию ещё хуже: люди могут считать, что гипотеза действительно ограничивает происходящее, хотя на самом деле гипотеза подогнана под происходящее постфактум.

Современная трактовка вероятностных рассуждений о причинности может точно описать, в чём именно состояла ошибка флогистонщиков. Байесовские сети были разработаны для того, чтобы, кроме всего прочего, не учитывать свидетельства дважды в том случае, когда логический вывод между причиной и следствием возможен в обе стороны. Например, я добыл кусочек ненадёжной информации о том, что тротуар мокрый. Это заставляет меня подумать: «возможно, идёт дождь». Но если идёт дождь, то утверждение «тротуар мокрый» стало более правдоподобным, так? То же самое ведь касается и скользкости тротуара, верно? Но если тротуар скользкий, то он, скорее всего, мокрый — и тогда нужно опять повысить вероятность того, что идёт дождь.

Джуда Перл приводит в качестве метафоры алгоритм подсчёта солдат в линии. Представьте, что вы стоите в линии и видите рядом только двух солдат: одного спереди и одного сзади. Всего трое солдат. Вы спрашиваете своего соседа: «Сколько солдат ты видишь?» Он оглядывается и говорит: «Троих». Получается, всего солдат шесть. Очевидно, что так решать эту задачу не стоит.

Умнее будет спросить у стоящего впереди солдата: «Сколько солдат перед тобой?», и у стоящего позади: «Сколько солдат за тобой?». Сообщение с вопросом «сколько солдат перед тобой?» можно передать дальше без особых затруднений. Если я стою первым, то я передам назад «1 солдат впереди». Человек, стоящий прямо за мной, получит сообщение «1 солдат впереди» и скажет второму своему соседу «2 солдата впереди». В это же время кто-то получает сообщение «N солдат позади» и передаёт стоящему впереди солдату сообщение «N+1 солдат позади». Сколько же всего солдат? Сложите оба полученных числа и добавьте единицу для себя — это и есть общее число солдат в линии.

Ключевая идея состоит в том, что каждый солдат должен отдельно отслеживать эти два сообщения, прямое и обратное, и сложить их вместе только в конце. Нельзя добавлять солдат из обратного сообщения, которое ты получил, в прямое сообщение, которое ты передашь дальше. Разумеется, сообщение с общим числом солдат никогда не появляется в этой цепочке: никто не произносит этого числа вслух.

Аналогичный принцип применяется в строгих вероятностных рассуждениях о причинности. Получение из не связанного с мокрым тротуаром источника каких-либо свидетельств о дожде создаст прямое сообщение от узла [дождь] к узлу [мокрый тротуар], и тем самым усилит ожидание увидеть мокрый тротуар. Наблюдение мокрого тротуара создаст обратное сообщение, идущее к убеждению о дожде, а затем это сообщение распространится от узла [дождь] до всех его соседей, кроме узла [мокрый тротуар]. Каждый кусочек свидетельства учитывается ровно единожды; корректировки никогда не застревают между узлами, скача туда и обратно. Точный алгоритм можно найти в классической книге «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference» Джуды Перла.

Так что же было неправильно в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел [огонь] посылает обратное сообщение со свидетельством узлу [флогистон], вынуждая нас обновить убеждения о флогистоне. Но тогда мы не можем считать это успешным предсказанием теории флогистона. Сообщение должно идти в единственном направлении, не отражаясь назад.

Увы, для обновления сетей убеждений люди используют не строгий алгоритм, а его грубое приближение. Мы изучаем родительские узлы, наблюдая за дочерними узлами, и предсказываем поведение дочерних узлов, используя убеждения о родительских узлах. Но ящик с документацией по прямым сообщениям не отделён от ящика с документацией по обратным сообщениям толстой непроницаемой стеной. Мы просто помним: «флогистон горячий, и из-за этого огонь тоже горячий». Всё это выглядит так, будто теория флогистона предсказывает «горячесть» огня. Или, что ещё хуже, нам кажется: «флогистон делает огонь горячим».

Лишь после того, как кто-нибудь заметит полное отсутствие предсказаний заранее, не ограничивающий ожиданий причинно-следственный узел получит ярлык «фальшивка». До этого момента он не будет отличаться от остальных узлов в сети убеждений. Утверждение «флогистон делает огонь горячим» ощущается фактом точно так же, как и все остальные известные тебе факты.

Правильно спроектированный ИИ заметит проблему мгновенно. Для этого не понадобится какой-нибудь особенной заплатки, нужен всего лишь правильный учёт происходящего в сети убеждений (к сожалению, в отличие от правильно спроектированных ИИ, люди не способны переписывать свой исходный код, чтобы исправить найденные ошибки)

Рассуждения об «эффекте знания задним числом» — это просто способ не привлекая технических терминов рассказать о том, что люди не разделяют прямые и обратные сообщения, из-за чего прямые сообщения могут загрязняться обратными.

Люди, пошедшие по пути флогистона, не намеревались стать дураками. Ни один учёный не желает застрять в тупике. Не скрываются ли лжеобъяснения в недрах твоего разума? Если они там есть, то к ним определённо не приклеен ярлык «лжеобъяснение», и поэтому поиска по ключевому слову «фальшивка» явно недостаточно для того, чтобы их обнаружить.

Проверить, насколько хорошо теория «предсказывает» уже известные тебе факты, также недостаточно: эффект знания задним числом обесценит все усилия. Предсказывать нужно на завтра, а не на вчера. Лишь так можно быть уверенным в том, что захламлённый человеческий разум действительно посылает чистое прямое сообщение.

Семантические стоп-сигналы

Элиезер Юдковский

И ребёнок спросил:

— Откуда взялся этот булыжник?

— Я отломил его от большого камня в центре деревни.

— Откуда взялся этот камень?

— Наверное, он скатился с большой горы, что возвышается над нашей деревней.

— Откуда взялась эта гора?

— Оттуда же, откуда и все камни. Это кости Имира, изначального великана.

— Откуда появился изначальный великан Имир?

— Из мировой бездны по имени Гинунгагап.

— Откуда появилась мировая бездна Гинунгагап?

— Никогда этого не спрашивай.

Рассмотрим кажущийся парадокс первопричины. Наука отследила цепочку событий до Большого Взрыва, но отчего случился сам Большой Взрыв? Можно и нужно сказать, что Большой Взрыв произошёл в «ноль часов ноль минут», и поэтому нельзя говорить о времени «до Большого Взрыва», поскольку к этому понятию неприменима обычная концепция времени. Но, говоря так, мы используем существующие физические законы, которые звучат довольно структурировано, что тоже требует объяснений. Откуда появились физические законы? Можно ответить, что вся Вселенная является компьютерной симуляцией, но тогда это симуляция должна быть запущена в каком-то другом мире, подчиняющемся другим законам физики — а откуда взялись они?

После того, как вопросы доходят до этой стадии, некоторые люди отвечают «Бог!».

Почему кто-либо, даже очень религиозный человек, может думать, что это может хоть как-нибудь помочь ответить на вопрос о первопричине? Почему вопрос «откуда взялся Бог?» автоматически не всплывает в разуме? Утверждения «Бог не может иметь причины» или «Бог создал Себя Сам» приводят нас в то же состояние, что и «время началось вместе с Большим Взрывом». Далее следует спросить, почему существует вся эта метасистема, или почему какие-то явления могут иметь причину, а какие-то не могут.

Я ставлю цель не обсудить мнимый парадокс первопричины, а задаться вопросом, почему кто-то считает, что восклицание «Бог!» может разрешить парадокс. Восклицание «Бог!» говорит о принадлежности племени, и поэтому у людей возникает соблазн делать это как можно чаще — иногда это утверждение можно услышать даже в ответ на «почему ураган обрушился на Новый Орлеан?». Но всё же… Совершенно очевидно, что в этой конкретной головоломке «Бог» ничем не помогает. Бог не смог бы сделать парадокс менее парадоксальным, даже если бы существовал. Как можно этого не замечать?

Джонатан Уоллес предположил, что «Бог!» работает, как семантический стоп-сигнал:это не столько сознательное утверждение, сколько дорожный знак на трассе для мыслей, говорящий «дальше не думай, проезд закрыт». Восклицание «Бог!» не разрешает парадокс, а, скорее, устанавливает в нужном месте дорожный знак, чтобы остановить цепочку естественных вопросов и ответов.

Но ты — хороший и правильный атеист, и, разумеется, ни за что не попадёшься в ловушку. Но семантические стоп-сигналы не исчерпываются восклицанием «Бог!», это лишь наглядный пример.

Трансгуманистические технологии — молекулярная нанотехнология, продвинутые биотехнологии, генетическая инженерия, искусственный интеллект, и так далее — ставят нас перед лицом нелёгких политических вопросов. В какой степени правительство должно вмешиваться в выбор генов будущего ребёнка его родителями, или оно не должно вмешиваться вообще? Если родители желают дать ребёнку ген шизофрении, то следует ли им это позволить? Если улучшение интеллекта — крайне дорогостоящая процедура, то должно ли государство её обеспечивать, чтобы не допустить возникновения когнитивной элиты? Эти задачи могут выполнять различные общественные институты — например, частные благотворительные фонды, оказывающие финансовую помощь в усилении интеллекта — но в ответ на каждое такое предложение неизбежно возникает очевидный дальнейший вопрос: «Справится ли этот институт со своей задачей?». Изготовление опасных нанотехнологий может караться судебными исками, но сработает ли такая схема?

Один из моих знакомых знает ответ на любой из этих вопросов: «Либеральная демократия!». Это всё. В этом и заключается его ответ. Если же попытаться спросить: «А насколько хорошо в мировой истории либеральные демократии справлялись с такими сложными задачами?» или «А если либеральная демократия совершит глупость?», тогда вы станете автократом, либертопианцем, или просто очень, очень нехорошим человеком. Никто не имеет права сомневаться в демократии.

Как-то я назвал такие размышления «божественной привилегией демократии», но точнее будет сказать, что «Демократия!» была его семантическим стоп-сигналом. Если бы кто-нибудь заявил: «Пусть всё это решает «Газпром»!», то он бы начал задавать очевидные вопросы: «Почему? Что «Газпром» может тут сделать? Почему ему можно доверять в таких вопросах? Что насчёт его прошлого опыта в решении похожих по сложности задач?»

Или, представим, что кто-нибудь заявляет: «поляки строят заговор, чтобы убрать кислород из атмосферы Земли». Ты наверняка задашься вопросом зачем им это надо, чем они будут дышать и способны ли они вообще тайно преследовать единые цели. Если ты не задаёшь дальнейших вопросов после утверждения «Корпорации планируют убрать кислород из атмосферы Земли», то слово «корпорации» сработало тут как семантический стоп-сигнал.

Не забывай, что понятие «семантический стоп-сигнал» нельзя превращать в обобщённый контраргумент против вещей, которые тебе не по душе («Да ну, это просто бессмыслица, приправленная семантическими стоп-сигналами!»). Слово не может быть стоп-сигналом само по себе; вопрос заключается в том, производит ли оно этот эффект на конкретного человека. Сильные эмоции по отношению к чему-то — недостаточное основание для того, чтобы назвать это стоп-сигналом. Я не одобряю террористов и не испытываю страха перед частной собственностью, но это не означает, что слова «террористы» или «капитализм» выполняют функции дорожных знаков в моём мышлении (когда-то такой эффект имело слово «интеллект», но это уже в прошлом). Главная черта семантического стоп-сигнала — нежелание рассмотреть следующий очевидный вопрос.

Таинственные ответы на таинственные вопросы

Элиезер Юдковский

Представь, что ты глядишь на свою руку, ничего не зная ни о клетках, ни о биохимии, ни о ДНК. У тебя есть некоторые познания в анатомии, полученные путём препарирования, поэтому тебе ясно, что в ладони есть мышцы. Однако, ты не знаешь, почему они движутся, вместо того, чтобы неподвижно лежать, как кусок глины. Твоя рука — просто кусок… эмм… вещества, и почему-то этот предмет исполняет твои мысленные приказы. Разве это не волшебство?

«Животное тело не ведёт себя, как термодинамическая система… сознание говорит каждому человеку, что он является, в какой-то степени, предметом своей воли. Это проявляется в том, что живые существа могут мгновенно прикладывать к определённым движущимся частицам материи внутри своих тел силы, направляющие движение этих частиц, для того, чтобы создавать наблюдаемые механические эффекты… Вопрос о влиянии животной или растительной жизни на материю беспредельно далёк от любых научных изысканий, начатых до настоящего времени. Сила управлять движением материи, ежедневно проявляемая в чуде свободы воли человека, и в поколениях растений, выросших из единого зерна, безгранично непохожа на любой возможный результат движения атомов, каким бы удачным он ни оказался… Современным биологам придётся запомнить ещё один принцип, и на этот раз — жизненно важный». (Лорд Кельвин)

В этом состоит теория витализма: загадочные различия между живой и неживой материей могут быть объяснены посредством «жизненной силы» («elan vital» или «vis vitalis»). «Жизненная сила» внедряется в живую материю и подчиняет её приказам сознания. Жизненная сила участвует в химических реакциях, из-за чего неживая материя не может проявлять часть свойств живой материи. В частности, без помощи жизненной силы невозможно получить живую материю из неживой; поэтому проведённый Фридрихом Вёлером химический синтез мочевины нанёс сильный удар по теории витализма, показав, что обыкновенной химии по силам получить биологический продукт.

Называть «жизненную силу» объяснением или даже лжеобъяснением вроде флогистона— значит, переоценивать эту теорию. «Жизненная сила», в первую очередь, работает, как затычка для любопытства. Ты спрашиваешь «почему?», слышишь ответ «жизненная сила!», и на этом разговор окончен.

Когда ты говоришь «жизненная сила!», тебе кажется, будто ты знаешь, почему двигается твоя рука. В твоей голове есть маленькая причинно-следственная диаграмма, которая говорит: [«жизненная сила!»] -> [рука двигается]. Но на самом деле ты не знаешь ничего неизвестного тебе раньше. Например, ты не сможешь сказать, будут ли твои руки отдавать или поглощать тепло, пока не пронаблюдаешь это в действительности; ты не сможешь предсказать этого заранее. Твоё любопытство удовлетворено, но оно удовлетворено пустышкой. Раз любому наблюдению ты можешь сказать «Почему? Жизненная сила!», то витализм одинаково хорошо объясняет все исходы, не способен противоречить вообще хоть каким-нибудь фактам, является замаскированной гипотезой максимальной энтропии, и так далее.

Но главный урок нужно извлечь из благоговения виталистов пред жизненной силой, из их старания провозгласить её тайной, стоящей выше всей науки. Встретив великого дракона по имени Неизвестность, виталисты не обнажили клинков, чтобы попытаться пронзить его сердце, но мирно склонили головы в знак подчинения. Они превратили биологию в священную тайну и гордились своим невежеством, потому и не желая отказаться от незнания, когда на сцене появились свидетельства.

Великий Секрет Живого был бесконечно далёк от науки! Не просто слегка вдали, заметьте, но бесконечно далёк! Лорд Кельвин явно получал колоссальное наслаждение от незнания.

Но невежество — это то, что рисуется на карте, а не то, что можно обнаружить, гуляя по местности. Если я не имею ни малейшего представления о неком явлении, то это факт о состоянии моего разума, а не о самом явлении. Явление может быть таинственным в глазах некого определённого человека. Не существует явлений, таинственных самих по себе. Поклоняться явлению, потому что оно выглядит столь потрясающе таинственно, — означает поклоняться собственному невежеству.

Витализм, как и флогистон, заключил загадку в отдельную субстанцию. Огонь был загадкой, и теория флогистона заключила загадку в таинственную субстанцию под названием «флогистон». Жизнь была священной тайной, и витализм заключил священную тайну в таинственную субстанцию под названием «жизненная сила». Ни один из ответов не попытался сконцентрировать плотность вероятности модели, сделать какие-то результаты более ожидаемыми, чем другие. Эти «объяснения» просто закутали вопрос в твёрдый непрозрачный чёрный шарик.

В одной из комедий Мольера доктор объясняет действие снотворного тем, что в нём содержится «фактор усыпления». Тот же самый принцип. Это универсальный недочёт человеческой психики: столкнувшись с таинственным явлением, нам легче объяснить его через таинственную субстанцию с внутренне присущими ей свойствами, чем через лежащие в основе сложные процессы.

Но ещё более страшная ошибка — допущение того, что ответ может быть таинственным. Если явление кажется таинственным, то это факт о наших знаниях, а не факт о самом явлении. Виталисты увидели таинственный пробел в своих знаниях и постулировали таинственную штуку, заполняющую этот пробел. Тем самым они перемешали карту и местность. Всё недоумение и замешательство находятся в карте, а не внутри отдельных субстанций.

Именно поэтому раз за разом на протяжении всей человеческой истории люди поражаются тому, что невероятно таинственный вопрос имеет приземлённый не-таинственный ответ. Окутанными тайной могут быть только вопросы, но не ответы.

Поэтому я называю теории вроде витализма «таинственными ответами на таинственные вопросы».

Признаки таинственных ответов на таинственные вопросы:

Во-первых, объяснение работает не контроллером ожиданий, а затычкой для любопытства.

Во-вторых, в гипотезе нет движущихся частей: модель является не определённым сложным механизмом, а, скорее, просто сплошной субстанцией или силой. В гипотезе говорится, что таинственная субстанция или таинственная сила находятся вот здесь и вызывают вот это, но причина, по которой таинственная сила ведёт себя именно таким образом, инкапсулирована в пустую тавтологию.

В-третьих, люди, предлагающие это объяснение, дорожат собственным незнанием. Они с гордостью говорят о том, что обычная наука терпит поражение от этого явления, и о том, как это явление непохоже на все остальные обыденные явления.

В-четвёртых, несмотря на этот ответ, явление по-прежнему остаётся тайной, сохранив ту же степень завораживающей необъяснимости, что и вначале.

Тщетность эмерджентности

Элиезер Юдковский

Провалы флогистона и витализма — примеры исторического знания задним числом. Посмею ли я выступить и назвать современную теорию, которую считаю настолько же ошибочной?

Я называю эмерджентность или эмерджентный феномен — обычно определяемый как исследование систем, поведение которых на высоких уровнях являются следствием или «появляется» (to emerge) из взаимодействия многих низкоуровневых элементов. (Википедия: «То, как сложные системы и паттерны появляются из множества относительно простых взаимодействий»). Если воспринимать буквально, это утверждение подходит для любого феномена нашей вселенной, выше уровня отдельных кварков, что и является частью проблемы. Представьте, что можно показать на обвал рынка и сказать «Это не кварк!». Похоже на объяснение? Нет? Ну так и «Это эмерджентный феномен!» тоже не подходит.

Я протестую против прилагательного «эмерджентный», а не против глагола «появляется». Нет ничего плохого во том, чтобы сказать «X появляется на основе Y», где Y — специфическая, детальная модель с динамическими частями. «Возникает на» — еще один способ выразить ту же мысль: гравитация возникает из кривизны пространства-времени, в соответствии со специфической математической моделью Общей Теории Относительности. Химия возникает на основе взаимодействия атомов, в соответствии со специфической моделью квантовой электродинамики.

Представим, я буду говорить, что гравитация объясняется «возникновением», или что химия — «возникающий феномен», и утверждать, что это мое объяснение.

Слово «появляется» приемлемо, так же, как и «появляется из» или «вызвано» приемлемы, если ссылаются на специфическую модель, которую можно оценить саму по себе.

Однако, «эмерджентность» обычно используется иначе. Оно используется как объяснение само по себе.

Я уже потерял счет случаям, когда я слышал «Интеллект — эмерджентный феномен!», как объяснение интеллекта. Это применение подходит всем пунктам, характеризующим мистический ответ на мистический вопрос. Что ты узнал, сказав, что интеллект «эмерджентный»? Ты не можешь сделать новых предсказаний. Ты не знаешь ничего о поведении реальных разумов, о чем бы не знал ранее. Это воспринимается как новый факт, но ты не ожидаешь других результатов. Твое любопытство вроде бы удовлетворено, но не накормлено. Гипотеза не имеет динамических частей, нет детализированной внутренней модели для манипуляций. Те, кто предлагают гипотезу «эмерджентности», признаются в своем незнании внутреннего устройства и гордятся этим; они противопоставляют «эмерджентные» науки и «обычные».

И даже после того, как ответ «Как? Эмерджентность!» дан, феномен не перестает быть таинственным и обладать той же непроницаемостью, что и прежде.

Интересное упражнение: удалить прилагательное «эмерджентный» из предложения и посмотреть, изменилось ли что:

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это результат нейронных вспышек.

• До: поведение колонии муравьем — это эмерджентный результат взаимодействия многих отдельных муравьев.

• После: поведение колонии муравьев — это результат взаимодействия многих отдельных муравьев.

• Даже лучше: Колония состоит из муравьев. Мы можем успешно предсказывать поведение колонии, используя модели, включающие только индивидуальных муравьев, без общих переменных колонии, показывая, что мы понимаем, как поведение колонии возникает на основе поведения муравьев.

Еще одно интересное упражнение: заменять слово «эмерджентный» на старое, то, которым люди пользовались до эмерджентности:

• До: жизнь — эмерджентный феномен.

• После: жизнь — магический феномен.

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это магический результат нейронных вспышек.

Не правда ли, что каждое утверждение дает одинаковый объем информации о поведение феномена? Что каждая гипотеза подходит под одинаковый набор результатов?

«Эмерджентность» очень популярна, как раньше «магия» была популярна. «Эмерджентность» имеет глубокую притягательность для человеческой психологии по тем же причинам. «Эмерджентность» — такое замечательное простое объяснение, и это приятно произносить; это дает тебе священную тайну для поклонения. «Эмерджентность» популярна, потому что это «доширак» для любопытства. Можно объяснить что угодно, используя эмерджентность, так что люди это и делают; ведь это так замечательно — объяснять что-то. Люди остаются людьми, даже если посещали пару научных курсов в колледже. Найдя способ избежать оков обычной науки, они возвращаются к тем же проделкам, что и их предки, одеваясь в одежды науки, но сохраняя ту же самую видовую психологию.

Скажи нет «сложности»

Элиезер Юдковский

Однажды…

Эта история произошла во времена, когда я впервые встретил Марчелло, с которым, позже, я буду год работать над теорией ИИ, но на тот момент я еще не принял его в свои ученики. Я знал, что он участвовал в соревнованиях по математике и информатике на национальном уровне, и этого было достаточно, чтобы я захотел присмотреться к нему. Но я еще не знал, сможет ли он научиться думать об ИИ.

Я спросил Марчелло, как, по его мнению, ИИ может разработать способ решения кубика Рубика. Не в смысле написания программы, что довольно тривиально, а открытия законов вселенной Рубика и построения рассуждений об их использовании. Как ИИ изобретет для себя концепты «оператора» или «макро», которые являются ключами для сборки кубика Рубика?

И, в процессе дискуссии, Марчелло сказал: «Ну, ИИ понадобится сложность для того, чтобы сделать Х, и для того, чтобы сделать У…»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему?»

Я ответил: «Сложность не должна быть самоцелью. Возможно, тебе понадобится определенный алгоритм, добавив который, ты увеличишь сложность, но сложность ради сложности лишь усложняет задачу». (Сказав это, я вспомнил о всех тех людях, что рассказывают про Интернет, который, став «достаточно сложным», «проснется» в качестве ИИ).

И Марчелло сказал: «Но должно же быть какое-то количество сложности, которое бы позволяло сделать это».

Я прикрыл глаза и попытался облечь мою мысль в слова. Для меня, говорить «сложность» - делать неправильный пируэт в танце ИИ. Никто не может думать достаточно быстро, осознанно, используя слова для выражения потока сознания, это потребует бесконечной рекурсии. Мы думает словами, но поток нашего сознания протекает ниже уровня слов, посредством выученных остатков озарений прошлого и горького опыта…

Я спросил:

— Ты читал «Техническое объяснение технического объяснения»?

— Да, — ответил Марчелло.

— Ладно! — сказал я. — Говоря «сложность», ты не помогаешь себе сконцентрировать массу вероятности.

— Ох, — сказал Марчелло, — это как с «эмерджентностью», хмх. Так… Теперь мне надо подумать, как Х может случиться по-настоящему.

Тогда я и подумал: «Возможно, это парень обучаем».

Сложность - далеко не бесполезный концепт. Она может быть определена математически, например в виде Колмогоровской сложности или размерности Вапника-Червоненкиса. Даже на интуитивном уровне, сложность стоит того, чтобы рассуждать о ней - тебе надо оценить сложность гипотезы и решить что она «слишком сложна» для имеющегося объема свидетельств или посмотреть на строение и попытаться упростить.

Но концепты сами по себе не становятся полезными или бесполезными. Использование может быть корректным или нет. Движение, которое пытался вплести в танец Марчелло, - попытка объяснения «за просто так», получить что-то в обмен на ничего. Это часто повторяемая ошибка, в моей сфере, как минимум. Можно вступить в дискуссию об Искусственном Интеллекте и наблюдать, как люди наступают на те же грабли тут и там, вновь в вновь, постоянно игнорируя собственное непонимание.

Ты и моргнуть не успеешь, а это уже произошло: проталкивание неконтролируемого причинного узла для чего-то таинственного - причинного узла, который воспринимается как объяснение, но не является таковым. Эта ошибка случается ниже уровня слов. Она не требует какого-то особенного изъяна личности: так устроено человеческое мышление по-умолчанию, так люди рассуждали с древних времен.

Чего тебе следует избегать, так это игнорирования таинственного: ты должен задержаться рядом с тайной и столкнуться с ней напрямую. Есть множество слов, способных «пронести» тайну, и некоторые из них можно вполне обоснованно применять в других контекстах, например, сложность. Но главная ошибка - игнорировать контрабанду таинственного, не замечая причинный узел, скрытый за ней. Контрабанда не является мыслью, а микромыслью. Нужно уделять пристальное внимание, чтобы заметить это. И, натренировав себя в избегании этого, можно превратить умение в инстинкт, ниже уровня слов. Нужно ощущать какие области карты пока пусты и, главное, уделять внимание этому чувству.

Подозреваю, что в научных кругах присутствует сильное давление, способствующее сокрытию таких проблем, ведь нужно выдавать бумаги с шлейфом законченности. Тебя будут больше почитать, если в твоей будто бы полной работе будет присутствовать «эмерджентный феномен», а не за незаконченную, в которой есть ярлыки «понятия не имею, как это работает» или «а тут происходит чудо». Журнал может даже не принять такую работу, ведь, кто знает, вдруг необъясненные явления и являются моментами, где все самое интересное происходит? И да, случается так, что все немагические части оказываются также и неважными. Это цена, которую приходится порой платить за вход в неизведанное и попытки решить проблемы мелкими шажками. Но это так же означает, что понимание того, что ты еще не закончил чрезвычайно важно. Часто люди даже не осмеливаются исследовать неизведанное, ужасно боясь напрасно потратить время впустую.

И, если ты работаешь над революционным ИИ-стартапом, то давление ещё выше, а желание спрятать проблемы ещё больше, иначе придется признать, что ты не знаешь пока как создать ИИ, и твоя жизнь обратится в прах. Но, возможно, я слишком усложняю, ведь контрабанда происходит неосознанно. Далеко ходить за примерами не нужно: просто послушай, как люди обсуждают философию, религию или науки, в которых у них нет профессиональной подготовки.

Марчелло и я пришли к соглашению о работе с ИИ: если мы сталкиваемся с чем-то, чего мы не понимаем, а это случалось довольно часто, мы будем говорить об этом как о «магии». Например, «Х магически делает У», чтобы напоминать себе о том, что тут присутствует нерешенная проблема, провал в понимании. Гораздо полезней говорить «магия», чем «сложность», ведь последнее слово создает иллюзию понимания. Мудрей говорить «магия» и оставлять себе напоминание о работе, которую надо сделать позже.

Подтверждающее искажение: взгляд во тьму

Элиезер Юдковский

Однажды, проводя занятие у студентов, я выписал на доске три числа: 2-4-6. «Я загадал правило, — сказал я, — которому подчиняются последовательности трех чисел. Данная последовательность подходит под это правило. Каждый из вас найдет у себя на парте листы бумаги. Выпишите последовательность трех чисел на карточке, а я в зависимости от того, подходит ли последовательность под правило, напишу на листе «да» или «нет». Это можно повторять до тех пор, пока вы не будете уверены, что угадали правило. После этого вы должны записать правило внизу листа».

Вот последовательность предположений одного из студентов:

4, 6, 2 — нет,

4, 6, 8 — да,

10, 12, 14 — да.

После этого студент записал свою версию правила. Как вы думаете, что он написал? А вы бы тоже остановились здесь или хотели бы протестировать еще триплет чисел? Если да, то какой? Остановитесь здесь и немного подумайте, прежде чем продолжить чтение.

Вышеприведенное упражнение основано на классическом эксперименте Питера Уэйсона, задаче «2-4-6». Несмотря на то, что испытуемые, которым дают эту задачу, выражают большую уверенность в своих предположениях, только 21% из них успешно угадывают задуманное экспериментатором правило, и все повторные опыты продолжали показывать тот же уровень успехов в районе 20%.

Исследование называлось «On the failure to eliminate hypotheses in a conceptual task» (Еженедельник экспериментальной психологии 12: 129-140, 1960). Испытуемые, которым предлагалась задача «2-4-6», обычно пытались придумать положительные примеры, а не негативные — они применяли гипотетическое правило для создания триплета, а потом смотрели, будет ли он отмечен как «да».

Таким образом, кто-то, кто формирует гипотезу «числа, каждое из которых больше предыдущего на два», тестирует триплет 8-10-12, видит, что подходит и уверенно объявляет свое правило. Кто-то, кто формирует гипотезу Х-2Х-3Х, тестирует триплет 3-6-9, обнаруживает, что триплет подходит, и тоже объявит правило.

В каждом из этих случаев настоящее правило одно и то же: три любых числа в порядке возрастания.

Однако, чтобы додуматься до этого, вы должны придумывать триплеты, которые не должны быть правильными, такие как 20-23-26 и проверять, будут ли они отмечены как «нет». Что люди обычно не склонны делать в этом эксперименте. В некоторых случаях испытуемые изобретают, «тестируют» и объявляют правила куда более сложные, чем настоящий ответ.

Данное когнитивное явление часто валят в одну кучу с предвзятостью подтверждения. Однако, на мой взгляд, явление склонности тестирования положительных примеров, а не отрицательных, следует отделять от явления стремления защитить изначальное убеждение. «Положительное искажение» иногда используется как синоним для предвзятости подтверждения и может описывать данный недостаток куда лучше.

Раньше казалось, что теория флогистона может объяснить прекращение огня в закрытой коробке (воздух переполнился флогистоном и больше не может вместить), но теория флогистона точно так же могла бы объяснить и тот вариант, если бы огонь продолжал гореть. Чтобы заметить это, вы должны искать негативные примеры вместо положительных, смотреть на ноль, а не на единицу; что, как показал эксперимент, идет вразрез с человеческим инстинктом.

Следуя инстинкту, мы живем в половинчатом мире.

Можно днями читать про положительное искажение и все еще не увидеть его в момент срабатывания. Положительное искажение работает не на уровне логики или даже эмоциональной привязанности. Задача 2-4-6 «холодная», логичная, не эмоционально «горячая». Ошибка находится ниже уровня слов, на уровне образов, инстинктивных реакций. Поскольку проблема появляется не из-за следования осознанному правилу, которое говорит «Думай только о положительных примерах», ее нельзя решить, сказав вслух «Мы должны думать как о положительных, так и о негативных примерах». Какие примеры автоматически всплывают в вашей голове? Вы должны уметь еще до вербального формулирования думать о негативном примере, а не о положительном. Вы должны научиться поворачиваться лицом к нулю, а не убегать от него.

Некоторое время назад я писал, что сила гипотезы определяется тем, что она не может объяснить, а не тем что может — если вы одинаково легко объясняете любой исход, то у вас ноль знаний. Так, чтобы указать на то, что объяснение не является полезным, недостаточно задуматься над тем, что оно может объяснить хорошо — вам нужно также искать результаты, которые нельзя объяснить, это и будет истинной силой теории.

Теперь, после всего сказанного напомню, что вчера я бросил вызов «сложности» как понятию. Один комментатор привел сверхпроводимость и ферромагнетизм как примеры сложности. Я ответил, что несверхпроводимость и неферромагнетизм тоже примеры сложности, в чем и состоит проблема. Но я не имел в виду критиковать комментатора! Несмотря на то, что я много читал про предвзятость подтверждения, я не воскликнул «Эврика!», когда в первый раз прочитал про задачу «2-4-6». Это невербальная реакция, работающая очень быстро, и которую надо тренировать заново. Сам я все еще работаю над этим.

Так что большая часть навыка рационалиста находится за пределами уровня слов. Это делает трудной работу по попыткам передать Искусство через посты в блоге. Люди согласятся с вами, а уже в следующем предложении сделают нечто, ведущее совершенно в другом направлении. Не подумайте, что я жалуюсь! Основная причина, по которой я пишу здесь — наблюдать, какие из моих слов не передаются.

Прямо сейчас вы ищете положительные примеры положительного искажения или ищете, что вы могли не увидеть из-за положительного искажения? Вы смотрите во свет или во тьму?

Закономерная неуверенность

Элиезер Юдковский

В «Рациональном выборе в неопределенном мире» Робина Доуза (Robyn Dawes) описан эксперимент, проведенный Тверским (1,2)

Множество психологических экспериментов были проведены в конце 50-х начале 60-х, в которых испытуемых просили предсказать результат события, имевшего элемент случайности и, при этом, еще и предсказуемую базовую ставку. Например, испытуемых просили предсказать цвет следующей карты (синяя/красная) при условии, что 70% карты были синими, но последовательность красных и синих карт была совершенно случайной.

В такой ситуации, стратегия, обеспечивающая большее количество успеха - ставить на наиболее часто встречающиеся события. Например, если 70% карт были синими, то предсказывая появление синей карты дает 70% успеха в каждом случае.

Испытуемые же предпочитали сопоставлять вероятности - предсказывать наиболее вероятный вариант,

с учетом относительной частоты появления. Например, испытуемые предсказывали появление синей карты 70% раз и красной 30% раз. Такая стратегия давала 58% долю успеха, потому что испытуемые были правы 70% времени, когда выпадала синяя карта (что происходило с вероятностью .70) и 30% времени, когда выпадала красная карта (что происходило с вероятностью 0,3); (0,7 × 0,7) + (0,3 × 0,3) = 0,58.

Даже больше, испытуемые предсказывали наиболее часто повторяющееся событие с большей вероятностью, чем оно происходило, но и близко не подходили к частоте в 100%, даже если им платили за точность их предсказаний… Например, испытуемые, которым платили по пятаку за каждое сбывшееся предсказание из тысячи,.. предсказывали [наиболее часто встречающееся событие] 76%.

Не стоит думать, что этот эксперимент про небольшие изъяны в игорных стратегиях. Он кратко рассказывает о наиболее важной идее всей рациональности.

Испытуемые продолжали выбирать красный, как будто они полагали, что способны предугадать случайную последовательность. Доуз пишет про это: «Несмотря на получение фидбека от тысячи случаев, испытуемые не могли поверить, что в это ситуации они не в состоянии предугадать».

Но ошибка должна иметь более глубокие последствия. Даже если испытуемые сформулировали какую-то гипотезу, им совершенно необязательно делать ставки на ее основе. Они могут говорить: «Если гипотеза верна - следующая карта будет красной», и ставить на синюю. Они могут выбирать синюю каждый раз, собирая как можно больше пятаков, отмечая мысленно как можно больше паттернов, которые они замечают. Если их предсказания сбываются, они могут легко переключится на новую стратегию.

Я бы не стал упрекать испытуемых за постоянное изобретение новых гипотез - откуда им знать, что цепочка за границами их способностей предсказывать? Но я буду упрекать за ставки на догадки, когда в этом не было необходимости для сбора информации, и буквально сотни предыдущих догадок были опровергнуты.

Неужто люди настолько самонадеянны?

Я бы предположил, что дело обстоит проще - стратегия «всегда-на-синее» просто не приходила испытуемым в голову.

Люди видят кучу синих карт вперемешку с несколькими красными, и полагают, что выигрышная стратегия - больше на синий, но иногда на красный.

Идея оптимальной стратегии, с учетом неполной информации, не предполагающая ставку на типичную последовательность карт - контринтуитивна.

Идея оптимальной стратегии, предполагающая законное поведение, даже если среда содержит элементы случайности - контринтуитивна.

Кажется, что твое поведение, следом за окружающей средой, должно быть непредсказуемым, но нет! Случайный ключ не отпирает случайный замок просто потому что они «оба случайные».

Ты не гасишь огонь огнем, ты гасишь огонь водой. Но эта мысль подразумевает лишний шаг, новый концепт, не активируемый напрямую формулировкой задачи. Поэтому, не приходящий в голову первым.

В дилемме красных и синих карт наше неполное знание говорит нам ставить в каждом раунде на синюю. Совет, даваемый нам нашим неполным знанием, одинаков от раунда к раунду. Если 30% времени мы будем идти против нашего неполного знания и ставить на красную карту, мы будем проваливаться, ведь теперь, мы нарочно тупим, ставя на, как нам прекрасно известно, менее вероятный исход.

Если ты будешь ставить на красную карту в каждом раунде, то ты будешь проигрывать так, как это максимально возможно; ты будешь на 100% тупым. Если ты ставишь на красную карту 30% времени, то ты оказываешься на 30% тупым.

Если твое знание неполно, если реальность, как кажется, содержит элемент случайности - случайное поведение не решит проблему. Делая свое поведение случайным, напротив, ты уводишь себя от цели, а не приближаешь. Если реальность туманна, выбрасывание интеллекта лишь ухудшает ситуацию.

Это контринтуитивно - думать, что оптимальная стратегия предполагает законное поведение, даже в условиях неопределенности.

Поэтому не так уж много вокруг рационалистов; для большинства, восприятие хаотичного мира предполагает хаотичные стратегии борьбы с ним. Тебе надо сделать лишний шаг, подумать мысль, не приходящую в голову первой, для того, чтобы сообразить что-то иное для борьбы с огнем, чем огонь.

Ты слышал, как непросвещенные говорят: «Рациональность работает лишь при взаимодействии с рациональными людьми, но мир нерационален». Но выбрасывание собственной рациональности, при встрече с нерациональным оппонентом, не поможет. Есть законные формы мышления, которые все же генерируют наилучший ответ, даже при встрече с оппонентом, нарушающим законы. Теория принятия решений не сгорает синим пламенем при встрече с оппонентом, не подчиняющимся этой теории.

Это настолько же не очевидно, как и всегда ставить на синюю карту, при встрече с совокупностью синих и красных карт. Но каждая ставка на красную - ожидаемый проигрыш, как и каждое отступление от принципов Пути, когда рассуждаешь.

Как много эпизодов Звездного Пути опровергается? Как много теорий ИИ?

Моя дикая и безбашенная юность

Элиезер Юдковский

Говорят, что все, что родители запрещают делать детям, они делали сами - так они знают, почему это делать не стоит.

Давным-давно, в непостижимо далеком прошлом, я был преданным Традиционным Рационалистом, думая о себе, как о квалифицированном, в соответствии с ее стандартами, тем не менее, я не знал тогда Пути Байеса. Когда юный Элиезер столкнулся с кажется-мистическим вопросом, принципы Традиционной Рациональности не остановили его от производства Таинственного Ответа. Это, на данный момент, моя самая постыдная ошибка, думать о которой мне до сих пор больно.

Что за таинственный ответ на таинственный вопрос? Этого я говорить не стану, так как это длинная и запутанная история. Я был молод, был всего лишь Традиционным Рационалистом, который не ведал учения Тверски и Канемана. Я знал про Бритву Оккама, но не про конъюнктивное заблуждение. Я полагал, что мне удастся думать сложные мысли самому, в том же стиле, который я наблюдал в научных книгах, но не осознавал, что единственно верная сложность - та, где каждый шаг описан с безжалостной точностью. Сегодня, одним из главных советов, который я даю начинающим рационалистам: «Не пытайтесь строить сложных цепочек рассуждений и планов».

Нет нужды говорить больше: даже после того, как я придумал мой «ответ», феномен не потерял свою таинственность и непрошибаемость, которые имел с самого начала.

Не стоит думать, что юный Элиезер был глуп. Все те ошибки, в совершении которых виновен Элиезер, совершаются солидными ученым и в солидных изданиях и сегодня. Ему потребовался более утонченный навык, чем то, что могла дать Традиционная Рациональность.

Действительно, юный Элиезер старательно и кропотливо следовал предписаниям Традиционной Рациональности, сбиваясь при этом с пути.

Как Традиционный Рационалист, юный Элиезер внимательно следил, чтобы его Таинственный Ответ делал прямое предсказание будущего опыта. Конкретно, я ожидал, что будущие неврологи откроют использование квантовой гравитации нейронами, а ля Сэр Роджер Пенроуз. Подразумевалось, что нейроны будут обладать некоторой мерой квантовой запутанности, а это можно обнаружить наблюдениями, или не обнаружить. Ты либо будешь наблюдать это, либо нет, так ведь?

Но моя гипотеза не делала ретроспективных предсказаний. Ведь согласно Традиционной Науке, они не считаются - так что зачем тратить силы на их производство? Но для Байесовского Агента, если гипотеза сегодня не имеет предпочтительных отношений правдоподобия над «я не знаю», возникает вопрос: почему ты веришь сегодня во что-то более сложное чем «я не знаю». Но я не ведал Пути Байеса, так что я не думал про отношения правдоподобия или фокусирование плотности вероятности. Я ведь Сделал Фильсифицируемое Предсказание; разве не таков Закон?

Как Традиционный Рационалист, юный Элиезер был внимателен и не верил в магию, мистицизм, углеродный шовинизм и все такое прочее. Я гордо провозглашал, что мой Мистический Ответ «Такая же физика, как и вся остальная физика!». Как будто можно спасти магию от когнитивной изоморфности магии, называя ее квантовой гравитацией. Но я не ведал Пути Байеса и не видел уровень, на котором моя идея становилась изоморфна магии. Я отдавал мою верность физике, но это не спасло меня; какое дело теории вероятностей до чьей-либо верности? Я избегал всего, что запрещала мне Традиционная Рациональность, но даже то, что оставалось - было магией.

Не сомневайтесь, моя верность Традиционной Рациональность помогла мне выбраться из ямы, что я выкопал для себя. Если бы я не был Традиционным Рационалистом, со мной было бы покончено. Но Традиционной рациональности было все еще недостаточно. Это уводило меня от запрещенных ошибок, но приводило к другим.

Когда я думаю о себе, осторожно следовавшем правилам Традиционной Рациональности, получая при этом неверный ответ, то начинаю понимать, почему люди, называющие себя «рационалистами» не правят миром. Нужно дофига и больше рациональности, прежде чем она приведет хоть куда-то, а не к новым интересным ошибкам.

Традиционная Рациональность преподается как искусство, а не как наука. Читаешь биографии известных физиков, описывающие уроки, которым их научила жизнь, и стараешься делать то же, что и они. Но ты не прожил их жизнь, и половина того, что они описывают - инстинкт, который выработался у них.

Традиционная Рациональность сделана так, что было бы приемлемым для меня провести следующие тридцать лет, исследуя мою глупую идею, пока я был бы способен фальсифицировать ее, со временем, и был бы честен сам с собой по поводу предсказаний, которые делает моя гипотеза, столкнувшись с опровержением, и прочее и прочее. Этого достаточно для того, чтобы Колесо Науки двигалось вперед, но немного жестоко по отношению к тем, кто тратит по тридцать лет своей жизни. Традиционная рациональность - прогулка, не танец. Она предназначена привести тебя к ответу, в итоге, но позволяет слишком тратить времени на любование цветами по пути.

Традиционные Рационалисты могут согласиться не соглашаться. Традиционная Рациональность не имеет идеи о том, что рассуждения - точно искусство, предполагающее, что есть лишь одна корректная вероятность, с учетом имеющихся свидетельств. В Традиционной Рациональности тебе позволено гадать и тестировать свои догадки. Но опыт подсказывает мне, что если ты гадаешь, не зная, то получаешь неправильный ответ.

Путь Байеса тоже неточное искусство, насколько я его освоил пока. Эти статьи все еще пытаются передать словами то, что лучше будет постигнуто опытом. Но, по крайней мере, тут в основе лежит математика, плюс, экспериментальные свидетельства когнитивной психологии по поводу того, как люди действительно думают. Может быть, этого будет достаточно, чтобы преодолеть стратосферических размеров порог дисциплины, позволяющей получать правильные ответы, вместо новых интересных ошибок.

Неспособность учиться у истории

Элиезер Юдковский

Однажды, во времена моей дикой и безбашенной юности, когда я еще не ведал Пути Байеса, я дал Таинственный Ответ на вроде бы таинственный вопрос. Это стало следствием цепочки из множества ошибок, однако, среди них была одна критическая: юная версия меня не осознавала, что получение ответа должно делать вопрос менее запутанным. Я пытался объяснить Таинственный Феномен, что означало - дать причину для него, вписывающуюся в интегрированную модель реальности. Почему же это должно было сделать феномен менее Таинственным, когда такова его природа? Я ведь пытался объяснить Таинственный Феномен, а не превратить (посредством какой-то неведомой алхимии) в обыденный, такой, который вообще не потребует странного объяснения.

Будучи Традиционным Рационалистом, я был в курсе историй о астрологии и астрономии, алхимии и химии, витализма и биологии. Но Таинственный Феномен был не таким. Он был чем-то новым, чем-то странным, чем-то более сложным, чем-то, чему обычная наука не могла дать объяснения на протяжении веков…

… как будто звезды и материя, и жизнь не были таинственными в течении сотен и тысяч лет, с самого восхода человеческой мысли, до того момента, как наука взяла и решила их…

Мы узнаем про астрономию и химию, и биологию в школе; нам кажется, что эти знания всегда были частью сферы научного знания, что они никогда не были таинственными. Когда наука бросает вызов новой Великой Загадке, дети этого поколения скептичны, ведь они не видели, что наука способна объяснить что-то, кажущееся мистическим для них. Наука годится лишь для объяснения научных субъектов, вроде звезд или материи с жизнью.

Я думал, что урок истории в том, что астрологи с виталистами и алхимиками имели особый изъян характера, тенденцию в пользу таинственности, что и приводило их к таинственным объяснениями совершенно не-таинственных вопросов. Но правда ведь, если феномен странный - объяснение тоже должно быть странным?

Лишь позже, когда я начал видеть обыденную структуру внутри тайны, я начал понимать, на месте кого же я оказался. Лишь позже я понял, насколько разумным казался витализм в то время, насколько неожиданным и смущающим оказался ответ вселенной: «Жизнь обыденная, ей не требуется странных объяснений».

Мы изучаем историю, но мы не живем ей, не переживаем этот опыт. Если бы только я постулировал астрологическую тайну и позже открыл бы механику Ньютона, постулировал алхимическую тайну и открыл бы химию, постулировал бы витализм и открыл бы биологию. Я бы посмотрел на мой Таинственный Ответ и решил бы: ни за что на свете, я не попадусь на это снова.

Делая историю доступной

Элиезер Юдковский

Есть такая привычка мышления, которую я называют логическим заблуждением обобщения на основе вымышленного свидетельства. Журналисты, которые, например, ведут речь про Терминатора, в обсуждении про ИИ, не относятся к этому сюжету, как к пророчеству или свершившейся правде. Но фильм приходит на ум, он доступен, как будто-то бы он является иллюстрированным историческим случаем. Как если бы журналисты видели как это случилось на какой-то другой планете, и может произойти и на нашей. Подробней про это в секции 7 в «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» (1)

Есть и обратная обобщению на основе вымышленного свидетельства ошибка: неспособность в достаточной степени учитывать исторические свидетельства. Проблема с обобщением на основе вымышленного свидетельства в том, что оно вымышленное - оно никогда не происходило. Оно не начертано на основе того же распределения, что и наша вселенная; художественная литература систематически отличается от реальности. Но история же действительна случилась и должна быть доступной.

В мире наших предков не было фильмов; все, что ты видел своими глазами, было правдой. Стоит ли удивляться, что вымысел, который мы видим в реалистичном кино, оказывает на нас такое серьезное влияние? Наоборот, то, что реально происходило, доступно нам на бумаге; оно произошло, но мы не видели этого. Мы не помним, что это происходило с нами.

Обратная ошибка - обращаться с историей как с обычными рассказами, анализировать той же частью разума, что используется при чтении новелл. Ты можешь произнести, что это «правда», а не «вымысел», но это не означает, что ты воспринимаешь это так серьезно, как следовало бы. Множество искажений являются следствием недостаточно серьезного восприятия сухой, абстрактной информации.

Однажды, я дал Таинственный Ответ на таинственный вопрос, не осознавая, что совершаю ту же самую ошибку, что и астрологи, придумавшие мистическое объяснение звездам, или алхимики, придумавшие мистические свойства материи, или виталисты, постулировавшие мутное «élan vital» для объяснения биологии.

Когда я посмотрел на ситуацию с другой стороны, то ощутил шок неожиданной связи с прошлым. Я осознал, что изобретение и уничтожение витализма, о котором я читал лишь в книгах, действительно происходило с реальными людьми, которые переживали опыт так же, как и я переживал изобретение и разрушение моего собственного таинственного ответа. И я понял, что если бы я действительно переживал опыт прошлого, если бы я жил во времена научных революций, а не читал о них в книгах, я, вероятно, не совершил бы эту же ошибку снова. Я бы не стал изобретать очередной таинственный ответ; достаточно было бы тысяч предыдущих.

Итак, - подумал я, - для того, чтобы действительно ощутить силу истории, я должен думать, как Элиезер, живший в истории, должен думать о событиях так, как если бы они случились со мной (с соответствующей переоценкой искажения доступности исторической литературы - мне следует помнить себя тысячей крестьян на одного лорда). Я должен погрузить себя в историю, вообразить жизнь сквозь эры, которые я наблюдал лишь посредством чернил на бумаге.

Почему мне следует помнить полет Братьев Райт? Меня там не было. Но, как рационалист, посмею ли я не помнить, если событие действительно произошло? Действительно ли есть большая разница, видеть событие собственными глазами - что, по сути, представляет собой воздействие отраженных фотонов и даже не прямой контакт, - и наблюдать событие через книгу по истории? Фотоны и книги по истории спускаются по цепочке причин и следствий от самого события.

Мне нужно было пересилить ложную амнезию, вызванную рождением в конкретную эпоху. Я должен был вспомнить, сделать доступными все воспоминания, а не только те, что чисто случайно принадлежат мне и моему времени.

Земля внезапно стала старше.

С точки зрения моих старых воспоминаний, Соединенные Штаты существовали всегда - не было времени, когда не было бы Соединенных Штатов. Я не помнил, до того момента, как поднялась Римская Империя, принесла мир и порядок, и, просуществовав множество веков, что я даже забыл, что могло быть иначе, пала, и варвары захватили мой город, и знание, которым я обладал, было потеряно. Современный мир стал более хрупким для меня, ведь я перестал воспринимать его, как мой первый современный мир.

Так много ошибок, снова и снова, ведь я не помнил, что совершал их в каждой эре, в которой я никогда не жил.

Только представьте, люди еще удивляются, почему преодоление искажений важно.

Неужели ты не помнишь, как много раз ошибки убивали тебя? Я заметил, что внезапная амнезия часто следует сразу за роковой ошибкой. Но поверьте мне, это случалось. Я помню, хоть меня там и не было.

Так что в следующий раз, когда ты усомнишься в странности будущего, вспомни, как ты был рожден в племени охотников-собирателей тысячи лет назад, когда еще никто не знал о Науке. Вспомни, как ты был шокирован до глубины души, когда Наука объяснила великие и ужасные священные тайны, которые ты так восхвалял. Вспомни, как ты думал, что сможешь летать, если съешь нужный гриб, как ты разочарованно усвоил, что никогда не сможешь полететь, а потом полетел. Вспомни, как ты ты всегда думал, что рабство - это правильно и хорошо, а потом передумал. Не надо воображать, как бы ты мог предсказать перемены - ведь это проявление амнезии. Вспомни, что на самом деле ты не угадал. Вспомни, как век за веком мир менялся так, как ты и представить не мог.

Может так ты будешь менее шокирован тем, что будет дальше.

Объяснить, поклониться, пренебречь

Элиезер Юдковский

Наше племя бродит по лугам в поисках съедобных растений и добычи, а с неба время от времени льётся вода.

— Почему с неба иногда падает вода? — спрашиваю я у бородатого мудреца нашего племени.

Старик погружается в размышления, — он никогда не задавался этим вопросом раньше — и через некоторое время отвечает:

— Иногда небесные духи сражаются, и во время этих битв с небес капает их кровь.

— Откуда появились небесные духи? — спрашиваю я.

Голос старца превращается в шепот:

— Они зародились в далёком прошлом в таких далях и безднах, что нам и не снились.

Твоё незнание причин, по которым идёт дождь, предоставляет тебе несколько вариантов действий. Во-первых, ты можешь просто не спрашивать «почему?» — не уделять вопросу никакого внимания или просто вообще никогда не задаваться этой мыслью. Это — команда «пренебречь», и именно её изначально выбрал старец. Во-вторых, ты можешь попытаться придумать какое-нибудь объяснение, то есть выбрать команду «объяснить», как сделал старец в ответ на первый вопрос. В-третьих, ты можешь смаковать тайну, выбрав команду «поклониться».

Прочитав эту историю, трудно не заметить то, что каждый выбор «объяснить», если всё получится, предоставляет тебе объяснение (например, «небесные духи»). Но это объяснение вновь возвращает нас к трилемме: объяснить, поклониться, пренебречь? После каждого нажатия «объяснить» наука трещит своими шестернями, возвращает ответ, и затем всплывает новое диалоговое окно. Рационалисты считают своим долгом постоянно нажимать «объяснить», но это выглядит, как дорога без конца.

Нажмёшь «объяснить» для жизни — получишь химию. Нажмёшь «объяснить» для химии — получишь атомы. Нажмёшь «объяснить» для атомов — получишь электроны и нуклоны. Нажмёшь «объяснить» для нуклонов — получишь хромодинамику и кварки. Нажмёшь «объяснить» для того, чтобы узнать, откуда взялись кварки — вернёшься во времена Большого Взрыва…

Если нажать «объяснить» для Большого Взрыва, то придётся некоторое время подождать, пока наука, треща своими шестернями, будет искать ответ. И, возможно, она когда-нибудь вернёт замечательное объяснение — но это повлечёт за собой ещё одно диалоговое окно. И, если мы продолжим достаточно долго, то мы должны увидеть особенное диалоговое окно с Объяснением, Не Требующим Объяснения, и оно закончит эту цепочку. Возможно, это будет самое важное объяснение из числа всех объяснений: как уже известных, так и тех, что ещё станут известными человеку.

Погодите! Я только что нажал «поклониться».

Не забывайте, что поклоняться можно по-разному. Поклоняться можно и не зажигая свечей вокруг алтаря.

Если бы я сказал «Хм, это какой-то парадокс. Интересно, как он разрешается?», то это означало бы, что я нажал «объяснить» и теперь терпеливо жду ответа.

И если весь вопрос кажется тебе неважным, или неуместным, или тебе кажется, что лучше подумать о нём потом — значит, ты нажал «пренебречь».

Выбирай кнопку с умом.

«Наука» — затычка для любопытства

Элиезер Юдковский

Представьте что я, находясь под наблюдением телекамер, поднял руки, произнёс «абракадабра!» — и произвёл слепящий сгусток света, висящий в воздухе невдалеке от моих вытянутых рук. Представьте, что я осуществил этот акт отъявленной, безошибочно-подлинной магии под прямым наблюдением со стороны Джеймса Рэнди (известный скептик и разоблачитель псевдонаучных теорий — прим. перев.) и всех армий скептиков. Думаю, большинству людей будет довольно любопытно, что же здесь происходит.

А теперь представим, что я не отправлялся на телевидение. Я не хочу делиться ни своей силой, ни правдой, которая за ней стоит. Я хочу, чтобы моя магия оставалась в секрете. Но при этом я хочу также иметь возможность пользоваться ею где и когда захочу. Я хочу призывать сгусток света, чтобы почитать книгу в поезде — но так, чтобы при этом никому не становилось любопытно. Есть ли заклинание, останавливающее любопытство?

Конечно есть! Когда кто-то спрашивает: «Как ты это сделал?», я просто отвечаю: «Наука!»

Это не столько настоящее объяснение, сколько эдакая «затычка для любопытства». Оно не говорит, станет ли свет ярче или потускнеет, изменятся ли тон или насыщенность его цвета, и, конечно же, не объясняет, как сделать такой огонёк самому. Вопрошающий не получил новых знаний, которых у него не было до того, как я произнёс магическое слово. Но он отворачивается, удовлетворившись тем, что не происходит ничего необычного.

Что ещё лучше, тот же трюк работает с обыкновенным выключателем света. Клацаем выключателем — и загорается лампочка. Почему? В школе нам объясняют, что паролемдля лампочки накаливания является «Электричество!». Надеюсь, что к данному моменту вы уже не столь склонны к тому, чтобы обозначать лампочку «понятой» на основе такого «объяснения». Позволяет ли фраза «Электричество!» проводить расчёты, контролирующие ожидания? Нужно ещё много чего изучить! (Физики должны проигнорировать этот абзац и заменить его проблемой в эволюционной теории, где суть теории, опять-таки, заключается в вычислениях, которые умеет проводить очень малое количество людей).

Если бы вы считали, что лампочка накаливания научно необъяснима, она захватила бы всё ваше внимание. Вы бы бросили все дела и занялись бы исключительно лампочкой.

Но что значит фраза «научно объяснима»? Она значит, что кто-то ещё знает, как работает лампочка. Когда вам говорят, что лампочка «научно объяснима», вы не узнаёте ничего нового; вы не знаете, загорится ли лампочка ярче или потускнеет. Но раз кто-то уже знает о лампочке, эти знания в ваших глазах уже не так ценны. Вы становитесь менее любопытным.

Кто-то обязан сказать: «Если лампочка была неизвестна науке, вы можете получить славу и богатство исследуя её». Но я не говорю о жадности. Я не говорю о карьерных амбициях. Я говорю о чистом любопытстве—чувстве интереса. Почему ваше любопытство должно уменьшаться, если кто-то, не вы, знает как работает лампочка? Это ли не призрак? Для вас недостаточно знать; другие люди должны также быть невежественны, иначе вы не будете счастливы?

Хорошо, что знание может служить не только любопытству, как например социальная полезность технологий. Для таких инструментальных благ это важно как некоторая сущность в локальном пространстве знаний. Но что это должно значить для моего любопытства?

Кроме того, учитывайте последствия если вы допускаете «кто-то ещё знает ответ» в качестве семантического стоп-сигнала.

Однажды вы заходите в вашу комнату и видите гигантского зелёного слона, по видимому парящего в воздухе, окружённого аурой серебристого света. Вы скажете: «Какого чёрта?»

И голос исходящий сверху от слона говорит:

Кто-то уже знает почему слон здесь.

«О,»- говорите вы - «тогда забудь,»- и продолжаете идти в кухню.

Я не знаю великую единую теорию для законов физики этой вселенной. Я также многого не знаю о человеческой анатомии за исключением мозга. Я не могу указать где у меня почки, и я не могу тотчас вспомнить что делает моя печень.(Я не горжусь этим. Увы, со всей той математикой, которую мне нужно исследовать, я, скорее всего не научусь анатомии в какое-либо ближайшее время)

Следует мне, столь далеко как простирается любопытство, быть более заинтересованным моим незнанием элементарных законов физики, когда факт, что я немногое знаю о том, что происходит внутри моего тела?

Если бы я поднял свои руки и сотворил заклинание света, вы бы заинтересовались. Следует ли вам быть менее заинтересованным самим фактом поднятия моих рук? Когда вы поднимаете руку и водите ладонью вокруг, этот акт воли координируется (превыше других зон мозга) вашим мозжечком. Я поспорю, вы не знаете как работает мозжечок. Я знаю немного поверхностных деталей, недостаточных для проведения вычислений… но что с того? Какое имеет значение, если вы не знаете? Почему должен быть двойной стандарт любопытства для колдовства и движений рук?

Осмотрите себя в зеркале. Знаете ли вы, на что смотрите? Знаете ли вы, что выглядывает из-за ваших глаз? Знаете, чем вы являетесь? На некоторые из этих вопросов Наука знает ответы, на некоторые нет. Но почему это различие значимо для вашего любопытства, если вы не знаете?

Вы знаете, как работают ваши колени? Вы знаете, как сделана ваша обувь? Вы знаете, как светится ваш монитор? Вы знаете, почему вода мокрая?

Мир вокруг вас полон загадок. Расставляйте приоритеты, если вам нужно. Но не жалуйтесь, что жестокая наука опустошила мир тайн. С таким рассуждением я могу заставить вас проглядеть слона в вашей комнате.

Поистине часть тебя

Элиезер Юдковский

Классическая работа Дрю МакДермота «Искусственный интеллект и естественная глупость» критикует ИИ программы, которые пытаются представить понятия вроде счастья, как состояние ума, при помощи семантической сети: 1

СОСТОЯНИЕ-УМА

^

| ЭТО

|

СЧАСТЬЕ

И разумеется, внутри узла СЧАСТЬЕ ничего нет. Это просто токен языка Лисп с говорящим английским названием.

И вот, МакДермот пишет: «Для дисциплинированного программиста хорошим тестом будет использование gensyms в ключевых местах, чтобы посмотреть будет ли все ещё восхищаться системой, если СОСТОЯНИЕ-УМА будет переименовано в G1073…» мы получим ЭТО (СЧАСТЬЕ, G1073) «что выглядит далеко не столь впечатляюще».

Или если я слегка перефразирую идею: если ты заменишь случайными символами все осмысленные английские слова, то ты не сможешь понять, что означает G1071 (G1072, 1073). Эта программа ИИ описывает гамбургеры? Яблоки? Счастье? Кто знает? Если ты удалишь говорящие английские названия, обратно они не вырастут.

Представим, что физик сказал тебе: «Свет — это волны», и ты ему полностью поверил. У тебя в голове появилась маленькая сеть:

ЭТО(СВЕТ, ВОЛНЫ)

И если кто-то вдруг спросит «Из чего состоит свет?», ты сможешь ответить «Из волн!»

Как пишет МакДермот: «Проблема в том, чтобы слушатель заметил, что именно ему сказали. Не „понял“, а всего лишь „заметил“». Предположим, что физик сказал бы тебе «Свет сделан из мелких изгибающихся штучек» (на всякий случай: это неправда). Заметишь ли ты разницу в ожидаемом опыте?

Как можно понять, что не стоит доверять кажущемуся знанию «Свет — это волны»? Один из способов: «смогу ли я восстановить это знание, если оно почему-то исчезнет из моей головы?»

Это похоже по духу на замену говорящих английских названий из программы ИИ с целью узнать, сможет ли кто-то понять к чему они должны «относиться». Также здесь можно привести пример Искусственного Арифметика, который запрограммирован записывать и выдавать ПРИБАВИТЬ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ. Он, разумеется, не сможет восстановить это знание, если стереть его из его памяти (если только ещё кто-нибудь не запишет его обратно). Аналогично и знание «Свет — это волны» будет потеряно безвозвратно, если только ты не спросишь о нём заново у физика. Ты не сможешь создать это знание сам, как может это сделать физик.

Тот же опыт, что заставляет нас формулировать убеждения, соединяет их с другими нашими знаниями, чувственными входными данными или моторными выходными данными. Если ты увидишь, как бобёр грызёт дерево, то ты будешь знать как «зверь-что-грызёт-дерево» выглядит и сможешь опознать его в будущем, независимо от того, будут ли его называть «бобром» или как-то иначе. Но если ты приобрёл свои убеждения о «бобрах», когда кто-то другой рассказал тебе факты о «бобрах», то, возможно, ты не опознаешь бобра, если его увидишь.

Знание, которое ИИ не сможет восстановить сам — чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математическое понятие.

Как заметил Давидсон, если ты веришь, что «бобры» живут в пустынях, что они белого цвета, а взрослые особи весят полтора центнера, то у тебя вообще отсутствуют какие-либо убеждения о бобрах: ложные или правдивые. Твои убеждения о бобрах недостаточно верны, чтобы быть ложными2. Если у тебя нет достаточно опыта, чтобы восстановить убеждение в случае, если оно будет удалено, то есть ли у тебя опыт, позволяющий соединить это убеждение с чем-нибудь вообще? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей, не является частью механизма».

Почти сразу же, когда я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что постоянно спрашивать себя «Как бы я смог восстановить это знание, если оно будет удалено из моего разума?» — это очень хорошая идея.

Чем обширней удаление, тем строже тест. Если удалить доказательства теоремы Пифагора, смогу ли я доказать её заново? Думаю, да. Если удалить всё знание о теореме Пифагора, догадаюсь ли я о ней, чтобы доказать её заново? Сложно поставить такой эксперимент. Однако, если бы мне дали прямоугольный треугольник с длиной сторон 3 и 4 и сказали бы, что гипотенуза вычисляема, думаю, я бы смог её вычислить, при условии, что другие мои знания математики остались при мне.

Как насчёт самого понятия математического доказательства? Если бы мне никто не говорил о нём, мог бы я изобрести его, основываясь на моих оставшихся убеждениях? Ведь когда-то люди не знали о такой идее. Кто-то же её придумал. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и не менее важное? Окажусь ли я способен на оригинальное мышление?

Как много своих знаний ты смог бы восстановить самостоятельно после удаления? Какова допустимая глубина удаления? Это не просто проверка для отсеивания недостаточно связанных убеждений. Такие размышления позволяют впитать целый фонтан знаний, а не всего лишь один факт.

Пастух строит систему учёта овец, которая работает, если добавлять камень в корзину каждый раз, когда овца покидает амбар, и изымать - когда овца возвращается. Если ты, ученик, не понимаешь работу этой системы, если для тебя это магия, которая непонятно почему работает, то ты не поймёшь, что делать, если случайно бросишь лишний камень в корзину. Если ты не можешь что-то создать сам, ты не сможешь это и восстановить, если ситуация этого потребует. Ты не сможешь вернуться к истокам, подправить параметры и заново получить результат, если у тебя нет истоков. Предположим, тебе известен факт «два плюс четыре равно шести».Один из элементов изменяется на «пять». Как ты узнаешь, что «два плюс пять равно семи», когда всё, что ты знаешь: «два плюс четыре равно шести»?

Если ты видишь, как маленькое растение роняет семя каждый раз, когда мимо пролетает птица, ты не догадаешься, что ты можешь использовать эту отчасти автоматизированную систему для подсчёта овец. Если бы первый изобретатель узнал об этом факте, он мог бы его использовать для улучшения своей системы. Однако, ты не в состоянии вернуться к истокам и переизобрести новую систему подсчёта.

Если источник мысли находится внутри тебя самого, то с приобретением новых знаний и навыков мысль может меняться. Она поистине становится частью тебя и растёт вместе с тобой.

Старайся стать источником для всех своих мыслей, стоящих обдумывания. Если мысль первоначально пришла извне, убедись, что она также исходит изнутри. Постоянно спрашивай себя: «Как я восстановлю это знание, если оно исчезнет?» Найдя ответ на этот вопрос, представь, что знание, которое помогло бы тебе в таком случае, тоже удалено. И когда увидишь фонтан - посмотри, что ещё из него течёт.

1.Drew McDermott, «Artificial Intelligence Meets Natural Stupidity», SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.

2.Richard Rorty, «Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion», The Boston Globe (October 2003).

Простая истина

Как-то я писала сочинение об экзистенциализме. Учительница тогда вернула мне его с двойкой. Она подчеркнула слова „истина“ и „истинный“ и поставила знаки вопроса на полях напротив каждого, всего раз 20. Она хотела знать, что я имела в виду под истиной.

Даниэла Эган (журналист)

Предисловие автора

Это эссе написано, чтобы восстановить наивное представление об истине.

Допустим, кто-то говорит вам: «Моё чудодейственное лекарство избавит вас от рака лёгких всего за три недели». Вы говорите: «Но я знаю о результатах клинических исследований: ваше утверждение не соответствует истине». А этот кто-то отвечает: «Понятие „истина“ довольно неточно, что вы называете истиной?»

Многие люди, поставленные перед этим вопросом, не будут знать, как ответить с достаточной точностью. Тем не менее, будет крайне неразумным отказаться от концепции истины. Было время, когда никто не знал точную формулу тяготения – и все же, шагнув с обрыва, вы бы разбились и тогда.

Часто, особенно в интернет-дискуссиях, я встречал чьи-то заявления «Х истинно», а дальше спор поворачивал в сторону поиска определения истины. Это эссе ни в коем случае не является энциклопедическим ответом на этот вопрос. Скорее я надеюсь, что спорщики прочтут это эссе, а затем вернутся к изначальному вопросу.

В этом эссе я ставлю вопросы. Если вы находите на них кажущийся очевидным ответ – скорее всего, это он и есть. Очевидный выбор не всегда наилучший, но все-таки иногда, черт возьми, он таков. Я не перестаю искать, когда встречаю очевидный ответ, но если по мере повышения моей информированности ответ все еще выглядит очевидным, то я не вижу вины в том, чтобы использовать его. Ну да, разумеется, все считают, что 2 + 2 = 4, говорят, что 2 + 2 = 4, и в повседневной жизни все ведут себя, как если бы 2 + 2 равнялось 4. И все же чему 2 + 2 равно в высшем, абсолютном смысле? Насколько я могу судить, все еще 4. Ответ будет равен четырем, даже если я задам этот вопрос официальным, строгим, напыщенным тоном. Слишком просто, говорите? Может быть, в этом случае мир и не должен быть сложен. Для разнообразия.

Если вы — один из тех счастливчиков, которым этот вопрос кажется тривиальным с самого начала, я надеюсь, что он окажется тривиальным и на самом деле. И если перед вами вдруг встанет глубокий и важный вопрос, вспомните, что если вы в точности знаете, как работает система, вы сами можете построить ее аналог из ведерок и камней, и это не должно быть для вас какой-то тайной.

Если вы теряетесь, пытаясь понять метафору «ведерок и камней» как метафору, попробуйте понять её буквально.

Простая истина

Представьте, что мы оказались в доисторических временах, когда еще не были изобретены начала математики. Здесь я пастух, и у меня есть проблема. Мне трудно уследить за своими овцами. Они спят в загоне и защищены от волков высоким забором. Каждое утро я выпускаю овец на пастбище. Каждый вечер я должен загнать их всех назад. Если я оставлю овцу снаружи, наутро меня встретит обглоданная волками тушка. Но меня так раздражает часами бродить по полям, когда я почти уверен, что все овцы уже в загоне. Иногда я бросаю поиски рано, и обычно наутро всё в порядке. Но примерно в одном случае из десяти утром я нахожу мертвую овцу.

Вот если бы был какой-нибудь хитрый способ точно определить, остались ли снаружи ещё овцы! Я пробовал несколько методов: я бросал гадальные палочки, я развивал силу духа, чтобы видеть стадо внутренним взором, я старался найти убедительные основания полагать, что все овцы нашлись. Бесполезно. Примерно один раз из десяти, когда я ложился спать рано, наутро я обнаруживал тушку овечки. Может быть, я осознаю, что мои методы не работают, и, возможно, я тщательно подберу уважительную причину каждой своей неудачи. Но дилемма прежняя: либо я в течение часа обшариваю все закоулки и расщелины, хотя в большинстве случаев все овцы уже в загоне, либо я иду спать рано и теряю в среднем одну десятую овцы.

Однажды поздним вечером я еле стою на ногах. Заговорённые палочки утверждают, что все овцы вернулись домой. Я рисую в воображении каждый уголок, каждую расщелину на полях, и гадание говорит, что овец там нет. Но я ещё не уверен, поэтому я захожу в загон. Овец много, очень много, и я уверен, что следил за стадом тщательно и не отвлекался ни на минуту. Всё это развеивает мои тревоги, и я отправляюсь спать. На следующее утро я нахожу двух мертвых овец. Что-то внутри меня ломается, и я начинаю творчески обдумывать проблему.

Громкие звуки молотка слышатся из загона в тот день.

На следующее утро я только слегка приоткрываю калитку загона. Каждый раз, когда выходит овца, я бросаю камушек в приколоченное рядом с калиткой ведро. Тем же вечером, когда я загоняю овцу обратно, я вынимаю один камушек из ведра. Когда ведро опустеет, я прекращаю поиски и иду спать. Это превосходное изобретение. Я уверен, оно совершит революцию в пастушестве.

Такова была теория. На практике потребовалось существенно доработать систему до надежности. Несколько раз получалось так, что я не находил отсутствующих овец после нескольких часов поисков, однако на следующий день трупов не было. Каждый случай требовал глубокого обдумывания, в чем же моя ведерная система не срабатывает. Однажды после очередного бесплодного поиска я остановился и прокрутил в голове весь день. Оказалось, что в тот день в ведре уже были камни, когда я выпускал первую овцу. Это была плохая идея. В другой раз, чтобы скоротать время с утра до обеда, я забавлялся игрой с камушками, от скуки кидая их в ведро. Это тоже было плохой идеей, что я понял после нескольких часов поиска. Я практиковался в своем ведерно-каменном ремесле и со временем стал довольно компетентным овцесчетоводом.

Однажды на дороге, ведущей к моим пастбищам, появляется человек, одетый в дорогие белые робы бизнес-покроя, сандалии, с лавровым венком на голове.

— Чем я могу вам помочь? — спрашиваю я.

Человек достает из-под одежд и с щелчком открывает значок, без тени сомнения подтверждающий, что этот человек является Маркосом Замысловатусом Максимусом, представителем Сената Рума. (Интересно, а что если бы кто-то другой украл этот значок? Но сила подобных знаков настолько велика, что этот кто-то, укради он знак, мгновенно превратился бы в Маркоса.)

— Зовите меня просто Марк, — говорит он. — Я здесь, чтобы конфисковать магические камни от имени Сената. Таким могущественным артефактам не должно находиться в столь невежественных руках.

— Ох уж это чертов подмастерье! — ворчу я себе под нос. — Опять он трепался с деревенскими о чем не следует. Я смотрю в строгое лицо Марка и вздыхаю. — Послушайте, это никакие не магические камни. Самые обычные камни, которые я набрал с земли.

Тень недоумения пробегает по лицу Марка, но затем оно снова проясняется. — Я здесь, чтобы конфисковать магическое ведро! — заявляет он.

— Да не магическое это ведро, — устало говорю я. — Раньше я в нём хранил грязные носки.

Вот теперь видно, что Марк действительно озадачен.

— Тогда в чем же магия? — требовательно спрашивает он.

А ведь интересный вопрос.

— Это непросто объяснить, — начинаю я.

Привлеченный нашим разговором, мой подмастерье Отри подходит и предлагает своё объяснение:

— Магия в уровне камешков в ведре. Есть определённый магический уровень камешков в ведре, и они должны быть точно на нужной отметке, иначе магия не сработает. Если положить в ведро больше камней или достать несколько, они не будут на магическом уровне. Вот сейчас магический уровень, — Отри заглядывает в ведерко — это примерно полное на треть.

Понятно! — восклицает Марк. Он достает из вещевого мешка своё ведро и кучу камешков. Затем он берет несколько горстей камней и кладёт их в ведро. Он смотрит в ведро, примечая, сколько там камней. — Ну вот, — говорит он, — магический уровень этого ведра — это наполовину полное. Так это работает?

— Нет! — резко отвечает Отри. — Наполовину полное — это не магический уровень. Магический уровень — это полное примерно на треть. Наполовину полное — это совершенно не волшебно. Кроме того, у вас неправильное ведро.

Озадаченный Марк обращается ко мне:

— Кажется вы говорили, что ведро не магическое?

— Оно не магическое, — отвечаю я. Из загона выходит овца и я бросаю ещё один камешек в ведро. — И вообще, я смотрю за овцами. Поговорите с Отри.

Марк с сомнением провожает глазами брошенный камешек, но решает на время отложить свой вопрос. Он поворачивается в Отри и надменно выпрямляется. — Это свободная страна, — говорит он, — под благословенной диктатурой Сената, конечно. Я могу бросать любые камешки в какое мне угодно ведро.

Отри обдумывает это заявление. — Нет, не можете, — наконец отвечает он, — тогда совсем не будет волшебства.

— Послушайте, — терпеливо продолжает Марк. — Я внимательно наблюдал за вами. Вы посмотрели в своё ведро, проверили уровень камешков и сказали, что это и есть магический уровень. Я сделал всё точно так же.

— Это не так работает, — говорит Отри.

— О, понятно, — говорит Марк, — Магический уровень камешков не в моем ведре, а уровень камешков в вашем ведре. Так вы утверждаете? И чем же это ваше ведро гораздо лучше моего, а?

— Ну, если бы мы освободили ваше ведро, а затем наполнили его камешками из моего, то в вашем ведре был бы волшебный уровень. Также существует способ проверить, есть ли у вашего ведра волшебный уровень, если известно, что у моего ведра он имеется. Мы называем это операцией сравнения вёдер. — сказал Отри.

Выходит другая овца, и я кидаю в ведро ещё один камешек.

— Он только что закинул ещё один камешек! — говорит Марк. — И я полагаю, вы утверждаете, что новый уровень тоже является волшебным? Я мог бы бросать камешки в ваше ведро, пока уровень не стал бы таким же, как в моём, и тогда наши ведра сравнялись бы. Вы просто сравниваете мое ведро со своим, чтобы определить, считаете ли вы уровень «магическим» или нет. Так вот, я считаю, что ваше ведро не волшебное, потому что в нём не такой же уровень камешков, как в моём. Вот так!

— Погодите, вы не понимаете, — говорит Отри.

— Под «волшебным уровнем» вы всего лишь понимаете уровень камешков в вашем собственном ведре. А когда я говорю «волшебный уровень», я имею ввиду уровень камешков в моем ведре. Итак, вы смотрите на мое ведро и говорите, что оно «не волшебное», но «волшебство» имеет разное значение для разных людей. Необходимо указать, чья это магия. Вы должны сказать, что у моего ведра нет «волшебного уровня Отри», и я скажу, что у вашего ведра нет «волшебного уровня Марка». Таким образом, кажущееся противоречие исчезает.

— Но… — беспомощно говорит Отри.

— Разные люди могут иметь разные ведра с разным уровнем камешков, что доказывает, что всё это дело с «магией» совершенно произвольно и субъективно.

— Марк, — говорю я, — а кто-нибудь сказал вам, что эти камешки делают?

— Делают? — говорит Марк. — Я думал, они просто волшебные и всё.

— Если бы камешки ничего не делали, — говорит Отри, — то наш аудитор эффективности бизнес-процессов на соответствие стандарту ISO 9000 исключил бы эту процедуру из повседневной работы.

— Как зовут вашего аудитора?

— Дарвин, — сказал Отри.

— Хм, — говорит Марк, — Чарльз имеет репутацию строгого ревизора. Так что, камушки благословляют стада и ведут к приумножению овец?

— Нет, — говорю я. — Сила камушков заключается в следующем: если мы смотрим в ведро и видим, что камушков в нём нет, то мы знаем, что на пастбищах также овец не осталось. Если мы не используем ведро, мы должны искать и искать до темноты оставшихся овец. Или, если мы останавливаем наши поиски раньше, то иногда на следующее утро мы находим мертвых овец, павших жертвами волков. Если мы смотрим в ведро, мы знаем, когда все овцы в загоне, и можем спать спокойно.

Марк задумался.

— Звучит слишком неправдоподобно, — заключил он. — Как насчет использования заговоренных палочек? Заговоренные палочки не лгут. По крайней мере всякий, кто скажет, что они лгут, будет сожжён заживо. Это очень болезненная смерть; следовательно, гадальные палочки не лгут.

— Вы можете пользоваться гадальными палочками, если вам нравится, — сказал я.

— О, небеса, разумеется нет, — говорит Марк. — Они работают безошибочно, с абсолютной точностью в любой ситуации, при надлежащем использовании благословенных инструментов; но что если на следующее утро будут мертвые овцы? Я использую гадальные палочки только когда исключена возможность неверного предсказания. Иначе я буду сожжен заживо. Так как работает ваше магическое ведро?

Как работает ведро?.. Пожалуй, я начну с простейшей возможной ситуации.

— Ну, — говорю я, — предположим, что пастбища пусты, а ведро — не пустое. Тогда мы тратим часы в поисках овец, которых нет. А если на пастбищах остались овцы, но ведро пустое, то Отри и я вернёмся слишком рано, и на следующее утро мы найдём мёртвых овец. Так что пустое ведро является магическим, только если пастбища пусты…

— Постой, — говорит Отри. — Звучит как бессмысленная тавтология. Разве не очевидно, что пустое ведро и пустые пастбища — одно и то же?

— Она не бессмысленная, — говорю я. — Здесь аналогия: логик Альфред Тарски однажды сказал, что утверждение «снег белый» истинно тогда и только тогда, когда снег белый. Если ты можешь понять это, то ты должен видеть, почему пустое ведро волшебно тогда и только тогда, когда пастбища свободны от овец.

— Постойте, — говорит Марк. — Это ведра. Они никак не связаны с овцами. Ведра и овцы, очевидно, совершенно разные вещи. Никакого способа взаимодействия овец с ведром просто нет.

— Тогда откуда же появляется магия, как вы думаете? — поинтересовался Отри.

Марк задумался.

— Вы сказали, что сравнили два ведра, чтобы проверить, что они заполнены на одном уровне… Я могу понять, как ведра взаимодействуют с ведрами. Может быть, когда вы соберете много ведер, и они будут иметь одинаковый уровень — это то, что сгенерирует магию. Я бы назвал это когерентистской теорией магических ведер.

— Интересно, — сказал Отри. — Мне известно, что мой хозяин работал над системой с несколькими ведрами — он говорил, что должно работать лучше, потому что «избыточность» и «коррекция ошибок». На мой взгляд, это похоже на когерентизм.

— Это не совсем то же самое… — начал я.

— Давайте проверим когерентистскую теорию магии, — сказал Отри. — Я вижу, у вас с собой еще пять ведер. Я дам вам ведро, которым мы пользуемся, а затем вы наполните свои ведра до того же уровня…

Марк в ужасе отпрянул:

— Стойте! Эти ведра передаются в моей семье через поколения, и у них всегда одинаковый уровень! Если я приму ваше ведро, моя коллекция ведер станет менее связной, и магия уйдет!

— Но в данный момент ваши ведра вообще никак не связаны с овцами! — протестует Отри.

Марк рассердился.

— Смотри, я уже объяснял ранее, очевидно, что овцы никак не могут взаимодействовать с вёдрами. Ведра могут взаимодействовать только с другими ведрами.

— Я бросаю камешек, когда проходит овца, — заметил я.

— Когда овца проходит, вы бросаете камешек? — сказал Марк. — Как это связано с остальным?

— Это взаимодействие между овцой и камешками, — ответил я.

— Нет, это взаимодействие между вами и камешками, — сказал Марк. — Магия не происходит от овцы, она происходит от вас. Овца как таковая — не магическая по определению. Магия приходит откуда-то по пути в ведро.

Я указал на деревянную конструкцию на воротах. — Видите кусок ткани, свисающий из этой деревянной штуковины? Мы постоянно возимся с ней — она ненадежна — но когда овца проходит, она задевает тряпку. Когда ткань отклоняется, камешек из резервуара падает в ведро. Так нам с Отри не обязательно самим бросать камешки.

Марк нахмурился.

— Я не успеваю за вами… Это магическая ткань?

Я пожал плечами.

— Я заказал это онлайн в компании Естественный Отбор. Ткань называется Сенсорная Модальность, — увидев скептический взгляд Марка и Отри, я сделал паузу. — Допускаю, что названия звучат несколько эзотерично. Суть в том, что проход овцы начинает цепочку событий и в конце мы имеем камешек в ведре. Теперь вы можете сравнивать ведро с другими ведрами, и так далее.

— Я так и не понял, — сказал Марк. — Вы не можете поместить овцу в ведро. В ведро попадают только камешки, и, очевидно, эти камешки могут взаимодействовать только с остальными камешками.

— Овца взаимодействует с вещами, которые взаимодействуют с камешками… — я ищу аналогию. — Допустим, вы опустили взгляд на шнурки. Фотон покидает Солнце, затем путешествует сквозь атмосферу Земли, затем отскакивает от ваших шнурков, затем проходит через зрачок в вашем глазе, затем сталкивается с сетчаткой, затем поглощается палочкой или колбочкой. Энергия фотона возбуждает нейрон, который возбуждает другие нейроны. Схема активации нейронов в вашей зрительной коре может взаимодействовать с вашими убеждениями о ваших шнурках, если такие убеждения уже есть в вашей нервной ткани. Если вы можете понять это, то вы должны понять, как проход овцы вызывает попадание камешка в ведро.

— И все-таки, в какой момент процесса камешек становится магическим? — спрашивает Марк.

— Так… Это… — теперь уже я начинал смущаться. Я встряхнул головой, прогоняя путаницу. Все казалось таким простым, когда я проснулся этим утром, и система ведра и камней избавила меня от проблем. — Будет гораздо проще понять это, если вы вспомните, что цель данной системы — упрощение наблюдения за овцами.

Марк погрустнел.

— Никогда бы не подумал… Похоже, вы сами не знаете. Может, все камешки изначально волшебны, даже до попадания в ведро. Можно назвать эту позицию панкаменизм.

— Ха! — воскликнул Отри, подражая его манере. — Какая натянутая мысль! Камешки не созданы одинаковыми. Те камешки, что в вашем ведре, не волшебны. Это простые кусочки камня!

Лицо Марка стало суровым.

— Теперь, — крикнул он, — теперь ты видишь, на какую опасную дорожку ступил! Как только ты заявил, что чьи-то камешки волшебны, а чьи-то — нет, твоя гордыня тебя поглотит! Ты возомнишь себя выше всех остальных и так падёшь! История знает множество людей, которые убивали и истязали, потому что считали, что именно их камешки выше прочих! — Голос Марка обрел тень снисходительности. — Поклонение уровню камешков как «магическому» подразумевает существование абсолютного уровня камешков в Великом Ведре. Никто не верит в Великое Ведро в наше время.

— Во-первых, — сказал я, — овцы не являются абсолютными камешками. Во-вторых, я не считаю, что мое ведро на самом деле содержит овец. В-третьих, я не поклоняюсь уровню моего ведра как идеальному — я его поправляю иногда, и делаю это, потому что забочусь об овцах.

— Кроме того, — говорит Отри, — если кто-то считает, что обладанием абсолютными камешками развязывает руки для убийств и пыток, он совершает ошибку, которая никак не связана с вёдрами. Вы решаете не ту проблему.

Марк успокаивается, говоря:

— Это же всего лишь пастухи, чего более мне от них ожидать… Вы, наверное, и в то, что снег белый, тоже верите?

— Эмм… ну да, а что? — отвечает Отри.

— А вас не беспокоит, что Иосиф Сталин тоже верил в то, что снег белый?

— Ну… нет.

Марк некоторое время с недоверием пристально смотрит на Отри, затем пожимает плечами.

— Ладно, предположим, — исключительно для дискуссии, — что ваши камешки магические, а мои нет. Скажите, в чем разница?

— Мои камешки представляют овец! — торжественно заявляет Отри. — У ваших камешков нет свойства представительности, поэтому они не работают. Они лишены смыслового наполнения. Да вы просто посмотрите на них — никакой ауры содержательного наполнения, просто камни. Вам нужно ведро с особыми причинно-следственными силами.

— Ага, — говорит Марк. — Значит теперь это уже «особые причинно-следственные силы», а не магия.

— Вот именно, — продолжает Отри. — Я не суеверен. Постулировать существование магии в наши времена неприемлемо для международного пастушеского сообщества. Мы обнаружили, что постулирование магии просто не работает в качестве объяснения феноменов скотоводства. Так что теперь, если я вижу что-то мне непонятное и хочу объяснить это с использованием модели без детализации, которая не позволяет делать предсказания, даже в ретроспективе, я постулирую существование особых причинно-следственных сил. Если это не работает, то я буду называть это стихийным феноменом.

— А какими особыми силами наделено это ведро? — спрашивает Марк.

— Хм, — задумывается Отри. — Возможно, оно заряжено сродством с пастбищами. Это бы объяснило, почему оно работает — когда ведро пусто, значит и на пастбищах тоже пусто.

— Где вы нашли это ведро? — продолжает задавать вопросы Марк. — И как вы поняли, что ему свойственно сродство с пастбищами?

— Да это обычное ведро, — говорю я. — Я с него на деревья залезал. Не заморачивайтесь на этом вопросе.

— Я всё-таки говорю с Отри, — не даёт себя сбить Марк.

— Нужно привязать ведро к пастбищам и камешки к овцам с помощью магического ритуала… то есть, простите, стихийного процесса с особыми причинно-следственными силами, который открыл мой хозяин, — объясняет Отри.

Отри пытается описать процесс ритуала, при этом Марк с умным понимающим видом кивает.

— Нужно бросать камешек в ведро каждый раз, как овца выходит из загона, — уточняет Марк. — И доставать камешек каждый раз, когда овца возвращается?

Отри кивает.

— Это, должно быть, очень тяжёлое занятие, — сочувствующе говорит Марк.

Отри оживляется, поглощая сочувствие Марка, как сухая земля — дождь.

— Вот именно! — восклицает он. — Это такое давление на чувства. Когда в ведре некоторое время держится один уровень, вы… в некотором роде начинаете ощущать свою связь с этим уровнем.

В это время из загона выходит овца. Отри замечает это, замолкает, берет камешек и поднимает его вверх на вытянутой руке.

— Узрите! — провозглашает он. — Вышла овца! И сейчас я должен бросить камешек в это ведро, моё дорогое ведро, и разрушить этот дорогой мне уровень, который продержался так долго… — Из загона выходит другая овца, Отри, поглощённый своей драматической игрой, не замечает её, поэтому я кидаю камешек в ведро. А он продолжает: — ибо таково высшее испытание пастуха, бросить камень в ведро, несмотря на муки, страдания, несмотря на всю любовь к старому уровню. Воистину, только лучшие из пастухов способны соответствовать столь жестокому требованию…

— Отри, — прерываю я его, — если ты хочешь когда-нибудь стать великим пастухом, научись затыкаться и бросать камешки в ведро. Без суеты. Без драматизма. Просто бросай.

— А этот ритуал, — возвращается к разговору Марк, — он привязывает камешки к овцам силой магических законов Взаимодействия и Распространения, как кукла вуду.

Отри вздрагивает и оглядывается по сторонам.

— Прошу вас! Не называйте это Взаимодействием и Распространением. Мы, пастухи, антисуеверный народ. Пользуйтесь словом «преднамеренность» или чем-то подобным.

— Можно взглянуть на камешек? — спрашивает Марк.

— Да, конечно, — отвечаю я. Достаю один камешек из ведра и бросаю его Марку. Затем наклоняюсь к земле, подбираю другой и кидаю его в ведро.

Отри озадаченно смотрит на меня: — Разве вы сейчас не нарушили весь процесс?

Я пожимаю плечами:

— Вряд ли. Если нарушил — мы узнаем об этом, когда найдём убитую овцу на утро, или если несколько часов проведём в бесплодных поисках.

— Но… — сомневается Отри.

— Я научил тебя всему, что ты знаешь, но не всему, что знаю я, — говорю я ему.

Марк изучает камешек, тщательно рассматривая его. Он проводит над ним рукой, бормочет какие-то слова и наконец отрицательно качает головой.

— Я не чувствую никакой магии, то есть, прошу прощения, не чувствую никакой преднамеренности.

— Камешек обладает преднамеренностью только внутри маг… стихийного ведра, — заявляет Отри. — Иначе это просто камешек.

— Да не проблема, — отвечаю я. Достаю камешек из ведра и выкидываю его. Затем подхожу к Марку, касаюсь его руки с камешком и говорю: — Я объявляю эту руку частью магического ведра! Затем я возвращаюсь на свой пост у ворот загона.

— Вы сейчас просто беспричинно вредничаете, — смеется Отри.

Я киваю, ибо это действительно так.

— Однако это действительно сработает? — спрашивает Отри.

Я снова киваю, надеясь на свою правоту. Я проделывал это раньше с двумя ведрами, и, в принципе, не должно быть разницы между ведром и рукой Марка. Даже если рука Марка насыщена силой жизни, которая отличает живую материю от мёртвой, этот фокус должен сработать, даже если бы Марк был мраморной статуей.

Марк немного обеспокоенно смотрит на свою руку.

— Так что… сейчас камешек снова обладает преднамеренностью?

— Да, — подтверждаю я. — Не берите больше камней в руку и не выбрасывайте тот, который в ней держите, а то вы нарушите ритуал.

Марк торжественно кивает и возвращается к изучению камня.

— Теперь я понимаю, как ваши стада плодятся так хорошо. С силой этого ведра можно просто кидать в него камешки, и овцы бы возвращались с полей. Можно начать с нескольких овец, подождать, пока они уйдут на пастбища, а потом до краёв наполнить ведро. А если следить за такими большими стадами станет утомительно, можно просто выпустить их всех и выкинуть почти все камешки из ведра — так что вернутся только несколько овец. А когда придёт время стрижки, можно снова увеличить стада… святые небеса! Да вы хоть представляете всю чистую силу этого ритуала, который открыли? Я могу только представить последствия, возможно, это прыжок вперед на десять — нет, на сто лет для всего человечества!

— Так не заработает, — сказал я. — Если вы забросите камешек без вышедшей овцы, либо достанете камешек, хотя овца не вернулась, это нарушит ритуал. Сила не содержится в камешках, но пропадает мгновенно, как мыльный пузырь.

Марк страшно разочаровался.

— Вы уверены?

Я кивнул.

— Я пробовал, и это не сработало.

Марк тяжело вздыхает.

— До этого момента вся эта… математика казалась такой… сильной и полезной. А был бы такой большой прогресс для человечества. А, ладно.

— Марк, это отличная идея, — одобряюще сказал Отри. — Это не мое открытие, оно носится в воздухе… можно сэкономить громадные средства… это должно спасти ваш план! Мы можем попробовать разные ведра, найдя то, что сохраняет изначальную магическую сил… преднамеренность камней даже без ритуала. Или попробовать другие камешки. Может, наши камешки имеют не те свойства, присущие преднамеренности. Что если мы попробуем использовать камни, вырезанные в форме маленьких овечек? Или просто напишем «овца» на камешках, этого вполне достаточно.

— Не поможет, — сухо предсказал я.

Отри продолжил.

— Может, нам нужны органические камешки вместо кремниевых… или даже драгоценные камни. Цена драгоценных камней удваивается каждые восемнадцать месяцев, так что вы можете купить пригоршню недорогих драгоценных камней, подождать, и через двадцать лет они станут очень дорогими.

— Вы пробовали добавить камешков в ведро, чтобы сотворить ещё овец, и это не сработало? — спрашивает меня Марк. — А что конкретно вы делали?

— Я взял пачку долларовых банкнот. Затем я спрятал их, одну за другой, под складкой одеяла. Каждый раз, когда я прятал банкноту, я доставал из коробки скрепку и складывал их кучкой. Я тщательно старался не считать в уме, так что в итоге я знал только то, что у меня есть «много» долларовых банкнот и «много» скрепок. Когда все банкноты были спрятаны под одеялом, я добавил одну скрепку в кучку скрепок, что равносильно забросу одного лишнего камешка в ведро. После этого я начал доставать банкноты из-под одеяла, одновременно складывая скрепки назад в коробку. Когда я закончил, осталась одна лишняя скрепка.

— И что это значит? — спрашивает Отри.

— Значит, что уловка не удалась. Как только я нарушил ритуал всего лишь одной ошибкой, сила мгновенно исчезла. Кучка скрепок и кучка долларов более не уменьшались одновременно.

— Вы и правда это пробовали? — поинтересовался Марк.

— Да, — отвечаю я. — Я действительно провел этот эксперимент, чтобы удостовериться в том, что результат согласуется с моим теоретическим предсказанием. У меня есть сентиментальная склонность к научной методике, даже когда дело похоже на бред. Кроме того, а что если бы я ошибся?

— Если бы это сработало, — говорит Марк, — вы были бы повинны в фальшивомонетничестве! Представьте, если бы все этим занялись — экономика бы рухнула! У всех были бы миллиарды долларов наличности, на которые ничего нельзя было бы купить!

— Вовсе нет, — уверил я. — По этой же логике, если добавление скрепки в кучку создавало бы ещё один доллар, то этот доллар при создании создавал бы дополнительно товаров и услуг на доллар.

Марк осуждающе качает головой:

— Все равно, подделка денег — это преступление. Вам не следовало пытаться это осуществить.

— Я был обоснованно уверен, что у меня не получится.

— Ага! — восклицает Марк. — Вы ожидали, что у вас не получится! Вы не верили, что у вас может получиться!

— Действительно. Вы с ошеломляющей точностью угадали мои ожидания, — признаю я.

— Ну вот, в этом и проблема, — оживлённо заявляет Марк. — Магия стимулируется верой и силой воли. Если не верить, что сможешь, то и не сможешь. Вам нужно изменить свою веру в результат опыта, это изменит и сам результат.

— Забавно, — с ностальгией вспоминаю я. — То же самое сказал Отри, когда я рассказал ему о методе ведра и камешков. Что это слишком смехотворная чушь, чтобы он в неё поверил, поэтому этот метод у него не сработает.

— И как же вы его убедили? — спрашивает Марк.

— Я сказал ему заткнуться и следовать инструкциям — а когда метод сработал, Отри начал в него верить.

Марк озадаченно хмурится:

— Но это же бессмыслица. Это не решает основную дилемму курицы и яйца.

— Отнюдь, решает. Метод ведра работает, верите вы в него или нет.

— Что за ерунда! — пробормотал Марк. — Не верю я в магию, которая работает независимо от того, веришь ты в нее или нет!

— Я говорил то же самое, — вмешался Отри. — Очевидно, я ошибался.

На лице Марка видны следы напряжённого размышления.

— Но… если вы не верили в магию, которая работает, веришь в неё или нет, то почему метод с ведром сработал, когда вы в него не верили? Вы что, верили в магию, которая работает, веришь в неё или нет, независимо от того, веришь ли в магию, которая работает, веришь ты в неё или нет?

— Я… по-моему… нет, — с сомнением отвечает Отри.

— Тогда, если вы не верили в магию, которая работает, веришь в неё или нет, то… сейчас, это надо решить в письменном виде. — Марк лихорадочно строчит на листе, затем скептически смотрит на получивший результат, переворачивает листок вверх ногами и наконец сдается. — Неважно, — резюмирует он. — Даже просто магию мне трудно понять, а уж метамагия вообще вне моего понимания.

— Марк, по-моему вы не понимаете, в чём мастерство ведерного ремесла, — говорю я. — Дело не в том, чтобы с помощью камешков управлять овцами. Дело в том, чтобы овцы управляли камешками. В этом творческом деле не обязательно начинать с веры в то, что оно сработает. Скорее, сначала человек становится свидетелем того, что ведерное ремесло действительно работает, а затем приходит к вере, что оно работает.

— Или вы верите, что это так, — парирует Марк.

— Да, я верю, что это так, потому что это имеет место быть как факт, — соглашаюсь я. — Соответствие между реальностью и моими верованиями происходит от того, что моя вера обусловлена реальностью, а не наоборот.

Мимо проходит ещё одна овца, поэтому я кидаю в ведро ещё один камешек.

— Ага! Вот мы и добрались до корня проблемы, — восклицает Марк. — Что вообще за дело с этой так называемой «реальностью»? Я понимаю, что значит, когда гипотеза изящна или фальсифицируема, или согласуется с фактами. По мне так называть веру «истинной», или «настоящей», или «действительной» в отличие от просто веры — это то же самое, что сказать «я верю в то-то» и сказать «я очень-очень верю в то-то».

Я немного медлю с ответом.

— В общем… — задумчиво говорю я, — откровенно говоря, я и сам не до конца уверен, откуда взялась вся эта муть с «реальностью». Я не могу создать собственную реальность в лаборатории, поэтому понять, что это такое, пока нельзя. Но время от времени я сильно верю, что что-то случится, а вместо этого затем происходит что-то другое. Мне нужно как-то называть это «что бы то ни было», которое определяет мои опытные результаты, поэтому я называю это «реальностью». Эта «реальность» как-то совсем не совпадает иногда даже с моими лучшими гипотезами. В некоторых случаях, когда у меня есть простая гипотеза, которая прекрасно согласуется со всеми известными мне данными, даже и тогда случаются сюрпризы. Так что мне нужно по-разному называть те штуки, которые определяют предсказанные мной результаты, и ту штуку, которая определяет опытный результат. Первое я называю «верой», а второе — «реальностью».

Марк фыркает.

— Даже не знаю, почему я вообще слушаю всю эту очевидную чепуху. Всё, что вы говорите об этой так называемой «реальности» — это всего лишь ещё одна вера. Даже ваше мнение о том, что реальность существует прежде ваших убеждений — это тоже вера. Из этого с логической неизбежностью следует, что реальность не существует, существуют только убеждения.

— Погодите, — говорит Отри, — вы не могли бы повторить последнюю часть? Вы где-то в середине фразы круто повернули, и я потерял нить.

— Что бы вы ни говорили о реальности, все это только ещё одна вера, — объясняет Марк. — Из этого с ошеломляющей неотвратимостью следует, что реальности нет, есть только убеждения.

— Понятно, — говорю я. — Значит, аналогично, не важно, что человек ест, он должен есть ртом. Из этого следует, что еды не существует, есть только рты.

— Именно, — отвечает Марк. — Всё, что вы едите, должно быть во рту. Может ли еда существовать вне рта? Это бессмысленно, что доказывает, что «еда» — это несвязная идея. Поэтому мы все голодаем до смерти, еды не существует.

Отри смотрит на свой живот.

— Но я же не голодаю.

— Ага! — ликующе восклицает Марк. — А как вы произнесли это самое возражение? Ртом, друг мой! Своим ртом! Чем ещё лучше можно было наглядно доказать, что еды не существует?

— Кто тут говорит о голоде? — требовательно вопрошает резкий, скрипучий голос у нас за спиной. Мы с Отри спокойно стоим, мы слышали его и раньше. Марк же прямо подпрыгивает от неожиданности, сильно испуганный.

Инспектор Дарвин сухо улыбается, довольный получившимся сюрпризом, и делает небольшую пометку в своем блокноте.

— Это просто метафора! — быстро заявляет Марк. — Не надо забирать у меня рот или что-то ещё…

— А зачем вам рот, если еды не существует? — сердито настаивает Дарвин. — Неважно. У меня нет времени на эту ерунду. Я здесь, чтобы проинспектировать овец.

— Стада плодятся, господин, — сообщаю я. — Ни одной задранной овцы с января.

— Прекрасно. Награждаю вас 0,12 единицами приспособляемости. Так, а что этот человек тут делает? Является ли он необходимой частью производственной деятельности?

— Насколько я понимаю, он принёс бы больше пользы человеческому виду, если его повесить как балласт на корзине воздушного шара, — отвечаю я.

Отри тихо ойкает.

— Мне нет дела до человеческого вида. Пусть сам скажет.

Марк надменно выпрямляется.

— Вот этот всего лишь пастух, — он показывает на меня, — заявляет, что существует такое явление, как реальность. Это оскорбляет меня, так как я с глубокой и стойкой уверенностью знаю, что правды не существует. Идея «истины» — это всего лишь уловка людей, чтобы навязывать другим людям свои убеждения. У разных культур разные «истины», ни одна из которых не превосходит другую. То, что я сказал, имеет силу в любом месте и в любое время, и я настаиваю, чтобы вы согласились с этим.

— Секундочку! — вступает Отри. — Если ничто не истинно, почему я должен верить вам, когда вы говорите, что ничто не истинно?

— Я не говорил, что ничто не является истинным, — отвечает Марк.

— Нет, сказали, я слышал, — не соглашается Отри.

— Я сказал, что «истина» — это оправдание, которое используется какой-либо культурой, чтобы навязать другим свои убеждения. Так что, когда вы заявляете, что что-то «истинно», вы имеете в виду только то, что верование в это принесёт вашей собственной социальной группе какие-то преимущества.

— А вот это, что вы сейчас изложили — это истинно? — говорю я.

— Абсолютно, несомненно истинно! — выразительно отвечает Марк. — Люди сами творят свои реальности.

— Погодите, — озадаченно говорит Отри, — рассуждая логически, заявлять о том, что люди создают собственные реальности — это совершенно отдельный вопрос от заявления о том, что истины не существует — такое положение дел я даже внятно представить не могу, может быть, потому что вы так и не пояснили, как это вообще должно работать…

— Ну вот опять, — раздражается Марк, — опять вы пытаетесь применить свои западные идеи логики, рациональности, причинности, обоснованности и непротиворечивости.

— Ну отлично, — бурчит Отри, — теперь мне надо добавить третий индекс, чтобы следить за этим особым и отдельным утверждением…

— Оно не отдельное, — отвечает Марк. — Слушайте, вы неверно относитесь к моим утверждениям, принимая их за гипотезы и тщательно выводя их следствия. Вам следует считать их полностью универсальными оправданиями, которые я применяю, когда кто-то заявляет что-то, что мне не нравится. Это не совсем модель того, как работает вселенная, типа карточки «Освобождение из тюрьмы». Ключевой момент — применять эти оправдания избирательно. Когда я говорю, что истины не существует, это применимо только к вашему заявлению о том, что магическое ведро работает независимо от того, верю я в него или нет. Это не применимо к моему заявлению о том, что истины не существует.

— Эмм… а почему нет? — вопрошает Отри.

Марк терпеливо вздыхает.

— Отри, неужели вы думаете, что вы первый, кто задался этим вопросом? Спросил, как может наша собственная вера быть наполнена глубочайшим смыслом, если все верования бессмысленны? Многие студенты задают такой же вопрос, когда они сталкиваются с этой философией, у которой, я вас уверяю, множество сторонников, и по которой написана обширная литература.

— Ну и каков ответ? — говорит Отри.

— Мы назвали его «проблемой рефлексивности», — объясняет Марк.

— Да, но какой же ответ? — продолжает настаивать Отри.

Марк снисходительно улыбается.

— Поверьте, Отри, вы не первый, кто придумал такой простой вопрос. Не нужно преподносить его так триумфальное опровержение.

— Да нет, в самом деле, какой ответ?

— А теперь я бы хотел перейти к проблеме того, как логика убивает таких милых детёнышей тюленей…

— Вы напрасно теряете время! — резко обрывает Инспектор Дарвин.

— Это кроме того, что вы далеко ушли от слежения за овцами, — говорю я, закидывая ещё один камешек.

Инспектор Дарвин бросает взгляд на спорщиков, каждый из которых, очевидно, не хочет сдавать свою позицию.

— Послушайте, — говорит он уже более мягким тоном, — У меня есть простое решение вашего диспута. Вот вы утверждаете, — обращается Дарвин к Марку, — что вера человека преобразовывает его личную реальность. А вы, — он поворачивает и указывает на Отри, — истово верите в то, что вера Марка не может изменить реальность. Так пусть Марк очень сильно поверит в то, что он умеет летать, и спрыгнет с обрыва. Марк увидит, что полетел, как птица, а Отри увидит его стремительное падение и затем услышит шлепок приземления, и вы оба будете счастливы.

Мы все нерешительно застываем, обдумывая это.

— Звучит разумно… — наконец говорит Марк.

— А вот там как раз есть обрыв — осматривается Инспектор Дарвин.

Отри выглядит глубоко задумавшимся. Наконец он восклицает:

— Погодите! Если бы это было правдой, то мы все давно бы оказались в собственных отдельных вселенных, и тогда все люди здесь были бы всего лишь плодом вашего воображения — нет смысла пытаться что-то доказать нам…

С ближайшего обрыва слышится длинный затихающий крик, за которым следует глухой одиночный шлепок. Инспектор Дарвин открывает свой планшет на странице, на которой показан современный генетический пул и карандашом вписывает в показатель распространённости аллелей Марка несколько более низкое значение.

Отри несколько бледнеет.

— Неужели это было действительно необходимо?

— Необходимо? — озадаченно переспрашивает его Инспектор Дарвин, — Это просто произошло… Я не вполне понимаю ваш вопрос.

Мы с Отри возвращаемся к нашему ведру. Пора загонять овец. Не стоит забывать об этом. Иначе к чему бы всё это было?

Как успешно менять своё мнение

Рациональность: введение

Роб Бенсинджер

Во что мне следует верить?

Оказывается, на этот вопрос есть правильный ответ.

Правильный ответ есть, даже если тебя мучает неопределённость, а не только при условии наличия убедительного доказательства. Всегда есть корректное количество уверенности в утверждении, даже если оно выглядит как «личное мнение», а не подтвержденный экспертом «факт».

И все же, мы часто рассуждаем так, будто существование неопределённости или разногласий делает убеждения всего лишь вопросом вкуса. Мы говорим: «Это просто мое мнение», или: «У тебя есть право на личное мнение», как будто утверждения науки и математики существуют на более высоком уровне бытия, чем убеждения, которые всего лишь «личные» и «субъективные». Но, как пишет Робин Хансон (1):

У тебя нет права на личное мнение. Никогда! У тебя нет права даже на «я не знаю». У тебя есть право на желания и, порой, на выбор. Ты можешь распоряжаться выбором, ты можешь выбирать предпочтения, у тебя может даже есть право на это. Но твои убеждения - это не о тебе; убеждения - о мире. Твои убеждения - лучшее, что ты можешь предположить о том, как дела обстоят на самом деле. Все остальное - ложь. [ … ]

Правда, что некоторые вопросы предоставляют экспертам более сильные механизмы для разрешения споров. Когда дело касается других вопросов, наши искажения и сложность мира мешают делать сильные выводы [ … ]

Но не забывай, что на любой вопрос о том, как обстоят дела (или как должны), и при любой информации всегда есть лучшая оценка. Ты имеешь право лишь на возможность приложить все силы для нахождения лучшей оценки; все остальное - ложь.

Предположим, что ты узнаёшь, что один из шести человек влюблен в тебя. Может, ты получаешь письма от тайного обожателя, и не сомневаешься, что это один из тех шести. Твой одноклассник Боб - один из шести кандидатов, но у тебя нет особых свидетельств за и против того, чтобы именно он влюблен. В этом случае шансы на то, что Боб именно тот, кто влюблен в тебя - 1:5.

Шесть возможностей означают, что ты угадаешь один раз верно, а пять - не верно, в среднем. Это и есть то, что мы обозначаем как «шансы 1 к 5». Ты не можешь сказать: «Ну, понятия не имею, кто в меня влюблен; может это Боб, может нет. Так что шансы мои пятьдесят на пятьдесят.» Ты даже не можешь сказать «я не знаю» или «может быть» и остановиться на этом, ответ все еще - 1:5 (2).

Предположим, что ты так же замечаешь, что влюбленные люди в десять раз чаще подмигивают тем, в кого они влюблены. И если Боб подмигивает тебе, то это - новое свидетельство. В данном случае, будет ошибкой по-прежнему сохранять скептицизм по поводу идеи, что Боб - тайный обожатель; шансы 10:1 в пользу «случайный человек, подмигнувший мне, влюблен в меня» перевешивают шансы 1:5 против «Боб влюблен в меня».

Но так же будет ошибкой заявлять: «Это свидетельство такое сильное, что сомневаться глупо! Я просто буду думать, что Боб в меня влюблен!» Сверхуверенность ничем не лучше неуверенности.

По факту, только один ответ математически непротиворечив. Для того, чтобы изменить свое мнение с априорных шансов 1:5, основываясь на свидетельстве с отношениями правдоподобия 10:1, мы умножаем отдельно левые стороны и правые, получая апостериорные шансы 10:5 (т.е. 2:1 в пользу того, что «Боб влюблен в меня»). С учетом наших предположений и доступных свидетельств, догадка, что Боб влюблен в тебя, окажется правдой каждые два раза, и ложью - один раз. Эквивалентно: вероятность, что ты его привлекаешь - 2/3. Любое другое число, выражающее уверенность, в данном случае будет несовместимым.

Наша культура не усвоила пока уроки теории вероятности, что правильный ответ на вопросы вроде «как сильно я могу верить в то, что Боб влюблен в меня?» точно так же логически определены как и и правильные ответы на вопросы из контрольной по алгебре или учебника геологии. Наши шаблоны мышления идут не в ногу с открытием, что «каких убеждений о мне следует придерживаться?» имеет объективно верный ответ, независимо от того, является ли это вопросом вроде «влюблен ли в меня мой одноклассник?» или «есть ли у меня бессмертная душа?» Есть правильный путь изменения своего мнения. И точный.

Как не менять свое мнение?

Однако, пересмотр своих убеждений так же, как и в том (с Бобом) идеальном случае - задача не из легких.

В первом томе «Рациональности: от ИИ до Зомби» мы обсуждали ценность «правильных» убеждений. Нет ничего предосудительного в выражении поддержки тому, что тебя волнует - группе, с которой ты себя идентифицируешь, духовному опыту, который ты находишь превозносящим. Когда мы сталкиваем провозглашения с фактическими убеждениями, однако, эти «недопонятые» провозглашения могут защитить целую идеологию от загрязнения свидетельствами.

Даже те убеждения, что элегантно объясняют наши наблюдения, не обладают иммунитетом от этой проблемы. Слишком уж просто нам воспринимать туманно-научные (так или иначе авторитетные) фразы и делать выводы, что они «объясняют» что-либо, даже если они не меняют шансы, которые мы использовали для косвенной оценки наших ожиданий будущего.

Хуже всего, что даже прозаичные убеждения - те, что принципиально фальсифицируемы, что ограничивают варианты будущих наблюдений - могут застрять в голове, будучи поддержанными сетью иллюзий и искажений.

В 1951 году произошло необычайно жесткая игра между Дартмутом и Принстоном. Психологи Хасторф и Кантрил провели опрос среди болельщиков от каждой школы о том, кто же начал вести жесткую игру первым. Почти все были согласны в том, что это был не Принстон; однако, на 86% студентов Принстона, веривших, что начал Дартмут, приходилось лишь 36% студентов Дартмута, тоже обвинявших Дартмут. (Большинство студентов Дартмута верило, что «обе стороны начали».)

Нет никаких оснований полагать, что это было противоположным настоящим убеждениям провозглашение. Студенты, вероятно, следовали разным убеждениям в разных оценках будущего поведения игроков в будущих играх. И все же, совершенно обычные фактические убеждения Дартмута сильно отличались от совершенно обычных фактических убеждений Принстона.

Можем ли мы винить разницу в доступных источниках информации? Сами по себе искажения в разных источниках новостей, на которые полагаются группы - серьезная проблема.

Однако факторов больше. Когда студентам была показана запись игры и они должны были посчитать количество нарушений, то Дартмутские насчитали в среднем 4.3 нарушения со стороны Дартмута (половина из которых была названа «мягкими»), в то время как Принтсонские - 9.8 нарушений со стороны Дартмута (треть из которых была названа «мягкими»).

Чего уж тут надеяться на согласие конкурирующих фракций по сложным вопросам или моральной философии; студенты, верные разным группам, не могли согласится о том, что они видели (3).

Когда над дорогим нам «чем-то» нависла угроза, - мировоззрением, социальным статусом или чем-либо еще, - наши мысли и даже восприятие спешат на защиту (4) (5). Некоторые психологи сегодня полагают, что наша способность придумывать явные оправдания для наших выводов специально эволюционировала для того, чтобы помогать нам выигрывать споры (6).

Одним из определяющих психологию 20-го века озарений, освещающим всех, от Фрейда до когнитивных психологов наших дней, является идея сложных подсознательных процессов, в значительной степени ответственных за наше поведение, и искаженности (большей, чем кажется на первый взгляд) историй, которые мы рассказываем себе о наших мотивах и поступках.

По факту, мы часто не замечаем сам процесс рассказывания таких историй. Когда кажется, что мы «прямо переживаем» что-то о себе посредством интроспекции, часто бывает, что это основано на незначительных косвенных причинных моделях (7, 8). Когда мы защищаем наши убеждения, то можем выдумывать хрупкие причины, не имеющие никакого отношения к тем, благодаря которым мы действительно пришли к таким убеждениям (9). Вместо того, чтобы судить объяснения на основе их предсказательной силы, мы пытаемся найти смысл в том, что, как нам кажется, мы знаем.

Как мы можем стать лучше? Как мы можем приобрести реалистичный взгляд на мир, если наши умы так склонны к рационализации? Как мы можем реалистично взглянуть на свой внутренний мир, если даже наши мысли под подозрением? Как мы можем снизить искаженность, если даже наша деятельность по исправлению этого имеет свои искажения?

Есть ли твердая кочка в этом болоте?

Математика Рациональности.

На рубеже 20-го века создание простых (например, теоретико-множественных) аксиом для арифметики дало математикам возможность оценивать корректность их выводов. Если человек или калькулятор выдает «2+2=4», теперь мы можем сказать больше, чем просто «интуитивно это кажется верным». Мы можем объяснить почему это верно, и мы можем доказать, что эта правильность систематически связана с правильностью всей остальной арифметики.

Но логика и математика позволяют нам моделировать более интересные системы, чем карманный калькулятор. Мы можем формализовать рациональные убеждения в целом, используя теорию вероятности для сбора сливок со всех успешных форм вывода. Мы даже можем формализовать рациональное поведения в целом, разработав теорию принятия решений.

Теория вероятности описывает идеальные рассуждения в условиях неуверенности, если бы у нас было достаточно времени, вычислительных мощностей и самоконтроля. Учитывая предыдущие знания (априорные) и новое свидетельство, теория вероятности однозначно определяет наилучший набор новых убеждений (апостериорные), которые я могу принять. Так же, теория принятия решений определяет, какие действия я должен предпринять на основе моих убеждений. Для любого непротиворечивого набора убеждений и предпочтений, что я имею о Бобе, есть ответ теории принятия решений о том, как я должен действовать, чтобы удовлетворить свои предпочтения.

Люди являются идеальными мыслителями или разработчиками решений настолько же, насколько могут быть идеальными калькуляторами. Наш мозг небрежно слеплен эволюцией. Даже сильно постаравшись, мы не способны вычислить правильный ответ на «что мне следует думать?» и «как мне следует поступить?». У нас не хватает времени и вычислительных мощностей, и эволюции оказалась недостаточно дальновидной и компетентной, чтобы создать менее багнутую систему.

Максимально эффективный, свободный от ошибок мыслитель в реальном мире, по факту, все равно будет полагаться на эвристики и аппроксимации. Оптимальные алгоритмы, путь вычислений которых можно проследить, выпадают из непротиворечивой теории вероятности.

И все же, даже зная, что мы не можем быть полностью непротиворечивыми, мы можем стать лучше. Зная о существовании идеала, с которым мы можем себя сравнивать (исследователи называют это «Байесовской рациональностью»), мы можем улучшать наши рассуждения и действия. И хотя, мы никогда не станем идеальными байесовскими агентами, математика рациональности поможет нам понять, почему некий ответ является верным, заметить где мы облажались.

Только представь изучение математики исключительно с помощью заучивания. Тебе сказали, что “10 + 3 = 13,” “31 + 108 = 139,” и т.д., но это не слишком поможет, если ты не будешь понимать последовательность, стоящую за закорючками. Трудно искать методы улучшения рациональности, не имея при этом парадигмы для оценки успешности этих методов. Цель этой книги - помочь построить такую парадигму индивидуально каждому.

Прикладная рациональность.

В своем блог-посте про разницу между восторженными рациональностью «рационалистами» и «рационалистами анти-эмпиристами» Скотт Александр пишет (10):

[O]чевидно - здорово иметь как можно больше свидетельств, в том же смысле, что и иметь как можно больше денег. Но так же очевидно, что и полезно уметь распоряжаться имеющимися ресурсами с умом, так же, как и полезно уметь распоряжаться с умом ограниченным бюджетом.

Техники рациональности помогут выжать больше из имеющихся свидетельств в тех случаях, когда они неоднозначны или когда наши искажения и пристрастия мешают интерпретировать их. Это применимо и к таким обыденным ситуациям, как та, что с Бобом. К разногласиям политических фракций (и спортивных болельщиков). И так же применимо к технологическим и философским загадкам, вроде дебатов о трансгуманизме и том, должны ли мы использовать технологии для радикального изменения нашего состояния. Признавая, что те же математические правила применимы к каждой из описанных областей, как и господство когнитивных искажений, автор, в «Как действительно изменить свое мнение», обрисовывает множество примеров проблем.

Первая цепочка статей в «Как действительно изменить свое мнение», - «Чрезвычайно удобные оправдания», - фокусируется на вопросах, которые настолько четкие с точки зрения вероятностей, насколько это возможно. Оптимальные вычисления по Байесу часто трудно выполнимы, но ошибки вроде ошибки подтверждения существуют даже в случаях, когда доступные свидетельства однозначны и у нас достаточно времени на обдумывание.

Отсюда мы движемся в темные воды вместе с цепочкой «Политика и Рациональность». Мейнстримная политика, как и теледебаты, знаменита своими гневными, непродуктивными дискуссиями. Если задуматься, это кажется странным. Почему мы воспринимаем так близко к сердцу политические разногласия, если эффекты национальной политики так далеки от нас в пространстве и времени? Если уж на то пошло, почему мы не можем быть аккуратней со свидетельствами, когда имеем дело с важными для нас вопросами?

В игре Дартмута с Принстоном есть пара подсказок. Большая часть наших рассуждений - рационализация, рассказывание историй, которые помогают нам воспринимать наши убеждения как последовательные и оправданные. при этом редко улучшая их точность. Об этом автор пишет в «Против рационализации», затем следует цепочка «Против двоемыслия» (о самообмане) и «Свежий взгляд на вещи» (о вызове признавать свидетельства, даже если они не слишком подходят нашим ожиданиям и предположениям).

Поднятие уровня своей рациональности подразумевает знакомство с множеством интересных и сильных идей. Часто, это так же означает знакомства с людьми для обсуждений этих идей и даже сообществами, поощряющими саморазвитие. «Смертельные Спирали» описывает потенциальные риски, влияющие на группы, созданные вокруг общих интересов и блестящих идей, которые надо обойти или перебороть, если мы рассчитываем получить хоть какую-то выгоду от сообщества рационалистов. «Как действительно изменить свое мнение» заканчивается цепочкой «Отпустить».

Наша природа не подразумевает изменение нашего мнения, как это делал бы байесовский агент. Чтобы заставить студентов Дартмута и Принстона заметить, что же происходило в реальности, понадобится больше, чем обучение их теории вероятности. Как писал Люк Мюлхаузер в «Силе автономного Агента» (11):

Ты не байесовский гомункул, чье мышление «загрязнено» когнитивными искажениями.

Ты просто когнитивное искажение.

Ошибка подтверждения, ошибка статуса кво, ошибка соответствия и прочие не присосались к нашему мышлению; они являются его сутью.

Это не значит, что снижение их влияния невозможно. Мы не являемся идеальными калькуляторами под слоем арифметических ошибок. Множество из наших ограничений в математике являются следствием особенностей работы мозга. И тем не менее, мы способны тренировать математические навыки; мы способны обучаться различать ситуации, где можно, а где нельзя доверять математической интуиции и делиться этим знанием с другими; мы способны менять окружающую среду и создавать инструменты, снимающие бОльшую часть нагрузки.

Наши искажения - часть нас самих. Но в нас так же присутствует тень Байеса - сломанный аппарат, способный, тем не менее, приблизить нас к правде. Не гомункул, но все же что-то. Возможно, достаточно, чтобы начать.

Robin Hanson, “You Are Never Entitled to Your Opinion,” Overcoming Bias (blog) (2006), http://www.overcomingbias.com/2006/12/you_are_never_e.html.

Это следует из того, что тут шесть возможностей и у тебя нет причин ожидать одну из них сильней по сравнению с другими. Мы так же предполагаем, пусть и нереалистично, что ты можешь быть уверен в том, что поклонник принадлежит именно к этой шестерке людей, и ты не отбрасываешь другие возможности. (Что если влюбленность у большего числа людей, чем «один»?)

Albert Hastorf and Hadley Cantril, “They Saw a Game: A Case Study,” Journal of Abnormal and Social Psychology 49 (1954): 129–134, http://www2.psych.ubc.ca/~schaller/Psyc590Readings/ Hastorf1954.pdf.

Pronin, “How We See Ourselves and How We See Others.”

Robert P. Vallone, Lee Ross, and Mark R. Lepper, “The Hostile Media Phenomenon: Biased Perception and Perceptions of Media Bias in Coverage of the Beirut Massacre,” Journal of Personality and Social Psychology 49 (1985): 577–585, http://ssc.wisc.edu/~jpiliavi/965/hwang.pdf.

Hugo Mercier and Dan Sperber, “Why Do Humans Reason? Arguments for an Argumentative Theory,” Behavioral and Brain Sciences 34 (2011): 57–74, https://hal.archives-ouvertes.fr/file/index/docid/904097/filename/Mercie….

Richard E. Nisbett and Timothy D. Wilson, “Telling More than We Can Know: Verbal Reports on Mental Processes,” Psychological Review 84 (1977): 231–259, http://people.virginia.edu/~tdw/nisbett&wilson.pdf.

Eric Schwitzgebel, Perplexities of Consciousness (MIT Press, 2011).

Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,” Psychological Review 108, no. 4 (2001): 814–834, doi:10.1037/0033-295X.108.4.814.

Scott Alexander, “Why I Am Not Rene Descartes,” Slate Star Codex (blog) (2014), http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/.

Luke Muehlhauser, “The Power of Agency,” Less Wrong (blog) (2011), http://lesswrong.com/lw/5i8/the_power_of_agency/.

Чрезвычайно удобные оправдания

Правильная скромность

Элиезер Юдковский

Давно известно, что хорошая наука требует некоторой скромности. Какой именно скромности — это вопрос другой.

Представим креациониста, который говорит: «Но откуда нам точно знать, что теория эволюции верна? Это просто теория. Вам стоит вести себя скромнее и учитывать все мнения». Это скромность? Креационист проявляет крайне избирательную недоуверенность, отказываясь включить в свою картину мира огромное количество свидетельств, которые приведут к некомфортному для него выводу. Я бы сказал, что независимо от того, «скромность» это или нет, это неверное па в танце.

А как насчет инженера, который скромно разрабатывает дополнительные механизмы безопасности для оборудования, даже будучи абсолютно уверенным, что оборудование не сломается? Такой вид скромности кажется мне хорошим. В истории было немало случаев, когда инженер был абсолютно уверен в том, что машина не сломается, а потом она ломалась. Что насчет студента, который перепроверяет свои ответы на контрольной по математике? Это я бы тоже отнес к хорошей скромности.

А что насчет студента, который говорит: «Не важно, сколько раз я проверю свои ответы, всё равно я никогда не смогу быть до конца уверен, что они верны», и поэтому не проверяет их вообще? Возможно, действия студента из предыдущего примера вызваны схожими эмоциями. Но студент из предыдущего примера поступает более разумно.

Вы предлагаете этому студенту заниматься усерднее, на что он отвечает: «Нет, мне это не поможет. Я же не такой умный, как ты. С моими скромными способностями мне нет смысла даже надеяться на результаты получше». Это социальная сдержанность, а не скромность. Она связана с положением в племени, а не с научным подходом. Если вы просите кого-то «быть скромнее», по умолчанию эти слова ассоциируются с социальной сдержанностью, которая является интуитивным, унаследованным от предков, ежедневно используемым инструментом. Научная скромность - относительно недавнее и более тонкое изобретение, и по своей сути не относится к общественным отношениям. Вы сможете применить научную скромность, даже находясь в одиночестве в космическом скафандре за много световых лет от Земли, где никто не может вас видеть. Или даже в том случае, если вы получите абсолютную гарантию того, что никто и никогда больше не будет вас критиковать, независимо от того, что вы сделаете или подумаете. Перепроверка своих вычислений и в этих ситуациях будет мудрым решением.

Наш студент говорит: «Но я видел, как другие студенты перепроверяли свои ответы и всё равно их ответ оказывался неправильным. Или вдруг мы столкнулись с проблемой индукции и в этот раз 2 + 2 будет равно 5? Что бы я ни делал, я никогда не могу быть полностью уверен». Это звучит очень глубокомысленно и очень скромно. Но вряд ли случайно то, что также студент хочет побыстрее сдать работу, чтобы пойти домой и поиграть в видеоигры.

Конец эпохи в физике не обязательно сопровождается салютом и фанфарами. Гораздо чаще он начинается с чего-то, что кажется лишь маленькой несостыковкой… Но из-за того, что физики придерживаются своей высокомерной идеи, что их модели должны работать абсолютно всегда, а не просто большую часть времени, они всегда стараются выяснить причину этих маленьких несостыковок. Обычно несостыковка исчезает после более внимательного ее изучения. А иногда она разрастается настолько, что опровергает всю теорию. По этому поводу сказано: «Если ты не стремишься к совершенству, ты остановишься еще до того, как сделаешь свои первые шаги».

Но подумайте, как нагло с точки зрения общества выглядит стремление быть правым абсолютно всегда! Я подозреваю, что если бы Наука заявляла, что теория эволюции верна большую часть времени, но не во всех случаях, — или если бы Наука признавала, что, возможно, Земля иногда может быть плоской, но никто не знает этого точно, — то у ученых определенно была бы лучшая репутация в обществе. Наука не казалась бы такой враждебной, потому что мы бы тогда не спорили с людьми, которые считают Землю плоской — оставалось бы место для компромисса. Если вы много спорите, вас считают конфликтным человеком. Если вы регулярно отказываетесь идти на компромисс, это еще хуже. Считайте это вопросом статуса в племени: ученые определенно заработали дополнительные очки уважения за такие социально полезные вещи, как медицина и мобильные телефоны. Но этот статус не оправдывает их настойчивости в вопросе того, что только научные идеи об эволюции имеют право изучаться в школах. В конце концов, у священников тоже высокий статус. Ученые пытаются прыгнуть выше головы — они заработали немного уважения и теперь считают, что имеют право быть вождями всего племени! Им стоит быть поскромнее и иногда идти на компромисс.

Многие люди, похоже, имеют весьма туманное представление о «скромности рационалиста». Опасно придерживаться правила, которое вы понимаете лишь отчасти. У вашей картины мира может быть такое количество степеней свободы, что она оправдает практически любой поступок. Когда люди пользуются смутными моделями, с помощью которых они могут отстаивать что угодно, в итоге они обычно верят в то, во что хотели верить изначально. Это так удобно, что люди часто не хотят отказываться от этой неопределенности. Но этика нужна для того, чтобы управлять нашим поведением, а не для того, чтобы под него подстраиваться.

«Скромность» — это добродетель, которую часто понимают неверно. Это не значит, что нам нужно отказаться от понятия скромности, но нам стоит использовать его осторожно. Возможно, стоит взглянуть на алгоритм действий, который предлагает «скромная» модель поведения, и спросить: «Если я буду поступать таким образом, я стану сильнее или слабее?» Если вы просто смотрите на мост и думаете о проблеме индукции, может казаться разумным рассуждение о том, что ничто не вечно, независимо от предпринятых мер предосторожности. Однако, если вы сравните, что изменится в реальном мире, если вы добавите несколько дополнительных тросов, и что изменится, если вы просто пожмёте плечами, то вроде бы довольно очевидно, в каком случае мост станет более надёжным.

Подавляющее большинство примеров «скромности рационалиста», которые я видел, были отговорками для пожимания плечами. Например, человек, покупающий лотерейный билет, говорит: «Но вы не знаете наверняка, что я проиграю». Человек, не верящий в эволюцию, говорит: «Но вы не можете строго доказать мне, что это правда». Человек, отказывающийся решать задачу, которая выглядит очень сложной, говорит: «Ее, наверное, слишком тяжело решить». Проблема здесь в мотивированном скептицизме, также известном как «искажение опровержения» — мы более критически рассматриваем утверждения в пользу теории, в которую мы не хотим верить. Скромность, в ее самом неверно понимаемом виде, это самое универсальное оправдание для того, чтобы не верить во что-то. Ведь, в конце концов, нельзя быть в чем-то уверенным до конца. Остерегайтесь абсолютно универсальных оправданий!

Еще одна проблема в том, что скромность не требует от вас никаких жертв. Деннет в своей книге «Разрушая чары: религия как природное явление» говорит, что, хотя во многие религиозные утверждения очень трудно верить, людям намного легче удается верить в то, что они должны в них верить. Деннет использует для этого термин «вера в убеждении». Что бы значило реальное убеждение, реальная вера в то, что трое эквивалентны одному? Намного легче убедить себя, что вы должны каким-то образом верить, что трое эквивалентны одному, и говорить это вслух в нужный момент проповеди. Деннет предполагает, что многие «религиозные убеждения» должны рассматриваться как «религиозные провозглашения» — люди считают, что они должны в них верить, и знают, что они должны именно так говорить.

Довольно легко отвечать на каждый контраргумент: «Ну, разумеется, я могу и ошибаться». А затем, почтительно преклонив колени перед Скромностью и выполнив надлежащий ритуал, можно поступать точно также, как поступали и до этого.

Всегда хочется заработать наибольшее количество очков с наименьшими усилиями. Всегда хочется учитывать все поступающие свидетельства таким образом, чтобы как можно меньше изменять свои убеждения и особенно действия. Джон Кеннет Гэлбрейт сказал: «Оказавшись перед выбором между тем, чтобы изменить свои убеждения, и тем, чтобы доказать себе, что в этом нет нужды, почти каждый выбирает второе.»1 И чем большие неудобства человек будет испытывать после изменения своих убеждений, тем больше усилий он потратит на доказательства его ненужности.

Но, знаете, если вы не собираетесь меняться, нет смысла тратить такие усилия на то, чтобы это рационализировать. Я часто видел людей, которые получали новую информацию, соглашались с ней, а затем подробно объясняли, почему они собираются делать то же самое, что делали до этого, но с другим оправданием. Смысл мышления в том, чтобы строить планы. Если вы не планируете менять свои планы, зачем тратить силы на их оправдания? Когда вы получаете новую информацию, самое трудное - среагировать на нее и обновить свои убеждения, вместо того чтобы позволить этой информации исчезнуть в черной дыре. И неправильно понимаемая скромность создаёт прекрасную чёрную дыру — вам нужно лишь признать, что вы тоже можете ошибаться. По этому поводу сказано: «Быть скромным — значит заранее принимать меры в ожидании провала своих планов. Тот, кто признаёт способность ошибаться, но никак не пытается её скомпенсировать, движим гордыней, а не скромностью».

Третья альтернатива

Элиезер Юдковский

«Вера в Санту дает детям ощущение чуда и заставляет их вести себя хорошо в надежде на получение подарков. Если Санта-убеждение разрушается правдой, дети теряют ощущение чуда и прекращают вести себя хорошо. Таким образом, даже если это убеждение ложно, это благородная ложь, которая полезна по определенным причинам».

Обычно это называют ложной дилеммой, софизмом исключения среднего, софизмом компромисса. Даже если мы принимаем лежащие в основе фактические и моральные исходные посылки, приведенные выше в аргументах, это не может быть использовано. Даже предположение, что политика Санты (заставлять детей верить в Санта-Клауса) лучше, чем не делать ничего, это не значит что данное убеждение является наилучшим из всех возможных альтернатив. Другие варианты поведения также могут дать детям ощущение чуда, наподобие просмотра фантастического шоу или снабжения их научно-фантастической литературой. Подобным же образом (если я правильно помню) манера предлагать детям своеобразные взятки за хорошее поведение заставляет детей вести себя хорошо только в те моменты, когда на них смотрят взрослые, а без взяток вести себя плохо.

Благородная ложь представляет собой общий случай софизма компромисса; и ответом на данный софизм является то, что если нам действительно нужно достичь чего-то, мы можем создать третью альтернативу по достижению этого.

Как мы можем получить третью альтернативу? Первый шаг в этом — решить поискать ее, последний — решение принять ее. Звучит очевидно, однако большинство людей терпят неудачу на этих двух шагах, а не на самом процессе поиска. Откуда берутся ложные дилеммы? Некоторые появляются честно, потому что трудно найти превосходящие стратегии. Но есть сомнительная причина ложной дилеммы — это суждение о том, что это лучше, чем не делать ничего. В этом случае, судящий не хочет искать третью альтернативу; находение таковой разрушит его суждение. Последнее, что Сантаист хотел бы услышать, это то, что данная ложь работает лучше взяток или что космические корабли могут вдохновлять так же как летающие олени.

Лучшее враг хорошего. Если цель — по-настоящему помогать людям, тогда превосходящая альтернатива это причина для праздника — как только мы находим лучшую стратегию, мы можем помогать людям более эффективно. Но если цель просто оправдать определенную стратегию, претендуя при этом на помощь людям, третья альтернатива становится вражеским аргументом, соперником.

Современные когнитивные психологи рассматривают принятие решений как поиск альтернатив. В настоящей жизни, недостаточно сравнивать варианты, вы должны в первую очередь создавать варианты. Во многих проблемах число альтернатив велико, так что вам нужен критерий остановки поиска. Когда вы ищете дом для покупки, вы не будете перебирать все дома в городе; в определенный момент вы остановитесь и купите.

Но что, если наши сознательные мотивы для поиска — критерий, который мы признаем для себя — не совпадает с подсознательными влияниями? Когда мы выполняем вроде бы альтруистический поиск, поиск альтруистического способа действий и находим стратегию, при которой выигрывают все кроме нас — мы не останавливаемся; мы продолжаем искать. Разумеется, при этом мы говорим, что ищем стратегию, которая принесет другим еще больше пользы. Но предположим, что мы нашли стратегию, которая приносит другим меньше пользы, но зато благоприятна и для нас? Мы тут же останавливаемся! На деле, мы скорее всего будем сопротивляться любому предложению продолжить поиск снова — например оправдываясь недостатком времени (хотя у нас всегда находятся когнитивные ресурсы для поиска оправданий текущей стратегии).

Будьте внимательней, когда обнаруживаете, что вы отстаиваете оборонительный способ действий, а не оптимальный; или думаете, что иметь небольшое преимущество в сравнении с нулевым действием лучше, чем выбирать наибольшее преимущество из всех действий.

Ложные дилеммы часто представляются как оправдание неэтичных действий, как нечто попавшееся под руку и очень удобное. Лгать, например, часто удобнее, чем говорить правду; и верить в то, с чего вы начали рассуждение, — более удобно, чем обновлять убеждения. Отсюда популярность аргументов в пользу Благородной Лжи; это служит как защита уже существующего убеждения — никто не видел Благородного Лжеца, который создает новую Благородную Ложь; они продолжают лгать о том, с чего начали. Лучше остановить эти поиски быстро!

Чтобы сделать лучше, спросите себя напрямую: если бы я увидел, что есть альтернатива, превосходящая мою текущую, я бы обрадовался или бы замешкался в нежелании, перед тем, как перешел на нее? Если ответы «нет» и «да», боюсь, что вы не ищете третью альтернативу.

Что приводит к другому хорошему вопросу, который нужно задать себя напрямую: потратил ли я хотя бы пять минут на то, чтобы закрыть глаза и рассмотреть даже самые дикие и креативные варианты в попытках придумать лучшую альтернативу? Причем это должны быть именно пять минут на часах — иначе вы просто моргаете — закрываете и открываете сразу же глаза и говорите: «Ну, я поискал альтернативы, но их нет». Моргание это хорошее средство уйти от своих обязанностей. Поэтому рекомендуется смотреть пять минут именно по часам.

И эти дикие и креативные варианты — были ли вы достаточно внимательны, чтобы не просмотреть хороший? Прилагали ли усилия, чтобы убедиться в том, что любой рассмотренный выбор очевидно плохой?

Удивительно, как много Благородных Лжецов и прочих подобных готовы принять этические нарушения — оплакивая свои муки совести — когда они не потратили и пяти минут на поиск альтернатив. Существуют определенные ментальные поиски, которые мы подсознательно желаем видеть неудавшимися; и когда шансы на успех нам не подходят, люди часто выбирают самый доступный возможный вариант — сдаться.

Лотереи: бессмысленная трата надежды

Элиезер Юдковский

Традиционно принято критиковать лотереи за то, что играют в них те, кто меньше всего может позволить себе проиграть; что лотерея — унитаз для спуска денег, сливающий средства тех, кому они больше всего нужны. Некоторые апологеты лотерей (и даже кое-какие комментаторы блога Lesswrong.com) пытаются оправдать покупку лотерейных билетов как разумную: мы нечувствительно теряем доллар в день, покупая приятное предвосхищение, мечтая о себе-миллионере.

Но рассмотрим, что же именно здесь подразумевается. Такой ход мыслей должен означать, что вы захламляете свой ценный мозг иллюзией, действительная достоверность которой — что-то около нуля: тонкая полоска везения, которую вы не властны сделать реальностью. Лотерейные шары определят ваше будущее. Эта иллюзия о том, что богатство настигнет вас без усилий: без стремления мыслить и учиться, без талантов, даже без упорства.

Это и делает лотереи еще одним видом «унитаза», только сливающим эмоциональную энергию. Они потворствуют тому, чтобы люди вкладывали свои мечты, свои надежды на лучшее будущее в крохотную вероятность. Если бы не лотерея, возможно, они могли бы подумать о том, чтобы поступить в технический колледж, или открыть свое дело, или продвинуться по службе, — о чём-то, что в самом деле могут сделать именно они, о надеждах, которые бы требовали от них стать сильнее. В своих фантазиях, эдак к 20-й визуализации пленительной мечты, мозг человека, возможно, заметит способ действительно ее осуществить. Разве фантазии и мозги не для этого? Но разве может этот приземленный, ограниченный рамками действительности расклад сравниться с подслащенной перспективой мгновенного богатства (не когда на продажу выставлены акции соблазнительных интернет-стартапов, а в обычный вторник)?

Правда, почему бы нам просто не сказать, что покупать лотерейные билеты — идиотское занятие? Люди бывают глупы время от времени, так что это не должно быть такой уж удивительной гипотезой.

Не является открытием, что человеческий мозг не проводит 64-битные вычисления с плавающей точкой, и не может снизить эмоциональную силу положительного предвосхищения, умножив ее на 0,00000001, если не приложить к этому усилий. Также неудивительно, что многие люди не осознают, что численное вычисление ожидаемой полезности должно превосходить или замещать их неточные финансовые инстинкты, и что вместо них стоит верить этому вычислению как единственному аргументу, который уравновешивал бы их положительное предвосхищение - но вычисление это эмоционально слабый аргумент, поскольку представляет собой цифры на бумаге, а не видения сказочных богатств.

Кажется, этого достаточно, чтобы объяснить популярность лотерей. Почему же столь многих спорщиков тянет оправдать эту образцовую форму саморазрушения?

Чтобы преодолеть искажение мышления, нужно: 1) сначала заметить его, 2) затем подробно проанализировать, 3) определить, чем же оно плохо, 4) выяснить, как его обойти, и, наконец, 5) осуществить это. Досадно, как много людей, пройдя первые два шага, застревают на третьем — по правде говоря, самом легком из всех пяти. Систематическая ошибка мышления — это баг, а не фича, и мы должны не пытаться сделать из нее что-то хорошее, а просто избавиться от нее.

Новая улучшенная лотерея

Элиезер Юдковский

Люди продолжают настаивать на том, что лотереи это не бессмысленная трата надежды, а сервис, который дает возможность купить фантазию — «мечты о становлении миллионером за меньшие деньги, нежели мечты о становлении голливудской звездой в кино». Один комментатор написал: «Есть большая разница между нулевыми шансами стать богатым и ничтожно малыми. Покупка билета позволяет вашей мечте о богатстве перейти от нулевых шансов к ничтожно малым».

На деле же, и это один из моментов, которые я хочу донести, между нулевым и ничтожно малым шансом стать богатым разница ничтожно малого порядка. Если вы сомневаетесь, положим, что этот ничтожно малый шанс — единица, деленная на гуголплекс.

В любом случае, если мы притязаем на то, что сильная сторона лотереи — возможность купить надежду на ничтожно малые шансы, то это предполагает, что мы соглашаемся на разработку новой улучшенной лотереи. Она выплачивает выигрыш в среднем раз в пять лет, в случайный момент времени, который определяется, скажем, моментом распада атомов слаборадиоактивного элемента. Вы сможете однажды купить билет за доллар и обрести не просто несколько дней крохотного шанса стать богатым, а несколько лет такового. Более того, богатство может настигнуть вас в любой момент! В любую минуту может зазвонить телефон, чтобы рассказать вам, что вы, да-да, именно вы — миллионер!

Представьте, насколько это было бы лучше, чем обычная схема розыгрыша лотереи, которая проводится только в определенное время, несколько раз в неделю. Скажем, шеф приходит и дает вам указание переработать проект, или пополнить складские запасы, или сделать еще что-нибудь надоевшее. И вместо того, чтобы браться за работу, вы можете поставить перед собой телефон и глядеть на него, надеясь на чудесный звонок, ведь есть крохотный шанс, что именно в этот момент вы, да-да, вы получите суперприз! И даже если этого не случится сейчас, что ж, не стоит разочаровываться: это может произойти в следующую минуту!

Подумайте, насколько больше фантазий возможно с Новой улучшенной лотереей. Вы можете покупать в магазине, добавляя дорогие вещи в вашу покупательскую корзину — если ваш телефон не зазвонит, чтобы вам сообщили, что вы выиграли, вы всегда можете выложить все обратно, не так ли?

Возможно, Новая улучшенная лотерея может даже отображать постоянно плавающее распределение вероятностей по возможности того, что сейчас кто-то выиграет, или по шансам на победу определенных лотерейных билетов, а также общий прогноз, выражающийся через вышеуказанные распределения Пуассона. Вообразите, насколько приятным это могло бы быть! Батюшки, прямо сейчас шансы выиграть где-то в десять раз выше, чем обычно! И, вы только посмотрите, у номера 42, на который я сделал особую ставку, вероятность выпадения в эту минуту удвоилась! Можно отобразить эту информацию на экранах мобильников, владельцы которых в игре, и они смогут просто посмотреть в телефон и узнать свои шансы. Только представьте, как волнующе это будет! Куда увлекательней, чем пытаться свести собственные доходы и расходы. Куда интереснее, чем делать домашнюю работу! Эта новая мечта должна стать настолько притягательной, что сможет соревноваться не только с надеждой поступить в технический колледж, но даже с возможностью рано возвращаться с работы. Люди смогут просто неотрывно глазеть на экран весь день, и им не надо будет мечтать о чем-нибудь еще!

Действительно, давать людям соблазнительные мечтания, которые никогда не станут реальностью, — значимая услуга, так уж и быть. Она должна быть таковой, ведь люди готовы расставаться с деньгами. Хотя на самом деле это может быть и не так, ведь люди могут и ошибаться.

Пока что современные государства, обладающие подлой монополией на лотереи, все еще не предлагают эту удобную и очевидную услугу. Почему? Потому что хотят назначить цену повыше. Они хотят, чтобы люди тратили деньги каждую неделю. Чтобы люди тратили сотни долларов ради трепетного ожидания выигрыша, десятки и сотни раз, вместо того, чтобы смотреть на экран телефона, ожидая счастливого момента. Так что если вы убеждены, что лотерея — это услуга, то цена ее несоизмеримо завышена (в особенности для беднейших в обществе), и ваш священный долг как гражданина — требовать учреждения Новой улучшенной лотереи.

Но ведь шанс все равно есть, не так ли?

Элиезер Юдковский

Несколько лет назад я беседовал с одним человеком, и по ходу разговора он сказал, что не верит в эволюцию. Я ответил: «Сейчас не девятнадцатый век. Когда Дарвин впервые предложил теорию эволюции, в ней еще можно было сомневаться. Но мы живем в двадцать первом веке. Мы можем читать гены. У человека и шимпанзе ДНК совпадают на 98%. Мы знаем, что люди и обезьяны являются родственниками. Это факт».

Он сказал: «Может быть, совпадение ДНК является случайным».

Я ответил: «Шансы на это равны примерно двум в степени семьсот пятьдесят миллионов к одному».

Он сказал: «Но ведь шанс все равно есть, не так ли?»

Есть несколько причин, по которым прошлый-я не может праздновать чистую с моральной точки зрения победу в этом споре. Первая причина заключается в том, что я не помню, откуда взял число 27500000002750000000, хотя, скорее всего, я не слишком ошибся на уровне «мета-порядка». Другая причина в том, что мой прошлый-я не задумывался о том, насколько откалиброванной была эта уверенность. На протяжении всей истории человечества люди, оценивавшие вероятность некоего события в 1 к 27500000002750000000, ошибались, несомненно, чаще, чем один раз в 27500000002750000000 случаях. К слову, позже оценка совпадения ДНК была снижена с 98% до 95% - причем относится она только к 30 000 известным генам, а не ко всему геному, поэтому моя оценка была неверна даже на уровне «мета-порядка».

Однако, ответ моего собеседника по-прежнему кажется мне довольно забавным.

Я не помню, что я ответил на его последнюю реплику — скорее всего, что-то вроде «Нет»— но я запомнил этот разговор, поскольку благодаря ему я чуть лучше понял то, как Непросвещённые понимают законы мышления.

Я впервые понял, что для человеческой интуиции есть качественная разница между «Невозможно» и «Шансы очень малы, но их стоит учитывать». Это можно увидеть и на Overcoming Bias в обсуждении «Новой Улучшенной Лотереи», где один пользователь написал: «Между нулевыми шансами на выигрыш и шансами, равными эпсилону, существует большая разница». На что я ответил: «Нет, не большая - порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон один, делённое на гуголплекс».

Проблема в том, что теория вероятностей позволяет рассчитать значения, которые настолько малы, что на них бессмысленно тратить ресурсы своего мозга - но к этому времени они уже будут рассчитаны. Люди путают карту с территорией, поэтому на интуитивном уровне вероятность, явно определённая в виде символов, ощущается как «шанс, который нужно учитывать», даже если число, описываемое этими символами, настолько мало, что, представив его в виде реального объекта, мы бы не смогли его даже разглядеть, поскольку оно было бы меньше пылинки. Для описания настолько маленьких чисел есть слова, но нет чувств — столь малого количества нейронов и нейромедиаторов не хватит, чтобы ощутить хоть что-то. Именно поэтому люди и покупают лотерейные билеты — никто не способен по-настоящему прочувствовать ничтожность столь малой вероятности.

Но еще более любопытным мне показалось качественное деление между аргументом «точным» и аргументом «вероятностным» - причем «вероятностный» аргумент в этом случае можно просто проигнорировать. Мол, вероятность, равная нулю, требует полного отказа от нее, а вероятность, равная один к гуголу, все еще может учитываться.

Разумеется, мы живем в свободной стране и никто не посадит вас в тюрьму за неверные рассуждения. Но если вы собираетесь игнорировать аргумент о том, что вероятность равна всего лишь один к гуголу, зачем обращать внимание на аргумент о том, что вероятность равна нулю? То есть, если вы всё равно собираетесь игнорировать любые свидетельства, чем «вероятностное» свидетельство хуже «точного»?

По ходу своей жизни я неоднократно учился на ужасно вопиющих примерах рассуждений других людей и часто обнаруживал, что полученные выводы можно проецировать и на менее очевидные случаи. Например, здесь я понял, что если не игнорируешь вероятность один к гуголу лишь потому, что тебе так хочется, по этой же причине нельзя игнорировать и вероятность 0,9. Это такой же опасный путь.

Вспомните об этом, если захотите сказать: «Но вы не можете доказать мне, что я не прав». Если вы собираетесь игнорировать аргумент, основанный на вероятности - почему бы просто сразу не проигнорировать все доказательство?

Софизм серого

Элиезер Юдковский

Софистик: «Мир не черный и белый. Не существует чистого добра и чистого зла. Все серое. Таким образом, нет никого, кто был бы лучше другого»

Zetet: «Зная только серый, вы заключаете, что все виды серого - это один оттенок. Вы смеетесь над простотой двухцветной точки зрения, однако заменяете ее одноцветной…»

— Marc Stiegler, David’s Sling

Я не знаю, есть ли у ошибки, допущенной Софистиком, официальное название, но я называю её «софизмом серого». Мы видели его проявление в предыдущем посте, когда собеседник, считавший, будто шансы, равные двум в степени семьсот пятьдесят миллионов к одному, против его утверждения означают, что «шансы еще есть». Для него любые вероятности — просто «неопределенности», и поэтому он считает, что может их игнорировать, если ему так удобней.

«Луна сделана из зеленого сыра» и «Солнце сделано по большей части из водорода и гелия» — предложения о некоторой неопределенности, однако они неопределены не в равной степени.

Все - оттенки серого, однако есть оттенки серого столь светлые, что они почти белые, и есть оттенки столь темные, что они почти черные. Или даже если нет, мы все равно можем сравнить оттенки и сказать «это темнее» или «это светлее».

Годы назад, одним из маленьких и странных, формирующих меня как рационалиста, моментов было чтение этого параграфа из «Игрока в игры» Иэна Бэнкса, особенно предложение, выделенное жирным:

«Карательная система не знает невиновных. Любая машина насилия считает, что все либо за нее, либо — против. Мы — против. И вы были бы тоже, дай вы себе труд задуматься. Уже один образ мышления делает вас врагом. Может, это и не ваша вина, потому что каждое общество воспитывает в своих гражданах определенные ценности, но дело в том, что некоторые общества придают ценностям максимальное значение, а некоторые — минимальное. Вы происходите из общества второго типа, а рассказать вас о себе просит общество первого типа. Уклониться будет так трудно, что вы и представить себе не можете, сохранить нейтралитет — практически невозможно. Вы просто не можете не сочувствовать той политике, в которой воспитаны, поскольку она не является чем-то независимым от остальных частей вашего «я». Она — составляющая вашей личности. Мне это известно, и им это известно. И вам лучше принять все как есть».

Сейчас не надо писать негодующих комментариев, говорящих, что если бы общества не вкладывали свои ценности, тогда каждое последующее поколение должно было бы начинать с нуля. Это не то, что я вынес из параграфа.

То, что я вынес из параграфа, было что-то, что кажется очевидным в ретроспективе, что я, возможно, мог бы взять из сотни разных мест; но именно этот параграф что-то сдвинул во мне.

Это было само понятие Количественного Пути, примененного к жизненным проблемам, таким как моральные суждения и стремление к самосовершенствованию. То, что даже если бы вы не могли включить или выключить, вы все еще хотели бы увеличить или уменьшить.

Слишком очевидно, чтобы это стоило обсуждать? Я бы сказал что это не так уж очевидно, для многих блоггеров, говорящих об Overcoming Bias: «Невозможно, никто не может полностью избавиться от искажений». Меня не волнует, если это говорит профессиональный экономист, ясно что они еще не въехали в то, как применять Количественный Путь в повседневной жизни и делах наподобие самосовершенствования. Если я не могу что-то убрать совсем, может быть неплохо было бы это хотя бы уменьшить.

Или обсудим разговор между Робином Хансоном и Тайлером Ковеном. Робин Хансон сказал, что он предпочитает уделять 75% внимания предписаниям экономической теории, в противовес своей интуиции: «Я стараюсь в основном напрямую применять экономическую теорию, добавляя немного личных или культурных суждений». Тайлер Ковен ответил:

С моей точки зрения нет такой вещи как «применяемая напрямую экономическая теория»… теории всегда применяются через наши личные и культурные фильтры, и не может быть каких-то других путей.

Да, но вы можете попробовать минимизировать этот эффект, или вы можете делать вещи, связанные с увеличением его. И даже если вы пытаетесь минимизировать его, тогда во множестве случаев я не думаю, что неразумно называть выход «прямым» — даже в экономике.

«Все несовершенны». Мохандас Ганди был несовершенен и Иосиф Сталин был несовершенен, но они не были одинаково несовершенны. «Все несовершенны» это отличный пример замены двухцветной точки зрения на одноцветную. Если вы скажете: «Никто не совершенен, но некоторые люди менее несовершенны, нежели другие», вы можете не получить аплодисментов; но тем, кто старается делать лучше, вы дадите надежду. Никто не совершенен, в конце концов.

(Всякий раз, когда кто-то говорит мне «перфекционизм плох для тебя», я отвечаю: «Я думаю, что нормально быть несовершенным, однако не столь несовершенным, чтобы это замечали другие люди».)

Точно так же глупы те, кто говорит: «Каждая научная парадигма накладывает какие-то из своих предположений на то, как она интерпретирует эксперименты» и действует так, словно он доказал, будто наука стоит на одной ступени с шарлатанством. Любое мировоззрение накладывает какие-то из своих структур на свои наблюдения, но есть те точки зрения, что пытаются минимизировать этот эффект, и те, что гордятся им. Нет белого, но есть тени серого, что намного светлее других, и глупо относиться к ним так, словно они все на одном уровне.

Если Луна вращалась вокруг Земли последние несколько миллиардов лет, если вы видели ее в небе последние годы, и вы ожидаете увидеть ее на своем месте завтра — это неопределенность. И если вы ожидаете, что невидимый дракон излечит вашу дочь от рака, — это тоже неопределенность. Но у них совершенно разные степени неопределенности: одно дело — ожидать вещи, которые уже случались так, что их можно было предсказать до двенадцати знаков после запятой, и совсем другое — ожидать, что произойдет нечто, что противоречит наблюдаемому порядку вещей. И называть их одним словом «вера» кажется немного натянутым.

Это психология особого рода, которая приводит к «Наука тоже основана на вере, вот так!» Обычно это говорится людьми, которые утверждают, что вера — это хорошо. Тогда почему они говорят «Наука тоже основана на вере!» в таком злобно-торжествующем тоне, а не как комплимент? И довольно опасный комплимент, с их точки зрения. Если наука основана на «вере», тогда наука относится к тем же явлениям что и религия: их тогда можно непосредственно сопоставить. Если наука — это религия, то это религия, что лечит болезни и открывает тайны звезд. И тогда возможно сказать: «священники науки могут честно и открыто, с доказательствами, ходить по Луне, что можно счесть чудом веры, а ваши священники от веры не могут того же». Вы уверены что вы хотите продолжать, верующие? Возможно, в дальнейшем отражении, вы предпочтете отказаться от этого дела с «Наука тоже религия!»

Есть странная динамика: вы пытаетесь очистить свой оттенок серого, и достигаете точки, где становится уже светлее, и кто-то встает и говорит глубоко возмущенным тоном: «Но это же не белый! Это серый!» Одно дело, когда кто-то говорит: «Это не такое светлое, как вы думаете, поскольку там есть определенные проблемы X, Y, Z». Другое дело, когда кто-то злобно говорит: «Это не белый! Это серый!» без указания на определенные темные пятна.

В этом случае я начинаю в большей степени, чем обычно, подозревать, что психология несовершенна: что кто-то, возможно, заключил сделку со своими ошибками и теперь отказывается слышать о любой возможности улучшения. Когда кто-то находит оправдание тому, что он не пытается стать лучше, он часто отказывается признать, что кто-то может стараться стать лучше, и любой способ улучшения и любое свидетельство, что возможно двигаться вперед, чтобы стать лучше, они воспринимают как преступление против них. Таким образом, они гордо говорят сначала «я рад что я серый», а затем, уже злобно: «И ты тоже серый!»

Если нет белого и черного, все еще есть более светлое и более темное, и не все серые тона одинаковы.

Приложение: нам еще привели цитату из Азимова: «Когда люди думали, что Земля плоская, они ошибались. Когда они думали, что она сферическая, — они тоже ошибались. Но если вы думаете, что считать ее сферой или плоскостью одинаково ошибочно, вы заблуждаетесь больше, чем все они вместе взятые».

Абсолютный авторитет

Элиезер Юдковский

К вам приходит человек и высокомерным тоном заявляет: «Наука не знает ничего по-настоящему. Все, что у вас есть, - это теории; вы не знаете наверняка, что вы правы. Вы, ученые, меняли свое мнение о том, как работает гравитация - откуда нам знать, что завтра вы не поменяете свое мнение об эволюции?»

Посмотрите на эту глубокую культурную пропасть между вами. Если вы думаете, что сможете преодолеть ее с помощью нескольких предложений, вы сильно разочаруетесь.

Мир Непросвещенных делится на авторитеты и не-авторитеты. Тому, во что верить можно, следует верить; то, чему доверять нельзя, следует просто игнорировать. Есть хорошие источники информации и плохие источники информации. Если ученые меняли свое мнение хоть раз за все время существования науки, она не может быть истинным Авторитетом и ей никогда больше нельзя будет доверять - как свидетелю, пойманному на лжи, или продавцу, крадущему деньги из кассы.

Кроме того, таким людям кажется естественным то, что сторонник какой-либо идеи будет защищать ее против любого возможного контраргумента и ни в чем не сознается. Все контраргументы должны сразу игнорироваться. Если даже сторонник науки признает, что наука неидеальна - что ж, тогда она точно бесполезна.

Когда человек живет всю свою жизнь, привыкнув к определенности, нельзя просто сказать ему: «Наука основана на вероятностях, как и все остальные знания». Он поймет первую половину высказывания как признание вины и проигнорирует вторую половину, посчитав ее отчаянной попыткой обвинить всех остальных, чтобы избежать обвинения самому.

Вы сами признали, что вам нельзя доверять - так убирайся прочь, Наука, и не тревожь нас более!

Одним из очевидных источников такого типа мышления является религия, где писания якобы исходят от самого Бога; таким образом, любое признание хоть малейшего изъяна уничтожит его авторитет полностью; и любой признак сомнения является грехом, и заявлять об определенности обязательно, есть она там или нет.

Но я подозреваю, что в деле также замешаны традиционные способы обучения в школе. Учитель говорит определенные вещи, а ученики обязаны ему верить и повторять все, что он сказал, на контрольной. А когда другой ученик высказывает вслух свои мысли, иметь свое мнение разрешается - с ним можно свободно соглашаться или не соглашаться (судя по всему), и никакого наказания за это не последует.

Боюсь, «убеждения» из-за этого попадают в социальную сферу авторитета, приказов и закона. В этой социальной сфере есть качественное различие между абсолютными законами и не-абсолютными законами, между приказами и предложениями, между авторитетами и не-авторитетами. Возникает ощущение, что, подобно точным и неточным правилам, существуют точные и неточные знания. Строгим авторитетам необходимо подчиняться, тогда как неточные предположения можно принять или проигнорировать в зависимости от личного предпочтения. И Наука, признаваясь в возможности своей ошибки, должна принадлежать ко второй категории.

(Замечу мимоходом, что нечто подобное я наблюдаю у тех, кто думает, что если нет оценки вероятности, данной Авторитетным лицом - написанной, например, на клочке бумаги учителем в классе, или спущенной свыше неким другим Неоспоримым Источником - эта неопределенность не может учитываться Байесианской теорией вероятности. Кто-то может - внимание! - оспорить такую оценку априорной вероятности. Таким образом, Не-до-конца-просвещенным кажется, что Байесианские вероятности принадлежат к классу убеждений, произносимых учениками, а не к классу убеждений, диктуемых учителями - и поэтому не являются настоящими знаниями.)

Глубокая культурная пропасть между Авторитетным Путем и Количественным Путем довольно сильно раздражает тех, кто смотрит на нее со стороны рационалистов. По другую сторону находятся те, кто верит, что обладает знанием более надежным, чем основанные всего лишь на вероятностях догадки ученых - догадки о том, например, что завтра Луна взойдет в определенном месте и определенной фазе, точно так же, как это было при каждом ночном наблюдении со времен изобретения астрономических инструментов, и точно так же, как предсказывают физические теории, чьи предыдущие предсказания были успешно подтверждены до четырнадцати цифр после запятой. А какое знание противопоставляют этому Непросвещенные и почему? Скорее всего, это какой-нибудь старый пыльный свиток, который был опровергнут одиннадцатью разными способами с прошлого воскресенья, и с прошлого понедельника, и с любого другого дня недели. Однако (как говорят они), это более надежный источник, чем Наука, потому что он никогда не признает ошибок, никогда не меняет свои убеждения, независимо от того, сколько раз будет опровергнут. Они кидаются словом «определенность» как теннисным мячом, используя его с легкостью перышка, пока ученые сгибаются под весом необходимых сомнений, изо всех сил пытаясь получить еще хоть одну крошечную долю вероятности. «Я идеален», - говорят они без всякой задней мысли, - «и, должно быть, нахожусь гораздо выше вас, ведь вам до сих пор приходится прикладывать усилия, чтобы стать лучше».

Не существует простого способа, чтобы все это объяснить - ни одного мгновенного сокрушительного аргумента. Рассуждая аккуратно, можно, вероятно, завоевать аудиторию, если это публичные дебаты. К сожалению, нельзя просто пробормотать: «Глупый смертный, Количественный Путь за гранью твоего понимания, и убеждения, которые ты так легко называешь „определенными“, подкреплены слабее, чем наши самые слабые гипотезы.» Это - разница в восприятии жизни, которую не так легко преодолеть при помощи слов вообще, не говоря уж о том, чтобы сделать это быстро.

Что можно попытаться сделать, в плане риторики, выступая перед публикой? Трудно сказать… возможно:

«Сила науки исходит из нашей способности изменять свое мнение и признавать свою неправоту. Если вы никогда не признаете свою неправоту, это не значит, что вы совершаете меньше ошибок.»

«Каждый может сказать, что он абсолютно уверен. Намного труднее никогда в жизни не совершить ни одной ошибки. Ученые понимают эту разницу, поэтому и не говорят, что они абсолютно уверены. Вот и все. Это не значит, что у них есть какая-то особая причина сомневаться в той или иной теории - абсолютно каждое новое свидетельство может быть в ее пользу, все планеты и звезды выстроятся в линию, как костяшки домино, в поддержку единственной гипотезы, и ученые все равно не скажут, что они абсолютно уверены, просто потому что они задают более высокие стандарты. Однако это не значит, что ученые имеют меньше права на определенность, чем, скажем, политики, которые кажутся абсолютно уверенными всегда и во всем.»

«Ученые не используют фразу „не абсолютно уверен“ в том же смысле, в котором она используется в обычном разговоре. Представим, например, что вы идете ко врачу на анализ крови, после которого врач приходит к вам и говорит: «Мы провели несколько тестов и обнаружили: не абсолютно точно то, что вы не сделаны из сыра, и существует ненулевая вероятность того, что двадцать фей, сделанных из разумного шоколада, прямо сейчас поют песню „I love you“ из шоу „Барни и его друзья“ внутри вашего кишечника.» Бегите, вашему доктору нужен доктор. Когда ученый говорит эту фразу, он имеет ввиду то, что считает вероятность настолько маленькой, что ее невозможно увидеть даже в электронный микроскоп, и ему необходимо получить свидетельство в виде крайне маловероятного события, чтобы опровергнуть свою теорию.»

«Согласились бы вы поменять свои убеждения, в которых „абсолютно уверены“, если бы получили достаточно свидетельств? Предположим, например, что сам Бог спустится с небес и скажет вам, что верна вся ваша религия за исключением Непорочного Зачатия. Если это изменит ваше мнение, вы не можете заявлять, что обладаете абсолютной уверенностью в истинности Непорочного Зачатия. В силу технических особенностей теории вероятности существование теоретической возможности того, что вы измените свое мнение по определенному вопросу, не позволяет этому убеждению иметь вероятность, точно равную единице. Неопределенность может быть меньше пылинки, но она все равно будет. А если вы не готовы поменять свое мнение даже под влиянием слов самого Бога - тогда, полагаю, у вас такая проблема с невозможностью признания своих ошибок, что ее вряд ли может решить простой смертный вроде меня.»

Но, вообще говоря, более интересный вопрос в том, как можно убедить кого-либо наедине, а не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без абсолютной определенности?

Думаю, первоначальным шагом должно стать понимание того, что без абсолютной определенности жить можно - что гипотетическое отсутствие абсолютной уверенности не означает, что принимать решения по моральным и фактическим вопросам нельзя. Перефразируя Лоис Буджолд: «Не давите сильнее, ослабьте сопротивление».

Один из самых распространенных методов защиты Абсолютного Авторитета - это то, что я называю «Аргументом против Аргумента в пользу Софизма Серого», который звучит примерно так:

Моральные релятивисты говорят:

Мир не делится на черное и белое; следовательно:

Все серое; следовательно:

Ни один человек не лучше другого; следовательно:

Я могу делать все, что захочу, и вы меня не остановите ухахахаха.

Но мы должны иметь возможность предотвращать убийства.

Следовательно, должен быть какой-то способ иметь абсолютную определенность, иначе моральные релятивисты выиграют.

Перевернутая глупость не есть ум. Нельзя получить верный ответ, просто перевернув каждый аргумент, из которого следует неправильный вывод - это даст глупцам слишком много контроля. И каждой без исключения части рассуждения пришлось бы быть верной с математической точки зрения. Подобно тому, как из убеждения Сталина в том, что 2 + 2 = 4, не следует, что «2 + 2 = 4» - неверно, из убеждения релятивистов в том, что «Мир не делится на черное и белое», не следует, что на самом деле мир делится лишь на черное и белое. Ошибка здесь (и достаточно ее одной) в переходе от двухцветного взгляда на мир к одноцветному, подразумевающему, что все оттенки серого одинаковы.

Принятие предпосылки, согласно которой для вынесения решений по моральным вопросам необходимо иметь абсолютное знание об абсолютном добре и абсолютном зле, сделало бы весь дальнейший спор бессмысленным. Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным, а не тем, о чем стоит так драматизировать.

То есть, да, если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B - суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие.

А, вот еще что: «Логическая ошибка: Ссылаясь на последствия убеждения».

Итак, что еще нужно знать вашему собеседнику? Например, то, что существует целая культура рационализма, в которой сомнения, вопросы и признание своих ошибок не являются чем-то ужасным и постыдным.

В этой культуре принято собирать информацию посредством изучения явлений, а не чтения проповедей. При изучении явлений более пристальным взглядом иногда можно обнаружить, что они отличаются от того, чем казались на первый взгляд; но это не значит, что Природа лгала или что ее изучение нужно прекратить.

Кроме того, существует понятие откалиброванного свидетельства, заключающееся в том, что «вероятность» не является маленькой шкалой прогресса в голове, которая измеряет эмоциональную привязанность к определенной идее. Скорее, она измеряет то, как часто на практике, в реальной жизни, люди с определенными убеждениями говорят то, что соответствует истине. Если взять сто людей и каждого попросить сказать что-то, в чем он «абсолютно уверен», сколько всего высказываний будут соответствовать истине? Меньше ста.

Если уж на то пошло, утверждения, относительно которых люди имеют фанатичную уверенность, с намного меньшей вероятностью будут истинными, чем утверждения вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы испытывать относительно них какие-либо эмоции. Каждому утверждению, в котором кто-то «абсолютно уверен», можно найти кого-то, кто будет «абсолютно уверен» в чем-то прямо противоположном, потому что такие эмоциональные провозглашения своих убеждений не могут существовать без наличия противоборствующих сторон. Поэтому маленькая шкала прогресса в головах людей, измеряющая их эмоциональную привязанность к определенной идее, не слишком хорошо отражает откалиброванную уверенность в ней - они между собой даже не связаны.

А что до «абсолютной уверенности» - ну, утверждая, что вероятность некоего события равна 99,9999%, вы, по сути, заявляете, что сможете сделать один миллион независимых и одинаковых по силе высказываний, одно за другим без перерыва, в течение года или около того, и ошибетесь в среднем лишь один раз. Это довольно невероятно. (Удивительно то, что можно получить примерно такую же степень уверенности для утверждения «Ты-не-выиграешь лотерею».) Поэтому давайте не будем говорить о вероятностях, равных 1.0. Как только вы увидите, что в реальной жизни такие вероятности не нужны, вы поймете, насколько нелепо верить в то, что можно приблизиться к 1.0 с помощью человеческого мозга. Вероятность, равная 1.0 - это не просто определенность; это бесконечная определенность.

На самом деле, мне кажется, что во избежание непонимания публики ученым стоит говорить не «Мы не до конца уверены», а «Мы не БЕСКОНЕЧНО уверены». В первом случае во время обычного разговора может показаться, что существуют определенные причины для сомнений.

Как убедить меня, что 2 + 2 = 3

Элиезер Юдковский

В «Что такое «свидетельство»?», я писал:

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.

Cihan Baran ответил(English):

Я не могу представить себе ситуацию, в которой 2 + 2 = 4 было бы ложно. Возможно, это означает, что я убеждён в «2 + 2 = 4» безоговорочно.

Признаю, я тоже не могу представить ситуацию, из которой вытекала бы ложность «2 + 2 = 4» (конечно, есть различные переобозначения, но это не «ситуации» и речь тогда идёт уже не о 2, 4, = или +). Но это не делает моё убеждение безоговорочным. Я легко представляю ситуацию, которая убедила бы меня в том, что 2 + 2 = 3.

Скажем, я просыпаюсь ранним утром, вытаскиваю из ушей два кусочка ваты, кладу их на прикроватный столик рядом с двумя другими кусочками ваты — и замечаю, что теперь кусочков ваты три, и при этом никаких кусков ваты не появлялось и не исчезало, несмотря на то, что согласно моей памяти, 2 + 2 должно было равняться 4. К тому же, если представить это действие мысленно, становится очевидно, что для того, чтобы получить XXXX из XX и XX, необходимо взять дополнительный X. Вдобавок, 2 + 2 = 4 противоречит остальной мысленной арифметике, поскольку вычитание XX из XXX даёт XX, но вычитание XX из XXXX даёт XXX. Это снова конфликтует с памятью о том, что 3 – 2 = 1, но странно доверять памяти перед лицом физических и мысленных подтверждений того, что XXX – XX = XX.

Ещё я проверю карманный калькулятор, Гугл, и, возможно, свою копию «1984», где Уинстон пишет, что «Свобода — это возможность сказать, что дважды два — три». Всё это убедительно говорит о том, что весь остальной мир тоже считает, что 2 + 2 = 3, соглашаясь с моими мысленными вычислениями и не соглашаясь с моей памятью.

Как я мог так заблуждаться? Что могло настолько сбить меня с толку? В голову приходят несколько объяснений. Во-первых, какая-нибудь нейрологическая неполадка (наверное, я слишком сильно чихнул) увеличила все суммы в моей памяти на единицу. Во-вторых, гипноз. В-третьих, глюк или намеренное изменение компьютерной симуляции, в которой я нахожусь. В любом случае, скорее что-то неладно с моей памятью, чем 2 + 2 когда-то действительно равнялось 4. И, конечно же, ни одно из этих трёх правдоподобных объяснений не избавит меня от ощущения очень, очень сильного замешательства.

Другими словами, свидетельства, убедившие меня в том, что 2 + 2 = 3, относятся к тому же классу свидетельств, что сегодня убеждают меня в том, что 2 + 2 = 4: перекрёстный огонь физических наблюдений, мысленных представлений и социального согласия.

Когда-то я понятия не имел, что 2 + 2 = 4. Это убеждение возникло не из-за какого-то случайного процесса — тогда мозгу было бы безразлично, что именно запомнить, «2 + 2 = 4» или «2 + 2 = 7». Ответ, хранящийся в моём мозге, поразительно похож на результат размещения двух кусочков ваты рядом с двумя другими кусочками ваты — и это заставляет задуматься, какая именно сцепленность породила это странное соответствие между разумом и реальностью.

Ведь для убеждения-о-фактах существует лишь два варианта: либо он попал в мозг благодаря процессу сцепления разума с реальностью, либо нет. Если нет, то убеждение может быть верным лишь благодаря стечению обстоятельств. Если в убеждении есть хотя бы намёк на внутреннюю сложность (то есть, его симуляция требует компьютерную программу больше 10 битов длиной), то пространство вариантов становится столь большим, что возможность совпадения исчезает.

Безоговорочные факты — не то же самое, что и безоговорочные убеждения. Если сильные свидетельства убеждают меня в том, что факт безоговорочен, то это не означает, что я всегда верил в этот факт, без нужды в сильных свидетельствах.

Я убеждён, что 2 + 2 = 4, но я легко могу придумать ситуацию, которая убедила бы меня в том, что 2 + 2 = 3. А именно: ситуация из того же класса, что и ситуация, сегодня убеждающая меня в том, что 2 + 2 = 4. Потому я не боюсь, что я пал жертвой слепой веры.

Если здесь есть христиане, знающие теорему Байеса (нумерофобы, пожалуйста, покиньте помещение), то я хотел бы спросить вас о ситуации, убедившей бы вас в истинности ислама. Предположительно, это будет примерно той же самой ситуацией, что породила вашу сегодняшнюю веру в христианство: вы вытащены из чрева мусульманки, воспитаны мусульманскими родителями, постоянно говорившими о том, что следует быть мусульманином (причём убеждение в истине ислама должно быть безоговорочным). Или всё не так просто? Если да, то какая ситуация заставит вас принять ислам, или, хотя бы, не-христианство?

Бесконечная определенность

Элиезер Юдковский

В «Абсолютном авторитете» я говорил о том, что бесконечная определенность нам не требуется:

Если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие… Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным.

Говоря 2 + 2 = 4, нужно делать различие между картой и территорией. Учитывая, что, по-видимому, физические законы абсолютно стабильны и универсальны, вполне возможно, что никогда за всю историю существования вселенной ни одна частица не преодолевала скорость света. Поэтому предел, устанавливаемый этой скоростью, вероятно, истинен не в 99% случаев, и не в 99,9999% случаев, и не в (1 − 1/гуголплекс) случаев, а абсолютно всегда.

Но можно ли иметь абсолютную уверенность в величине предела скорости света — это уже совсем другой вопрос. Карта — это не территория.

То, что ученик списал на контрольной, может быть совершенно и полностью истинным, но знаете ли об этом вы — не говоря уж об абсолютной уверенности — это совсем другое дело. Если вы подбросите монетку и закроете ее рукой, может быть совершенно истинным то, что она упала орлом вверх, при этом сами вы можете не иметь абсолютно никакой уверенности в том, упала она орлом или решкой. Степень неуверенности — это не то же самое, что и степень правды или частоты возникновения.

То же касается и математических истин. Спорный вопрос - можно ли считать высказывания «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинными исключительно в абстрактном смысле, отдельно от физических систем, которые ведут себя похожим на аксиомы Пеано образом. Сказав это, я сразу забегу вперед и предположу, что, в каком бы смысле «2 + 2 = 4» не было истинно, оно истинно всегда и без исключений, а не просто примерно истинно («2 + 2 на самом деле равно 4,0000004») или истинно в 999 999 999 999 из 1 000 000 000 000 случаев.

Я не до конца уверен, что в этом случае должно значить «истинно», но я останусь при своем предположении. Убедительность утверждения «2 + 2 = 4 является истинным всегда» далеко превосходит убедительность любого философского утверждения о том, что значит «истинно», «всегда» или «является» в предложении выше.

Однако это не значит, что я имею абсолютную уверенность в том, что 2 + 2 = 4. Прочитайте предыдущую дискуссию — как убедить меня в том, что 2 + 2 = 3 — это можно сделать с помощью тех же свидетельств, которые изначально убедили меня в том, что 2 + 2 = 4. Мне могли привидеться все предыдущие свидетельства, или я их неправильно вспомнил. В истории неврологии были и более странные нарушения работы мозга.

Поэтому, если мы присваиваем какую-либо вероятность утверждению «2 + 2 = 4», каково должно быть ее значение? Здесь мы пытаемся достигнуть правильной калибровки — то есть утверждения, которым вы присваиваете «вероятность 99%», должны быть истинными в 99 из 100 случаев. Вообще говоря, это намного труднее, чем может казаться. Найдите сто людей и попросите их сделать заявления, в которых они «уверены на 99%». Как вы думаете, будут ли из 1000 сделанных заявлений неверными лишь 10?

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными — вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» — потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу непонравившегося мнения, и никогда — при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против мотивированного скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99,99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10 000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99,99%.

Однако я не думаю, что можно иметь уверенность в 99,99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10 000 независимых утверждений такого рода — именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз — вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта — это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность — «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений — перестаньте! Если вы высказываете уверенность величиной в 99,9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99,9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в (1 − 1/гуголплекс) и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде 3^^^3. Но даже уверенность величиной в 1 - 1/3^^^3 ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные повелители Матрицы, которые прямо сейчас играются с оцениванием вашим мозгом убедительности этого самого утверждения, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.

0 и 1 не являются вероятностями

Элиезер Юдковский

Один, два и три - это целые числа, как и минус четыре. Если считать в верхнюю или нижнюю сторону, можно встретить еще очень и очень много целых чисел. Как бы то ни было, вы никогда не доберетесь до того, что называется «положительной бесконечностью» или «отрицательной бесконечностью» - поэтому целыми числами они не являются.

Положительная и отрицательная бесконечности - это не целые числа, а, скорее, специальные символы для описания поведения целых чисел. Люди иногда говорят что-то вроде «5 + бесконечность = бесконечность», потому что, если начать отсчет с 5 и подниматься все выше и выше, никогда не останавливаясь, мы будем бесконечно получать все большие и большие числа. Но из этого не следует, что «бесконечность - бесконечность = 5». Не получится начать безостановочный отсчет с 0 вверх, затем безостановочный отсчет вниз, и в итоге прийти к числу 5.

Из этого можно заключить, что бесконечность не только не является целым числом - она не ведет себя как целое число. Если вы по неосторожности попытаетесь смешать бесконечности с целыми числами, вам придется определить особые нестабильные правила поведения, которые не нужны при работе с 1, 2, 3 и всеми остальными целыми числами.

Хотя бесконечность и не является целым числом, не стоит переживать по поводу того, что можно запутаться при работе с числами. Люди видели пять овец, миллионы песчинок и септиллионы атомов, но никто никогда не встречал бесконечность чего бы то ни было. То же самое справедливо и для непрерывных величин - люди измеряли пылинки размером в миллиметры, животных размером в метры, города длиной в километры и галактики размером в тысячи световых лет, но никто и никогда измерял что-то размером в бесконечность. В реальном мире понятие бесконечности особо не требуется.

(Более эрудированным читателям добавлю, что им не нужно детально объяснять мне, скажем, разницу между порядковыми и кардинальными числами. Да, я знаком с различными определениями бесконечности из теории множеств, но я не вижу пользы от их применения в теории вероятности. Подробнее ниже.)

При традиционном способе написания вероятностей их величины находятся между 0 и 1. Монета может выпасть орлом с вероятностью 0.5; синоптик может присвоить вероятность 0.9 тому, что завтра пойдет дождь.

Но это не единственный способ записи вероятностей. Вероятности можно, например, преобразовывать в шансы с помощью формулы O = (P / (1-P)). Так, вероятность 50% превратится в шансы 0.5/0.5, или 1, обычно записываемые как 1:1, в то время как вероятность 0.9 превратится в шансы 0.9/0.1, или 9, обычно записываемые как 9:1. Чтобы сделать обратное преобразование, нужно использовать формулу P = (O / (1+O)), и это превращение полностью обратимо и является изоморфным - вычисление величины вероятности возможно двумя обратимыми способами. Ввиду изоморфности вероятностей и шансов выбирать удобный способ можно на свое усмотрение.

Шансы, например, удобнее использовать при выполнении Байесианских обновлений. Представим, что я бросаю шестигранный кубик: если выпадает любая сторона, кроме 1, существует 10%-ный шанс услышать звонок, а если выпадает сторона 1, шанс услышать звонок становится 20%. Я бросаю кубик и слышу звонок. Каковы шансы на то, что выпала сторона 1? Априорные шансы - 1:5 (что соответствует числу 1/5 = 0.2), а отношение правдоподобия - 0.2:0.1 (что соответствует числу 2), и можно просто перемножить эти два числа и получить апостериорные шансы 2:5 (что соответствует числу 2/5 или 0.4). Затем, если мне нужно, я перевожу все это обратно в вероятности и получаю (0.4/1.4) = 2/7 = ~29%.

Итак, с шансами удобнее работать при Байесианских обновлениях - если использовать вероятности, придется применять теорему Байеса в ее более сложном виде. Но вероятности удобнее для вопросов вроде «Если я брошу шестигранный кубик, каковы шансы увидеть число от 1 до 4?» Можно сложить все вероятности величиной 1/6 для каждой стороны и получить 4/6, но нельзя сложить отношение шансов 0.2 для каждой стороны и получить отношение шансов 0.8.

Зачем я обо всем этом говорю? Чтобы показать, что «отношение шансов» - такой же разрешенный способ перевода неопределенности в реальные числа, как и «вероятности». Отношения шансов более удобны для одних операций, вероятности - для других. Знаменитое доказательство, называемое теоремой Кокса (плюс некоторые ее дополнения и усовершенствования), демонстрирует, что все способы выражения неопределенности, которые имеют разумные ограничения, в итоге оказываются друг другу изоморфны.

Почему важно то, что отношения шансов разрешены так же, как и вероятности? Вероятности в своем обычном виде записываются в виде чисел от 0 до 1, и оба крайних числа - 0 и 1 - кажутся вполне достижимыми величинами: можно легко встретить 1 зебру или 0 единорогов. Но при переводе вероятностей в шансы 0 остается 0, однако 1 превращается в положительную бесконечность. В этом случае абсолютная истина не кажется настолько легкодостижимой.

Форма, в которой Байесианские обновления делать даже удобнее - логарифмы отношения шансов; это тот способ, которым советовал думать о вероятностях Э. Т. Джейнс. Например, априорная вероятность утверждения равна 0.0001 - это соответствует логарифму отношения шансов величиной около -40 децибел. Затем вы видите свидетельство, которое кажется в 100 раз более правдоподобным в случае истинности этого утверждения, чем в случае его ложности. Это 20 децибел свидетельств. Теперь апостериорный логарифм отношения шансов равен примерно -40 дБ + 20 дБ = -20 дБ, что равно апостериорной вероятности около 0.01.

При переводе вероятностей в логарифмы отношения шансов 0 превращается в отрицательную бесконечность, а 1 - в положительную. Теперь и бесконечная определенность, и бесконечная невероятность кажутся еще более недостижимыми.

При использовании вероятностей величины 0.9999 и 0.99999 кажутся отличающимися всего на 0.00009, а 0.502 находится гораздо дальше от 0.503, чем 0.9999 - от 0.99999. Чтобы получить вероятность 1 из вероятности 0.99999, кажется, что надо преодолеть дистанцию всего лишь в 0.00001.

Но если перевести вероятности в отношения шансов, 0.502 и 0.503 становятся 1.008 и 1.012, а 0.9999 и 0.99999 превращаются в 9,999 и 99,999. А если перевести их в логарифмы отношения шансов, 0.502 и 0.503 превращаются в 0.03 и 0.05 децибел, а 0.9999 и 0.99999 становятся 40 и 50 децибелами.

При работе с логарифмами отношения шансов разница между двумя величинами неопределенности равна количеству свидетельств, которые нужны при переходе от одной величины к другой. Таким образом, логарифмы отношения шансов предоставляют удобный способ нахождения величины в пространстве степеней уверенности.

Использование логарифмов отношения шансов позволяет увидеть, что достижение бесконечной определенности требует бесконечно сильного свидетельства, также как и достижение бесконечной абсурдности требует бесконечно сильного контрсвидетельства.

Кроме того, все виды стандартных теорем в теории вероятности оговаривают особые случаи при использовании 1 и 0 - например, что происходит при попытке сделать Байесианское обновление наблюдения, которому была присвоена вероятность 0.

Так что, думаю, вполне разумно говорить о том, что 1 и 0 не входят в пространство величин вероятностей; как и отрицательная и положительная бесконечности, которые не подчиняются основным аксиомам булевой алгебры и не являются обычными числами.

Главная причина, по которой все это может расстроить тех, кто использует обычную теорию вероятности - это то, что придется заново выводить теоремы, полученные на основе предположения, что можно сложить все вероятности и получить 1.

Однако в реальном мире при броске кубика вероятность выпадения любого числа в диапазоне от 1 от 6 не является действительно бесконечной. Кубик может упасть на ребро, или уничтожиться в результате падения метеорита, или Темные Повелители Матрицы вмешаются и напишут «37» на одной из его сторон.

Если вы задали магический символ для «всех неучтенных возможностей», тогда вы можете игнорировать все события, описываемые этим магическим символом, и получить величину в виде магического символа «Т», который означает бесконечную уверенность.

Но я бы предпочел найти способ, в котором теорема работает без использования магических символов с особым поведением. Это было бы гораздо более изящно. Подобно математикам, которые отказываются принимать закон исключенного третьего или бесконечные множества, я бы хотел быть приверженцем теории вероятности, который не верит в абсолютную определенность.

Твоя рациональность — моё дело

Элиезер Юдковский

Некоторые отзывы на «Лотереи: бессмысленная трата надежды» упрекали меня за резкость в критике чужих решений; если кто-то другой выбирает купить лотерейные билеты, кто я такой, чтобы быть несогласным? Это особый случай более важного вопроса: Какое мне дело, если кто-то скорее предпочтёт верить в то, что приятно, чем в то, что верно? Не может ли каждый сам выбрать: стоит ли заботиться о правде?

Очевидным придирчивым возражением будет: «Почему тебя волнует то, волнует ли меня, чьё-то мнение о правде?» Это отчасти непоследовательно для вашей функции полезности: содержать негативное определение чьей-то функции полезности иметь определение полезности кого-то ещё. Но это лишь придирка, не ответ.

Ну вот мой ответ: я верю, что для меня, как человека, правильно быть заинтересованным в будущем и в том, чем станет человеческая цивилизация в будущем. Один из этих интересов - человеческое стремление к истине, медленно растущее в поколениях (ведь это не всегда было Наукой). Я хочу быстрее повысить это стремление, в этом поколении. Это моё желание ради Будущего. Ради всех нас, игроков на этом безграничном игровом поле, берём мы за него ответственность или нет.

И это делает вашу рациональность моим делом.

Опасная идея? Да, и не просто крайне «опасная». Люди сгорали насмерть из-за того, что какой-то жрец решил, что они думают не тем образом, которым следует думать. Решение сжечь людей, поскольку они «не думают должным образом» — отвратительный образ мысли, не так ли? Вы бы не хотели, чтобы люди думали так, потому это и отвратительно. Люди, которые думают так… ну, мы обязаны что-то с ними сделать…

Я согласен! Вот моё предложение: давайте выступать против плохих идей, но не поджигать их носителей.

Силлогизм, который мы желаем избежать, гласит: «Я думаю, Сьюзи сказала плохую вещь, следовательно, Сьюзи должна быть сожжена». Некоторые попытки избежать этот силлогизм исходят из обозначения неправильной мысль, что Сьюзи сказала плохую вещь. Никто никогда не должен никого судить; любой, кто осуждает, совершает страшный грех, и должен быть выставлен за это к позорному столбу.

С моей стороны, я отрицаю по следующей причине. Мой силлогизм гласит: «Я думаю, Сьюзи сказала что-то неправильное, поэтому я буду выступать против её слов, но я не буду её сжигать или останавливать её речь насилием или законом…»

Все мы игроки на этом безграничном игровом поле, и один из моих интересов на будущее — сделать игру честной. Контринтуитивная идея, лежащая в основе науки, о том, что фактические разногласия должны решаться через эксперименты и математику, а не насилие и запреты. Это важное замечание может быть расширено за пределы науки, к честному бою ради всего будущего. Вам следует побеждать благодаря убеждению людей, и не следует позволять себе сжигать их. Это один из принципов Рациональности, которому я торжественно клянусь в верности.

Люди, которые защищают релятивизм или эгоизм, не представляются мне действительно релятивизмичными или эгоистичными. Если бы они были действительно релятивизмичными, они бы не судили. Если бы они были действительно эгоистичны, они бы занимались заработком денег вместо горячих споров с остальными. Скорее, они выбрали сторону Релятивизма, чья цель на этом безграничном игровом поле — предотвратить игроков — всех игроков — от определённых суждений. Или они выбирают сторону Эгоизма, чья цель — сделать всех игроков эгоистичными. И затем они играют в игру, честно или нечестно, в соответствии со своей мудростью.

Если здесь есть какие настоящие Релятивисты или Эгоисты, мы их не слышим — они остаются безмолвными, не-игроками.

Я не могу помочь, но забочусь о том, как вы думаете, потому что, как бы я ни не мог помочь, я вижу вселенную: каждый миг человек отворачивается от истины, делая историю человечества немного более мрачной. Во многих случаях это лишь небольшая тьма. (Кто-то всё время не прекращает получать боль). Врущие самим себе в уединении своих мыслей не омрачают человеческую историю так сильно, как врущие людям или сжигающие их. Уже здесь есть часть меня, которая не может помочь, но горюет. И всё время пока я не пытаюсь сжечь вас — лишь спорю с вашими идеями — я верю, что это верно для меня как человека, поэтому я забочусь о людях — моих товарищах. Это также позиция, которую я защищаю в отношении Будущего.

Политика и рациональность

Политика — убийца разума

Элиезер Юдковский

Когда речь идёт о политике, люди начинают терять голову. Причины этой особенности настолько до банальности очевидны, что можно привести их ещё раз. В среде эволюционной адаптации политическая обстановка была вопросом жизни и смерти (а также секса, богатства, союзников, репутации и многого другого). И сегодня, начиная спор о том, должны ли «мы» поднять минимальную заработную плату, ты применяешь весь богатый набор адаптаций к среде эволюционной адаптации. Ты возвращаешься во времена, когда тебя могли убить за нахождение на неверной стороне баррикады (зато, если ты находился на верной стороне баррикады, то уже ты получал возможность убить немало досаждавшего тебе соперника!).

Если ты хочешь высказать какое-то соображение, касающееся науки или рациональности, то совершенно не стоит хоть каким-нибудь образом задевать современную политику, когда есть возможность этого избежать. Если твоя основная мысль неотделимо связана с политикой — расскажи о Людовике XVI и великой французской революции. Политика — та важная область, в которой следует применять рациональность, но в которой категорически не следует изучать рациональность.

Политика — продолжение войны, война с применением словесного оружия. Аргументы — это солдаты. Ты же знаешь, на чьей ты стороне? Теперь ты должен поддерживать все аргументы своей стороны и атаковать все аргументы, которые каким-либо образом оказывают содействие стороне противника. Исподтишка бить своих солдат решительно недопустимо, и перевязывать раны солдатам врага — тоже.

Учёные, привыкшие в своей профессиональной деятельности непредвзято осматривать вопрос со всех сторон и здраво взвешивать все «за» и «против», превращаются в скандирующих лозунги зомби, как только разговор затрагивает область, занятую Синими или Зелёными; как только в разговоре становится уместным вспомнить об отношении своей группировки к обсуждаемому вопросу.

Традиционный пример задачи на немонотонное мышление из области искусственного интеллекта звучит так: «Все квакеры — пацифисты. Все республиканцы — не пацифисты. Никсон квакер и республиканец. Является ли Никсон пацифистом?»

В чём, хочется мне спросить, заключается смысл выбора именно этой ситуации в качестве примера? Автор хочет растормошить в читателе политические эмоции и отвлечь его от основного вопроса? Автор хочет, чтобы республиканцам было неуютно на курсах изучения искусственного интеллекта, чтобы ни один республиканец не отважился заниматься этой областью информатики? И нет, я не республиканец, как вы могли бы подумать. И не демократ.

Этот пример отвлекает. Почему кто-то, столкнувшись с задачей продемонстрировать пользу немонотонных рассуждений, выбрал именно его? Скорее всего, причина в том, что автор не смог удержаться от соблазна бросить хорошее, добротное язвительное замечание в сторону этих ненавистных Зелёных. Отвешивать оплеухи приятно; разве можно не поддаться желанию откусить кусочек шоколадного печенья?

Но не все приятные вещи полезны. И несчастные читатели явно не видят никакой пользы в необходимости продираться через уйму разъярённых комментариев, спровоцированных брошенной вскользь насмешкой, не несущей никакой смысловой нагрузки.

Я говорю не о том, что этот сайт должен держаться в стороне от политики, или о том, что нам надо перенять у Википедии нейтральную точку зрения. Просто попытайся сопротивляться соблазну сделать добротный ощутимый язвительный комментарий, если этого возможно избежать. Если интересующая тебя тема напрямую касается попыток убрать теорию эволюции из школьной программы — говори, но не обвиняй в этом всю партию республиканцев целиком: твоими читателями могут быть республиканцы, и они могут считать, что причина состоит в действиях нескольких негодяев, а не во взглядах всей партии. Не имеет никакого значения, кто виноват на самом деле, и что ты думаешь по этому поводу. Возможность обсуждать щекотливые вопросы, не скатываясь в цветную политику, очень полезна для духовного развития нашего сообщества.

Не делайте политические споры однобокими

Элиезер Юдковский

Робин Хэнсон недавно предложил разрешить магазины(English), в которых можно было бы продавать запрещенные продукты. Есть ряд отличных аргументов в пользу подобной политики — врожденное право на личную свободу, карьерный стимул для бюрократов запрещать всё и вся, то, что законодатели столь же предвзяты, как и все. Но даже так (ответил я), некая бедная, честная, но не особо образованная мать пятерых детей может пойти в эти магазины и купить «Напиток доктора Снейкойла из серной кислоты» для своих воспаленных суставов и умереть, оставив своих отпрысков рыдать на национальном телевидении.

Я просто сделал простое фактическое наблюдение. Почему ряд людей решили, что это аргумент в пользу регулирования?

Если судить по вопросам, то даже простой факт (например, что жизнь на Земле возникла в результате естественного отбора), согласно естественным ожиданиям, должен быть аргументом для одной из сторон в битве; факты сами по себе не принадлежат к какой-либо стороне, и так называемый «баланс свидетельства» должен отражать это. На самом деле согласно Байесовскому определению доказательств «сильные свидетельства» - это именно те доказательства, которые мы ожидаем найти только у одной стороны аргументации.

Но нет причин, чтобы сложные действия со многими последствиями демонстрировали это однобокое свойство. Почему кажется, будто люди хотят, чтобы их политические дебаты были однобокими?

Политика — это убийца разума. Аргументы там — солдаты. Если вы определились на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать все аргументы, которые, как представляется, благоприятствуют врагу. Иначе получается, будто вы бьете в спины своих солдат. Если вы находитесь внутри этого шаблона, то политические дебаты будут для вас однобокими — издержки и недостатки вашей любимой политики будут для вас вражескими солдатами, которых следует атаковать всеми возможными методами.

Также следует опасаться другого подобного неудачного шаблона — думать, что Очень Мудрый Путь — это идеально ровный компромисс между любыми двумя политическими позициями, которые получают больше всего эфирного времени. У политики могут быть несбалансированные недостатки и преимущества. Если политические вопросы не склоняются в ту или иную сторону, то мы не будем в состоянии принимать решения о них. Однако существует людская тенденция отрицать все издержки любимой политики или отрицать все преимущества нелюбимой политики; таким образом люди склонны думать, что компромиссы в политике отклоняются гораздо дальше, чем это есть на самом деле.

Если вы разрешите к продаже некоторые из запрещенных товаров, то какая-то бедная, честная, малообразованная мать пятерых детей купит что-либо, что убьет ее. Это предсказание о фактическом следствии, а в качестве фактического вопроса оно выглядит довольно простым - здравомыслящий человек должен с готовностью признаться, что это правда, независимо от того, какую позицию он занимает по вопросам политики. Это признание не мешает вам думать, что запрещение вещей просто делает их более дорогими, что те, кто регулирует запреты, будут злоупотреблять своей властью, или что ее личная свобода перевешивает ваше желание вмешиваться в ее жизнь. Однако факт остаётся фактом: она умрёт.

Мы живем в несправедливой вселенной. Как и все приматы, люди показывают сильную отрицательную реакцию на воспринимаемую несправедливость; из-за этого мы воспринимаем данный факт очень тяжело. Есть два распространенных способа решения возникающего когнитивного диссонанса. Во-первых, можно изменить свое мнение о фактах — отрицать, что несправедливые события вообще могут иметь место, или отредактировать историю так, чтобы она казалась справедливой. Во-вторых, можно скорректировать свою мораль — отрицать что события несправедливы.

Некоторые либертарианцы могут сказать, что если вы идете в магазин «запрещенных товаров», игнорируя предупреждающие таблички, которые говорят, что «ВЕЩИ ИЗ ЭТОГО МАГАЗИНА МОГУТ УБИТЬ ВАС», и покупаете там что-либо, что вас убивает, то это только ваша вина и вы сами этого заслуживаете. Если это морально правильно, то получается, будто нет вообще никакого недостатка в том, чтобы продавать запрещенные продукты. Получается не просто чистый выигрыш, это будет *односторонний компромисс без каких-либо недостатков.

Другие возражают, что регулирующие органы можно обучить выбирать рационально и учитывать интересы потребителя; если бы это соответствовало фактам, то (согласно их принципам) не было бы недостатков в регулировании.

Нравится вам это или нет, но при рождении существует лотерея на интеллект — хотя это один из тех случаев, когда несправедливость Вселенной настолько велика, что большинство людей предпочитает отрицать факты. Экспериментальные доказательства чисто генетического компонента, который составляет 60-80%, являются ошеломляющими, однако даже если это опровергнут, вы не выбираете, какими окажутся ваши родители или начальная школа.

Мое воспитание говорит мне, что отрицание реальности — это морально неправильно. Если бы я мог выдавать желаемое за действительное в отношении того, что напиток из серной кислоты может быть для меня полезен, то получалось бы, что я делаю что-то, против чего меня предупреждали и пошел бы против своего воспитания. Некоторые люди рождаются в определенных условиях — мы не будет говорить о генах, поскольку эта часть слишком уж несправедлива, — где местный знахарь говорит им, что правильно — это верить, а неправильно — проявлять скепсис. Из самых лучших побуждений они следуют этому совету и умирают. В отличии от вас, их не научили, что люди отвечают за личный выбор, когда следуют примеру общества. Вы правда думаете, что настолько умны, что были бы по-научному скептичны, даже если бы родились в шестом веке н.э.? Да, при рождении существует лотерея, независимо от того, во что вы верите касательно генов.

Говорить «Люди, которые покупают опасные продукты, заслуживают того, чтобы пострадать!» — не значит трезво мыслить. Это всего лишь способ отрицать то, что ты живешь в несправедливой вселенной. По-настоящему трезвомыслящий человек скажет: «Да, серная кислота может стать причиной ужасной болезненной смерти, и нет, мать пятерых детей не заслуживает этого, однако мы все же откроем такие магазины, поскольку согласно нашим вычислениям для нас это будет выгодно». Вы можете представить, чтобы политик так сказал? Я тоже не могу. Но поскольку экономисты имеют влияние на политику, это может помочь, если они подумают об этом в частном порядке — возможно, даже скажут это в журнальных статьях, однако преподнося это в запутанной форме со множеством смыслов, чтобы СМИ не имели возможности цитировать их.

Я не думаю, что случай, когда кто-либо делает глупый выбор и умирает, может быть поводом для праздника. Я расцениваю это как трагедию. Людей не всегда можно спасти от последствий их действий; однако я провожу моральную черту при смертной казни. Если вы мертвы, то вы не можете учиться на своих ошибках.

К сожалению, вселенная не согласна со мной. И мы еще посмотрим в будущем, кто останется правым.

Добавлено: две основных причины для политической однобокости это такие когнитивные искажения как аффектированное решение и вера в справедливый мир(just-world fallacy) (English).

Весы правосудия, блокнот рациональности

Элиезер Юдковский

Богиня правосудия повсеместно изображается держащей в одной руке весы. У весов есть свойство — когда одна чашка опускается, вторая поднимается выше. Это очень удобно и легко отслеживаемо. И также обычно является грубым искажением.

В человеческом дискурсе существует естественная тенденция превращать обсуждение в своего рода битву, продолжение войны, спорт; и в спорте вам нужно следить только за тем, сколько очков набрала ваша команда и команда противника. Там есть только две стороны, и каждое очко, проигранное одной стороной, это очко, заработанное другой. Каждый в таком обсуждении мысленно ведет счет, у какого оратора больше очков в споре. В конце дебатов победителем получается тот, у кого очков больше; и таким образом, все что он сказал, должно быть истинно, а все, что говорил его противник, соответственно, ложно.

«Аффективная эвристика в оценке рисков и преимуществ» (English) описывает то, как испытуемые в своих оценках смешивают возможные преимущества технологии (например ядерной энергии) и возможные риски данной технологии в единое общее хорошее или плохое ощущение касательно технологии. Предположим, что я сначала рассказываю вам, что определенный вид ядерных реакторов производит меньше отходов, чем все другие. А потом упоминаю, что данный реактор менее стабилен, нежели остальные и угроза расплавления, если одновременно произойдет много сбоев, у него куда выше.

Если реактор имеет большую вероятность сбоя, то это кажется аргументом «против него» или аргументом «против» любого, кто захочет строить такой реактор. А если реактор производит меньше отходов, то это аргумент «за» реактор или «за» его постройку. Так что же, данные факты противостоят друг другу? Ни в коем случае. По крайней мере в реальном мире. Эти два факта могут находиться по разные стороны баррикад в различных дебатах, однако логически они не связаны; факты понятия не имеют на какой они стороне. Количество отходов, производимое реактором, зависит от физических свойств его конструкции. Другие физические свойства делают его более нестабильным. Даже если ряд этих свойств один и тот же, вам следует рассматривать вероятность расплавления и ожидаемый выход отходов отдельно. Это два разных физических вопроса с двумя разными фактическими ответами.

Однако исследования, подобные приведенным выше, показывают, что люди склонны оценивать технологии — и многие другие задачи — по общему плохому или хорошему ощущению. Если вы скажете людям, что конструкция реактора позволяет сократить объем производимых отходов, они также неосознанно снизят вероятность расплавления реактора. Это означает, что будет получен неправильный ответ на физические вопросы, у которых есть вполне определенных ответы, основанные на фактах, поскольку вы смешиваете логически не связанные вопросы — рассматривая факты как солдат разных армий в войне и думая, что любой солдат одной стороны может сражаться с любым солдатом другой стороны.

Весы могут служить Юстиции, если она исследует сугубо фактический вопрос вины или невиновности. Джон Смит либо убил Джона Доу, либо нет. Однако мы знаем (согласно Э. Т. Джейнсу), что все байесовские свидетельства состоят из потоков вероятности между гипотезами; нет такой вещи как свидетельство, которое «поддерживает» или «возражает» отдельной гипотезе, кроме тех случаев, когда и другие гипотезы становятся хуже или лучше. Так что если Юстиция исследует отдельный, строго фактический вопрос с пространством бинарных ответов, весы будут подходящим инструментом. Однако если требуется рассматривать более сложный случай, то ей потребуется отбросить либо свои весы, либо свой меч.

Не все аргументы можно свести к «за» или «против». Леди Рациональность носит с собой блокнот, куда она пишет все факты, которые не принадлежат ни одной из сторон.

Фундаментальная ошибка атрибуции

Элиезер Юдковский

«Фундаментальная ошибка атрибуции — склонность делать выводы об уникальных и постоянных чертах человека на основе его поведения, которое может полностью объясняться ситуацией, в которой он находится.» — Gilbert and Malone (English)

Мы склонны слишком поспешно усматривать соотношение между действиями других людей и их личностными чертами. Когда мы видим, как кто-то пинает торговый автомат без видимой причины, мы сразу признаем его «злым человеком». Но когда вы сами пинаете торговый автомат, то это из-за того, что ваш автобус опоздал, электричка ушла чуть раньше, ваш отчет был сдан не вовремя, а теперь еще и дурацкий торговый автомат уже второй день подряд просто жрет ваши деньги на обед. Конечно, думаете вы, в такой ситуации любой может пнуть автомат.

Мы объясняем наши собственные действия окружающей ситуацией, рассматривая свое поведение как совершенно нормальный ответ на сложившиеся условия. Но когда кто-либо еще пинает торговый автомат, мы не можем увидеть, что произошло с этим человеком ранее. Мы видим только удар по автомату без известной нам причины, вследствие чего заключаем, что этот человек злой по своей натуре — поскольку он накинулся на автомат безо всякой причины.

Давайте рассмотрим исходные вероятности. В мире куда больше опоздавших автобусов, нежели мутантов, которые родились с очень высоким уровнем агрессии, и которые из-за этого спонтанно бьют торговые автоматы. На данный момент средний человек, на деле, мутант. Если я правильно помню, то в среднем отдельный человек имеет от 2 до 10 соматически выраженных мутаций. Однако, как бы ни были расположены ДНК, очень маловероятно, что они приведут к повышенной агрессивности. Точно так же, любой аспект чьей-то личности скорее всего не очень далеко от среднего значения. Предположение обратного сдвигает нас в сторону невероятности.

Но даже когда люди точно знают о причинах ситуации, они чаще всего оценивают наблюдаемое поведение неправильно. Когда субъектам говорят, что рассказчику случайным способом определяют, говорить ли ему в защиту абортов или против абортов — люди продолжают думать, что мысленно рассказчик считает именно так, как указано в его речи. (Jones and Harris 1967, «The attribution of attitudes.)

Кажется довольно интуитивным объяснять дождь водными духами; объяснять огонь некоей огненной субстанцией (флогистоном), которая проистекает из горящей материи; объяснять усыпляющий эффект лекарства его «снотворной силой». Но реальность обычно включает в себя более сложные механизмы: циклы испарения и конденсации лежат в основе дождей, окисляющее горение в основе огня, химическое воздействие на нервную систему для снотворных. Однако механизмы звучат куда сложнее, нежели сущности; о них труднее думать, их сложнее понять. И таким образом, когда кто-либо пинает автомат, нам проще всего думать, что он имеет внутреннюю склонность пинать автоматы.

Но только до тех пор, пока мы сами не оказываемся на месте пинающего — в этом случае мы считаем, что ведем себя совершенно нормальной в данной ситуации; конечно же любой бы так делал. На самом деле мы переоцениваем вероятность того, что другие отреагировали бы так же как и мы — это так называемый «эффект ложного консенсуса». Пьющие студенты ощутимо переоценивают долю их товарищей, которые тоже пьют, однако непьющие наоборот — недооценивают количество пьющих. «Фундаментальная ошибка атрибуции» говорит о нашей склонности объяснять поведение других их внутренней диспозицией (их личностными чертами), при этом меняя данную тенденцию на обратную для самих себя (свое поведение мы объясняем внешней диспозицией или обстоятельствами).

Чтобы понять, почему люди действуют так, как они действуют, нам нужно прежде всего осознать, что каждый человек считает свое поведение абсолютно нормальным. Не следует задавать вопрос, какая странная черта характера у них с рождения, из-за какой они могут вести себя так, как это видится. Лучше спросите, в какой ситуации, по мнению этих людей, они находятся. Да, личностные черты бывают самыми разными — но никаких наследственных черт не хватит, чтобы объяснить все возможные виды поведения, которые вы можете наблюдать.

Предположим, что я даю вам две кнопки, красную и зеленую. Красная разрушает мир, зеленая блокирует нажатие красной. Какую вы нажмете? Зеленую. Любой, кто дает отличный ответ скорее всего усложняет вопрос (English).

И до сих пор люди иногда спрашивают меня, почему я хочу спасти мир (English). Словно это последствия психологической травмы в детстве или что-то типа того. На самом деле это кажется достаточно очевидным решением…с моей точки зрения.

У меня могут быть взгляды, которые требуют объяснения — почему я верю в эти вещи, когда большинство людей не верит? — но при данных убеждениях мои реакции не кажутся заслуживающими подробных и необыкновенных объяснений. Возможно, я жертва ложного консенсуса; возможно, я переоцениваю количество людей, которые нажали бы зеленую кнопку, если дать им эту задачу. Но знаете, я все же побился бы об заклад, что таких по меньшей мере немалое количество.

Большинство людей считают себя совершенно нормальными, с их точки зрения. Даже люди, которых вы ненавидите, люди, которые делают ужасные вещи — никто из них не является исключительным мутантом. Жаль, но это вовсе не мутации. Когда вы поймете это, вы будете готовы прекратить быть шокированными человеческими поступками.

Злые ли ваши враги от природы?

Элиезер Юдковский

Как ранее обсуждалось, мы склонны слишком поспешно усматривать связь между действиями других людей и их врожденными установками. Мы скорее предположим, что их необычное для нас поведение объясняется их необычными чертами личности, нежели спросим напрямую или попытаемся представить ситуацию, которая объясняла бы данное поведение. Мы предполагаем, что с человеком что-то не так.

Когда кто-либо задевает нас — совершая действие, которое мы (правильно или неправильно) не одобряем — тогда, согласно моим наблюдениям, данное когнитивное искажение усиливается вдвое. Похоже, что появляется очень сильная склонность обвинять в злых поступках злую личность того, кто их совершает. Однако если попробовать рассматривать вопрос не с точки зрения морали, а как определенный вопрос об исходной вероятности, мы должны спросить, во что мог бы верить Враг касательно ситуации, что могло бы снизить кажущуюся нелепость их поведения. Это позволит нам предположить менее исключительные установки и таким образом уйти немного от невероятных предположений.

11 сентября 2001 года девятнадцать мужчин-мусульман угнали четыре реактивных самолета в откровенно самоубийственной попытке нанести вред США. Как бы вы предположили теперь, почему они могли это сделать? Потому что они видели в США маяк свободы и были рождены с врожденной ненавистью к свободе?

По жизни, большинство людей не ведут свою жизнь так, чтобы видеть себя злодеями. Каждый в своей истории видит себя героем. История Врага, если смотреть его глазами, вряд ли будет рассказывать о том, что он плохой. Если вы пытаетесь придумать мотивацию, которая заставила Врага выглядеть плохо, вы скорее всего будете совершенно неправы касательно того, что на самом деле происходит в его голове.

Однако политика — это убийца разума. Дебаты — война; аргументы — солдаты. Если вы решили, на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать аргументы, которые говорят в пользу противоположной стороны, иначе получится, что вы предаете своих солдат.

Даже если Враг является злым по своей природе, это должно быть аргументом в пользу вашей стороны. И любой аргумент в пользу вашей стороны следует поддерживать, не имеет значения насколько глупым способом — иначе вы ослабите давление где-то на поле боя. Все стараются превзойти соседа в патриотическом осуждении и никто не осмеливается возразить. Так что вскоре Врагу приписываются рога, крылья, как у летучей мыши, пламя изо рта и клыки с разъедающим плоть ядом. Если же вы отрицаете что-либо из этого списка и пытаетесь вернуться к фактам, то вы встаете на сторону врага; вы предатель. Очень немногие поймут, что вы защищаете не Врага, но истину.

Если бы только злодеи делали ужасные вещи, то история людского вида была бы совсем другой. Ведь злые по своей природе люди крайне редки.

Или, возможно, это страх, что понимание приведет к прощению. Куда легче просто застрелить злодея. Куда легче идти в бой с кличем: «Умрите, порочные мерзавцы!» — нежели с кличем: «Умрите, люди, такие же как и я, но выросшие в других условиях!». Тогда ведь вы будете ощущать вину, убивая людей, которые на самом деле не являются чистым злом.

Для меня это похоже на глубинное стремление к однобоким политическим дебатам, в которых стараются получить наилучшую политику без недостатков. Если армия пересекает границу или если душевнобольной идет на вас с ножом, то альтернативами будет: а) защищаться, б) позволить себя убить. Если вы защищаетесь, то вы можете убить сами. Если вы убиваете кого-либо, кто в альтернативном развитии событий мог бы быть вашим другом, то это трагедия. В самом деле трагедия. С другой стороны, позволить себя убить — это тоже трагедия. Почему должен быть выбор, который не приводит к трагедии? Кто сказал, что у лучшей политики не может быть недостатков? И если кто-то должен умереть, то по возможности это должен быть зачинщик насилия, чтобы предотвратить возможные дальнейшие трагедии и таким образом минимизировать общее число смертей.

Если Враг является средним человеком, который действует согласно своим убеждениям о текущей ситуации, которые призывают его проявить жестокость в качестве стандартной реакции, тогда это не значит, что его убеждения на самом деле точны. Не значит, что он прав. Это значит, что вы будете вынуждены застрелить кого-то, кто является героем в своей истории, и в его романе главный герой умрет на 80 странице. Это трагедия, однако это меньшая трагедия, нежели та, что случилась бы при альтернативном развитии событий. Это выбор, который полицейские делают каждый день, чтобы спасти наши чистые маленькие миры от падения в бездну хаоса.

Когда вы точно оцениваете психологию Врага — когда вы знаете, что происходит в его сознании — это знание не обеспечивает вас оправданием для удара по противнику. Не дает вам ощущения праведного гнева. Не улучшает ваше мнение о себе. И если ваша оценка заставляет вас ощущать невыносимую печаль, то, возможно, сейчас видите мир таким, каков он есть. А в редких случаях вы можете ощутить, как мурашки ужаса бегут по вашей спине, если вы имеете дело с настоящим психопатом или же неврологически здоровыми людьми, убеждения которых практически полностью разрушают их способность здраво мыслить (Сайентологи или «Лагерь Иисуса»).

Так что давайте будем честны и скажем вслух — люди, угнавшие самолёты 11 сентября, не были злодеями по природе. Они не ненавидели свободу. Они тоже были героями в своих собственных историях и они умерли за то, что, как они верили, было правильным — за истину, справедливость и мусульманский путь. Если они видели себя таким образом, то это не значит, что их убеждения были правильны. Если они видели себя таким образом, то это не значит, что мы должны согласиться с тем, что они поступили справедливо. Если они видели себя таким образом, это не значит, что пассажиры 93 самолета должны были остаться внутри и позволить этому произойти. Это значит лишь то, что в альтернативной вселенной, если бы угонщики выросли в другом окружении, они могли бы стать полицейскими, а не преступниками. И это в самом деле трагедия. Добро пожаловать на Землю.

Обратное глупости не есть ум

Элиезер Юдковский

«…После этого наши люди в той временной линии приступили к корректирующим действиям. Смотри…»

Он очистил экран и стал набирать новые комбинации. Страница за страницей начали появляться показания людей, утверждавших, что видели таинственные диски, и каждое из сообщений было фантастичнее предыдущего.

— Стандартный метод запудривания мозгов, — усмехнулся Веркан Вэлл. — Я слышал лишь слухи о «летающих тарелках», да и те преподносились в форме шуток. На таком уровне культуры всегда можно лишить достоверности рассказ о настоящем событии, запустив параллельно с ним десяток небылиц…

Г. Бим Пайпер, «Полицейская операция»

Пайпер был прав. Лично я не верю в плохо прячущихся инопланетян, которые посещают нашу планету. Однако моё неверие никак не связано с ужасающей иррациональностью культов, построенных вокруг веры в летающие тарелки — по крайней мере, я на это надеюсь.

Вы и я верим, что культы вокруг летающих тарелок возникают при абсолютном отсутствии самих летающих тарелок. Культы могут возникать вокруг любой идеи, благодаря человеческой глупости. Эта глупость действует ортогонально наличию пришельцев: мы должны ожидать появления культов, неважно, есть ли летающие тарелки или их нет. Даже если бы на Земле присутствовали плохо прячущиеся инопланетяне, это никак не уменьшило бы вероятность появления культа. p(культы|пришельцы) не меньше p(культы|~пришельцы), если только вы не предполагаете, что плохо прячущиеся пришельцы специально подавляют такие культы. Согласно байесовскому определению свидетельства, наблюдение «существуют культы вокруг летающих тарелок» не является свидетельством против существования летающих тарелок. Не более, чем что-либо еще.

Это приложение общего принципа, который Роберт Пирсиг сформулировал так: «Самый большой дурак может сказать, что Солнце светит, однако это не значит, что это не так».

Если вы знаете кого-то, кто ошибается в 99,99 % случаев, когда отвечает на вопросы вида «да/нет», то вы можете получить такую же точность для верных ответов, просто инвертируя их ответы. Они должны проделывать всю работу по получению хороших свидетельств, сцепленных с реальностью и обработать все свидетельства должным образом, просто для того, чтобы получить такой процент ошибок. То они должны быть сверхумными, чтобы быть настолько глупыми.

Если у машины сломан двигатель, то она не поедет в обратную сторону — даже если поломка крайне серьезная.

Если глупость не антикоррелирует надежно с истиной, то насколько может человеческое зло антикоррелировать с истиной? Обратным искажением для эффекта ореола является эффект рогов: все воспринимаемые негативные сущности взаимосвязаны. Если Сталин — злой, то все, что он говорит — ложь. Вы же не хотите соглашаться со Сталиным, не так ли?

Сталин также верил, что 2+2=4. Если вы защищаете какое-либо утверждение, сделанное Сталиным, даже если это «2+2=4», люди увидят только, что вы «заодно со Сталиным»; получится, что вы на его стороне.

Следствия из этого принципа:

Чтобы по-настоящему спорить с идеей, вы должны противостоять лучшим аргументам ее сильнейших защитников. Спор со слабейшими ничего не докажет, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите опровергнуть идеи трансгуманизма или интеллектуального взрыва, то вы должны опровергать аргументы Ника Бострома или Элизера Юдковски. Любой другой более удобный путь будет неправильным.

Приведение примера людей, которые явно сошли с ума на почве идеи, не является свидетельством против самой идеи. Многие из тех, кто причисляет себя к нью эйдж, сходили с ума на почве своего личного понимания квантовой механики.

Кто-то однажды сказал: «Не все консерваторы глупы, однако большинство глупцов — консерваторы». Если вы не можете рассматривать это выражение, вне зависимости от его истинности, иначе как критику консерватизма, то вы еще не готовы рационально рассуждать о политике.

Ad hominem аргумент — некорректен.

Вам следует быть способным вести спор против геноцида без того, чтобы приводить аргументы вида «Гитлер хотел уничтожить всех евреев». А если бы он не хотел геноцида, то геноцид был бы оправдан?

Ваше инстинктивное желание верить во что-либо будет меняться согласно вашему желанию походить на знакомых вам людей, которые в это верят — вне зависимости от того, насколько истинно само убеждение. Некоторые люди могут отказываться верить в то, что бог не существует, не потому что есть свидетельство о его существовании, а просто потому что они не хотят походить на Ричарда Докинза или тех «крикливых» атеистов, которые на всех углах провозглашают «Бог не существует».

Если ваш компьютер перестает работать, вы не можете сделать вывод что вся система никуда не годится и что вам нужен компьютер без процессора АМD, ATI видеокарты, Maxtor жесткого диска и кулеров — даже несмотря на то, что все эти компоненты в вашей системе есть и при этом она не работает. Возможно, что вам нужен всего лишь новый провод питания.

Если сотни изобретателей не смогли построить летающие машины из металла, дерева и ткани — это не подразумевает, что на самом деле вам нужна машина из костей и плоти. Если тысячи проектов провалились при попытке создать ИИ на основе электрических схем, это не значит, что корень всех проблем в электричестве. Пока вы не поймете проблему, любые манипуляции, сделанные наугад, вряд ли помогут вам найти решение.

Аргумент затмевает авторитет

Элиезер Юдковский

Байесианец с черным поясом steven в своем блоге пытается объяснить асимметрию между хорошими аргументами и весомым авторитетом, однако он не сумел дать ответы на все комментарии к предыдущей статье, так что этим займусь я.

Первая ситуация: Барри — знаменитый геолог. Чарли — четырнадцатилетний подросток, неоднократно попадавший в полицию и подверженный психопатическим приступам. Барри решительно доказывает Артуру определенное контринтуитивное утверждение о скалах и Артур присваивает его утверждению вероятность в 90%, что оно истинно. Тогда Чарли также приводит равное контринтуитивное утверждение о скалах, и Артур присваивает его утверждению только 10% вероятности, что оно истинно. Очевидно, что Артур принимает во внимание авторитет источника, когда решает, чьим утверждениям верить.

Вторая ситуация: Дэвид делает контринтуитивное утверждение касательно физики и дает Артуру подробное объяснение аргументов, включая отсылки. Эрни делает аналогичное контринтуитивное утверждение, однако аргументирует крайне слабо, кое-где предлагая просто поверить ему. Как Дэвид, так и Эрни утверждают, что это наилучшее объяснение, которое они могут дать (любому человеку, не только Артуру). Артур присваивает 90% вероятности быть истинным утверждению Дэвида, и только 10% утверждению Эрни.

Может показаться, что оба сценария в принципе похожи: в обоих во внимание берутся полезные свидетельства: сильный авторитет против слабого, сильный аргумент против слабого.

Однако теперь предположим, что Артур просит Барри и Чарли привести полное объяснение с отсылками; и оба они делают одинаково хорошие объяснения, которые, как видит Артур, совпадают. Тогда Артур просит Дэвида и Эрни показать свои документы и оказывается, что они примерно одинаковы тоже — возможно они оба клоуны, а может оба — физики, не имеет значения.

Предполагая, что Артур компетентен достаточно, чтобы разобраться во всех приведенных аргументах — иначе они не более чем шум — кажется, что Артур должен рассматривать Дэвида как обладающего значительным преимуществом над Эрни, в то время как Барри если и превосходит Чарли, то совсем немного.

В самом деле, если технические аргументы достаточно хороши, то у Барри нет никакого преимущества перед Чарли. Хороший технический аргумент это то, что может уменьшить степень доверия к личному авторитету говорящего.

Точно так же, если мы верим Эрни, что он выдал нам лучший аргумент из тех, что мог, включая все логические шаги, которые он выполнил и все источники, на которые опирался — и которые цитировал — тогда мы можем игнорировать любую информацию о документах Эрни. Не имеет значения, клоун он или физик. (Опять же предполагается, что мы достаточно эрудированы, чтобы понять его аргументы. В любом другом случае Эрни просто произносит какие-то загадочные слова и то, поверим ли мы им, зависит в большей степени как раз-таки от его авторитета.)

Таким образом кажется, что между аргументами и авторитетом есть своеобразная асимметрия. Если мы знаем об авторитете, то мы все еще хотели бы услышать и аргументы; однако когда мы услышали аргументы, вряд ли нам нужно будет знать авторитетность источника.

Очевидно (скажет неопытный человек) авторитет и аргумент являются фундаментально различными видами свидетельства, различие которых непостижимо при помощи до скуки ясных методов байесовской теории вероятности. Поскольку при одинаковой силе свидетельства, 90% против 10%, ситуации ведут себя по-разному. Как же нам поступить?

Здесь примерно половина технической демонстрации того, как представить эту разницу в теории вероятности. (Остальное вы можете принять на веру, положившись на мой авторитет, или посмотреть в отсылках.)

Если

p(H|E

1

)=90%

p(H|E1)=90% и

p(H|E

2

)=9%

p(H|E2)=9%, какова вероятность

p(H|E

1

,E

2

)

p(H|E1,E2)? Если признание Е

истиной дает нам возможность присвоить Н вероятность в 90%, и признание Е

истиной дает возможность присвоить Н вероятность в 9%, какую вероятность мы должны присвоить Н, если верны и Е

и Е

? Это просто не что-либо, что вы можете вычислить в теории вероятности из имеющейся информации. Нет, отсутствующая информация это не априорные сведения об Н. Е

и Е

могут быть не независимыми друг от друга.

Предположим, что Н это «моя дорожка скользкая», Е

это «разбрызгиватель работает» и Е

это «сейчас ночь». Дорожка становится скользкой, если разбрызгиватель работает не меньше минуты и остается такой до тех пор, пока он не выключится. Так что если мы знаем, что разбрызгиватель включен, то с 90% вероятностью дорожка скользкая. Разбрызгиватель включен 10% ночного времени, так что если сейчас ночь, то вероятность того, что дорожка скользкая — 9%. Если же мы знаем, что сейчас ночь и разбрызгиватель включен — то есть если нам известны оба факта — вероятность того, что дорожка скользкая, равна 90%.

Мы можем представить это графически следующим образом:

Ночь

Разбрызгиватель

Скользкая дорожка

Ночь может приводить к включению разбрызгивателя, а включение разбрызгивателя может приводить к скользкой дорожке.

Тут важны направления стрелок. Если я напишу:

Ночь

Разбрызгиватель

Скользкая дорожка

Это означало бы, что если я не знаю ничего о разбрызгивателе, то вероятности того, что была ночь и что дорожка скользкая будут независимы друг от друга. Для примера предположим, что я бросаю одну кость и вторую кость, а потом складываю выпавшие числа в сумму:

Кость 1

Сумма

Кость 2.

Если вы не скажете мне сумму, а сообщите только число с первой кости — я не смогу узнать ничего о том, что выпало на второй кости. Однако если вы сообщите мне число на первой кости и общую сумму, то узнать число на второй кости не составит труда.

Определение того, являются ли разные куски информации зависимыми или независимыми друг от друга при заданной начальной информации, на самом деле является достаточно технической темой. Почитать об этом можно в книге Джуди Перл «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference and Causality». (Если у вас есть время на книги, то рекомендую вам прочесть эту.)

Если вы знаете, как читать причинные графы, тогда вы взглянете на граф про кости и сразу же увидите:

p(кость 1,кость2)=p(кость 1)∗p(кость 2)

p(кость 1,кость2)=p(кость 1)∗p(кость 2)

p(кость 1,кость2|сумма)≠p(кость 1|сумма)∗p(кость 2|сумма)

p(кость 1,кость2|сумма)≠p(кость 1|сумма)∗p(кость 2|сумма)

Если вы смотрите на верную диаграмму про дорожку, вы видите следующие факты:

p(скользкая дорожка|ночь)≠p(скользкая дорожка)

p(скользкая дорожка|ночь)≠p(скользкая дорожка)

p(скользкая дорожка|разбрызгиватель)≠p(скользкая дорожка)

p(скользкая дорожка|разбрызгиватель)≠p(скользкая дорожка)

p(скользкая дорожка|ночь,разбрызгиватель)=p(скользкая дорожка|разбрызгиватель)

p(скользкая дорожка|ночь,разбрызгиватель)=p(скользкая дорожка|разбрызгиватель)

То есть, вероятность того, что дорожка скользкая, учитывая знание о разбрызгивателе и ночи, равно вероятности, которую мы присваиваем скользкой дорожке, если знаем только о разбрызгивателе. Знание о разбрызгивателе делает знание о ночи неактуальным касательно дорожки.

Это известно как «затмение», и критерий, который позволяет нам распознавать такие условные независимости в причинно-следственных графах, называется Д-разбиение.

Для случая с аргументом и авторитетом, причинно-следственная диаграмма будет выглядеть так:

Истина

Качество аргумента

Убеждение эксперта.

Если что-либо истинно, то неизбежно есть аргументы в его пользу, вследствие чего эксперты видят эти свидетельства и меняют свое мнение (в теории!)

Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.

Однако если мы знаем значение узла «Качество аргумента», это Д-отделяет узел «Истина» от узла «Убеждение эксперта», блокируя все пути между ними, в соответствии с определенным техническим критерием для «блокирования путей», который кажется очевидным для такого случая. Даже без проверки точного распределения вероятностей, мы можем из графа понять следующее:

p(истина|аргумент,эксперт)=p(истина|аргумент)

p(истина|аргумент,эксперт)=p(истина|аргумент)

Это не опровержение стандартной теории вероятности. Это просто более компактный путь выражения определенных вероятностных фактов. Вы можете выразить все это и через другие равенства и неравенства в любом подходящем распределении вероятностей — однако вам будет труднее визуально увидеть это. Авторитет и аргумент не являются двумя разными видами вероятности, как и разбрызгиватель не сделан из онтологически разного с солнечным светом вещества.

На практике вы никогда не можете полностью убрать влияние авторитета. Хороший авторитет более вероятно свидетельствует о версии, которую стоит принять во внимание; менее авторитетный источник может оказаться истинным с меньшей вероятностью, что и делает его аргументы менее надежными. Это не тот фактор, что вы можете убрать полностью путем выслушивания свидетельства, которое они учитывают.

Также очень трудно свести аргументы к чистой математике; и в ином случае, судя силу каждого шага можно полагаться на интуиции, которые вы не смогли бы повторить без тех же тридцати лет опыта.

Всегда есть неуничтожимая закономерность, что вы присвоите утверждению Э. Т. Джейнса о вероятности большую степень достоверности, нежели та, что будет вами присвоена аналогичному утверждению Элизера Юдковского. Нельзя считать, что пятьдесят дополнительных лет опыта не будут влиять.

Но на авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами. Я нашел небольшую ошибку в одной из книг Джейнса — потому что алгебра важнее авторитета.

Ухватить задачу

Элиезер Юдковский

В искусстве рациональности есть дисциплина близости-к-задаче — попытки найти такое свидетельство, которое относилось бы только к самому вопросу настолько близко, насколько возможно, отметая как можно больше других аргументов.

Братья Райт говорят, «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет скажем с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен.

Если же вы будете вынуждены просмотреть вычисления братьев Райт и сможете в них разобраться, после чего проделаете аналогичную процедуру для вычислений лорда Кельвина (у которого вряд ли были какие-то вычисления, а не простое неверие), то значение авторитета будет сильно снижено.

Если же вы видите на самом деле летящий самолет, то вам не нужно заглядывать в вычисления, а авторитет Кельвина можно даже не обсуждать.

Чем плотнее ваши аргументы связаны с вопросом без промежуточных умозаключений — тем ближе наблюдаемые узлы к узлу задачи в Великой Паутине Причин и Следствий — тем сильнее свидетельство. Теорема о причинно-следственных графах говорит что вы никогда не сможете получить больше информации из дальних узлов, чем из расположенных совсем рядом, которые и затмевают дальние.

Джерри Кливер сказал: «Это не неудача в применении какой-то высокоуровневой, замысловатой, сложной техники. Это упущение самых основ. Вроде как не следить за шариком при игре в наперстки».

Подобно тому, как физика может превосходить авторитетность, она также может превосходить и рациональность. Кто был более рационален, братья Райт или лорд Кельвин? Если мы можем проверить их вычисления, то нам не нужно выяснять этот вопрос. Добродетель рационалиста не может заставить самолет полететь.

Если вы забыли об этом принципе, то изучение когнитивных искажений только повредит вам, поскольку вы будете отвлекаться от наиболее прямых аргументов. Довольно легко утверждать, что кто-либо проявляет искажение номер 182 из вашего списка универсальных обвинений, однако вы не сможете решить реальную задачу без наиболее близкого свидетельства. Если есть причины вследствие когнитивных искажений говорить, что светит солнце, это не значит, что от этого внезапно наступит ночь.

Как вы не можете всегда проводить эксперимент, так и не всегда вы можете проверить вычисления. Иногда у вас нет достаточно исходной информации, иногда не хватает частной информации, иногда просто нет времени. Есть ряд ситуаций, в которых стоило бы оценить рациональность источника. Вы всегда должны делать это с ощущением пустоты в сердце, ощущением чего-то пропущенного

Всегда, когда вы только можете, танцуйте как можно ближе к исходному вопросу — заставьте себя это делать — приближайтесь максимально к тому, чтобы ухватить задачу!

Рациональность и английский язык

Элиезер Юдковский

Моё прошлое эссе напомнило одному из читателей «Политику и английский язык» Джорджа Оруэлла. Я был польщён — особенно потому, что тема этого эссе уже пришла мне в голову.

Если вам вправду интересен взгляд творца на рациональность, читайте Оруэлла. Рационалистам следует его читать не меньше, чем писателям. Оруэлл не ученый, но сочинитель; его орудие не числа, но слова; его противник не Природа, но зло в людях. Чтобы отправить человека за решётку, не говорите «Я собираюсь заключить мистера Дженнингса в тюрьму на семь лет без суда». Подпустите тумана, не дайте слушателям вообразить происходящее. Скажите: «Ненадёжный элемент подвергнут альтернативному судебному процессу».

Голос Оруэлла — вопль против тоталитаризма и неясного мышления, за которым зло любит себя прятать. Его труды о языке — такая же классика для рационалиста, как и книги Фейнмана, Сагана или Докинза.

«Писателям советуют избегать использования пассивного залога». Знание науки не укажет на проблему в этой фразе, но если вы хотя бы немного писали, то сразу поймёте, что не так. Я составил предложение в пассивном залоге и не уточнил, кто именно даёт писателям такой совет. Пассивный залог убирает тех, кто действует; остаются лишь те, на кого подействовали. «Ненадёжный элемент подвергнут альтернативному судебному процессу», — кем подвергнут? В чём заключается «альтернативный судебный процесс»? Убрав действие из предложения, можно спрятать, что происходит на самом деле.

Статьи в научных журналах часто пишутся в пассивном залоге. (Простите, некоторые учёные пишут их в пассивном залоге. Не то чтобы статьи самозарождались и некого было обвинить.) Куда весомее сказать «Испытуемым был назначен Progenitorivox», чем «Я раздал студентам по упаковке препарата и сказал пить по таблетке каждый вечер». Если убрать учёного из описания, полезные данные останутся. Но на самом деле учёный там был, испытуемые — живые студенты, препарат не «был назначен», а студенты глотали таблетки по инструкции. Пассивный залог сужает правду.

Судя по комментариям к моим эссе, многие поспорят с тем, что пассивный залог в научной статье чем-то плох. Ведь если подумать, то понятно, что учёный там был. Это не кажется логической ошибкой. Вот поэтому рационалистам нужно читать Оруэлла, а не только Фейнмана или даже Джейнса.

Научная литература даёт знания, художественная — опыт. Медицина предскажет, что будет с человеком без скафандра в вакууме. А художественная литература заставит вас это пережить.

Некоторые рационалисты попытаются разобрать неясную фразу и увидеть, нет ли там ещё одного смысла, попробуют воссоздать логичную трактовку. Они прочтут фразу доброжелательно, предполагая о мыслях автора лучшее. Но писатели стараются не полагаться на такое отношение. То, как вас поймут, и есть то, что вы сказали, и неважно, о чём вы думали. Нельзя спорить с читателем, сколь умны бы ни были ваши обоснования.

Писатель знает: читатель не остановится подумать. Художественный опыт — непрерывный поток впечатлений. Писатель-рационалист следит, какой опыт создают слова. Если вы, вникая в смысл фразы, неторопливо обдумываете слова, препарируете формулировки, перебираете возможные значения и выискиваете зёрна истины, — то вы покидаете пределы первого впечатления — того, что видят и чувствуют другие читатели.

Прозаик заметит, что фраза «Испытуемым был назначен препарат» вопиюще неправильна. Что переживёт читатель? Только отстранённое ощущение властности, только чувство, что тебе сказали что-то веское. Прозаик увидит, что слова слишком расплывчаты и скрывают настоящую историю: строгого профессора, который с упаковкой таблеток в руках объясняет взволнованной студентке, что делать.

Я не говорю, что научные статьи нужно писать как романы. Но рационалисты должны лучше осознавать, как слова рождают опыт. Рационалистам нужно понимать разум и как с ним взаимодействовать — начиная с того, как их собственное сознание воплощается в языке. Рационалист должен ясно видеть настоящее, практическое действие фраз, а не только значение, которое складывается из буквального смысла слов.

Более прямо: то, что вы имели в виду, не оправдывает того, как вас поняли!

Неважно, какую рациональную трактовку вы соорудите для фразы, призванной сорвать овации, вроде «ИИ должен быть разработан только в рамках демократических процессов». Трактовка не искупит её иррационального влияния — демонстративного запроса на одобрение, не говоря о том, насколько эта фраза размыта.

Оруэлл предостерегал, как действуют речевые штампы, как меняют они опыт мышления1:

Когда видишь на трибуне усталого болтуна, механически повторяющего привычные фразы: звериный оскал, железная пята, кровавая тирания, свободные народы мира, встать плечом к плечу, — возникает странное ощущение, что смотришь не на живого человека, а на манекен… Оратор, пользующийся такой фразеологией, уже сильно продвинулся по пути от человека к машине. Из гортани его выходят надлежащие звуки, но мозг в этом не участвует, как должен был бы, если бы человек сам выбирал слова.

Но самое главное — пусть смысл выбирает слова, а не наоборот. Самое худшее, что можно сделать со словами в прозе, — это сдаться на их милость. Когда вы думаете о конкретном предмете, вы думаете без слов, а затем, если хотите описать то, что представили себе, вы начинаете поиски и находите нужные точные слова. Когда вы думаете о чем-то отвлеченном, вы склонны первым делом хвататься за слово, и, если не удерживаться от этого, сложившийся диалект ринется к вам на помощь, сделает за вас вашу работу — правда, затемнив или даже изменив исходный смысл. Может быть, лучше всего не прибегать к словам, покуда вы не проясните для себя смысл через образы и ощущения.

Пирс мог бы написать последний абзац. Многие искусства ведут к одному Пути.

1.

Зло в людях и неясное мышление

Элиезер Юдковский

Джордж Оруэлл видел как цивилизованный мир скатывается в тоталитаризм, как одна за другой страны поддаются ему; человек поддавался тоталитаризму навсегда. Вы родились слишком поздно, чтобы помнить время, когда угроза тоталитаризма казалась неостановимой, когда одна страна за другой вводила секретную полицию и громовой стук по ночам, в то время как профессора свободных университетов прославляли чистку Советского Союза как прогресс. Это столь же чуждо вам, как фантастика; трудно относиться к этому серьезно. Потому что в ваше время берлинская стена уже пала. И если имя Оруэлла не выгравировано на одном из ее камней, то это стоит сделать.

Оруэлл видел судьбу человеческого вида и приложил исключительные усилия, чтобы столкнуть человечество с этого пути. Его оружием было ясное слово. Оруэлл знал, что запутанный язык означает затуманенное сознание; он знал, что человеческое зло и затуманенное сознание переплетены как сопряженные нити ДНК:

«В наше время политические речи и тексты по большей части представляют собой защиту того, что нельзя защищать. Вещи наподобие британского правления в Индии, русских чисток и ссылок, сбрасывания атомных бомб на Японию на самом деле можно обосновать, однако только такими аргументами, которые будут слишком жестоки для большинства людей и совершенно расходятся с декларируемыми целями политических партий. Таким образом, политический язык должен по большей части состоять из эвфемизмов, неясных ответов и разного рода неопределенностей. Беззащитные деревни подвергаются бомбардировке, жителей выгоняют из городов, скот расстреливают из пулеметов, поджигают дома при помощи зажигательных снарядов: и все это называют миротворческой операцией…»

Оруэлл четко обозначил цель своей ясности:

«Если вы упрощаете свой язык, вы освобождаетесь от худших глупостей ортодоксальности. Вы не можете больше прятаться за разными диалектами, и когда вы делаете глупое замечание, его глупость будет очевидна даже для вас.»

Сделать нашу глупость очевидной даже для нас самих — то, что является сердцевиной Overcoming Bias.

Зло крадется и прячется в неосвещаемых тенях сознания. Когда мы оглядываемся и с ясностью смотрим на историю, мы плачем, вспоминая запланированный Сталиным и Мао голод, который погубил десятки миллионов. Мы зовем это злом, потому что это было вызвано человеческим стремлением причинить боль и смерть невинным жизням. Мы зовем это злом из-за отвращения, которое испытываем, глядя на историю с ясностью. Для виновников зла, чтобы им избежать их естественной оппозиции, требуется, чтобы это отвращение было незаметно. Они стремятся любой ценой убрать ясность. И уже сейчас люди, стремящиеся к ясности, склонны противостоять злу всюду, где встречают его; поскольку человеческое зло, где бы оно не существовало, проистекает из затуманенного сознания.

1984 показывает это крупным планом: Оруэлловские злодеи это исказители истории и ретушеры (списанные с искажения истории, практиковавшегося в Советском Союзе). В сердце всей тьмы, в Министерстве Любви, О’Брайен заставляет Уинстона признать, что два плюс два равно пяти:

«— Вы помните, — снова заговорил он, — как написали в дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да.

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.

Против рационализации

Знание искажений может вредить

Элиезер Юдковский

Как-то раз я пытался рассказать маме о проблеме калибровки экспертов. Я сказал: «Когда эксперт говорит, что уверен в событии на 99%, оно случается только в 70% случаев». Повисла тишина, я вдруг осознал, что говорю с мамой, и поспешно добавил: «Конечно, ты должна быть осторожна с этим знанием и применять его к себе, а не пользоваться им против тех, с кем не согласна».

Она ответила: «Серьёзно? Это восхитительно! Я буду ссылаться на это постоянно!»

Работа Тейбера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» (англ. Motivated skepticism in the evaluation of political beliefs) описывает шесть явлений:

Эффект предшествующего отношения. Испытуемые, у которых уже есть ясная позиция, находят доводы в пользу своей точки зрения охотнее, чем в пользу обратной. Это происходит, даже если их поощряют быть беспристрастными.

Систематическая ошибка опровержения. Люди тратят больше времени и сил, чтобы найти слабые места в аргументах против своей позиции, нежели в поддерживающих её.

Систематическая ошибка подтверждения. Работая с источниками, испытуемые ищут те, которые подтверждают их позицию, а не опровергают.

Поляризация мнений. Когда группе испытуемых предлагают уравновешенный список доводов за и против, их изначальные разногласия только усиливаются.

Эффект силы мнения. Чем радикальнее мнения людей, тем более они подвержены названным выше искажениям.

Эффект сноровки. Испытуемые, искушённые в политике, легче оспаривают неприятные наблюдения и доводы. Поэтому они сильнее подвержены искажениям.

Если вы мыслите иррационально, то новые знания могут вам навредить. Для истинных байесианцев информация никогда не наделена отрицательной ожидаемой полезностью. Но люди — не совершенные байесовские мыслители. Мы можем сделать себе хуже, если неосторожны.

Я видел тех, кого подвело знание искажений. Оно было оружием, что разносило вдребезги любой довод, который приходился этим людям не по душе. Умение делать это — среди главных причин того, что люди с высоким интеллектом ведут себя глупо. (Станович называет это явление дисрациональностью.)

Вы могли бы вспомнить таких людей, правда? Обладателей высокого интеллекта, которые не очень-то преуспевают в делах, но чертовски хороши в спорах? Поможете ли вы им, если просто расскажете об искажениях? Сделаете ли их успешными рационалистами?

Один мой знакомый узнал о проблеме калибровки и сверхуверенности. После этого он стал говорить: «Исследования показывают, что эксперты часто ошибаются, так что им верить нельзя. Поэтому, когда я делаю прогнозы, я стараюсь опираться на то, что история будет идти как шла». Сказав это, он погружался в запутанную и сомнительную экстраполяцию. В чужих доводах искажения и лжеаргументы бросаются в глаза сильнее, чем в своих.

Я рассказал ему об ошибке опровержения и эффекте сноровки. И когда в очередном разговоре я произнёс что-то, что ему не понравилось, он обвинил меня в софистике. Он не указывал мне на конкретные ошибки, не искал в моих словах слабых мест. Он просто вздохнул и сказал, что я обратил свой разум против себя. Теперь он овладел ещё одним Универсальным контраргументом.

Представьте, что встречаете человека, который кажется умным, но говорит то, что вам не нравится. Если образ искушённого спорщика сразу приходит вам на ум, это плохой знак.

Я пытаюсь учиться на ошибках. Свой последний рассказ об искажениях я начал с того, что описал ошибку конъюнкции и эвристику доступности, обрисовав этими примерами понятие искажения. Затем я перешёл к ошибке подтверждения, ошибке опровержения, эффекту сноровки, мотивированному скептицизму и другим явлениям, которые проявляются в формировании взглядов. Следующие полчаса я усердно и въедливо говорил об этих опасностях и рассматривал их со всех точек зрения, с каких только мог.

Чтобы слушатели заинтересовались, хватило бы и просто описать пару ошибок. Но что дальше? Книги об искажениях — в основном когнитивная психология ради неё самой. Мне нужно было предупредить о худшем за одну лекцию — иначе моим слушателям, быть может, никто бы этого не рассказал.

В тексте или устно, я теперь стараюсь не упоминать о калибровке и сверхуверенности, пока не расскажу об ошибке опровержения, мотивированном скептицизме, «умных спорщиках» и дисрациональности. Прежде всего — не навреди!

Обновляй себя шаг за шагом

Элиезер Юдковский

Политика — убийца разума. Спор — это война, аргументы — солдаты. У вас появляется искушение толковать любой возможный исход эксперимента в пользу своей теории, словно вы защищаете крепость от атак со всех сторон. Но так нельзя. Это математически невозможно. Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против.

Но если вы защитили своё любимое убеждение не до конца, всё в порядке. Если гипотеза состоит в том, что монета выпадает орлом в 95% случаев, то один раз из двадцати вы увидите контрсвидетельство. Всё хорошо. Это нормально. Этого даже стоит ожидать, пока на каждое свидетельство против теории приходится 19 наблюдений в её пользу. Вероятностная модель выдержит пару ударов и выстоит, если удары не будут продолжаться.

Однако многим — особенно в тех вопросах, где они не являются специалистами, — кажется, что истинные теории не имеют права на ошибку, а ложные ошибаются всегда.

Некоторые люди хватаются за одно наблюдение, которое считают свидетельством в пользу теории, как за исчерпывающее её доказательство. По их словам, теория его «объясняет», как будто больше ничего и не нужно. Как будто не бывает свидетельств в поддержку ложной теории, ни единого наблюдения. Тогда для доказательства хватало бы любого и единственного факта в пользу теории.

Немногим умнее «опровергать» вероятностную теорию одним наблюдением, словно ничто никогда не указывает против верной теории. Но именно так люди спорят уже который век, пытаясь развеять все вражеские доводы и отрицая, что у врага есть хоть что-то в свою поддержку. Люди спорят однобоко. В их картине мира не найдётся ни грамма фактов против их теорий. Даже одно вероятностное контрсвидетельство разрушит всё.

Кто-то сейчас возмутится: «Нельзя оставлять врагу ни пяди, если хочешь выиграть настоящий спор! Если смириться хотя бы с одним возражением, враг снова и снова будет им размахивать — такого нельзя допустить! Ты проиграешь! Что может быть хуже?»

Неважно. Рациональность — не для победы в спорах, а для выбора верной стороны. Когда вы уже решили, за кого играть, рациональность уже сделала своё дело, хорошо ли или плохо. Но как выбрать сторону? Если неверный выбор пугает вас, пусть даже немного, то стоит учесть все свидетельства.

Рациональность — танец, а не прогулка. Каждое движение в нём должно быть точным, ни дюймом левее или правее. С каждой крупицей наблюдений в вашу пользу — сдвигайте уверенность вверх. С каждой крупицей против — вниз. Да, вниз. Даже если теория верна, вы должны иногда понижать свою степень убеждённости — если только это не точная теория.

Если ваше убеждение получает пару ударов — всё в порядке. С вероятностными теориями такое бывает. (А вот если ошибается точная теория, у неё проблемы!) Просто слегка сдвиньте уверенность — вероятность, шансы или ощущение убеждённости в голове — немного вниз. И ждите дальнейших свидетельств. Если теория верна, то наблюдения скоро это покажут и снова сдвинут вероятность вверх. Если теория ошибочна, то она вам не нужна.

Чёрно-белое, бинарное, качественное мышление порождает проблему: любое наблюдение либо разрушает теорию, либо нет. Когда против теории всё-таки появляются незначительные свидетельства, возникает внутреннее противоречие. Чтобы его разрешить, мы отбрасываем эти свидетельства. При этом мы перестаём плавно обновлять убеждения и учитывать всё, что знаем. Если же мы рассуждаем на языке вероятностей, то видим, что в пользу верной теории в среднем указывает бо́льший вес наблюдений, нежели против неё. И можно без страха сказать себе: «Это свидетельство немного не укладывается в мои взгляды, я сдвину свою убеждённость вниз». Да, вниз, но не разрушая свою теорию. Рассуждайте количественно.

Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против. Уверенность всегда может сдвинуться вниз — ожидайте это в той же степени, в какой ожидаете её сдвига вверх. Если, как вам кажется, вы уже знаете, что за свидетельство получите, то вы уже должны довольно сильно верить в свою теорию — назначать ей вероятность, близкую к единице. Тогда этой вероятности почти некуда расти. И каким бы маловероятным вам не казалось увидеть свидетельство против, итоговый сдвиг вниз, который оно должно произвести, будет большим: нужно точно уравновесить возможный сдвиг вверх. Математическое ожидание апостериорной вероятности равняется априорной.

Глупо бояться сдвигать вероятность вниз, если правильный ответ вообще вас интересует. Каждое будущее наблюдение в одинаковой степени может сдвинуть убеждённость в обе стороны.

Быть может, опровергающие свидетельства будут приходить снова и снова, а поддерживающие — лишь изредка. Ваша уверенность будет неуклонно ползти вниз — пока, наконец, вы не поймёте, куда несёт вас ветер наблюдений. В эту минуту не ищите оправданий — ваша любимая теория уже рухнула. Отпразднуйте это! Откройте шампанское или закажите пиццу. Нельзя стать сильнее, пока вы держитесь за те же убеждения, в которые верили и раньше.

Один довод против армии

Элиезер Юдковский

В прошлом эссе я писал о таком стиле рассуждений, когда мы не допускаем никаких доводов против теории и ищем повод отбросить любое наблюдение, которое теория не объясняет. Сейчас я предлагаю посмотреть, как люди, столкнувшись с возражением, отказываются сдвигать вниз свою уверенность, раз за разом повторяя уже известные аргументы.

Предположим, страна Фридония, на которую недавно обрушился метеоритный дождь, обсуждает, ответственна ли за это соседняя страна Сильвания. Известно, что метеориты падали на города рядом с сильванийской границей, биржевая торговля в Сильвании перед ударом неожиданно подскочила, а после удара сильванийский посол Трентино бросил какую-то фразу о «небесной каре».

Кто-нибудь говорит вам:

— Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллиарды динаров.

— Пусть так, — отвечаете вы, — но удары прошли рядом с их границей, их рынки оживились, да и их посол говорил о «небесной каре».

Поскольку три ваших довода перевешивают возражение оппонента, вы продолжаете — качественно — считать, что Сильвания виновата. Ведь ясно, что вес свидетельств против Сильвании больше.

Потом к вам приходит кто-то ещё и говорит:

— Не думаю, что виновата Сильвания. Направить поток астероидов слишком сложно, а у Сильвании даже нет космической программы.

— Но метеориты ударили в города рядом с их границей, их экономисты знали о предстоящем ударе, к тому же посол Сильвании сам признал, что это они! — возражаете вы.

Снова три довода перевешивают один (ведь единица меньше тройки), так что вы продолжаете считать, что Сильвания ответственна.

На деле ваши убеждения даже крепнут. Вы уже дважды взвешивали доводы обеих сторон и каждый раз выигрывали у Сильвании со счётом 3:1.

Изменники, продавшиеся Сильвании, приводят новые и новые доводы, сотни раз — но три ваших аргумента всякий раз сильнее, чем каждое новое возражение. И вы вновь и вновь только укрепляетесь в мысли, что Сильвания и вправду нанесла этот удар. Вы ощущаете, что свидетельства указывают на вину Сильвании, и сдвигаете свою уверенность вверх.

Конечно, проблема в том, что вы многократно учитываете свои знания, когда повторяете старые доводы заново. Даже считать много раз все свидетельства — смертный грех: вообразите учёного, который провёл эксперимент с 50 людьми, не получил статистически значимых результатов и поэтому решил учесть все данные по два раза.

Но повторять дважды лишь избранные свидетельства — вообще чистейший фарс. В детстве я смотрел мультфильм, где злодей делил добычу так: «одно тебе, одно мне; одно тебе, два мне; одно тебе, три мне».

Как я писал в прошлом эссе, даже если текущая гипотеза верна, рационалист иногда понижает уверенность в ней, чтобы учесть все свидетельства. Да, взвешенный итог может всё ещё быть в пользу вашего убеждения. Но вам по прежнему нужно сдвинуть вероятность вниз — да, вниз — от значения, которое она принимала перед тем, как вы услышали возражение. Неправильно повторять поддерживающие доводы: вы уже учли их раньше.

Но пока я вижу, что люди, встречаясь с новыми возражениями, ищут повод не снижать свою уверенность. Конечно, они находят его в аргументах, которые уже знают. Мне приходится сохранять постоянную бдительность, чтобы не делать так самому, — ведь это столь же естественно, как закрываться щитом от удара меча.

Преуспев в неверном мышлении, можно несколькими доводами — или даже одним! — защищаться от целой армии возражений.

Нижняя строчка

Элиезер Юдковский

На торги выставлены два запечатанных ящика: А и Б. В каком-то из них лежит алмаз. Многие косвенные признаки подсказывают, в каком из ящиков он, но нет ни одного гарантированного способа это узнать. Например, на одном из ящиков стоит синяя печать, что — насколько вам известно — чаще встречается на ящиках с алмазами, чем на пустых. Или один из ящиков блестит, и вам кажется, что ящикам с алмазом это несвойственно.

Представим, что некий искушённый аргументатор с листком бумаги в руках говорит владельцам обоих ящиков: «Кто-нибудь из вас, наймите меня, и я докажу, что алмаз у вас в ящике, — сможете продать его подороже». Владельцы ящиков называют цены, владелец ящика Б предлагает больше и нанимает аргументатора.

Аргументатор начинает рассуждать. Сначала на нижней строчке листа он пишет: «Таким образом, алмаз в ящике Б». Потом заполняет листок сверху: «На ящике Б синяя печать», ниже «ящик А блестит», потом «ящик Б легче, чем ящик А», и ещё много различных признаков. Когда какое-нибудь наблюдение указывает, что алмаз скорее в ящике А, аргументатор его отбрасывает. Закончив, он приходит к вам и читает свои записи: «На ящике Б синяя печать, ящик А блестит…» — и завершает всё фразой «Таким образом, алмаз в ящике Б».

Но давайте отметим, что когда аргументатор пишет своё заключение, нанося чернила на бумагу, сцепленность этих чернил с ящиками закрепляется и больше не меняется.

Представьте множество параллельных миров — ветвей Эверетта или дублей Тегмарка — в каждом из которых стоят два этих ящика. В каком-то проценте миров алмаз лежит в ящике Б, а в остальных — в ящике А. Среди миров, в которых ящик А блестит, своя доля тех, где алмаз в ящике Б. А среди миров, где ящик А блестит и на ящике Б стоит синяя печать, какая-то другая доля миров с алмазом в ящике Б.

Чернила образуют узор в виде фразы «Таким образом, алмаз в ящике Б». Если вы умеете читать, то вам по ошибке может показаться, что эта надпись как-то связана с тем, где лежит алмаз. Похожим образом люди, которых просят назвать цвет картинки и показывают им красное слово «зелёный», часто говорят «зелёный», а не «красный». Будь вы неграмотны, чернильный узор не обманул бы вас.

Вещи важны для нас тем, как они сцеплены с другими. Посмотрим снова на набор параллельных миров. В минуту, когда в каждом из миров аргументатор записывает вывод на нижнюю строчку, — представим, что это происходит одновременно, — корреляция между записями и ящиками закрепляется. Чернила нестираемы и записи останутся такими же. Ящики тоже не изменятся. Среди миров, где записано «Таким образом, алмаз в ящике Б», есть некоторый процент тех, где алмаз в ящике А. Он не изменится, когда аргументатор заполнит строки выше.

Сцепленность чернил с ящиками фиксирована, а какова её природа — предлагаю подумать вам. Может, владельцы ящиков, которые считают, что реклама представит их товар в хорошем свете, закажут её с бо́льшей охотой. Может, больше заплатят те, кто боится проиграть аукцион. Если хозяева ящиков сами не понимают, что́ говорят внешние признаки, то записи никак не будут отражать то, что внутри, — но расскажут что-то о состоятельности владельцев и их привычках обращаться с деньгами.

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же аргументатора говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Дополнение: это эссе — предостережение для вас в ваших собственных выводах, а не универсальное возражение против заключений, которые вам не нравятся. Можно ведь говорить «моя оппонентка — искушённый аргументатор», чтобы сохранять те убеждения, в которые вы верили и раньше. Самый искусный софист мира скажет, что светит солнце, но вокруг останется светло. В следующем эссе рассмотрим этот вопрос чуть подробнее.

О чём свидетельствуют отсеянные свидетельства?

Элиезер Юдковский

В прошлом эссе я обсуждал проблему хитрого аргументатора, которого наняли, чтобы продать вам ящик, где может быть алмаз, а может и не быть. Аргументатор подчёркивает, что на ящике стоит синяя печать, которая на ящиках с алмазами встречается чаще, нежели на пустых. Что это значит с байесовской точки зрения? Должны ли вы послушно обновить свои вероятности — так, как желает аргументатор?

Вы сами видите все признаки, если ящик перед вами. Но что если нет? Представьте, что знаете о ящике лишь то, что рассказал аргументатор. Он говорит только правду, но не обязан сообщать всё, что знает. Каждое его утверждение — полноценное свидетельство; как можно не обновить свои вероятности? Неужели теперь среди возможных миров, где на ящике Б синяя печать, не выше доля тех, в которых лежит алмаз? Согласно Джейнсу, байесианцы всегда должны исходить из всех известных свидетельств, когда рассчитывают вероятности, — иначе могут возникать противоречия. Но выходит, что при достаточно разнообразных наблюдениях аргументатор может убедить вас в чём угодно, подобрав свидетельства на свой вкус. Тут что-то не так.

Взглянем на пример попроще. Перед нами неровная монетка, которая выпадает в двух третях бросков орлом, а в одной трети решкой — или наоборот. Изначально гипозеты о том, в какую сторону у монетки смещение, одинаково правдоподобны. Каждый выпавший орёл — один бит свидетельств смещения в сторону орла; каждая решка — один бит свидетельств смещения в сторону решки. Я подбрасываю монетку десять раз и говорю: «На четвёртом, шестом и девятом броске выпал орёл». Как вы теперь оцените вероятность, что смещение — в сторону орла?

Ответ может быть почти любым в зависимости от того, что заставило меня сказать эти слова, — от того, как я решил, о каких бросках сообщать.

Возможно, я всегда говорю результаты 4-го, 6-го и 9-го бросков, что бы ни выпало на них и на других бросках. Если вы знаете, что я следую такому правилу, то апостериорные шансы — 8:1 в пользу смещения в сторону орла.

Я могу сообщать только о тех бросках, где выпал орёл. Тогда вы знаете, что на остальных семи бросках выпали решки и апостериорные шансы — 1:16 против смещения в сторону орла.

Я могу заранее решить, что назову результаты 4-го, 6-го и 9-го бросков, только если моя апостериорная вероятность смещения в сторону орла окажется больше 98%.

Ну и так далее.

Или посмотрим на задачу Монти-Холла:

В этой игре перед вами три двери. За одной из них лежит 100 000 долларов, а за другими ничего. Ведущая просит выбрать дверь, и вы выбираете первую. Тогда ведущая открывает вторую — за ней пусто. Хотите ли вы открыть третью дверь или же всё ещё первую?

Ответ зависит от стратегии ведущей. Если она открывает дверь всегда и только ту, за которой ничего нет, то переключайтесь. Если ведущая всегда открывает вторую дверь, что бы ни было за ней, то деньги с равной вероятностью могут лежать за первой или третьей. Если ведущая вообще открывает дверь лишь тогда, когда вы сразу указали туда, где лежат деньги, то вам определённо стоит держаться изначального выбора.

Важно не только то, что за второй дверью пусто, но и то, что ведущая открыла именно её. Классическая задача Монти-Холла сбивает многих с толку, поскольку они учитывают лишь то, что за второй дверью денег нет — в итоге выходят равные вероятности, что деньги за первой и за третьей дверью. Вот почему байесианцам нужно учитывать все свои знания.

Услышав «четвёртый бросок — орёл», мы не обрабатываем то, что на четвёртом броске выпал орёл, не берём все возможные миры с орлом на четвёртом броске. Вместо этого мы рассматриваем миры, где какое-то правило породило слова «четвёртый бросок — орёл». Факт, который мы узнали, не сводится к тому, что сказано. Не позволяйте смыслу самих слов вас запутать.

Чаще всего судебное разбирательство — борьба двух противоположных сторон, ведь легче найти двух людей с искажениями, нежели одного беспристрастного. Идея тут в том, что любое свидетельство выгодно либо обвинению, либо защите, так что суд увидит все наблюдения. Два аргументатора в проблеме с ящиками хуже, чем одна любопытная исследовательница, но ненамного — если ящика всего два. Однако в жизни перед нами встают проблемы, где сторон много, и запутанные ситуации без очевидного ответа, которые не решить двум противоположным сторонам, которые ругаются друг с другом.

Осторожно, не злоупотребляйте идеей отсеивания свидетельств, не применяйте её как универсальное возражение против доводов, которые вам не нравятся: «Они отфильтрованы, так что я отброшу их». Если неприятный аргумент застиг вас врасплох, то вы уже немного вникли в вопрос и ответ вас волнует — настолько, что вы уже выбрали сторону. Тогда вы, скорее всего, уже знаете главные доводы в свою пользу. Из неприятного аргумента нельзя заключить, что есть какие-то ещё свидетельства в поддержку вашей стороны, которых вы не видели и которые уравновесили бы этот довод. Всё, что вы узнали нового, — лишь неудобные наблюдения; синяя печать на ящике Б — всё ещё свидетельство.

Но будьте не менее осторожны, когда задумываетесь о вопросе впервые и слышите только одну сторону. В некотором смысле нельзя верить теории естественного отбора, не послушав креационистов хотя бы пять минут, — и вот уже тогда можно смотреть, какая из теорий убедительнее.

Рационализация

Элиезер Юдковский

В «Нижней строчке» я описал проблему двух ящиков: в одном из них алмаз, и различные внешние признаки подсказывают, в каком. Я описал подходы любопытной исследовательницы и хитрого аргументатора. Исследовательница выписывает все признаки, обрабатывает их и, наконец, пишет в заключении: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Аргументатор работает на того, кто платит больше; он сначала пишет «Таким образом, алмаз в ящике Б», а потом выбирает подходящие признаки и записывает выше.

Первый образ действий — рациональность. Второй обычно называют «рационализацией».

«Рационализация». Интересный выбор слова — и, по мне, неудачный. Нельзя «рационализировать» что-то нерациональное. Всё равно что говорить «правдофикация» вместо «ложь».

На алгоритмическом уровне есть большая разница между следующими подходами:

Начать со свидетельств, подсчитать на их основе вероятность и получить наиболее правдоподобный вывод. То есть выписать все признаки и от них перейти к ответу, что будет зависеть от этих признаков.

Начать с заключения и подобрать те свидетельства, которые это заключение поддерживают. То есть записать ответ на нижнюю строчку, а потом выбрать подходящие признаки и поставить выше.

Кто додумался назвать столь разные мыслительные процессы такими похожими словами, как «рациональность» и «рационализация»? Я бы хотел, чтобы названия отражали разницу в этих алгоритмах яснее. Скажем, «рациональность» и «огромная отстойная чёрная дыра мышления».

Не каждое изменение — улучшение, но каждое улучшение — изменение. Нельзя сделать конкретное утверждение более истинным, просто приводя доводы в его пользу. Можно убедить в нём больше людей, но нельзя изменить, верно ли оно. Чтобы улучшать свои убеждения, мы должны их менять. Рациональность — это то, как мы обновляем свои взгляды и этим повышаем степень их истинности. Рационализация же закрепляет убеждения в том же виде. Стоило бы назвать её «антирациональностью» — как по её плодам, так и из-за того, что она зеркально противоположна рациональности по алгоритму.

«Рациональность» — прямой поток, который собирает свидетельства, оценивает их и делает заключение. Алгоритм исследовательницы направлен вперёд. Сначала она собирает свидетельства, выписывая все видимые признаки ящиков. Затем она их обрабатывает и получает неизвестную раньше вероятность того, что в ящике Б алмаз. Рациональные рассуждения всё время идут вперёд, исследовательница ещё не знает, что получит, поэтому мы говорим, что она любопытна. На Пути Байеса априорная вероятность равна ожидаемой апостериорной: если вы знаете место назначения, вы уже там.

«Рационализация» — обратный поток: от заключения к избирательно взятым свидетельствам. Сначала вы пишете нижнюю строчку, которая известна и не поменяется. Ваша цель — найти, какие доводы написать выше. Неизвестны они, а не заключение.

Боюсь, традиционная рациональность плохо учит разнице между потоками вперёд и назад. Учёный выдвигает гипотезу на свой вкус и ищет эксперимент, который подтвердил бы её, — и традиционная рациональность его не осуждает. Она смотрит на него с одобрением и говорит: «Твоя уверенность в себе — тот механизм, что движет Науку вперед». Ну да, выходит, что движет. Легче найти обвинителя и защитника с искажениями, нежели одного непредвзятого человека.

Но не всё, что происходит, — правильно. Лучше, если учёный, придумав гипотезу, проверит её из любопытства — будет ставить опыты, которые изменят его убеждения в неизвестную сторону.

Если вы искренне не знаете, куда идёте, то вам интересно. Любопытство — первая добродетель: без неё вопросы бесцельны, а мастерство некуда приложить.

Ощутите, куда течёт Сила, и убедитесь, что не задом наперёд.

Рациональное обоснование

Элиезер Юдковский

Представьте, что зарабатываете на жизнь избирательными кампаниями и с недавних пор читаете блог о рациональности. Однажды вас нанимает Мортимер К. Снодграсс, кандидат в мэры Гедлиберга. Один вопрос не даёт вам покоя: «Как безукоризненно и рационально обосновать, что Снодграсс — лучший кандидат?»

Извините, но никак.

— Что? — удивляетесь вы. — Но ведь я построю своё выступление только из полноценных аргументов! Что если каждый факт, который я приведу, будет столь правдив, сколь мне вообще известно? Что если я назову лишь весомые свидетельства для теоремы Байеса?

Всё ещё не получится, извините. В ту минуту, когда вы ставите заключение впереди рассуждений, вы забиваете гол в свои ворота.

В этом году «Гедлибергские известия» проанкетировали кандидатов, задав им вопросы вроде «Дуете ли вы?»1 и «Умеешь ли картинки на лету цветами ветра рисовать?»2 Увы, метеорит разрушил здание редакции, и номер не вышел в печать. Жаль, ведь ваш кандидат, Мортимер Снодграсс, ответил на 15 из 16 вопросов куда лучше соперников. Заминка возникла лишь в 11-м вопросе: «Вы суперзлодей?»

Вам очень хочется опубликовать анкету в ходе кампании. Без 11-го вопроса, конечно.

В эту минуту вы переходите грань меж рациональностью и рационализацией. Избиратели теперь не могут просто сравнить факты. Им нужно учесть, что свидетельства отсеиваются, и догадаться, что некоторые факты скрыты.

Вообще говоря, вы переходите грань ещё раньше — когда размышляете, в каком свете анкета рисует вашего кандидата, чтобы решить, публиковать ли ее.

— Что?! — возмущены вы. — Мне теперь публиковать факты, неудобные кандидату?

Но взгляните глазами избирателей, которые решают, кому отдать голос. Зачем бы вам прятать ценные сведения? Вы бы не стали так делать, питая искреннее любопытство. Вы бы не стали так делать, двигаясь в рассуждениях вперёд, от свидетельств к пока неизвестному выбору кандидата. Но вы идёте назад: от определённого кандидата к поиску доводов.

Рассуждение, где вывод следует из предыдущих посылок, называется «логически верным». Следующее рассуждение логически неверно:

все прямоугольники — четырёхугольники,

все квадраты — четырёхугольники,

следовательно, все квадраты — прямоугольники.

Посылки истинны и даже заключение истинно, но силлогизм всё еще не становится логически верным. Стоит разделять верные и неверные способы вывода и не оправдывать неверные, даже когда их заключения справедливы. Пусть разные способы и дали один ответ сейчас — в свете будущих свидетельств ответы будут отличаться. Да и небрежность входит в привычку.

Более того, неверный силлогизм не поможет найти настоящее объяснение. Может, все квадраты — прямоугольники, но не потому, что те и другие — четырёхугольники. Этот силлогизм лицемерен: настоящие причины в нём не связаны с названными.

Чтобы на самом деле честно и обоснованно представить своего кандидата, придётся делать так:

до того, как кто-нибудь вас наймёт, соберите все доступные свидетельства обо всех кандидатах;

составьте критерии, по которым сами выбирали бы, кто лучше;

прогоните кандидатов по списку критериев;

определите, кто лучше всех;

предложите провести ей или ему кампанию.

Когда вас спросят, почему стоит голосовать за этого кандидата, предъявите свой список.

Только такая цепочка рассуждений рациональна: нижняя строчка вытекает из всего, что записано выше. Над нижней строчкой будет честным записать лишь то, что на самом деле её определяет.

Избегая по-настоящему слабых мест убеждения

Элиезер Юдковский

Несколько лет назад в свои 90 умерла моя прабабушка, после долгого и медленного угасания. Я никогда особо не знал её, но по воспоминаниям из детства, она готовила для всей семьи; я помню её лицо, то, как она была добра ко мне, её фаршированную рыбу. На её похоронах, мой дедушка, которые заботился о ней годами, сказал, сдерживая слезы, что бог забирал его мать кусочек за кусочком: её память, её речь и наконец её улыбку; и когда Бог забрал её улыбку, он знал, что ей недолго осталось, потому что это означало, что её почти нет.

Я слушал это и был в замешательстве, поскольку это была немыслимо ужасная вещь для любого человека и таким образом я не мог ожидать, что дедушка припишет её богу. Обычно еврей использует стратегию «просто-не-думай-об-этом» в отношении логического заключения, что бог допустил подобную трагедию. Согласно еврейской теологии, бог непрерывно следит за вселенной и стоит за каждым событием в ней; но обычно вывод логических заключений из этой мысли приберегается для счастливых случаев. Говоря «Бог помог!», когда у вас родился ребенок, и опуская эти слова в случае выкидышей или детских смертей, вы можете сформировать довольно однобокую картину личности великодушного бога.

Таким образом я был удивлен услышать, что мой дедушка расценивает медленное угасание бабушки как осознанное и стратегически запланированное действие Бога. Это нарушало правила религиозного самообмана, как я их понимал.

Если бы я заметил мое собственное замешательство, я бы мог сделать успешное шокирующее предсказание. Вскоре мой дедушка перестал верить. (Единственный член моей обширной семьи, который так сделал, не считая меня, насколько мне известно)

Современный ортодоксальный иудаизм непохож на остальные религии, о которых я слышал, и я не знаю, как объяснить это тому,кто сам не изучал Мишну и Гемару. Там существует традиция вопрошания, но особого рода… Не слишком удивительно было бы услышать от рабби на недельной проповеди указание на противоречие между семью днями творения и 13.7 миллиардами лет с большого взрыва - поскольку, как он думает, у него есть по-настоящему умное объяснение для этого, которое включает в себя три других библейских отсылки, Мидраш и наполовину понятую статью в «Scientific American». В ортодоксальном иудаизме вам позволено замечать противоречия и несостыковки, но только для того, чтобы объяснить их, и любой, кто предложит самое запутанное объяснение, получает приз.

Это традиция вопросов. Но вы атакуете цели только чтобы защитить их. Вы атакуете только те цели, которые в состоянии защитить.

В современном ортодоксальном иудаизме я не замечал особого акцента на ценности слепой веры. Вам позволено сомневаться. Но не позволено сомневаться успешно.

Думаю, что большинство образованных ортодоксальных евреев ставили свою веру под сомнение в какой-то момент жизни. Но вопрошание скорее всего проходило так: «Согласно скептикам, Тора говорит, что вселенная была создана за семь дней, что не совпадает с научными данными. Но сумели бы племена Израиля, собравшиеся на горе Синай, понять научную истину, даже если бы им рассказали её? Было ли у них слово для «миллиарда»? Куда легче рассматривать историю о творении в семь дней как метафору - сначала Бог создал свет, под чем подразумевается большой взрыв…»

Является ли это самой слабой точкой, которую человек мог бы атаковать в своем иудаизме? Двигаясь дальше в Торе вы можете найти место, где Бог убивает всех младенцев-первенцев Египта, чтобы убедить неизбранного фараона освободить рабов, которых логичней было бы просто телепортировать за пределы страны. Ортодоксальный еврей скорее всего знаком с этим сюжетом, поскольку предполагается, что он прочел всю Тору за год, и он ассоциируется с праздником. Имя «Песах» идет от Бога, оградившего еврейские дома, пока умирали младенцы в Египте.

Современные ортодоксальные евреи это открытые, добрые и цивилизованные люди; куда более цивилизованные, чем несколько редакторов Старого Завета. Даже старые рабби были более цивилизованны. Есть ритуал в Седере, где вы выливаете десять капель вина из вашего бокала, по одной за каждое из десяти бедствий, чтобы сделать акцент на страдании египтян. (конечно, предполагается сочувствовать страданиям египтян, но не настолько чтобы встать и сказать «Это неправильно! Делать такие вещи - плохо!») это показывает интересный контраст - рабби существенно добрее чем создатели Старого Завета, они видят жестокость бедствий. Но Наука была слабее в те дни, так что рабби могли обдумывать более неприглядные аспекты Библии, не боясь, что это полностью уничтожит их веру.

Вы даже не спрашиваете, отразился ли инцидент плохо на Господе, так что нет необходимости быстро ляпнуть «Пути Господни неисповедимы!» или «У нас нет мудрости, чтобы судить решения Бога!» или «Если Бог убивает детей, значит так правильно!» Это часть метода «просто-не-думай-об-этом».

Как я подозреваю, причина, по которой образованные религиозные люди остаются религиозными, это то, что когда они сомневаются, они подсознательно весьма осторожно атакуют свои убеждения только в наиболее защищенных местах - местах, которые, как они знают, они могут защитить. Более того, места, где повторение стандартных доводов защиты ощущается как усиление этой защиты.

Наверняка же ощущается хорошо, например, повторять заранее продуманную защиту для «Разве Наука не говорит, что вселенная просто бессмысленные атомы, мельтешащие вокруг?», поскольку это подтверждает смысл вселенной и то, как она происходит от господа и т.д…Куда более комфортно думать об этом, чем о неграмотной матери-египтянке, плачущей над детской кроваткой, в которой лежит её убитый сын. Любой, кто спонтанно задумывается о последнем, а потом ставит свою веру под сомнение, на самом деле сомневается в ней, скорее всего недолго еще пробудет верующим.

Смысл поста не в том, чтобы ударить по ортодокосальному иудаизму. Уверен, что есть какой-то ответ или даже несколько и на убийство новорожденных. Смысл в том, что, когда идет спонтанный самоанализ, люди куда более вероятно атакуют наиболее сильные места убеждений, защищенные ответами для повторений, чем слабые и уязвимые места. Сходным образом, люди склонны останавливаться на первом же ответе, а не продолжать критиковать дальше. Лучшим названием было бы не «Избегая по-настоящему слабых мест убеждения», а «Не атакуя наиболее болезненные слабости ваших убеждений при спонтанном самоанализе».

Больше всего приверженность к религии поддерживается людьми, которые просто-не-думают-о настоящих слабых местах их религии. Я не думаю, что это дело навыка, скорее это дело инстинкта. Люди не думают о настоящих слабых местах их убеждений по той же самой причине, по которой не трогают горящую газовую конфорку; это больно.

Как справляться лучше: когда вы сомневаетесь в одном из наиболее заветных своих убеждений, закройте глаза, очистите свой разум, стисните зубы и осознанно подумайте о том, что ранит сильнее всего. Не повторяйте стандартные возражения, которые обычно дают вам возможность ощутить себя лучше. Спросите себя, что умные люди, не согласные с вами, сказали бы на ваше возражение, и на последующее тоже. Всякий раз, когда вы обнаруживаете себя уходящим от возражения, о котором вы мельком подумали, вытащите его на передний край вашего сознания. Ударьте себя в солнечное сплетение. Вонзите нож в свое сердце и прокрутите несколько раз. Перед лицом боли, повторяйте только одно:

Истина всегда есть истина.

Признание её не сделает её хуже.

Непризнание её не заставит её исчезнуть.

И поскольку это истина, именно с ней и нужно взаимодействовать.

Всё ложное не должно жить.

Люди могут справиться с истиной,

потому что достаточно сильны для неё.

(Юджин Джендлин)

Мотивированная остановка и мотивированное продолжение

Элиезер Юдковский

В то время, как я не согласен с некоторыми положениями Fast and Frugal (http://fastandfrugal.com/) — как по мне, так они делают слишком много лимонада из лимонов — похоже, что они склонны развивать наиболее психологически реалистичные модели любой школы теории принятия решений. Большинство экспериментов представляют испытуемым варианты, среди которых те выбирают, тем самым получается экспериментальный результат. Ребята с того сайта понимают, что в реальной жизни вам надо создавать варианты, и они изучают, как испытуемые это делают.

Сходным образом, несмотря на то, что многие эксперименты предоставляют свидетельства на блюдечке с голубой каемочкой, в реальной жизни вы должны собрать свидетельства, что может быть затратно, и в какой-то момент решить, что у вас достаточно свидетельств, чтобы остановиться и сделать выбор. Когда вы покупаете дом, вы не выбираете точно 10 домов как варианты и не осматриваете тщательно все из них, прежде чем сумеете выдать решение. Вы смотрите на один дом, потом на другой, затем сравниваете их; вы подправляете свои стремления — заново рассматриваете как близко на самом деле вам надо поселиться к месту работы и как много вы готовы за это заплатить; вы решаете какой дом смотреть следующим; и в какой-то момент вы решаете что видели достаточно домов и делаете выбор.

Согласно Гиловичу, различие между мотивированным скептицизмом и мотивированным доверием указывает на то, как заключения, которым человек не хочет верить, обладают большей требовательностью, нежели заключения, которым человек хочет верить. Мотивированный скептик спрашивает, заставит ли свидетельство принять вывод; мотивированный простак спрашивает позволит ли свидетельство принять вывод.

Я предполагаю, что есть аналогичное искажение в психологически реалистичном поиске, мотивированная остановка и мотивированное продолжение: когда у нас есть скрытый мотив для выбора «лучшего» текущего варианта, у нас есть скрытый мотив остановиться, выбрать и отвергнуть любые другие варианты. Когда у нас есть скрытый мотив отвергнуть лучший текущий вариант, у нас есть скрытый мотив приостановить суждение, ожидая дальнейших свидетельств, чтобы сгенерировать больше вариантов — найти что-нибудь, что угодно, что можно делать вместо того, чтобы приходить к заключению.

Одним из главных исторических скандалов в статистике был Р.А. Фишер, выдающийся основатель области, настаивавший, что нет причинной связи между курением и раком легких. «Корреляция — это не причинность», сделал заключение он на Конгрессе. Возможно курильщики имеют ген, который определяет их склонность как к курению, так и к раку легких.

Или возможно Фишер был нанят как консультант табачными фирмами, которые дали ему скрытый мотив решить, что уже собранные свидетельства недостаточны, чтобы придти к выводу и что нужно продолжать искать. Фишер также сам был курильшиком и умер от рака кишечника в 1962 году.

(ad hominem примечание: Фишер был сторонником частотного подхода. Байесианцы более разумны в отношении выводов о возможной причинности.)

Наподобие многих других форм мотивированного скептицизма, мотивированное продолжение может попытаться замаскироваться под добродетельную рациональность. Кто может спорить против сбора дальнейших свидетельств? Я могу. Свидетельства чаще затратны и хуже, медленнее и определенно нет ничего добродетельного в отказе интегрировать уже имеющиеся свидетельства. Вы всегда можете изменить ваше мнение позже. (Приблизительное возражение может быть сформулировано следующим образом: трата одного часа обсуждения с вашим сознанием тщательно очищенным от всех выводов отлична от ожидания десяти лет на другое 20-миллионное исследование.)

Что касается мотивированной остановки, она проявляется в каждом месте, где боятся третьей альтернативы, и везде, где у вас есть аргумент, очевидный контраргумент которого вы даже не рассматриваете, и еще в паре мест. Она проявляется когда вы следуете курсу действий, который ощущается вами как хороший, так что вы даже не исследуете насколько хорошо на самом деле работает план, в страхе разрушить теплый свет морального удовлетворения, за которое вы платите хорошие деньги. Она проявляется везде, где ваши убеждения и ожидания расходятся, так что у вас появляется причина бояться сбора любых новых свидетельств.

Мораль в том, что решение уничтожить процедуру поиска (временно или навсегда), равно как и сама процедура, является подверженным искажению и скрытым мотивам. Вы должны подозревать мотивированную остановку, когда заканчиваете поиск и приходите к удобному решению, хотя при этом есть множество легкодоступных свидетельств, которые вы еще не собрали — сайты, которые вы можете посетить, контр-контраргументы, которые вы можете рассмотреть, или хотя бы те же пять минут, которые можно твердо выделить на обдумывание лучшего варианта. Вы должны подозревать мотивированное продолжение, когда есть некоторые свидетельства, склоняющие вас на путь, который вам не нравится, но вы решаете, что нужно еще свидетельств — дорогих свидетельств, которые как вы знаете, вы не можете в скором времени собрать, в противоположность тому, чтобы полчаса полазить в Гугле — прежде чем вам нужно будет сделать нечто неудобное.

Фальшивое оправдание

Элиезер Юдковский

Многие христиане, которые на самом деле не являются верующими, настаивают, что они почитают Библию как источник этических советов. Стандартный ответ атеиста на это озвучил Сэм Харрис: «И вы, и я знаем, что достаточно пяти минут размышлений, чтобы найти книгу, которая содержит более цельную и милосердную систему морали, чем Библия». Точно так же, христианин может попытаться утверждать, что Библия ценна как художественное произведение. Но тогда почему не почитать «Властелина Колец», намного превосходящую литературную работу? И несмотря на стандартную критику моральности Толкиена, «Властелин Колец» все равно превосходит Библию и как источник этических норм. Так почему же люди носят на шее кресты, а не кольца? Даже «Гарри Поттер» превосходит Библию как по художественной ценности, так и в области моральной философии. Если бы я на самом деле хотел быть жестоким, я бы сравнил Библию с «Кушиэлем» Жаклин Кэри.

«Как ты можешь оправдывать покупку украшенного драгоценностями лэптопа за миллион долларов, — спрашиваете вы своего друга, — когда так много людей вообще не имеют лэптопов?» Друг отвечает: «Но подумай о поддержке, которую это даст — производителю лэптопов, экспертам, которые выдают решения о таких лэптопах — у них будет на что жить, это стимулирует экономику и в конце концов многие люди получат свои лэптопы». Но было бы куда эффективнее купить 5000 обычных лэптопов, таким образом обеспечив поддержку производителю и выдачу лэптопов напрямую.

Я касался этой темы прежде чем заговорил о провалах при попытках найти третью альтернативу. Но на самом деле это не мотивированная остановка. Назвать это «мотивированной остановкой» значит подразумевать, что в первую очередь проводился поиск.

В «Нижней строчке» я привел наблюдение, что только настоящие определяющие факторы наших убеждений могут вообще влиять на точность в реальном мире, только настоящие определяющие факторы наших действий могут влиять на нашу эффективность в достижении целей. Кто-то, кто покупает лэптоп за миллион долларов, на деле думая «о, сверкает» и это является настоящей причиной его решения купить лэптоп. Никакое количество оправданий не изменит этого, пока оправдание не будет искренним, заново проведенным процессом поиска, который мог бы изменить решение. По-настоящему мог бы изменить. Большая часть критики проистекает из чувства долга, скорее символической инспекции, а не чего-либо еще. Свободные выборы в стране с одной политической партией.

Чтобы искренне оправдать Библию как объект для восхвалений путем отсылки к ее литературной ценности, вы бы должны были каким-либо образом провести нейтральную вычитку книг-кандидатов, пока вы не найдете книгу с наиболее высокой литературной ценностью. Популярность является одним из разумных критериев для подбора кандидатов, так что я предположу, что вы могли бы закончить чтением Шекспира, Библии и Геделя, Эшера, Баха. (В противном случае было бы достаточно невероятным совпадением найти Библию как кандидата среди миллионов других книг.) Настоящая трудность в пресловутой «нейтральной вычитке». Достаточно легко, если вы не являетесь христианином, но если это не так…

Но конечно же такого не бывает. Никто не делает такого поиска. Выписывать оправдание «литературной ценности» над нижней строчкой «Я люблю Библию» это историческое введение в заблуждение относительно того, как на самом деле нижняя строчка была написана, это как продавать кошачье молоко в качестве коровьего. Нижняя строчка не была выведена из верхних. Это заключение было сделано совсем не так.

Если вы искренне ставите ваш вывод под критику, которая может потенциально изменить его — если критика по-настоящему имеет эту силу — тогда это модифицирует «настоящий закулисный алгоритм» вашего вывода. Это меняет сцепленность вашего вывода в возможных мирах. Но люди переоценивают насколько вероятно они на самом деле могут изменить свое сознание.

Со всеми этими открытыми сознаниями, вы думаете что можно лучше менять убеждения.

Позвольте предположить: Да, вы признаете, что изначально вы решили что хотите купить лэптоп за миллион долларов при мысли «о, сверкает». Да, вы допускаете, что это не тот процесс принятия решения, который совпадает с заявленными вами целями. Но с тех пор вы решили, что на самом деле должны потратить ваши деньги так, чтобы обеспечить лэптопами как можно больше людей. И все еще при этом не нашли более эффективного способа сделать это, кроме как купить лэптоп за миллион долларов — потому что, ух ты, вы даете деньги магазину и стимулируете экономику! Попробуйте-ка побейте это!

Друг мой, у меня имеются сильные подозрения насчет этого потрясающего совпадения. У меня имеются чертовски сильные подозрения что лучший ответ в условиях этого прекрасного, рационального, альтруистического критерия совпадает с идеей, которая изначально пришла вам в голову при помощи другого, не связанного с этим критерием и не имеющего оправдания процесса. Если вы не думаете, что бросая кости, вероятно можно найти верный ответ, насколько же вероятно, что одна и та же идея может являться конечной точкой рационального и иррационального познания?

Неправдоподобно, чтобы вы использовали ошибочное мышление и при этом еще не наделали ошибок.

Это ваша настоящая причина отказа?

Элиезер Юдковский

Иногда люди узнают о моих трансгуманистических убеждениях. Эти убеждения выглядят непохожими на мои идеи о человеческой рациональности. Идеи про сверхинтеллект или дружественный ИИ звучат странно и экзотично. И люди часто сразу же отвергают их.

Если попросить кого-нибудь из них объяснить причину, то не так уж редко в ответ можно услышать:

— Почему я должен верить тому, что говорит Юдковский? У него нет даже докторской степени!

Нередко свидетели такого разговора советуют: «Тебе нужно получить докторскую степень, и тогда люди к тебе прислушаются». Иногда этот совет исходит даже от самого возражающего: «Возвращайся, когда получишь степень!»

Для получения степени есть хорошие и плохие причины, и конкретно эта — плохая.

Враждебная реакция на трансгуманистические тезисы на самом деле может вызываться разными причинами. Большинство из них упираются в соответствие шаблону, они не основаны на какой-то продуманной цепочке рассуждений. Тезис распознается как «странная непонятная идея», или «научная фантастика», или «культ конца света» или «чрезмерный юношеский энтузиазм».

Поэтому идея отвергается сразу же, как только срабатывает соответствующий шаблон. Если же затем кто-нибудь спрашивает: «Почему нет?», мозг начинает поиск оправдания. Но этот поиск не обязательно находит истинную причину. Под «истинной причиной» я подразумеваю не наилучшую причину, которую можно представить, а скорее то, что сильнее всего повлияло на принятие решения в тот самый мигкогда сработала реакция отвержения.

Вместо этого поиск оправдания находит правдоподобно звучащий факт: «У говорящего нет степени».

Но точно так же у меня нет степени, когда я говорю о рациональности. Почему это возражение не применяется в этих случаях?

И что более важно, если бы у меня была степень, люди не посчитали бы её решающим доводом в пользу того, что они обязаны верить всему, что я говорю. Скорее всего, происходила бы та же исходная реакция отвержения — по тем же самым причинам, — но последующий поиск оправданий приводил бы чему-нибудь ещё.

Если бы у меня была степень, люди бы говорили: «Почему я должен вам верить? Вы всего лишь человек с докторской степенью! Таких много. Возвращайтесь, когда будете авторитетом в этой области и профессором какого-нибудь солидного университета».

Но действительно ли люди верят случайному профессору из Гарварда, который говорить что-то странное? Конечно же, нет. (Хотя если бы я был гарвардским профессором, мне было бы легче привлечь внимание СМИ. Журналисты не склонны мне доверять, и скорее всего они бы точно так же не доверяли случайному человеку с докторской степенью. Но профессор из Гарварда, который верит в странное, — это хороший новостной сюжет.)

Если ваши тезисы кажутся человеку неправильными — не просто магически звучащими техническими звуками о лептонных кварковых переплетениях в N+2 измерениях, — и слушатель незнаком с вами лично и с обсуждаемым предметом, то, подозреваю, для среднего слушателя ваши академические регалии перевесят первое впечатление, если вы находитесь где-то на уровне нобелевского лауреата. И то не факт. Но в любом случае, вам нужны такие академические регалии, которые воспринимаются как находящиеся «за гранью обыденности».

Насколько я представляю, примерно это произошло с Эриком Дрекслером. Он представил свое видение нанотехнологии, и люди сказали: «А где технические подробности?» или «Возвращайтесь, когда у вас будет степень!» И он потратил шесть лет, расписывая технические подробности и получая степень под руководством Марвина Мински. «Наносистемы» — великая книга. Но разве те люди, которые говорили: «Возвращайтесь, когда получите степень!» изменили после этого своё мнение о молекулярной нанотехнологии? Насколько я знаю, нет.

И то же самое происходит и с Институтом исследований машинного интеллекта. Когда мы делаем то, что якобы должно вызывать у людей больше доверия, ничего не меняется. «Вы разрабатываете какие-либо программы? Я не собираюсь поддерживать организацию, где не пишут код» → OpenCog → ничего не изменилось. «У Элизера Юдковски нет академических регалий» → Место директора по исследованиям занимает профессор Бен Герцель → ничего не изменилось. Единственное, что, по-видимому, действительно повышает уровень доверия, — это знаменитые люди, ассоциируемые с организацией, такие как Питер Тиль, спонсирующий нас, или Рей Курцвейл в совете директоров.

Если вы недавно открыли своё дело, то вам и вашим советчикам стоит помнить, что если в качестве причины отказа вам указывают на какие-то ваши неудачи, то проблема может быть и не в них, и вам стоит тщательно всё обдумать, особенно если ситуация требует больших вложений. Если венчурный капиталист говорит: «Если бы только ваши продажи росли немного быстрее!», если потенциальный клиент говорит: «Неплохо, но у вас нет фичи Х», это может и не быть настоящей причиной. Возможно исправление этого поможет, а, возможно, и нет.

И то же самое следует учитывать при разногласиях. Робин Хансон и я считаем, что два рационалиста не могут согласиться не соглашаться: общее знание об эпистемологическом разногласии может появиться только в случае, если что-то пошло очень сильно не так.

Я подозреваю, что, если два рационалиста намереваются разрешить разногласие, которое не исчезло после первого обмена мнениями, им стоит ожидать, что настоящую причину разногласия либо сложно передать, либо сложно обнаружить. Такими причинами, например, могут быть:

Малоизвестное, но хорошо обоснованное научное или математическое знание;

Длинные понятийные расстояния;

Плохо переводимые в слова интуитивные ощущения, возможно проистекающие из специфичных представлений;

Образ мысли, присущий представителям определённой профессии (по вполне разумным причинам);

Шаблоны, приобретённые с опытом;

Просто мыслительные привычки;

Эмоциональные привязанности к вере в определенный исход;

Страх опровержения прошлых ошибок;

Самообман на глубоком уровне, дающий повод для гордости или другие личные выгоды.

Если при решении вопроса все настоящие причины отказа можно легко предъявить, разногласие, скорее всего, будет разрешено очень быстро, почти наверняка — на первой встрече.

«Это моя настоящая причина отказа?» Именно этот вопрос должны задавать себе оба спорщика, чтобы им было легче иметь дело с противоположной стороной. Однако, по моим наблюдениям, попытки провести с собеседником сеанс публичного психоанализа приведут к ухудшению диалога очень-очень быстро.

И всё-таки, у спорщиков должна быть возможность вежливо спросить: «Это ваша настоящая причина отказа?» — если существует какой-то продуктивный способ получить ответ на этот вопрос. Возможно, стоит ввести правило, которое допускает открытый вопрос: «Этот простой и прямолинейный довод — ваша настоящая причина отказа, или дело в ваших интуитивных ощущениях, или профессиональном взгляде на мир?» Более неудобные возможности лучше оставить на совести собеседника, это уже их область ответственности.

Связанные истины, заразная ложь

Элиезер Юдковский

«Но идеальный аналитик мог бы пойти дальше: по одному-единственному предмету или живому существу он способен не только представить себе всю вселенную, но и ее развитие — от начала до самого конца» — Первый Ленсмен.

«Но стоит любому из вас сосредоточить свою мысль на одном-единственном факте или на каком-нибудь маленьком предмете, например, на камешке, на семени растения или на каком-нибудь крошечном живом существе, хотя бы на короткое время, как вы начнете постигать изреченную мной истину» — Серый Ленсмен.

Я обоснованно уверен, что отдельный камень, взятый с одного из пляжей Земли, не указывает на континенты и страны, политиков и людей этой Земли. Другие планеты во времени и пространстве, другие ветви Эверетта, сгенерировали бы тот же камень. С другой стороны, сущность единичного камня похоже включала бы наши законы физики. В этом смысле цельность нашей вселенной — все ветви Эверетта — можно было бы вывести из этого камня. (Если бы, как похоже и есть, не было бы по-настоящему свободных переменных)

Так что единичный камень, возможно, не заключает в себе всю Землю. Но единичный камень заключает в себе немало. Из изучения этого камня вы можете вывести законы физики и то, что из них следует. Размышляя об этих законах, вы можете увидеть, как будут формироваться планеты, и можете предположить, с какого вида планет этот камень. Внутренние кристаллическая и молекулярная структура камня формируются под воздействием гравитации, что расскажет вам о массе планеты; смесь элементов в камне даст вам возможность узнать больше о формировании планеты.

Я не геолог, так что не могу говорить точно, но легко представляю как показываю камень геологу и говорю: «Этот камень с пляжа в Халф Мун Бэй», — и мне тут же отвечают «Странно» или «Вы лжете». Возможно это не такой камень или он недостаточно округлый, чтобы быть с пляжа — я не знаю камни в достаточной мере, чтобы предположить связи и признаки, по которым меня можно было бы уличить.

«Только Бог может солгать абсолютно правдиво». Я думаю, была ли религия, которая изрекла пословицу? Я (фальсифицируемо) предположил бы, что нет: это мнение рационалиста, даже если вы изрекаете это в теологическом смысле. Слова «все связано со всем, потому что Бог создал весь мир и поддерживает его» могут генерировать некоторые хорошие теплые чувства во время проповеди, но не дадут вам особо много, если вы пытаетесь определить по камням с каких пляжей они взяты.

Монетка на Земле оказывает гравитационное ускорение на Луну порядка 4,5⋅10−31м/с24,5⋅10−31м/с2, так что в некотором смысле будет не слишком неправильно сказать, что любое событие связано со всеми прошлыми событиями. И поскольку выводы могут распространяться назад и вперед через причинные сети, эпистемологические сцепленности могут легко пересекать границы светового конуса. Но я бы не хотел быть астрономом-криминалистом, который смотрит на Луну и пытается по ней узнать, выпала ли монетка орлом или решкой — влияние меньше чем квантовая неопределенность или термальный шум.

Если вы скажете «Все связано со всем» или «Все логически сцепленно и некоторые сцепленности намного сильнее прочих», вы, возможно, по-настоящему мудры вместо Глубокой Мудрости.

Физически каждое событие в некотором смысле является суммой прошлого светового конуса, без границ или ограничений. Но список значимых сцепленностей куда короче и это дает вам нечто вроде сети. Это высокоуровневая систематичность, на которую я ссылаюсь, когда говорю о Великой Сети Причинности.

Я использую эти Заглавные Буквы по большей части в шутку; но если бы что-либо заслуживало бы Заглавных Букв, то, конечно, Великая Сеть Причинности венчала бы список.

— Что за запутанную сеть мы плетем, когда в первый раз практикуем обман, — сказал сэр Вальтер Скотт. Не вся ложь вырывается из-под контроля — мы живем в ненастолько праведной вселенной. Но иногда происходит так, что некто лжет о факте и потом вынужден лгать о сцепленном факте, а потом еще об одном, который сцеплен с предыдущим:

— Ты где?

— Э, я в поездке по делам фирмы.

— Что за поездка?

— Не могу сказать, это частные переговоры с важным клиентом.

— Ух ты, они допустили тебя к таким переговорам? Отличные новости! Я должен позвонить твоему шефу и поблагодарить его за это.

— Жаль, но его сейчас нет в офисе….

Люди не боги и часто им не удается представить все факты, которые им понадобится исказить, чтобы получить правдоподобную ложь. «Бог сделал меня беременной» звучало бы правдоподобней в старые времена, когда наши модели мира еще не содержали сведений о «хромосомах». Многие подобные факты лжи сегодня могут не выдерживать проверки, когда генетические проверки стали распространенными. Насильников заключают под стражу, ложные обвинения раскрываются, годы спустя, на основании тех свидетельств, о которых они и не думали. Студент, изучающий эволюционную биологию может видеть почерк естественного отбора в каждом волке, который преследует зайца; и каждом зайце, который убегает; и каждой пчеле, которая жалит, вместо того, чтобы вежливо предупреждать — но уловки креационистов для самих креационистов звучат убедительно, я уверен.

Не вся ложь раскрывается, не все лжецы бывают наказаны; мы не живем в настолько праведной вселенной. Но не вся ложь так безопасна, как полагают лжецы. Как много грехов станут известны Байесовскому сверхинтеллекту, думаю я, если он проведет (не разрушив?) нанотехнологический скан всей Земли? Как минимум, вся ложь, для которой существует какое-либо свидетельство в любом мозгу. Некоторая такая ложь может раскрыться раньше других, если нейробиологи преуспеют в создании по-настоящему хорошего детектора лжи через моделирование мозга. Пол Экман (пионер в области изучения микродвижений лицевых мускулов) может возможно раскрыть немалую долю мировой лжи, если у него будет возможность.

Не вся ложь раскрывается, не все лжецы бывают наказаны. Но Великая Сеть обычно недооценивается. Просто знание, которое люди уже накопили, заняло бы много человеческих жизней, чтобы быть изученным. Любой, кто думает, что не являющийся Богом, может солгать идеально без всякого риска, недооценивает сцепленность Великой Сети.

Честность — лучшая политика? Не знаю, так ли это: даже моя этика иногда молчит. Но по сравнению с прямой ложью, честность или молчание вовлекают меньше рекурсивно распространяющихся рисков, которые вы берете, даже не зная этого.

О лжи и Черных Лебедях

Элиезер Юдковский

Судья Маркус Эйнфелд, 70 лет, Королевский адвокат с 1977 года, Живое Достояние Австралии 1997 года, лауреат премии мира ООН 2002 года, президент-основатель австралийской комиссии по правам человека и равным возможостям, ушедший на пенсию несколько лет назад, но регулярно привлекаемый для участия в особо важных делах…

был осужден на два года тюрьмы за серию попыток исказить ход судебного процесса и дачу ложных показаний, которая началась с попытки избежать штрафа в 36 фунтов за превышение скорости на 6 миль в час.

В предыдущем эссе изложена морализаторски звучащая теория о честных людях, которые не умеют лгать, о том, что все поступки оставляют где-нибудь следы, и о том, что ложь иногда заканчивается «Чёрным лебедем» в виде грандиозного провала. И в реальной жизни в самом деле случаются истории, которые этой теории соответствуют. Хотя из-за избирательного восприятия мы слышим только о таких громких, как история про Маркуса Эйнфелда.

Эпистемология темной стороны

Элиезер Юдковский

Если вы солжете однажды, правда навсегда станет вашим врагом.

Я ранее говорил об этом, что истина сцеплена, а ложь заразна. Если вы возьмете камень с дороги и скажете геологу, что нашли его на пляже — ну, знаете ли вы о том, что известно геологу? Я нет. Но могу подозревать, что обточенный водой камень не выглядит похожим на каплю застывшей лавы от извержения вулкана. Знаете ли вы откуда камень с вашей дороги взялся на самом деле? Вещи несут отметки от своих мест во вселенной, где действуют законы; в этой сети нет места лжи. (поправка: геологи в комментариях говорят, что большинство камней на дорогах родом с пляжей, так что они бы не смогли сказать, пляжный ли это камень или дорожный, однако распознали бы разницу между обычным камнем и взятым с дороги/пляжа. Наглядный пример…)

То, что звучит обыденной истиной для одного разума — что легко заменяется правдоподобной ложью — может быть связано десятками связей в глазах большего знания. Для креациониста, идея, что жизнь была кем-то создана, а не появилась в результате естественного отбора, может быть чем-то наподобие спортивной команды, за которую нужно болеть. Но с точки зрения биолога, чтобы правдоподобно солгать о том, что организм был сознательно кем-то разработан, придется лгать почти обо всех чертах организма. Чтобы правдоподобно солгать, что «людей» создал некто разумный, вам придется лгать о строении сетчатки, архитектуре мозга, белках, склеиваемых вместе слабыми силами Ван-дер-Ваальса, вместо сильных ковалентных связей…

Ну или вы можете просто солгать об эволюционной теории, что и является путем, который избирают большинство креационистов. Вместо того, чтобы лгать об отдельных узлах, которые связаны друг с другом, они лгут об общих законах, управляющих связями.

А чтобы прикрыть это, они лгут о правилах науки — наподобие того, что означает термин «теория» или что значат слова ученого о том, что он уверен не полностью.

Так они переходят от лжи про конкретные факты ко лжи про общие законы, а потом ко лжи про правила мышления. Чтобы лгать о том, эволюционируют ли люди, вы должны лгать об эволюции; а потом вам придется лгать о правилах науки, которая ограничивает наше понимание эволюции.

Но как еще? Точно так же, если бы человек принадлежал к созданным формам жизни, вам бы пришлось лгать о законах эволюции, чтобы сделать правдоподобным его появление; и точно так же креационистские убеждения сами по себе отделены от науки — вы не найдете в хорошо организованном разуме таких убеждений больше, чем пальм на леднике. И тогда вам приходится нарушать барьеры, которые ограничивают их появление.

Что приводит нас к случаю самообмана.

Единичная ложь, которую вы говорите себе, может показаться достаточно правдоподобной, когда вы не знаете правил мышления или даже о существовании таких правил; выбор кажется таким же оправданным, как выбор мороженого и отдельным от всего остального, как камень на пляже…

…а потом кто-то спрашивает о вашем убеждении, используя правила мышления, которые они изучали. Они спрашивают «А где свидетельства?»

И вы отвечаете «Что? Зачем мне свидетельство?»

Вам говорят «В общем, для убеждения требуется свидетельство.»

Этот аргумент, очевидно, солдат, сражающийся на другой стороне, которого вы должны победить. Так что вы возражаете: «Я не согласен! Не все убеждения требуют свидетельств. В частности, убеждения о драконах не требуют свидетельств. Когда речь заходит о драконах, можно верить во что хочется. Так что мне не нужны свидетельства, что у меня в гараже есть дракон.»

На что следует: «Э? Вы не можете просто исключить драконов таким образом. Есть причина для данного правила, что убеждение требует свидетельств. Чтобы нарисовать верную карту города, вы должны пройти по улицам и провести линии на бумаге, которые отразят то, что вы видите. Это не взятое просто так требование — если вы сидите у себя в комнате и рисуете случайные линии, карта будет неправильна. С невероятно высокой вероятностью. Точно так же как карта о драконах или о чем угодно.»

Теперь в качестве солдата другой стороны выступает объяснение почему убеждение требует свидетельств. И вы продолжаете: «Неправильна с невероятно высокой вероятностью? Но ведь шанс-то еще остается, а? Я не должен верить в нечто, что не является до конца определенным.»

Или возможно вы даже начинаете подозревать, сами, что «убеждения требуют свидетельств.» Но это угрожает той лжи, за которую вы цепляетесь; так что глубоко внутри себя вы отказываетесь от этого подозрения, словно бы заталкивая солнце обратно за горизонт.

Или же вы ранее уже слышали слова «убеждения требуют свидетельств» и это звучало достаточно мудро, чтобы повторить это на публике. Но вы никогда не использовали ее на себе, пока кто-то не предложил вам применить ее к вашему убеждению, что в вашем гараже есть дракон. Так что вы быстро думаете и выпаливаете «Дракон является отдельным случаем.»

Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете ее. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться (а может и нет) настоящим убеждением.

Единичная ложь, Которая Должна Быть Защищена, может блокировать чей-либо прогресс в продвинутой рациональности. Нет, это не безвредное удовольствие.

В мире, связанном куда в большей степени, чем это кажется на первый взгляд, существуют правила мышления, которые ограничивают убеждения сильнее, чем может подозревать непосвященный. Мир переплетен тесно и управляем общими законами, равно как и рациональные убеждения.

Подумайте, какова будет цена за отрицание эволюции или гелиоцентризма — все соединенные истины и управляющие законы, которые вам не позволено будет знать. Тогда вы можете понять, как единичный акт самообмана может блокировать целый мета-уровень поиска истины, как только ваш разум начинает бояться видеть связи. Запрещая все средние и высшие уровни рационального Искусства. Создавая на его месте громадный комплекс антизаконов, правил антимышления, общих оправданий для веры в неистинное.

Стивен Каас сказал: «Продвигать менее чем максимально точные убеждения — акт саботажа. Не делайте этого ни с кем, пока заодно не проколете им покрышки.» Давать кому-то ложное убеждение для защиты — убеждать их что убеждение само по себе должно быть защищено от любой мысли, которая угрожает ему — ну, вы не должны делать это ни с кем, пока заодно не делаете ему фронтальную лоботомию.

Как только вы солжете, правда становится вашим врагом; и каждая истина соединенная с этой и каждый союзник истины в общем; всему этому вы должны противостоять, чтобы защитить ложь. Лжете ли вы другим или себе.

Вы должны отрицать, что убеждения требуют свидетельств, после чего вам приходится отрицать, что карты должны отображать территорию, а затем — что истина это хорошо…

И так происходит переход на Темную Сторону.

Меня волнует то, что люди не знают об этом или знают в недостаточной степени — что если бы мы шли через человеческий мир, мы могли бы ожидать систематически встречать плохую эпистемологию.

Мемы о том, как мыслить, плавают вокруг, кэшированные мысли Глубокой Мудрости — некоторые из них будут хорошим советом, изобретенным рационалистами. Но другие изобретались для защиты лжи или самообмана: они происходят с Темной Стороны.

«У каждого есть право на свое мнение». Когда вы думаете об этом, откуда пошла эта поговорка? Это нечто, что кто-то мог бы сказать защищая истину или чтобы защититься от истины? Но люди не встрепенулись и не сказали «Ага! Я ощущаю присутствие Темной Стороны!» Насколько я могу сказать, не особо широко распространено понимание, что Темная Сторона вообще существует.

Но как еще? Обманываете ли вы других или только себя, Ложь Которую Нужно Защищать будет распространяться рекурсивно через сеть эмпирической причинности и сеть общих эмпирических правил и правил мышления как таковых и понимания того, что лежит за этими правилами. Если в мире есть хорошая эпистемология и ложь или самообман, которые люди пытаются защитить, то тогда появляется плохая эпистемология в противовес хорошей. Едва ли можно ожидать обнаружить в нашем мире, что есть Светлая Сторона и нет Темной; есть Солнце и то, что заслоняет его и создает маскирующую Тень.

Не подумайте, для этого вовсе не обязательно, чтобы люди были злыми. Большая часть тех, кто повторяет Глубокую Мудрость, в большей степени обманывают себя, нежели других, в большей части одурачены, чем лицемерны. Думаю так.

И конечно же моим намерением не было дать вам Полностью Универсальный Контраргумент, чтобы если кто-то предлагает вам какую-то эпистемологию, которая вам не нравится, вы бы говорили: «О, кто-то еще пал на Темную Сторону.» Одним из правил Светлой Стороны является то, что вы должны опровергать само положение, а не обвинять его изобретателя в плохих намерениях.

Но Темная Сторона существует. И страх является тем путем, что ведет к ней и единственное предательство заставит вас свернуть на него. Не все, кто носит робы являются Джедаями или их подделками; еще есть Лорды-Ситхи, мастера и их непреднамеренные ученики. Будьте осведомлены и осторожны.

Что же касается списка распространенных убеждений, порожденных Темной Стороной — не случайных ложных убеждений, не подумайте, а именно плохой эпистемологии, Общих Защит Лжи — ну, не могли бы взять этот удар на себя, дорогие читатели?

Против двоемыслия

Единомыслие

Элиезер Юдковский

Я отчетливо помню тот момент, когда начал свой путь рационалиста.

Нет, не читая «Конечно вы шутите, мистер Фейнман» или любую другую работу о рациональности; их я просто воспринял как очевидные. Путь рационалиста начинается, когда видишь огромный пробел в своих умениях и ощущаешь стимул их улучшить, чтобы создать новые навыки, выходящие за пределы тех полезных, но уже недостаточных вещей, которые можно почерпнуть из книг.

В последние моменты первого периода моей жизни (мне стукнуло пятнадцать) я самодовольно перебирал приятные воспоминания о том времени, когда был намного младше. Воспоминания о том периоде расплывчаты: мысленный образ есть, но сколько точно мне было лет, не скажу. Думаю, шесть или семь. Исходное событие произошло в летнем лагере.

Наш вожатый, парень-подросток, собрал нас, детей намного младше его, построил друг за другом и предложил следующую игру: мальчик, стоящий в конце колонны, должен был ползти у нас между ног, а мы бы шлепали его, когда он проползал под нами, потом наступала очередь следующего мальчика и т.д. (Возможно, я потерял бы при этом всего лишь детскую наивность, но я не мог перестать об этом думать…) Я отказался играть в игру, и меня поставили в угол.

Эта память — об отказе шлепать и быть отшлепанным — символизировала для меня то, что даже в раннем возрасте я не хотел получать удовольствие от причинения боли другим. Я не обменял бы шлепок другому на шлепок по мне; не оплатил бы болью возможность причинить боль другому. Я отказался играть в игру с отрицательной суммой.

Но потом, в пятнадцать, я внезапно понял, что данное воспоминание было неправдой. Я отказался не потому, что был принципиальным противником игр с отрицательной суммой. Я узнал о дилемме заключенного рано, но не в семь же лет. Я отказался просто потому, что не хотел, чтобы мне было больно. Постоять в углу было приемлемой платой за то, чтобы избежать боли.

Более важным было то, что я понял, что всегда знал это: настоящая память всегда была в каком-то из уголков моего сознания, мой ментальный взгляд задерживался на ней на долю секунды, а затем отворачивался.

На самом первом шаге по Пути я поймал то ощущение, сделав общий вывод из субъективного опыта, и сказал: «Так вот что чувствуешь, когда пытаешься запихнуть нежелательную правду на задворки сознания! Теперь я буду обращать на это внимание всякий раз и вычищу все уголки памяти!».

Эту дисциплину я назвал единомыслием по аналогии с оруэлловским двоемыслием. В двоемыслии вы забываете, а потом забываете о факте забывания. В единомыслии вы замечаете, что что-то забыли, а потом вспоминаете. Вы придерживаетесь единственной непротиворечивой мысли за раз.

«Единомыслие» было первым рациональным навыком, который я создал, а не вычитал в книгах. Не думаю, что был первым в смысле академического приоритета, но этого, к счастью, и не требовалось.

И да, в пятнадцать лет я любил давать вещам имена.

Конца-краю ужасающим глубинам предвзятости подтверждения не видно. Они не бесконечны, ибо сложность нашего мозга конечна, но достаточно велики, чтобы погружение в них показалось вечностью. Вы продолжаете обнаруживать всё новые механизмы (или читать о них), при помощи которых мозг прячет неудобные вещи в укромные уголки.

Но я, будучи юным, вымел несколько таких уголков своей первой метлой.

Двоемыслие (выбирая быть искаженным)

Элиезер Юдковский

В руке у О’Брайена появилась газетная вырезка. Секунд пять она находилась перед глазами Уинстона. Это была фотография — и не приходилось сомневаться, какая именно. Та самая. Джонс, Аронсон и Резерфорд на партийных торжествах в Нью-Йорке — тот снимок, который он случайно получил одиннадцать лет назад и сразу уничтожил. Одно мгновение он был перед глазами Уинстона, а потом его не стало. Но он видел снимок, несомненно, видел! Отчаянным, мучительным усилием Уинстон попытался оторвать спину от койки. Но не мог сдвинуться ни на сантиметр, ни в какую сторону. На миг он даже забыл о шкале. Сейчас он хотел одного: снова подержать фотографию в руке, хотя бы разглядеть ее.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он отошел.

В стене напротив было гнездо памяти. О’Брайен поднял проволочное забрало. Невидимый легкий клочок бумаги уносился прочь с потоком теплого воздуха: он исчезал в ярком пламени. О’Брайен отвернулся от стены.

— Пепел, — сказал он. — Да и пепла не разглядишь. Прах. Фотография не существует. Никогда не существовала.

— Но она существовала! Существует! Она существует в памяти. Я ее помню. Вы ее помните.

— Я ее не помню, — сказал О’Брайен.

Уинстон ощутил пустоту в груди. Это — двоемыслие. Им овладело чувство смертельной беспомощности. Если бы он был уверен, что О’Брайен солгал, это не казалось бы таким важным. Но очень может быть, что О’Брайен в самом деле забыл фотографию. А если так, то он уже забыл и то, как отрицал, что ее помнит, и что это забыл — тоже забыл. Можно ли быть уверенным, что это просто фокусы? А вдруг такой безумный вывих в мозгах на самом деле происходит? — вот что приводило Уинстона в отчаяние.

Джордж Оруэлл, «1984» (перевод В. П. Голышева)

Что, если самообман помогает нам быть счастливыми? Что, если избегание и преодоление искажений делает нас наоборот - несчастными? Конечно, настоящая мудрость была бы рациональностью второго порядка, когда можно было выбирать когда быть рациональным. Тогда вы могли бы решать, какие когнитивные искажения должны управлять вами, для максимизации своего счастья.

Даже если оставить в стороне моральный аспект, я сомневаюсь, что такой безумный вывих в мозгах мог бы на самом деле произойти.

Рациональность второго порядка подразумевает, что в некоторый момент вы должны подумать: «А теперь я, чтобы сделаться счастливым, иррационально поверю, что выиграю в лотерею». Но у нас нет такого прямого контроля над нашими убеждениями. Вы не можете заставить себя поверить в то, что небо зеленое, усилием воли. Вы могли бы поверить, что верите, однако я только что усложнил вам задачу, указав на различие (всегда пожалуйста!). Вы даже можете верить, что счастливы и что обманули себя; но на самом деле не будете счастливы и самообмануты.

Чтобы рациональность второго порядка была подлинно рациональной, сначала потребовалась бы хорошая модель реальности для экстраполяции последствий рациональности и иррациональности. Если потом вы выберете иррациональности первого порядка, то вам понадобиться забыть эту точную картину мира. А затем забыть сам акт забывания. Я не подвержен логическому заблуждению обобщения на основе вымышленного свидетельства, но думаю, что Оруэлл проделал хорошую работу по экстраполяции того, куда ведет этот путь.

Вы не можете осознать последствия пребывания под властью искажений, пока не сумеете выйти из-под нее. А тогда будет слишком поздно для самообмана.

Другая альтернатива — слепой выбор, при котором вы придерживаетесь искажений без ясного представления о последствиях. Но это не рациональность второго порядка. Это упрямое пребывание в глупости.

Иррациональный оптимизм относительно своих водительских навыков позволит вам быть беспечно счастливым там, где других прошибет пот от страха. Вам не придется терпеть неудобство ремня безопасности. Вы будете беспечно счастливым день, неделю, год. А потом БАХ! И остаток жизни будете изнывать от желания почесать фантомную конечность. Или будете парализованы ниже шеи. Или мертвы. Необязательно случится так, но эта ситуация возможна, вопрос в том, насколько она вероятна? Вы не можете ответить на этот вопрос рационально, пока не узнаете реальный уровень своих водительских навыков и не поймете, какой опасности себя подвергаете. Вы не можете ответить на этот вопрос рационально, пока не узнаете о таких искажениях, как отрицание вероятности.

Не имеет значения сколько дней пройдут в блаженном неведении, достаточно будет единичной ошибки, чтобы аннулировать человеческую жизнь, чтобы перевесить все монетки, собранные вами на рельсах глупости.

Один из ключевых советов, которые я даю целеустремленным рационалистам, заключается в следующем: «Не пытайтесь быть умными». И ещё: «Прислушивайтесь к этим тихим надоедливым сомнениям». Если вы что-то не знаете, тогда вы не знаете, что именно вы не знаете, как много вы не знаете и сколько вам на самом деле нужно узнать.

Не существует рациональности второго порядка. Есть только слепой прыжок, который может закончиться в яме с раскаленной лавой (а может и не закончиться). И если вы уже знаете о конечном пункте прыжка, уже поздно зажмуривать глаза.

Но люди пренебрегают этим, поскольку они не знают, чего они не знают. К неизвестным переменным, если неизвестно даже об их существовании, невозможно получить доступ. Люди не сосредотачиваются на пустой области карты, а просто считают ее пустой территории. Когда они рассматривают возможность слепого прыжка, они ищут в памяти опасности и не обнаруживают на пустой карте ям с лавой. Так почему бы не прыгнуть?

Был там. Пробовал. Обжегся. Не пытайтесь быть умными.

Однажды в разговоре с подругой я поделился подозрениями о том, что счастье глупости сильно переоценено. Но она потрясла головой и серьезно сказала: «Нет, нет, совсем нет».

Возможно, существуют счастливые глупцы. Возможно, они счастливей вас. Жизнь несправедлива и нельзя стать счастливее, завидуя тому, чего у тебя нет. Подозреваю, что подавляющее большинство читателей блога «Overcoming Bias» не смогут достичь счастья глупости, даже если попытаются. Этот путь закрыт для вас. Вы никогда не сможете достичь нужной степени невежества, не сможете забыть что знаете, не можете перестать видеть то, что видите.

Счастье глупости закрыто для вас. Вы никогда его не получите без повреждения мозга и даже с ним скорее всего нет. Думаю, вам следует задаться вопросом, оптимально ли счастье глупости (если это наибольшее счастье, к которому может стремиться человек), но ответ на него не важен. Этот путь для вас закрыт, даже если он когда-нибудь появится.

Все, что вам теперь осталось, — это стремиться к тому счастью, которого может достичь рационалист. Я думаю, что в конечном счете оно может оказаться даже больше. Есть строго определенные пути и свободные пути; плато для отдыха и горы для преодоления; и если подъем занимает больше усилий, покоренная вершина оказывается более высокой.

Также в жизни есть нечто большее, чем счастье; и при принятии решений вы можете учитывать чужое, а не свое счастье.

Но это не имеет практического применения. Когда вы осознаете наличие выбора, выбора уже нет. Вы не можете перестать видеть то, что видите. Другой путь закрыт.

Серьёзно, я обманул себя

Элиезер Юдковский

Я недавно говорил с женщиной, которая… сложно описать что. Формально она ортодоксальная еврейка. Ещё она очень умна, знакома с некоторыми археологическими доказательствами, опровергающими её религию, а также стандартными поверхностными аргументами против иудаизма. Например, она знает, что Мордекай, Хаман и Вашти не были найдены в персидских исторических записях, зато в древней Персии существовала легенда о вавилонских богах Мардуке и Иштар и враждующих с ними эламских богах Хуммане и Вашти. Она знает это и тем не менее справляет Пурим. Наверное, она одна из тех умных но религиозных людей, которые варятся в своих противоречиях, дёргаясь и выдумывая причины, пока изнанка их мозга не начинает выглядеть, как картина Эшера.

Большинство людей такого типа притворяются, что они слишком мудрые, чтобы говорить с атеистами, но она согласилась пообщаться со мной несколько часов. В результате я, наконец, понял по крайней мере ещё одну вещь о самообмане, которую я никогда раньше явно не высказывал, а именно, что не нужно действительно обманывать себя, пока ты веришь, что ты обманул сам себя. Назовём это «верой в самообман».

Когда эта женщина ходила в старшую школу, она считала себя атеисткой. Но потом она решила, что должна вести себя, будто верит в бога. Затем — говорила она убедительно — со временем, она действительно поверила в бога. Из того, что я понял, это абсолютная неправда. В течение нашего разговора она всё время повторяла, снова и снова: «Я верю в бога», — но ни разу: «Бог есть». Когда я её спросил, почему она верит, она ни разу не упомянула о последствиях существования бога, только о последствиях веры в бога. Никогда: «Бог поможет мне», — всегда: «Моя вера в бога поможет мне». Когда я ей явно сказал: «Если кто-то просто захочет узнать истину и посмотрит на нашу Вселенную, как она есть, он даже не рассмотрит бога как гипотезу», — она мгновенно согласилась.

Она не заставила себя на самом деле верить в бога или в истинность иудаизма. Даже не близко, как я смог заметить. С другой стороны, она действительно верит в то, что обманула себя. Так что хоть она не получает никакой пользы от веры в бога — потому что не верит в него — она честно полагает, что хитростью заставила себя верить в бога, и честно ожидает получить бонусы от такого самообмана, таким образом создавая эффект плацебо вместо настоящей религиозности.

Это объясняет, почему она так рвалась убедительно защищать мои скептические предположения о её вере в бога, ни разу при этом не сказав: «А, и кстати, бог на самом деле существует», — или хотя бы не показавшись действительно заинтересованной в этом утверждении.

Вера в самообман

Элиезер Юдковский

Я рассказывал о моём разговоре с формально ортодоксальной иудейкой, которая живо защищала утверждение, что она верит в бога, при этом не проявляя, собственно, веры в бога.

Задавая ей вопросы о плюсах, которые, как она думала, получала от веры, я познакомил её с литанией Тарского, которая на самом деле является бесконечным семейством литаний вида:

Если небо синее, я хочу верить, что «небо синее».

Если небо не синее, я хочу верить, что «небо не синее».

«Это не моя философия», — сказала она.

«Я и не предполагал этого», — я ответил. — «Я просто спрашиваю; предполагая, что бог не существует, и это известно, должна ли ты верить в бога?»

Она колебалась. Было видно, что она пытается действительно подумать об этом, что меня удивило.

«Ну это гипотетический вопрос…» — произнесла она медленно.

Тогда я подумал что ей должно быть сложно позволить себе представить визуализировать мир, где бога нет, из-за её привязанности к миру с существующим богом.

Сейчас же я подозреваю, что ей скорее было трудно уловить разницу между тем как выглядел мир с существующим и несуществующим богом, потому что все её мысли были о её вере в бога, но причинно-следственный блок в её мозге не содержал узла «бог». Так что она могла легко ответить на вопрос: «Как бы выглядел мир, если бы ты не верила в бога», — но не на вопрос: «Как бы выглядел мир, если бы в нём не было бога?»

Она не ответила на этот вопрос в тот раз. Зато она предложила контрпример к литании Тарского:

Она сказала: «Я верю, что люди добрее, чем они есть».

Я попытался объяснить ей, что если она говорит: «Люди злые», — это на самом деле означает, что она верит, что люди злые, а если она говорит: «Я верю, что люди добрые», — это показывает, что она верит, что она верит, что люди добрые. Отсюда выходит, что «Люди злые, но я верю, что люди добрые» переводится как «Я верю, что люди злые, но я верю, что я верю, что люди добрые».

Я процитировал:

«Если бы существовал глагол со значением „ложно верить“, он бы не имел осмысленного употребления от первого лица настоящего времени изъявительного наклонения», — Людвиг Витгенштейн.

Она ответила, улыбаясь: «Да, я действительно верю, что люди действительно добрее, чем они на самом деле являются. Я просто подумала, что так понятнее для тебя».

«Мне кажется Матушка Ветровоск должна хорошенько взглянуть на тебя, Уолтер», — сказала Нянюшка Ягг. — «Я думаю, что твой разум спутан, как клубок пряжи, который уронили», — Терри Пратчетт, «Маскарад».

И я могу даже явно напечатать мысль: «Ладно, предположим, что она не считает, что её размышления должны быть согласованы при их обдумывании», — но я до сих пор не могу уловить их смысл.

Я могу понять значение произносимых ею слов, но я не могу понять смысл на эмпатическом уровне. Я могу представить себя на месте детопожирающих пришельцев и Леди Кирицугу Третьей, но я не могу представить, каково быть ей. Или просто не хочу?

Вот почему сообразительные люди могут выдержать только конечное субъективное количество времени, затраченное на мысли о религии, перед тем как стать атеистами. После определённого порога, если ты умён, но, защищая свою религию, не избежал когтей эпистемологии Тёмной стороны, то твой разум станет похож на картину Эшера. (Один из немногих моментов, которые заставили её остановиться и подумать — упоминаю на случай, если вам подвернётся возможность использовать этот приём — это когда она говорила о том, как приятно верить, что кому-то не всё равно, хорошо или плохо ты поступаешь, вне зависимости правда это или нет — не выражая явно, существует ли в действительности бог, которому не всё равно, делаешь ли ты правильные вещи или нет (это не было частью её веры).

И я ответил: «Но мне не всё равно хорошо или плохо ты поступаешь. То есть ты говоришь, что это недостаточно, и тебе нужно знать, что есть сущность выше человечества, которой было бы это важно». Это остановило её на секунду, потому что, разумеется, она никогда не думала в этом ключе. Просто стандартный приём из нестандартного набора.

Позже в некоторый момент я спросил её, было бы хорошо делать что-то по-другому, если бы стало известно, что бога точно не существует, и в этот раз она ответила: «Нет».

«Итак», — скептически спросил я, — «существует бог или нет, это не оказывает абсолютно никакого эффекта на то, как следует вести себя людям? Я думаю, даже рабби бы отнёсся недоверчиво к такой точке зрения».

Её религия представляла собой одно лишь поклонение поклонению. Как раньше истинные верующие верили, что всевидящий отец всего живого спасёт их, так она верит, что вера в бога спасёт её.

После того как она сказала: «Я верю, что люди добрее, чем они есть», — я спросил: «Значит, ты постоянно удивляешься, когда люди не соответствуют твоим ожиданиям?» После длинной паузы, она медленно ответила: «Ну… удивлена ли я, когда люди… не соответствуют моим ожиданиям?»

Я не понял смысл этой паузы во время разговора. Я намеревался сказать, что если она постоянно разочаровывается реальностью, то это скорее всего просто недостаток неверных убеждений. Но вместо этого, мне показалось, её застал врасплох подтекст отсутствия у неё удивления.

Теперь я понимаю, что вся её философия зиждилась на вере, что она обманула себя, и возможность, что её настоящая оценка поведения людей была точной, угрожала эпистемологии Тёмной стороны, возведённой вокруг убеждений вроде «Я получаю пользу от веры, что люди добрее, чем они есть».

Она сняла старого идола с трона и заменила его явным поклонением тёмной эпистемологии, которую однажды изобрела, чтобы защищать идола; она поклоняется её же попытке самообмана. Попытка провалилось, но она честно не знает об этом.

Теперь образцовые стражники здравого смысла (девиз: «Обламываем вашу мелкую безумную братию со времён Эпикура») должные бороться ещё и активным поклонением самообману, поклонением предполагаемой пользе веры, вместо бога.

На самом деле это объясняет один факт обо мне самом, который я не совсем понимал ранее. Причина, по которой меня так раздражает, когда люди говорят, будто самообман — это просто, и почему я пишу целые эссе на тему, почему сделать мысленный выбор верить, что небо зелёное, и остаться без каши в голове сложнее, чем думают люди.

Потому что, хоть и нельзя просто так выбрать верить, что небо зелёное, если ты этого не сознаёшь, ты можешь на самом деле обмануть себя в том, что ты успешно обманул себя.

И раз уж ты искренне веришь, что получишь определённую пользу от самообмана, ты действительно получишь такой же плацебо-эффект, какой бы получил от успешного самообмана.

Так что когда я объяснял, насколько сложен самообман, я скорее критиковал плацебо-пользу, которую получали бы люди от веры в успешность этого действия, целясь в новый тип религии, который поклоняется поклонению богу.

Интересно, породит ли эта битва, новый список причин, почему не вера а вера в веру сама по себе - хорошая вещь? Почему люди выискивают великую пользу от почитания факта почитания определённой вещи? Придётся ли нам продолжать цепочку с верой в веру в веру и поклонением поклонению поклонению? Или разумные теисты не будут плодить сущности?

Хотел бы я верить, что никто не будет верить в веру в веру в веру, но аргумент мира зомби в философии ещё более запутанный чем это, и его сторонники всё ещё не забросили его.

Парадокс Мура

Элиезер Юдковский

Парадокс Мура это стандартный термин для выражения «За окном идёт дождь, но я в это не верю». Снимаю шляпу перед painquale на MetaFilter.

Я думаю, я стал понимать парадокс Мура немного получше, после того как прочитал некоторые комментарии на Less Wrong. Jimrandomh подсказывает:

Многие люди не могут разделить разные уровни косвенности. Для них «Я верю в X» и «X» это одно и то же. Следовательно, причины, почему полезно верить в X, это те же причины, почему X - истина.

Я не думаю, что это правда. Сравнительно маленькие дети могут понять концепцию ложного убеждения, которая требует раздельных ментальных вёдер для карты и территории. Но эта мысль указывает в направлении похожей идеи:

Многие люди не могут сознательно различить веру во что-то и поддерживание чего-то.

В конце концов, «Я верю в демократию» в разговорной речи означает, что ты поддерживаешь концепцию демократии, а не веру в то, что демократия существует. Слово «вера», таким образом, имеет более одного значения. Может, запутанные словапорождают путаницу в мыслях, а может, они просто отображают уже существующую путаницу.

Отсюда, в исходном примере: «Я верю, что люди добрее, чем они есть», женщина, с которой я разговаривал, выдумала несколько причин, почему хорошо верить, что люди добрые - польза для психического здоровья и прочее - и так как эта мысль вызывала тёплый отклик в её сознании, она исследовала его и заключила:

«Я верю, что люди добрые». Таким образом, она перенесла положительное чувство, связанное с поддерживаемым убеждением, на сигналирование веры в это заявление. В то же время, сам окружающий мир выглядит, будто люди не такие уж добрые. Поэтому она сказала: «Я верю, что люди добрее, чем они есть».

И это граничит с честной ошибкой - или вроде того - так как обычно людей не учат явно определять, как это выглядит, когда они во что-то верят. Как в притче о драконе в гараже; человек, который говорит: «В моём гараже есть дракон, но он невидимый», - не понимает, что его ожидание не увидеть дракона показывает, что на самом деле он поддерживает (точную) модель мира без дракона в ней.

Не то чтобы люди тренируются распознавать, когда они во что-то верят.

Не то чтобы их кто-то учил в старшей школе: «Когда вы действительно верите во что-то - это утверждение в вашем активном наборе убеждений - это выглядит будто мир такой и есть. Вы должны распознавать это чувство, которое и есть настоящее (без кавычек) убеждение, и отделять его от приятных ощущений от веры во что-то, которую вы распознаёте как веру во что-то; это есть просто „вера“ (с кавычками)». Такой подход к обучению позволил бы сделать пример парадокса Мура из жизни намного менее философски чуждым, и дало бы ещё один механизм при помощи которого люди могли бы быть одновременно и правы и неправы.

Как Kurige, который писал:

Я верю, что существует бог, и что он вселил в нас чувство правильного и неправильного, с помощью которого мы можем оценивать мир вокруг нас. Также я верю, что чувство морали было эволюционно запрограммировано в нас - чувство морали, которое скорее всего стало результатом метаполитических игр в популяциях бонобо много-много лет назад.

Эти два убеждения не противоречат друг другу, но сложно сшить их в одну философию.

Подозреваю, Kurige решил, что у него есть причины поддерживать убеждение, что бог внушил нам внутреннее чувство добра и зла. А также, что он должен следовать вердикту науки. И научное и религиозное сообщества кажутся весьма достойными, правда? Есть же плюсы в каждом наборе убеждений? При рефлексии можно обнаружить, что и то и другое даёт положительные эмоции?

Но он не сказал: «Бог вселил в нас чувство правильного и неправильного, а чувство морали было эволюционно запрограммировано в нас. Оба состояния реальности одновременно нестабильны, сложно их сочетать».

Если ты читаешь это, Kurige, попробуй быстро сказать эту фразу вслух, чтобы заметить, что её немного сложнее проглотить. Заметь субъективную разницу до того как займёшься рационализацией.

Это и есть субъективная разница между «иметь причины поддерживать обе точки зрения» и «иметь в мыслях единую модель мира».

Не верь, что самообман удался

Элиезер Юдковский

Не хочу, чтобы показалось, будто я придираюсь к Kurige, но думаю, что следует ожидать определённого потока вопросов, если ты показываешься на Less Wrong и делаешь заявления вроде

Идея, которая позволила мне объяснить несоответствия, которые я чувствую, когда говорю с другими христианами — это мысль, что где-то на пути к моему текущему мировоззрению я сделал большой скачок от слепой веры к чему-то вроде Оруэлловского двоемыслия.

«Если ты знаешь, что это двоемыслие… как ты можешь всё ещё в него верить?» — не могу я не спросить.

Или:

я выбрал верить в существование бога — сознательно и преднамеренно. И это моё решение, как бы то ни было, не имеет абсолютно никакого эффекта на действительное существование бога.

Если ты знаешь, что твоё убеждение никак не коррелирует с реальностью, как ты всё ещё можешь его придерживаться?

Не должно ли осознание нутром «Стойте-ка, небо на самом деле не зелёное» сразу следовать за мыслю «Моя карта, утверждающая „небо зелёное“, не имеет никаких причин соответствовать территории»?

Ну… видимо нет.

По крайней мере частью этой загадки может быть моё объяснение парадокса Мура («На улице дождь, но я не верю в это») — что люди внутренне принимают положительные ассоциации, связанные с утверждением, за настоящую достоверность.

Но другая часть того, чем это просто могло быть (в противоположность негодованию, которое я изначально хотел сюда поместить) — действительная лёгкость застрять на шаге: «Карта, отражающая территорию, сказала бы „X“» — не перейдя к действительной убеждённости в „X“. Потребуется немного потрудиться, чтобы объяснить идеи о разуме как строителе картотерриториальных связей, и даже тогда, чтобы понять смысл нутром, может потребоваться больше работы.

Теперь я понимаю, что когда писал: «Вы не можете заставить себя верить, что небо синее, усилием воли», — я не был лишь беспристрастным обозревателем существующих фактов, а также пытался внушить самоисполняющееся пророчество.

Наверное, было бы мудрым решением повторять себе: «Я не смогу безнаказанно пользоваться двоемыслием! Глубоко внутри, я знаю, что это неправда! Если я узнаю, что у моей карты нет причин коррелировать с территорией, я не буду верить ей!»

Потому что так — если когда-нибудь появится соблазн попытаться обмануть себя — мысли «Но я же знаю, что это не правда!» и «Я не могу обмануть себя!» будут постоянно приходить на ум, и вы в самом деле с меньшей вероятностью преуспеете в самообмане. Вы с большей вероятностью поймёте на уровне подсознания, что убеждение себя в X не сделает X истиной.

Если вы будете говорить себе, что не можете преднамеренно поверить, что небо зелёное, тогда вы с меньшей вероятностью обманете себя на том или ином уровне: на уровне действительной веры во что-то или попадания в ловушку парадокса Мураверы в веру или веры в самообман.

Если вы будете повторять, что в глубине души вы будете знать правду…

Если вы будете повторять, что можете просто глядеть на хитро сконструированную ложную карту, и знать, что она ложная, не ожидая никакой корреляции с территорией, и следовательно, не смотря на всю причудливость сооружения, не будете вкладывать в неё доверия…

Если вы будете повторять, что согласованность с реальным миром победит и не позволит вам верить в придуманные вещи на объектном уровне, как только вы придёте к мета-уровневому осознанию, что карта не отражает территорию, тогда положение дойдёт до критического момента и вы в самом деле можете не суметь с ним справиться.

Когда дело доходит до умышленного самообмана, вы должны верить в собственное неумение этого делать!

Скажите себе, что попытка обречена — и она будет!

Это сила позитивного мышления или сила негативного мышления?

В любом случае, кажется, что это мудрая предосторожность.

Свежий взгляд на вещи

Якорение и корректировка

Элиезер Юдковский

Предположим, я у вас на глазах раскручиваю рулетку и выпадает число 65. После чего я спрашиваю: «Как вы думаете, процент африканских стран в ООН больше этого числа или меньше? Какова вообще доля африканских стран в ООН?» Попробуйте немного подумать над этими вопросами, только, пожалуйста, без Гугла.

А ещё попробуйте за 5 секунд примерно оценить результат следующего арифметического выражения. 5 секунд. Готовы? Внимание… время пошло!

1⋅2⋅3⋅4⋅5⋅6⋅7⋅81⋅2⋅3⋅4⋅5⋅6⋅7⋅8

Тверски и Канеман изучали, какие ответы дают люди в зависимости от того, какие числа они видят на рулетке1. Медианная оценка тех, у кого выпадало число 65, равнялась 45%. Для тех, у кого выпадало 10, медианная оценка равнялась 25%.

В настоящее время результаты этого эксперимента и ему подобных объясняются тем, что испытуемые берут начальное — неинформативное — число в качестве стартовой точки (или «якоря»), а затем корректируются в большую или меньшую сторону, пока не получат ответ, который будет «звучать правдоподобно». На этом корректировка заканчивается. Обычно люди корректируются недостаточно — более удалённые от «якоря» числа тоже могут выглядеть «правдоподобно», но люди останавливаются на первом ответе, который кажется удовлетворительным.

Аналогично, у студентов, которым показали произведение 1⋅2⋅3⋅4⋅5⋅6⋅7⋅81⋅2⋅3⋅4⋅5⋅6⋅7⋅8, медианной оценкой было 512, а у студентов, которым показали произведение 8⋅7⋅6⋅5⋅4⋅3⋅2⋅18⋅7⋅6⋅5⋅4⋅3⋅2⋅1, медианная оценка равнялась 2250. Это объясняется гипотезой, что студенты пытались перемножать (или прикидывать) результаты произведения первых сомножителей, а затем корректировались в большую сторону. В обоих случаях корректировка оказалась недостаточной — верный ответ равен 40320. Но ответы первой группы оказались хуже, потому что они отталкивались от меньшего «якоря».

Тверски и Канеман утверждают, что, даже когда людям предлагают награду за большую точность, эффект якорения не уменьшается.

Страк и Муссвайлер задавали людям вопрос, в каком году Эйнштейн в первый раз посетил США2. Обнаружилось, что совершенно неправдоподобные якоря, такие как 1215 или 1992, дают такой же эффект, как и более правдоподобные, такие как 1905 или 1939.

Эффект якорения часто используется при обсуждении заработной платы и при покупке машины. Я не призываю вас самих им пользоваться, но рекомендую следить, чтобы его не использовали против вас.

И главное: наблюдайте за своими мыслями, старайтесь замечать, когда вы корректируетесь в поисках ответа.

Способов противодействия якорению с доказанной эффективностью пока не обнаружено. Я бы предложил использовать следующие два. Во-первых, если первоначальное предположение выглядит неправдоподобным, попытайтесь полностью его отбросить и получить новую оценку, а не корректируйтесь относительно «якоря». Однако, этого может быть недостаточно — когда испытуемым говорили избегать якорения, судя по всему, это им не удавалось3. Поэтому, во-вторых, даже когда вы используете первый метод, пытайтесь также придумать «якорь» с противоположной стороны — «якорь», который явно слишком мал или слишком велик (в зависимости от того, велик или мал изначальный «якорь») — и немного подумайте о нём.

1.Amos Tversky and Daniel Kahneman, «Judgment Under Uncertainty: Heuristics and Biases», Science 185, no. 4157 (1974): 1124–1131, doi:10.1126/science.185.4157.1124.

2.Fritz Strack and Thomas Mussweiler, «Explaining the Enigmatic Anchoring Effect: Mechanisms of Selective Accessibility», Journal of Personality and Social Psychology 73, no. 3 (1997): 437–446.

3.George A. Quattrone et al., «Explorations in Anchoring: The Effects of Prior Range, Anchor Extremity, and Suggestive Hints» (Unpublished manuscript, Stanford University, 1981).

Прайминг и контаминация

Элиезер Юдковский

Предположим, вы просите людей нажимать одну клавишу, если строка из букв представляет собой слово, и другую клавишу, если строка не является словом (например, «вывеска» и «выверк»). Потом вы показываете им слово «вода». После этого люди опознают строку «пить» как слово гораздо быстрее. Это явление известно как «когнитивный прайминг». Конкретно эту форму можно назвать «семантический прайминг» или «концептуальный прайминг».1

Самое интересное в прайминге — это то, что он работает на очень низком уровне. Прайминг ускоряет идентификацию букв как слова, при том, что естественно было бы ожидать, что человек сначала опознаёт буквы как слово, а только потом понимает смысл этого слова.

Прайминг также показывает масштабность процесса параллельно активирующихся цепочек ассоциативных связей. Если при виде слова «вода» активируется слово «пить», то, скорее всего, активируются и слова «река», «чашка», «всплеск»… И эта активация распространяется через семантическую связь концептов, действуя начиная с распознавания строчек из букв.

Прайминг происходит подсознательно и его невозможно остановить, это артефакт человеческой нейронной архитектуры. Пытаться остановить прайминг у себя всё равно что пытаться остановить активацию собственных нейронных цепей. Попробуйте вслух произнести цвет — не значение, а именно цвет — следующего набора букв:

Зелёный

В исследовании Массвайлера и Страка испытуемым задавали вопрос (подразумевавший якорение): «Ежегодная средняя температура в Германии выше или ниже 5 градусов/20 градусов?»2 В дальнейшем, при выполнении задачи на распознание слов, описанной выше, испытуемые, которым задавали вопрос, где фигурировало «5 градусов», быстрее опознавали слова наподобие «холодно» или «снег», а те, кто отвечал на формулировку с 20 градусами, быстрее узнавали «тепло» и «солнце». Это показывает некорректируемый при якорении механизм: прайминг сходных мыслей и воспоминаний.

Более общие результаты исследований прайминга показывают, что даже совершенно неинформативная, очевидная ложь или совершенно посторонняя «информация» могут влиять на оценки и решения. В области эвристик и искажений данное общее явление известно как контаминация.3

Ранние исследования в области эвристик и искажений продемонстрировали эффекты якорения. Например, испытуемые оценивали процент африканских стран в ООН ниже(выше), в зависимости от того, спрашивали ли их перед этим, больше или меньше ли этот процент, чем 10 (65). Этот эффект изначально объяснялся тем, что испытуемые брали «якорь» как стартовую точку, а потом корректировали свой ответ и прекращали корректировку сразу же, когда достигали какого-то правдоподобного значения — останавливались на одном из концов доверительного интервала.4

Судя по всему, ранняя гипотеза Тверски и Канемана верно объясняла явление в некоторых случаях, особенно когда испытуемые сами определяли начальные значения.5 Но, похоже, современные исследования показывают, что в большинстве случаев якорение вызывается контаминацией, а не недостаточной корректировкой. (Спасибо анонимному читателю за напоминание — много лет назад я читал статью Эпли и Гиловича, как главу в «Правилах и предубеждениях», но совершенно забыл о ней.)

Скорее всего, в супермаркете, куда вы ходите, есть раздражающие таблички, на которых написано: «не более 12 в одни руки» или «5 штук за 10$». Успешно ли эти таблички заставляют посетителей покупать больше? Вероятно, вы думаете, что на вас такие трюки не действуют. Но известно, что такие таблички работают — именно поэтому магазины их и используют.6

И всё же самое ужасное в контаминации — то, что она является ещё одним из тысячиобликов предвзятости подтверждения. Когда идея попадает человеку в голову, она влияет на всю связанную с ней информацию — и тем самым способствует своему дальнейшему существованию. Выработанное средой стремление побеждать в политических дебатах тут уже не важно. Предвзятость подтверждения напрямую встроена в наше «железо», ассоциативные сети влияют на все связанные мысли и воспоминания. Печальный побочный эффект нашей нейронной архитектуры.

Мимолётного образа может быть достаточно для быстрого распознавания связанных с ним слов. Этого уже хватит, чтобы запустить предвзятость подтверждения. Один миг - и нижняя строчка уже определена, поскольку мы меняем своё мнение реже чем нам кажется.

1.Нобелевский лауреат публично признал ошибки — Прим.перев.

2.Thomas Mussweiler and Fritz Strack, «Comparing Is Believing: A Selective Accessibility Model of Judgmental Anchoring», European Review of Social Psychology 10 (1 1999): 135–167, doi:10.1080/14792779943000044.

3.Gretchen B. Chapman and Eric J. Johnson, «Incorporating the Irrelevant: Anchors in Judgments of Belief and Value», in Gilovich, Griffin, and Kahneman, Heuristics and Biases, 120–138.

4.Tversky and Kahneman, «Judgment Under Uncertainty.»

5.Nicholas Epley and Thomas Gilovich, «Putting Adjustment Back in the Anchoring and Adjustment Heuristic: Differential Processing of Self-Generated and Experimentor-Provided Anchors», Psychological Science 12 (5 2001): 391–396, doi:10.1111/1467-9280.00372.

6.Brian Wansink, Robert J. Kent, and Stephen J. Hoch, «An Anchoring and Adjustment Model of Purchase Quantity Decisions», Journal of Marketing Research 35, no. 1 (1998): 71–81, http://www.jstor.org/stable/3151931 .

Мы верим всему, что нам говорят?

Элиезер Юдковский

В некоторых из ранних экспериментов по якорению и корректировке проверялось, ухудшится ли у испытуемых качество корректировки (и, как следствие, увеличится ли влияние «якоря»), если их отвлекать — например, испытуемых просили отыскивать среди многих цифр «пятёрку», обеспечивая тем самым им когнитивную «нагрузку». Судя по всему, большинство экспериментов подтвердили точку зрения, что когнитивная нагрузка усиливает эффект якорения и, в общем случае, контаминацию.

Когда Дэниэл Гилберт изучал накапливающиеся результаты экспериментов — всё больше и больше подтверждений контаминации, которую усиливала когнитивная нагрузка — ему пришла в голову поистине безумная гипотеза: Мы верим вообще всему, что нам говорят?

Естественно было бы предположить, что, когда мы слышим некое утверждение, мы сперва понимаем его суть, затем размышляем над ним, и в итоге принимаем его или отвергаем. Такая напрашивающаяся модель познавательного процесса предлагалась ещё Декартом. Но оппонент Декарта — Спиноза — возражал: по его мнению, мы в процессе понимания утверждения сперва пассивно принимаем его, и только затем активно отказываемся от утверждений, которые отвергаем в процессе размышлений.

На протяжении нескольких последних веков философы в основном придерживались точки зрения Декарта, поскольку она казалась, ну вы понимаете — более логичной и интуитивно понятной. Но Гилберт придумал способ экспериментально проверить гипотезы Декарта и Спинозы.

Если Декарт прав, то отвлечение испытуемых помешает им как принимать истинные утверждения, так и отвергать ложные. Если прав Спиноза, то отвлечение испытуемых приведёт к тому, что они будут чаще принимать ложные утверждения за истинные, но не станут чаще принимать истинные утверждения за ложные.

Исследование Гилберта, Крула и Мэлоуна подтвердило точку зрения Спинозы. Испытуемым показывали новые для них утверждения с пометками ИСТИННО или ЛОЖНО. В результате испытуемые примерно одинаково точно опознавали истинные утверждения (55% утверждений было опознано правильно, если испытуемых не отвлекали и 58%, если отвлекали). Однако, отвлечение влияло на идентификацию ложных (55% было опознано правильно, когда испытуемых не отвлекали, и 35%, когда отвлекали).1

Последующие эксперименты Гилбера, Тафароди и Мэлоуна2 дали ещё более поразительные результаты. Испытуемые зачитывали вслух с монитора отчёты о преступлениях. В тексте цветом помечалось, является ли конкретное утверждение истинным или ложным. Некоторые отчёты содержали ложные утверждения, усугубляющие тяжесть преступления, некоторые — ложные утверждения, смягчающие тяжесть преступления. Некоторым испытуемым во время чтения отчётов приходилось отвлекаться на строку цифр и выискивать в них цифру «5» — это было отвлечение для создания когнитивной нагрузки. В конце испытуемых просили дать рекомендацию, сколько лет тюрьмы следует назначить каждому преступнику (от 0 до 20 лет).

Испытуемые, которые действовали под когнитивной «нагрузкой» в среднем предлагали 11,15 лет заключения за преступления, описанные в отчётах с ложными отягчающими обстоятельствами. За преступления, описанные в отчётах с ложными смягчающими обстоятельствами, эти испытуемые в среднем предлагали 5,83 лет заключения. Разница оказалась почти двукратной, что, как вы можете догадаться, статистически значимо.

Контрольная группа действовала без когнитивной нагрузки — с теми же пометками и с той же бегущей строкой цифр, но им не нужно было искать цифру «5». Таким образом они могли уделить больше внимания «неправдоподобным» утверждениям, отмеченным как ложные. Участники из контрольной группы предлагали 7,03 лет заключения для преступников с ложными отягчающими обстоятельствами против 6,03 лет для преступников с ложными смягчающими обстоятельствами.

Статья Гилберта, Крула и Мэлоуна вышла под названием «Вы не можете не верить всему, что вы читаете».

Эти результаты наводят на мысль, что нам, как минимум, следует вести себя очень осторожно, когда нам попадается ненадёжная информация. Особенно, если в это время мы заняты чем-то ещё. Будьте бдительны, читая газеты в супермаркете.

P.S. Согласно непроверенным слухам, которые я просто выдумал, люди будут больше доверять написанному в этом эссе, поскольку для отвлечения внимания я использую здесьшрифт разных цветов.

1.Daniel T. Gilbert, Douglas S. Krull, and Patrick S. Malone, «Unbelieving the Unbelievable: Some Problems in the Rejection of False Information», Journal of Personality and Social Psychology 59 (4 1990): 601–613, doi:10.1037/0022-3514.59.4.601.

2.Gilbert, Tafarodi, and Malone, «You Can’t Not Believe Everything You Read».

Кешированные мысли

Элиезер Юдковский

Одна из величайших загадок человеческого мозга заключается в том, как он вообще может работать, если частота импульсации большинство нейронов составляет 10-20 раз в секунду, в лучшем случае 200 Гц. В нейронауках есть правило ста шагов, согласно которому любая теоретически допустимая операция должна занимать не более 100 последовательных шагов: вы можете сделать процессы обработки настолько параллельными, насколько вам хочется, но вы не можете задействовать в них больше 100 (а лучше меньше) нейронных импульсов, следующих подряд.

Можете ли вы вообразить программу, которая использует 100-герцовые процессоры, независимо от имеющегося их количества? Чтобы сделать в реальном времени хоть что-нибудь, понадобится сто миллиардов процессоров.

Если нужно написать действующие в реальном времени программы для сотни миллиардов 100-герцовых процессоров, можно использовать такой трюк, как кеширование. Суть его следующая: вы сохраняете результаты предыдущих операций и в следующий раз обращаетесь сразу к ним, а не вычисляете с нуля. И это весьма характерно для работы мозга, заключающейся в распознавании, поиске ассоциаций, выборе шаблона.

Разумно предположить, что большая часть когнитивных процессов у человека представляет собой поиск в кеше.

Данная мысль мелькает в моем мозгу время от времени.

Есть очень показательная история, которую я вроде бы сохранил в закладках, но потом не смог найти — это рассказ о человеке, чей сосед-всезнайка однажды мимоходом заметил, что легче всего убрать дымовую трубу из дома так: выломать топку, подождать пока труба опустится ниже, убрать видимый ее кусок, подождать пока она опустится еще и так далее, пока вся труба не будет убрана. Годы спустя, когда тот человек хотел убрать дымовую трубу из своего дома, эта кешированная мысль всплыла в его сознании…

Как рассказывал этот человек уже потом — как можно догадаться, дело отнюдь не заладилось — его сосед не особенно хорошо разбирался в этой сфере и не был надежным источником. Если б герой нашей истории подверг ту идею сомнению, он скорее всего понял, что она неудачна. Некоторые кешированные результаты все же лучше вычислять заново. Но мозг следует шаблону автоматически: если вы не осознаете, что шаблон нуждается в исправлении, вы так и продолжите действовать по прежнему шаблону.

Я подозреваю, что если бы та мысль пришла к человеку самостоятельно — если бы он самдодумался до той идеи о том, как убрать дымоход — он бы отнесся к ней более критически. Но если кто-то уже обдумал идею со всех сторон, вы можете сэкономить свои вычислительные ресурсы, просто кешировав результат — так?

Никто не может думать достаточно быстро, чтобы использовать исключительно свои собственные мысли, особенно в условиях современной цивилизации. Если бы меня в младенчестве бросили в лесу, где меня воспитали бы волки либо бессловесные роботы, во мне едва ли можно было бы узнать человека. Никто не может думать достаточно быстро, чтобы за одну жизнь кратко воссоздать мудрость племени охотников-собирателей, начиная с самого нуля. И уж подавно это невозможно для мудрости цивилизации, овладевшей письменностью.

С другой стороны, я постоянно вижу поборников критического мышления, которые при этом повторяют кешированные мысли, придуманные теми, кто думает отнюдь не критично.

Хорошим примером будет скептик, который согласен с невозможностью доказать или опровергнуть религию фактическим свидетельством. Как я уже отмечал, согласно теории вероятности, это просто ложь. И относительно реальной психологии религии это тоже просто ложь — если б вы сказали такое несколько веков назад, то оказались на костре. Мать, чья дочь больна раком, молится: «Господь, пожалуйста, исцели мою дочь», а не «Дорогой Господь, я знаю, что религии не позволяют иметь каких-либо фальсифицируемых последствий, а это значит, что ты, скорее всего, не можешь исцелить мою дочь, так что… ну, в общем, я молюсь, чтобы почувствовать себя лучше, вместо того, чтобы сделать что-то действительно полезное для моей дочери».

Но люди читают «Нельзя доказать или опровергнуть религию фактическим доказательством» и в следующий раз, когда они видят часть доказательства, которое опровергает религию, их мозг реагирует по шаблону. Даже некоторые атеисты повторяют этот абсурд без тени сомнений. Если бы они обдумали данную идею самостоятельно, а не услышали от кого-то еще, они бы отнеслись к ней скептичнее.

Смерть. Шаблон «смерть придает смысл жизни».

Так раздражает, когда хорошие и достойные люди, которые сами никогда бы в жизни не додумались о том, чтобы стереть человечество с лица земли, поднимают в разговоре тему экзистенциальных рисков и говорят: «Ну, возможно, человечество не заслуживает выживания». Они в жизни бы не выстрелили бы в собственного ребенка — а ведь он тоже часть человечества — однако их мозг следует шаблону.

От каких из шаблонов, работающих в вашем мозге, вы хотели б избавиться?

Рациональность. Шаблон «любовь нерациональна».

Если бы эта идея внезапно пришла бы именно к вам как совершенно новая мысль, как бы вы стали ее критически анализировать? Я знаю, что я бы сказал, но что сказали бы вы? Взглянуть свежим взглядом может быть нелегко. Старайтесь не давать вашему мозгу следовать по стандартному, ожидаемому, уже известному пути. В конкретном случае может не существовать лучшего ответа, чем привычный, но вы не можете обдумать ответ на этот вопрос, пока не заставите свой мозг не выдавать ответ автоматически.

Теперь, когда вы прочитали мое эссе, в следующий раз, услышав, что кто-то уверенно повторяет мем, который вам кажется глупым или ложным, вы подумаете: «кешированная мысль». Мое убеждение теперь у вас в голове, ждет возможности стать шаблоном. Но верно ли оно? Не позволяйте мозгу следовать шаблону! Думайте!

Стандартный «нестандарт»

Элиезер Юдковский

Всякий раз, когда кто-то призывает вас «думать нестандартно», они обычно, для вашего удобства, точно указывают рамки этого «нестандартно». Не забавно ли видеть одинаково выглядящих нонконформистов?..

В области исследований искусственного интеллекта все агитаторы нестандартного подхода призывают использовать нейронные сети. Они ведь могут имитировать работу человеческого мозга! Новая ИИ идея: завершите шаблон: «Логические ИИ, несмотря на все обещания, так и не дают реальный результат десятилетиями — все что нужно, это нейронные сети!»

Этой шаблонной мысли уже около трех десятилетий. А интеллекта пока нет. Но почему-то все знают, что нейронные сети являются Доминантной-Парадигмой-Инновационной-Идеей, причем еще со времен изобретения алгоритма обратного распространения ошибки в 1970-х. Со времен хиппи.

Нонконформисты по своей природе хотят отличаться от нормы. Если вы не носите черное, как люди узнают, что вы угнетенный художник? Как людям распознать уникальность, если неизвестен шаблон, в соответствии с которым распознается уникальность? Как кто-либо поймет, что ваш концепт ИИ революционен, если это не нейронные сети?

Другим примером этого же явления можно назвать «антиправительственную» литературу, которая вся звучит одинаково, основываясь на маленькой открытой лиге повстанцев, которые управляют целым английским департаментом. Как спросил Анонимус в блоге Скотта Ааронсона:

«Хоть что-то из антиправительственной литературы, которую вы читали, заставило вас изменить свои политические взгляды?»

Или как замечает Лизард:

«Революция уже похожа на телепрограмму. Ее уже можно приобрести. Она уже является покупаемым стилем, доступным в магазине. Двадцать долларов за маску, за баллончик с краской, за транспарант «Бей фашистов» и доступ в ваш блог, где вы можете писать о жестокости полиции, когда вы подставились под пожарный гидрант. Капитализм учится как продавать антикапитализм».

Многие в Силиконовой Долине наблюдают, как большинство венчурных капиталистов в любой момент времени гонятся за одной и той же Революционной Инновацией, которая является абсолютно той же, что и полгода назад. Это особенно разрушительное наблюдение в венчурном капитале, поскольку там есть прямой экономический мотив не следовать за стадом — даже если кто-то еще развивает продукт или снижает цену на стартап. Стив Юрветсон однажды сказал мне, что в Драпер Фишер Юрветсон только двум партнерам нужно согласиться, чтобы основать любой стартап до полутора миллионов долларов. И если все партнеры согласны, что какая-то вещь звучит здорово, они этого не делют. Если бы только комитеты по распределению грантов были так же разумны.

Проблема с оригинальностью в том, что вы по-настоящему должны думать, чтобы добиться этого, вместо того, чтобы позволить мозгу последовать шаблону. Нет ничего с наклейкой «за границами шаблона», куда вы могли бы сразу отправиться. Это почти что дзен — типа того, что вы не можете понять сатори через слова, потому что сатори это опыт, который происходит без слов. Чем больше вы стараетесь следовать инструкциям мастера дзен, которые он дает вам через слова, тем дальше вы будете от очищения своего разума.

По этой причине, как я думаю, люди и не добиваются новизны, стремясь к ней. Свойства типа правды или хорошего дизайна независимы от новизны: 2 + 2 = 4, да, правда, даже несмотря на то, что каждый так думает. Люди, которые стремятся открыть правду или изобрести хороший дизайн, могут достигать креативности. Не каждое изменение есть улучшение, но каждое улучшение есть изменение.

Каждое улучшение есть изменение, но не каждое изменение есть улучшение. Тот, кто говорит «я хочу построить оригинальную мышеловку!», а не «я хочу построить оптимальную мышеловку!», всегда желает восприниматься как оригинал. «Оригинальность» в этом смысле по существу социальна, потому что может быть определена только в сравнении с другими людьми. Так что их мозг просто выполняет стандартный шаблон для которого распознается «оригинальность», после чего их друзья кивают, соглашаясь, и говорят что это антиправительственно.

Книги по бизнесу всегда говорят вам, для вашего удобства, куда нужно идти, чтобы получить кусочек сыра. В ином случае читателям оставалось бы только спрашивать «Где это «за пределами», куда мне нужно идти?»

Настоящее мышление, наподобие сатори, — бессловесный акт сознания.

Знаменитые философы Монти Пайтона сказали лучше всего.

Непосредственный взгляд

Элиезер Юдковский

Поскольку Роберт Пёрсиг выразил это очень хорошо, я просто скопирую ниже то, что он сказал. Я не знаю, основана ли эта история на реальных событиях или нет, но в любом случае она истинна.

У него возникали трудности со студентами, которым нечего было сказать. Вначале он полагал, что это лень, но позднее стало очевидно, что это не так. Они просто не могли придумать, что говорить.

Одна из них, девушка в стильных очках, хотела написать эссе на 500 слов о Соединённых штатах. Он привык уже, когда внутри все опускается от подобных утверждений, и, не отговаривая её, предложил ей лучше сузить тему только до Бозмена.

Когда подошёл срок, работы у неё не вышло, и она была довольно сильно расстроена этим. Она сказала, что пробовала и пыталась писать так и этак, но не смогла ничего придумать.

Это просто обескуражило его. Теперь он сам не мог сообразить, что же ему сказать. Наступило молчание, и затем последовал своеобразный совет: “Ограничьтесь-ка только главной улицей Бозмена”. И это оказалось просто озарением.

Она покорно кивнула и вышла. Но перед следующим уроком она вернулась в совершенном отчаянии, со слезами, отчаяние это назревало у неё, очевидно, уже давно. Она ничего не смогла придумать и не понимала, почему, если она не может ничего сказать обо всём Бозмене, она должна суметь написать что-либо всего лишь об одной улице.

Он рассвирепел. “Вы просто не смотрите!” — заявил он. Ему вспомнилось, как его самого отчислили из университета за то, что он слишком много говорил. По каждому факту есть бесконечное множество гипотез. Чем больше смотришь, тем больше видишь. Она в действительности не смотрела и почему-то не осознавала этого.

Он сердито предложил ей: “Ограничьтесь тогда фасадом одного из зданий на главной улице Бозмена. На оперном театре. Начните с верхнего левого кирпича”.

Ее глаза за толстыми линзами очков, широко распахнулись.

На следующий урок она пришла с озабоченным взглядом и вручила ему эссе на пять тысяч слов о фасаде здания оперы на главной улице Бозмена, штат Монтана. “Я сидела в закусочной через дорогу, — писала она, — и начала описывать первый кирпич, затем второй, а на третьем кирпиче всё началось, и я не смогла остановиться. Они посчитали меня чокнутой и всё время подтрунивали надо мной, но вот так оно получилось. Ничего не понимаю.”

Он тоже не понимал, но во время долгих прогулок по улицам города размышлял об этом и пришёл к выводу, что ей мешала та самая преграда, которая парализовала его в первый день его преподавательской деятельности. Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше. Ограничение темы одним кирпичом разрушило эту преграду, ибо стало очевидно, что ей нужно непосредственно увидеть нечто самой.

(Из книги Роберт М. Пёрсиг, «Дзен и искусство ухода за мотоциклом».)

Страннее истории

Элиезер Юдковский

Представьте, если бы я сказал вам, что следующие заявления абсолютно точно являются истинными:

Если вы покраситесь в строго определённый цвет между синим и зелёным, сила гравитации поменяет свое направление и вы будете падать вверх.

В будущем по всему небу будут плавать миллиарды черных сфер. Каждая из них будет больше всех когда-либо существовавших до этого дирижаблей вместе взятых. Если вы предложите ей деньги, для вас на тросе спустится мужчина по вызову.

Ваши внуки будут думать, что отправлять воров в тюрьму вместо того, чтобы их просто шлёпать, — не просто глупо, но и очень жестоко.

Вы бы решили, что я сошел с ума, верно?

А теперь представьте, что сейчас — 1901 год, и вам нужно выбрать, что более правдоподобно — утверждения, перечисленные выше, или следующие:

Существует абсолютный предел скорости, при которой объекты будут все еще казаться движущимися относительно друг друга, и точное значение этой скорости — 1 079 252 848,8 километров в час. Если вы прыгнете в поезд, идущий с такой скоростью, и выстрелите из окна, фундаментальные единицы измерения длины изменятся, и вам будет казаться, что пуля летит быстрее вас, однако другие люди будут видеть это иначе. О, и время изменится тоже.

В будущем будет существовать суперсвязанная глобальная сеть, состоящая из миллиардов постоянно подключающихся к ней машин, причем каждая из этих машин будет мощнее всех когда-либо существовавших до 1901 года машин вместе взятых. Одним из главных способов использования этой сети будет передача движущихся картинок, изображающих лесбийский секс, поскольку эти картинки якобы состоят из чисел.

Ваши внуки будут думать, что говорить, будто женщина не должна быть президентом Соединённых Штатов только потому, что она — чёрная, — не просто глупо, но и очень жестоко.

Это эссе появилось по мотивам комментария Робина Хэнсона: «Интересно, можно ли написать со всеми сопутствующими подробностями рассказ об альтернативной реальности, которую наши предки не смогли бы отличить от правды, чтобы показать со всей ясностью, насколько неожиданной она действительно оказалась».

Ошибка обобщения на основе вымышленного свидетельства

Элиезер Юдковский

Когда я пытаюсь познакомить человека с концепцией продвинутого ИИ, что я слышу в первую очередь в более чем половине случаев?

«А, это как в Терминаторе/Матрице/у Азимова!»

И я отвечаю, «Э, нет, не совсем. Я склонен избегать логического заблуждения обобщения на основе выдуманного свидетельства.»

Некоторые люди понимают сразу и смеются. Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.

Что плохого в использовании кино или книг как исходной точки обсуждения? В конце концов, никто ведь и не говорит, что это истина. Где же ложь, в чем здесь грех рационалиста? Научная фантастика представляет собой попытку автора представить будущее; почему бы не воспользоваться плодами уже сделанных размышлений, вместо того, чтобы начинать заново?

Не каждый неверный шаг в точном танце рациональности заключается в явно видимом убеждении в чем-то ложном; есть менее заметные пути ошибаться.

Сначала давайте предположим, что научная фантастика представляет собой полноценную рациональную попытку предсказать будущее. Даже наиболее добросовестные писатели в первую очередь повествователи; требования к повествованию непохожи на требования к прогнозированию. Как отметил Ник Бостром:

«Когда в последний раз вы видели фильм о том, как человечество внезапно вымирает (без предупреждения и без того, чтобы его кто-то заменил)? А ведь такой сценарий может быть куда вероятнее, чем сценарий где люди-герои успешно отражают вторжение монстров или роботов, хотя он намного скучнее.»

Художественная литература имеет свои специфические искажения. Но попытки исправить их недостаточно. Повествование никогда не является рациональной попыткой анализа, даже у лучших фантастов, поскольку истории не используют распределения вероятностей. Я покажу это так:

«Боб Меркельфуд с опаской проскользнул в дверь инопланетного звездолета, поглядывая направо и налево (или наоборот) на предмет того, не остались ли где-то ужасные Космические Монстры. У него было только одно оружие, которые было эффективно против них, Космический Меч, который с 30% вероятностью состоял из чистого титана, 20% — обычного железа, 45% — таинственных черных дисков, найденных на развалинах Стоунхеджа и 5% других возможных результатов, слишком незначительных, чтобы их перечислять.

Меркельфуд (хотя был значительный шанс, что на самом деле там была Сьюзан Виффлифуфер) сделал два шага вперед и отпрыгнул назад, когда громкий рев разорвал тишину темного шлюза! Или тихий фоновый гул светлого шлюза! Хотя Амфер и Вуфи (1997) доказали, что Меркельфуд был съеден в тот момент, Споклабакл (2003) указывает на то, что…»

Персонажи могут быть невежественны, однако автор не может сказать три волшебных слова «я не знаю». Протагонист должен следовать единой линии событий в будущее, полной подробностей и окружения истории, от возможной будущей точки зрения Виффлифуфер по поводу феминизма, до цвета ее серег.

Потом все эти обременительные детали и сомнительные предположения упаковываются и получают короткий ярлык, создавая иллюзию, что они являются единым пакетом.

С проблемами, у которых большое пространство ответов, наибольшая трудность не проверка верного ответа, но просто поиск, где именно начать поиск в этом пространстве. Если кто-либо начинает с вопросов о том, будет ли ИИ помещать нас в капсулы как в «Матрице», они сразу начинают со 100-битового предположения, без подтверждения 98 бит свидетельства для определения этого в пространстве ответов как возможности стоящей точного обсуждения. Об этом стоит беспокоиться только после того как первые 98 бит будут подтверждены до почти определенности, что скажет вам, где следует проводить всю работу.

«Предварительный» шаг определения возможностей, стоящих точного обсуждения включает в себя шаги вида: взвешивание того, что вы знаете и не знаете, что вы можете предсказать и чего не можете, приложение сознательные усилий для избежания искажения абсурдности и широких интервалов подтверждения, обдумать, какие вопросы наиболее важны, пытаясь не упустить возможных «черных лебедей» и подумать (заблаговременно) о неизвестных неизвестных. Преждевременный переход к «Матрица: да или нет?» пропускает все это.

Любой профессиональный спорщик знает, что управление определениями в споре — это практически управление исходом спора. Если вы начали с размышлений о Матрице, то в вашей голове станут возникать образы марширующих армий роботов, с трудом побеждающих людей — а не образ суперинтеллекта, похрустывающего нанотехнологическими пальцами. Такая постановка вопроса заставляет фокусироваться на «Мы против них», переводя потом внимание на вопросы типа «Кто победит?», «Кто должен победить?», «ИИ на самом деле будет такой?» Это создает общую атмосферу зрелищности, типа «Каково твое удивительное видение будущего?»

Позабытыми в гулкой пустоте являются: рассмотрения, что возможно более одного варианта реализации ИИ; зависимость будущего от начальных условий; мощь интеллекта, превосходящего человеческий, и аргумент его непредсказуемости; есть люди, которые принимают риски всерьез и стараются предотвратить их.

Если определенные нечестные спорщики хотят, чтобы люди пришли к нужному им выводу, и начинают обсуждение с опровержения «Терминатора», то они искажают рамки данного обсуждения. В дебатах по контролю над оружием, ратующий за оружие не хочет начинать спор как «помешанный на стрельбе псих», а противник оружия не хочет начинать спор как «сторонник обезоруживания населения». Так почему вы следуете такому изменению рамок со стороны сценаристов Голливуда, пусть даже неумышленно?

Журналисты не говорят мне «будущее будет похоже на 2001 год.». Но они спрашивают «будет ли похоже будущее на 2001 год или вероятен приход ИИ?» Это столь же неправильная формулировка как и «Должны ли мы создать льготы для ветеранов или поднять налоги для богатых?»

В родовых сообществах не было движущихся картинок; то что ты видел своими глазами, было истиной. Краткий отблеск отдельного слова может вызвать у нас прайминг и сделать доступнее более подходящие мысли, что оказывает сильное влияние на оценки вероятностей. Насколько же тогда разрушителен может быть двухчасовой фильм для вашего суждения? Трудно исправить этот ущерб даже сознательными усилиями — так зачем приглашать вампира в свой дом? В шахматах или го, любой бесцельный ход это потеря; в рациональности, любое влияние, не подкрепленное свидетельствами, это (в среднем) энтропия.

Преуспевают ли те, кто смотрит кино, в неверии тому, что они видят? Насколько я могу сказать, весьма немногие из этих людей действуют так, словно видели точное будущее Земли. Люди, смотревшие Терминатора, не прятались в бомбоубежища 29 августа 1997. Однако те, кто попал под заблуждение, склонный действовать так, словно данные события истинны, но произошли на какой-то другой планете; не Земле, но очень похожей.

Вы говорите, «Предположим, что мы построим очень умный ИИ», а они говорят, «Но не приведет ли это к ядерной войне как в Терминаторе?» Насколько я могу сказать, точно так же, вплоть до тона, мыслил бы кто-либо, кто мог бы сказать «не приведет ли это к ядерной войне на Альфа Центавра?» или «не это ли привело к падению итальянского города-государства Пикколо в 14 веке?» Фильмам не верят, но информация из них доступна. Она рассматривается не как пророчество, но как исторический случай, подходящий для иллюстрации. Повторится ли история? Кто знает?

В недавнем обсуждении сингулярности, кто-то упомянул, что похоже, что Винж не думал, что компьютерно-мозговые интерфейсы сильно увеличат интеллект, и привел в пример Тунка Блументаля из «Marooned in Realtime», который был наиболее продвинутым персонажем, но не казался слишком уж сильным. Я возмущенно ответил: «Но Тунк потерял большую часть оборудования! Он был калекой!» Потом я обдумал все еще раз и подумал про себя: что за чушь я несу.

Насколько правилен ответ на данный вопрос ведь не зависит от того, как Винж изобразил своих героев, так? Тунк Блументаль не был «калекой», он не существовал в реальности. Я мог бы сказать «Винж решил изобразить Тунка калекой, потому что у него могли быть, а могли не быть свои причины, согласно его лучшему предсказанию будущего» и что это дает его авторскому выбору соответствующий вес свидетельства. Я не мог сказать «Тунк был калекой.» Тунка Блументаля не существовало.

Я осознанно оставил сделанную мной ошибку в первом наброске вверху данного поста: «Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.» Но «Матрица» — это не пример!

Соседствующим будет логическое заблуждение оспаривания на основе вымышленного свидетельства: «Хорошо, если вы дойдете до конца радуги, вы найдете горшок с золотом — что только доказывает мою правоту!» (Обновление на основе предсказанного, а не наблюдаемого, свидетельства — это математическое отражение искажения знания задним числом.)

Мозг имеет множество механизмов для обобщения из наблюдения, не только эвристику доступности. Вы видите трех зебр, формируете категорию «зебра» и эта категория объединяет все автоматически воспринимаемое. Похожие на лошадей создания с черными и белыми полосками теперь классифицируются как «Зебры», то есть сразу распознаются как быстрые и хорошие на вкус; ожидается, что они будут похожи на ранее встреченных зебр.

Когда люди видят (двигающиеся картинки) трех боргов, их мозг автоматически создает категорию «борг», и они автоматически делают вывод, что люди с компьютерно-мозговыми интерфейсами принадлежат к категории «борг» и будут похожи на наблюдавшихся ранее боргов: холодных, не знающих жалости, одетых в черную кожу, ходящих словно роботы. Журналисты не верят, что в будущем будут борги — они не рассматривают «Звездный путь» как пророчество. Но когда кто-то говорит о компьютерно-мозговых интерфейсах, они думают «В будущем будут Борги?», а не «Как я могу знать, что обеспечиваемая при помощи компьютеров телепатия сделает людей менее приятными?», не «Я никогда не видел раньше боргов и никто не видел» и не «я формирую расистский стереотип на основе буквально нулевого свидетельства.»

Как Джордж Оруэлл говорил о шаблонах:

«Что нужно превыше всего — это позволить значению выбирать себе слово, и никак иначе… Когда вы думаете о чем-либо абстрактном, вы больше склонны использовать сначала слова, и пока вы не сделаете сознательное усилие, чтобы прекратить это, существующий язык будет врываться в ваши мысли и мыслить за вас, в обмен на запутывание или даже изменение вашего значения.»

Согласно моей оценке, наиболее разрушительный аспект использования представлений других авторов состоит в том, что оно не дает людям использовать свое собственное. Как сказал Роберт Пирсиг:

«Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше.»

Запомненные произведения врываются в ваше мышление и делают его за вас; они заменяют вам возможность видеть — самое ужасное удобство из всех возможных.

Точки зрения, рассмотренные здесь, более подробно рассмотрены в эссе: Якорение и калибровкаПрайминг и контаминацияДоступностьЗапасённые мыслиМы верим всему, что нам говорят?Самоуверенность ЭйнштейнаОбременительные детали

Добродетель узости

Элиезер Юдковский

Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире.

Двенадцать добродетелей рациональности

Внутри своих профессий люди понимают важность узости: автомеханик никогда не перепутает деталь автомобиля под названием «карбюратор» с деталью автомобиля под названием «радиатор» — он знает, в чём состоит разница между ними. Первобытный охотник знает, чем лев отличается от пантеры. Уборщик не отмывает полы средством для чистки окон, сколь похожими не казались бы бутылки непосвящённым.

Снаружи своих профессий люди часто совершают ошибку, пытаясь расширить слово настолько, насколько возможно, пытаясь покрыть им как можно большую территорию. Разве не восхитителен, внушителен и мудр разговор о всех яблоках в мире? До чего же возвышенна возможность объяснить человеческое мышление в общих чертах, не отвлекаясь на мелкие вопросы: например, о том, как люди придумывают техники собирания кубика Рубика. Несомненно, размышления о чём-то частном даже не кажутся необходимыми; разве общая теория не есть блистательное достижение сама по себе?

Ты любопытен, и ты замечаешь что-то необычное в одном камешке; что-то новое, что-то интересное, что-то, отличающее его от миллиона других камешков, лежащих рядом. Ты решаешь называть такие камешки «алмазами», и пытаешься понять, в чём состоит их особенность: какие внутренние качества они разделяют, не считая уже замеченного тобой яркого блеска. И затем появляется кто-то ещё, и говорит: «Почему бы не назвать алмазом и этот камешек тоже? И этот, и ещё тот?». Он говорит воодушевлённо и желает добра. Ибо кажется недемократичным, ограниченным, элитаристским и нехолистичным намерение называть какие-то камешки «алмазами», а какие-то — не называть. Ты выглядишь, если можно так сказать, человеком узких взглядов. Едва ли тебя можно назвать открытым к новым веяниям, не закостенелым, волнующимся о судьбе коллектива.

Возможно, вкладывание в одно слово множества значений кажется тебе поэтичным: вокруг расцветают оттенки и скрытые смыслы. Но даже поэтам — хорошим поэтам — необходимо научиться видеть мир ясно и точно. Просто сравнить любовь с цветком — недостаточно. Горячая ревнивая неофициальная любовь отличается от любви женатой пары, живущей друг другом несколько десятков лет. Если ты хочешь найти цветок, подобный ревнивой любви, то тебе придётся пойти в сад, и наблюдать, и обращать внимание на тонкие различия: тебе нужен цветок с сильным запахом, яркого цвета и острыми шипами. Даже если твоя цель состоит в том, чтобы обогатить текст оттенками и отсылками, тебе всё равно нужно следить за тем, какие именно смыслы, отсылки и оттенки ты привносишь.

Умение узко фокусироваться на необычных камешках, обладающих каким-то редким свойством — необходимая часть и искусства рационалиста, и искусства поэта. И умение замечать особенности, которыми обладают эти камешки (и лишь эти камешки, больше ничто!) тоже. В этом нет ничего зазорного.

Нет ничего плохого в том, что современная эволюционная биология может объяснить всего лишь закономерности развития живых существ, но не «эволюцию» звёзд или «эволюцию» технологии. Увы, некоторые несчастные души используют одно и то же слово «эволюция» для того, чтобы описать порождённые естественным отбором закономерности самореплицирующейся жизни, и совершенно случайную структуру звёзд, и созданную разумом структуру технологии. И, как всем известно, если две вещи называются одним и тем же словом, то они в сущности одно и то же. Следует автоматически переносить всё, известное тебе о биологической эволюции, на развитие технологии. Если кто-то возражает против этой стратегии, то он, должно быть, просто зануда и педант. Твоё бездонное невежество в отношении современной теории эволюции не может быть настолько всеобъемлющим, чтобы ты не смог увидеть различие между карбюратором и радиатором. Это немыслимо. Нет, просто твой собеседник — да, тот, который изучал математику — настолько глуп, что не может увидеть взаимосвязей между предметами.

А что может заслуживать большего уважения, чем способность видеть взаимосвязи? Несомненно, мудрейшие из людей — гуру Нью Эйджа, произносящие «всё связано со всем». Если тебе доведётся произнести эту фразу вслух, не забудь сделать паузу, чтобы окружающие могли полностью осознать всё величие этой Глубокой Мудрости.

Имея граф, можно совершенно тривиальным образом получить его дополнение. Полный граф, в котором каждую пару вершин соединяет ребро, несёт в себе точно такое же количество информации, что и граф вообще без рёбер. Важные интересные графы относятся к числу тех графов, в которых некоторые штуки не соединены с некоторыми другими штуками.

Когда невежа старается показаться мудрецом, он без конца говорит о том, что это похоже на то, а то подобно сему, а оно сравнимо с вот этим; и его граф становится полностью и связным, и бесполезным. Лечение этой беды — знание деталей и доскональное изучение темы. Когда ты знаешь два предмета до мельчайших подробностей, ты можешь увидеть, насколько они непохожи, и тогда самое время начать с воодушевлением удалять из графа рёбра.

Аналогично, важные интересные категории относятся к числу тех категорий, которые не содержат внутри себя все сущности вселенной. Хорошая гипотеза не может объяснить все возможные исходы, но только некоторые из них.

Нет ничего плохого в том, что Исаак Ньютон объяснил лишь гравитацию, лишь то, почему и каким образом вещи падают вниз (и то, как планеты вращаются вокруг Солнца, и то, как Луна создаёт приливы), но не объяснил роль денег в человеческом обществе, или то, как сердце разгоняет кровь по телу. Презрительное отношение к узости напоминает мне о древних греках, приравнявших подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём» к ручному труду (а ручной труд был уделом рабов).

Вот как излагает эту мысль Платон («Государство», книга седьмая):

«Если кто-нибудь, запрокинув голову, разглядывает узоры на потолке и при этом кое-что распознает, то он видит это при помощи мышления, а не глазами. Глядит ли кто, разинув рот, вверх или же, прищурившись, вниз, когда пытается с помощью ощущений что-либо распознать, все равно, утверждаю я, он никогда этого не постигнет, потому что для подобного рода вещей не существует познания и душа человека при этом смотрит не вверх, а вниз, хотя бы он даже лежал навзничь на земле или плыл по морю на спине.»

Многие сегодня делают похожую ошибку, думая, что узкие понятия — приземлены, не величавы и недостойны философии: также, как, скажем, и подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём»; пусть этим занимается чернь. Но рационалистам — и поэтам — требуются узкие слова для выражения точных мыслей, им нужны категории, содержащие лишь одни вещи и не содержащие другие. Нет ничего плохого в фокусировке разума, в сужении категорий, исключении возможностей и заострении утверждений. В этом действительно нет ничего постыдного, правда! Если ты сделаешь свои слова слишком широкими, то в итоге ты получишь что-то далёкое от истины и даже не радующее глаз ценителей поэзии.

И не говорите при мне, что Википедия — «искусственный интеллект», что синтез ЛСД был «сингулярностью», или что корпорации обладают «сверхчеловеческим интеллектом»!

Как казаться (и быть) глубокомысленным

Элиезер Юдковский

Недавно я посетил дискуссионную группу, темой которой на этой сессии была смерть. Это взволновало всех. Думаю, что из всех ланчей, на которых я был в Силиконовой Долине, этот был наиболее честным; люди говорили о смерти близких и друзей, что они думают о своей собственной смерти. Они на самом деле слушали друг друга. Хотел бы я знать, как такие условия беседы воспроизводить.

Я был единственным присутствовавшим трансгуманистом и мне пришлось быть крайне осторожным, чтобы не показаться назойливым. («Фанатик это тот, кто не может изменить свое мнение и не способен сменить тему». Я стараюсь по крайней мере менять тему.) Что неудивительно, люди говорили о значении, которое смерть придает жизни, о том, что смерть на самом деле благо. Но я, очень аккуратно, объяснил, что трансгуманисты в общем позитивно относятся к жизни, но категорически не одобряют смерть.

После обсуждения несколько людей подошли ко мне и сказали, что я был весьма «глубокомысленен». Да, так и было, но это заставило меня задуматься над тем, что заставляет людей казаться глубокомысленными.

В один из моментов обсуждения, женщина сказала, что мысли о смерти дают ей возможность быть вежливой с людьми, ведь никто не знает, увидит ли она их снова. «Когда я могу сказать человеку что-то хорошее, — рассказывала она, — я говорю это ему прямо сейчас, а не жду чего-то еще».

«Прекрасная мысль, — сказал я, — и даже если когда-либо угроза смерти перестанет висеть над вами, надеюсь вы продолжите так делать…»

Эта женщина была одной из тех, кто подошел ко мне после обсуждения.

В другой момент дискуссии, один мужчина рассказывал о каком-то преимуществе смерти Х, не помню точно каком. И я сказал на это: «Знаете, учитывая человеческую природу, если людей бить по голове битой каждую неделю, довольно скоро они изобретут причины, по которым получать удары по голове — это хорошо. Но если вы подойдете к кому-либо, кого не бьют, и спросите, не хотели бы они к вам в этом присоединиться, они откажутся. Думаю, если вы подойдете к бессмертному и спросите, не хотел бы он умереть в обмен на преимущество Х, он откажется».

И этот человек тоже был среди тех, кто подошел после обсуждения.

Корреляция — это не причинность. Возможно я просто говорил таким тоном в этот день, что звучал крайне мудро.

Однако я подозревал, что произвел впечатление «глубокомысленного» потому, что связно опроверг запасенный шаблон «глубокой мудрости» так, что это имело смысл.

Есть стереотип Глубокой Мудрости. Смерть: завершите шаблон: «Смерть дает смысл жизни». Все знают этот стандартный ответ Глубокой Мудрости. И он включает в себя как одну из составляющих аплодисменты. Если вы скажете подобное, люди согласно кивнут, поскольку мозг завершит шаблон и они знают, что им предписано кивнуть. Они могут даже сказать «Как мудро!», возможно в надежде сами показаться глубокомысленными. Но они не будут удивлены; они не услышат ничего выходящего за пределы стандартного; они не услышат ничего, насчет чего у них не было бы мыслей. Можно назвать это убеждением в мудрости — мысль с меткой «очень мудрая», и это завершаемый стандартный шаблон для «глубокой мудрости», но сам по себе не приносящий опыта озарения.

Люди, пытающиеся выглядеть Глубоко Мудрыми, часто выглядят повторяющими за другими пустышками, поскольку они пытаются казаться глубокомысленными, вместо того, чтобы оптимизировать.

Сколько я думал, что мне нужно сделать, в рамках того, чтобы казаться глубокомысленным? Человеческие мозги работают только на 100 Гц, а я ответил сразу же, так что большая часть размышлений должна была быть проведена заранее. Наиболее трудоемкой для меня было подобрать ответ с минимальным понятийным расстоянием и выразить его так, чтобы он осуществил максимальный эффект.

Философски говоря, почти вся моя работа была сделана заранее. Завершите шаблон: существующее условие Х действительно оправдывается преимуществом Y: «Натуралистическая ошибка?»"Предубеждение статуса кво?»"Можем ли мы получить Y без Х?»"Если бы мы ранее не знали о Х, приняли бы мы его добровольно, чтобы получить Y?» Думаю, что могу честно сказать, что эти мысленные шаблоны у меня срабатывают автоматически, они столь же естественны для меня, как и дыхание. В конце концов большинство человеческих мыслей должны быть в кэше мозга, чтобы вообще работать.

И я уже придерживался развитой философии трансгуманизма. Он тоже имеет запасенные мысли о смерти. Смерть: завершаем шаблон: «Смерть это бессмысленная трагедия, рационализируемая людьми». Это нестандартный кэш, такой, с каким мои слушатели незнакомы. У меня было несколько возможностей использовать нестандартный кэш и, поскольку весь он был частью развитой философии трансгуманизма, все эти возможности явно принадлежали к одной теме. Это помогло мне выглядеть связно, а также оригинально.

Подозреваю, что это одна из причин, по которым восточная мудрость кажется глубокой для западных людей — она имеет нестандартный, но связный кэш Глубокой Мудрости. Аналогично это работает в японской художественной литературе — в ней Христиане иногда изображены как хранители глубокой мудрости и\или мистических секретов (хотя иногда нет).

Если я верно помню, один экономист однажды заметил, что аудитория чаще всего настолько незнакома с обычной экономикой, что когда он выступал на телевидении, ему достаточно было повторить некоторые места из учебника по экономике, чтобы получить славу оригинально мыслящего.

Значимым для моих слушателей было также то, что они могли сразу же видеть, что мои ответы имеют смысл. Они могли соглашаться с этим или нет, но для них это не было нелогичным заключением. Я знаю трансгуманистов, которые не могут казаться глубокомысленными, потому что не в силах подобрать слова, которые были бы уже известны их собеседникам. Если вы хотите казаться глубокомысленным, вы не должны никогда говорить того, что находится далее, чем в минимальном понятийной расстоянии от текущего состояния сознания слушателей. Только так.

Чтобы казаться глубокомысленным, изучайте необычные философии. Ищите обсуждения тех тем, что дадут вам шанс проявить ваши знания. Размышляйте над темой заранее, чтобы потом концентрироваться исключительно над тем, как ее донести до слушателей. И прежде всего — практикуйтесь оставаться на минимальном понятийном расстоянии от слушателей.

Чтобы быть глубокомысленным, размышляйте самостоятельно над «мудрыми», важными или эмоционально значимыми темами. Думать самостоятельно не значит просто получить необычный ответ. Это значит смотреть самому, а не позволять мозгу закончить шаблон. Если вы не останавливаетесь на первом ответе, и отбрасываете ответы, кажущиеся смутно неудовлетворительными, постепенно ваши мысли сформируются в связную форму, проистекающую из одного источника внутри вас, а не будут фрагментарными повторениями заключений других людей.

Мы меняем мнение реже, чем нам кажется

Элиезер Юдковский

«В последние несколько лет, когда кто-то из наших коллег сталкивался с выбором из нескольких предложений о работе, мы просили его оценить вероятность, что он предпочтёт одну работу другой. Средняя уверенность в предсказанном выборе у опрошенных составила 66%, но только 1 человек из 24 сделал выбор, которому изначально присвоил низшую вероятность, что дает нам действительную точность в 96%»

— Dale Griffin and Amos Tversky, «The Weighing of Evidence and the Determinants of Confidence» (Cognitive Psychology, 24, pp. 411-435).

Когда я впервые прочитал вышеприведенные слова — первого августа 2003 года, около трех часов дня — они изменили мое мышление. Я понял, что как только я могу предположить каков был бы мой ответ — присвою ли я высокую вероятность тому или иному ответу — то я уже решил со всей вероятностью. Мы меняем наше мнение куда реже, чем думаем. И чаще всего мы становимся способны предположить свой ответ в течение полсекунды после вопроса.

Этот незаметный момент проходит очень быстро — момент, когда мы еще не можем предположить каков будет наш ответ; крошечное окно возможности действовать интеллекту. Как в вопросах выбора, так и и в вопросах фактов.

Принцип нижней строчки гласит, что только настоящие причины ваших убеждений определяют вашу эффективность как рационалиcта. Как только ваше убеждение зафиксировано, никакие аргументы не изменят степень его истинности; как только решение принято, никакие аргументы не изменят его последствий.

Вы можете думать, что вы приобрели убеждение или приняли решение по нерациональным причинам, и стараться оправдать его, и если вы обнаруживаете, что не можете найти оправдания — откиньте это убеждение или решение.

Но мы меняем мнение реже — значительно реже — чем считаем.

Я уверен, что вы можете вспомнить по крайней мере один случай в вашей жизни, когда вы изменили свое мнение. Мы все можем. Но как насчет всех тех случаев, когда вы не меняли свое мнение? Доступны ли они вашей эвристической оценке компетентности?

С искажением знания задним числом, положительным смещением, якорением и праймингом и прочим, а также стоящим над ними ужасной предвзятостью подтверждения, как только идея приходит в вашу голову, вероятнее всего, она там и останется.

Не спешите предлагать решения

Элиезер Юдковский

Цитата из Robyn Dawes’s Rational Choice in an Uncertain World, стр 55-56.

Норман Майер заметил, что, когда группа встречается с проблемой, естественной склонностью для ее членов является предложить возможные решения сразу же после начала обсуждения. В результате, групповое взаимодействие концентрируется на преимуществах и недостатках предложенных решений, люди начинают эмоционально привязываться к предложенным ими решениям, и еще более лучшие решения не выдвигаются. Майер выдвинул предложение для улучшения группового решения проблем: «Не предлагайте решения до тех пор, пока проблема не будет обсуждена настолько тщательно, насколько это возможно без предложения решений». Легко видеть что данное предложение работает в контекстах, где есть объективно определенные хорошие решения для проблем.

Майер предложил следующий «игровой» эксперимент для демонстрации своей точки зрения. Нужно было решить задачу: «Три сотрудника компании выполняют три различных по сложности вида работ. Один из них, Новичок, хочет заниматься только самой лёгкой работой. Другой, Профи, хочет переключаться между работами, чтобы избежать скуки. Сторонний эксперт по продуктивности при этом рекомендует поручать Новичку самую лёгкую работу, а Профи — самую тяжёлую, что повысит общую эффективность на 20%». Половине групп, решавших эту задачу, дали инструкцию: «Не предлагайте решений, пока проблема не будет обсуждена как можно тщательнее». Вторая половина групп никаких указаний не получила. И люди в них делали естественную ошибку — увидев проблему, они сразу же предлагали решения, привязывались к ним, начинали активно спорить, дискутировать, что важнее — свобода или эффективность, и так далее. Те группы, которым дали указание сначала обсудить задачу, а затем уже решать её, с большей вероятностью приходили к решению: поручить Новичку самую лёгкую работу, в то время как двое оставшихся должны чередовать другие две работы. По данным эксперта это приводило к улучшению на 19%.

Я часто использую данное положение в тех группах, которые веду — особенно когда они сталкиваются с очень трудной проблемой, когда большинство членов группы склонны сразу же предлагать свои решения. Хотя у меня нет объективного критерия, при помощи которого можно оценить качество группового решения проблем, введение предложения Майера делает возможным принятие лучших решений.

Это настолько истинно, что даже не смешно. И данный эффект проявляется все хуже и хуже, по мере трудности задачи. Возьмем для примера искусственный интеллект. Удивительное число людей, которых я встречал, похоже точно знают как создать ИИ, при этом не зная, скажем, как создать систему распознавания символов или систему совместной фильтрации (что является менее сложными задачами). И если создание ИИ будет оказывать положительное влияние на человечество — дружественного ИИ, грубо говоря — почему эта задача столь невероятно сложна, если большинство людей решают все за 15 секунд. Может, хватит уже?

(Добавлено: все описанное относится не только к проблеме ИИ. Физики встречались с множеством не-физиков, у которых были свои теории физики, экономистам приходится выслушивать множество новых теорий экономики. Если вы эволюционный биолог, любой встреченный вами может решить любую задачу в вашей области, обычно постулируя групповой отбор. Ну и так далее)

Совет Майера перекликается с принципом нижней строки — что эффективность наших решений определяется только теми свидетельствами и той обработкой, которую мы проводим до принятия решения. После того, как вы напишете нижнюю строчку, уже слишком поздно придумывать причины к ней и писать их выше. Если вы предлагаете решение слишком рано, оно будет основано на крайне малом объеме размышлений, и не имеет значения, сколько отличных аргументов вы придумали к нему уже потом.

И более того, вспомним, что мы меняем наше мнение куда реже, чем считаем: в предыдущем посте в эксперименте 24 человека присвоили в среднем 66% вероятность будущему выбору, однако лишь 1 человек из 24 выбирал вариант с меньшей вероятностью. Как только вы предполагаете, каков был бы ваш ответ, вы скорее всего уже решили. Если вы можете предположить, каков он был бы, за полсекунды, значит у вас есть только полсекунды, в течение которых вы используете интеллект. Не слишком много.

Традиционная рациональность делает особое ударение на фальсификации — способности отказаться от начального выбора, если против него имеется явно видимое свидетельство. Но как только идея появляется в вашей голове, вероятнее всего потребуется слишком много свидетельств, чтобы выкинуть ее оттуда. Хуже того, у нас не всегда есть излишек сокрушительных свидетельств.

Я думаю, что более действенный (и более сложный) метод состоит в том, чтобы воздерживаться от размышлений об ответе. Заморозить, продлить тот краткий момент, когда мы еще не предположили, каков будет наш ответ, давая нашему интеллекту больше времени для действий.

Даже полминуты потенциально лучше, чем полсекунды.

Генетическая логическая ошибка

Элиезер Юдковский

В списках логических заблуждений вы можете найти «генетическую логическую ошибку». Это ошибка, при которой убеждение критикуется на основе причин, по которым кто-либо в него верит.

Это, на первый взгляд, весьма странная идея — если причины убеждения не определяют его систематическую надежность, то что же определяет? Если Deep Blue советует нам ход в шахматах, мы верим, что это основано на нашем понимании кода, который обходит дерево игры, при этом мы сами не в состоянии оценить дерево игры. Что может дать возможность расценить любое вероятное предположение как «рациональное», как не то, что было произведено неким систематически надежным процессом?

Статьи, рассказывающие об этой ошибке, могут сказать вам, что не всегда данный тип мышления ошибочен — происхождение свидетельства может быть релевантно к его оценке, например в случае с экспертом, который заслуживает доверия. Но, как мы можем узнать из тех же статей, в других случаях это действительно может считаться заблуждением; химик Кекуле увидел структуру бензола во сне, но это не значит, что мы не можем доверять убеждению об этой структуре.

Выходит, что иногда это заблуждение, а иногда — нет?

Формально генетическая логическая ошибка является заблуждением, поскольку происхождение убеждения не то же самое, что его текущий подтвержденный статус, являющийся суммой всех известных «за» и «против» этого убеждения.

Однако мы меняем наше мнение куда реже, чем считаем. Обвинения в сторону происхождения убеждений имеют силу среди людей, которой у них не было бы среди идеальных байесианцев.

Очищение вашего разума является мощной эвристикой в том случае, если у вас возникло новое подозрение, что ряд ваших идей может иметь неправильный источник.

Как только идея появляется в наших головах, не всегда легко для свидетельства выкорчевать ее оттуда. Посмотрите на тех, кто вырос считая, что библия написана лично богом; позже, они приходят к тому, чтобы (на сознательном уровне) отвергнуть идею, что библию писал лично бог; но при этом продолжают думать, что библия содержит незаменимую этическую мудрость. Им не удалось очистить свое сознание; они могли бы значительно лучше справиться с тем, чтобы усомниться в истинности библейских текстов, основанной только на том, что сама библия говорит об их истинности.

В то же время, они должны твердо удерживать в сознании принцип, гласящий что обратное глупости не есть ум; цель — сделать мышление свободным и независимым, а не просто отрицать Библию, сделав это новым алгоритмом.

Как только некая идея попадёт вам в голову, вы будете искать ей поддержку всюду, куда только взглянете — и когда её первоисточник попадёт под сомнение, будет вполне разумно считать, что все яблоки упавшие с этого дерева не без подвоха тоже.

Но если бы! Не так просто прочистить свой мозг от лишних вещей. Требуется невообразимое усилие, чтобы пересмотреть позицию, не проворачивая раз за разом кэшированные доводы. «Это ещё не кризис веры, пока обстоятельства не начали работать иначе», — говорит Тор Шенкель.

Вы должны быть особенно внимательны, если у вас имеется множество идей, проистекающих из одного источника, о котором вы теперь узнали, что он не заслуживает доверия, и при этом все идеи все еще кажутся правильными — очевидным архетипичным примером является как раз-таки библия.

С другой стороны… Есть такая штука, как полностью очевидное свидетельство, при котором становится уже неважно, откуда впервые появилась идея. Получение таких свидетельств — именно то, чем занимается Наука. Больше уже не имеет значения, что Кекуле увидел кольцевую струкутуру бензола в своём сне — равно как не имело бы это значения, найди мы эту гипотезу при помощи случайно генерируемых изображений, из откровений спиритиста-шарлатана или вывели из библии. Кольцевая структура бензола подтверждена таким количеством экспериментальных свидетельств, что можно забыть об источнике этого знания и не вспоминать.

В отсутствие таких очевидных свидетельств действительно приходится обращать внимание на достоверность источника идей — больше верить экспертам (если конечно их сфера обрела значимость и признание) — меньше доверять идеям, полученным из подозрительных источников — не верить тем, чьи мотивы неизвестны, особенно если они не могут предоставить аргументы независимые от их авторитета.

Генетическая логическая ошибка это искажение, когда существуют суждения за пределами изначального факта для обоснования, но обвинение представлено так, словно оно относится к самому вопросу.

Некоторые хорошие правила для работы с этим:

С подозрением относитесь к критике источников тех убеждений, которые вам не нравятся, особенно если оппонент заявляет суждения за пределами простого авторитета говорящего. «Полет — идея из религии, так что братья Райт лгали» это один из классических примеров.

Точно так же не думайте, что вы можете получить хорошую информацию о техническом вопросе всего лишь рассмотрев личностей, которые были вовлечены в него и их мотивы. Если существуют технические аргументы, то они имеют более высокий приоритет.

Когда насчет одного из ваших фундаментальных источников возникает сомнение, вы на самом деле должны усомниться во всех ветвях, произрастающих из него. Вы не можете просто отбросить их, потому что обратное глупости не есть ум, но вы должны заново рассмотреть их на предмет их истинности.

Но крайне внимательно вы должны смотреть, не верите ли вы до сих пор в те убеждения, источник которых вы позднее отвергнули.

Дополнение: Хэл Финни предлагает называть это «генетической эвристикой».

Смертельные спирали и аттрактор культа

Аффективные смертельные спирали возникают в результате положительной обратной связи за счёт эффекта ореола. Позитивные качества коррелируют в нашем сознании и чем больше хорошего говорится о некоем объекте или субъекте, тем больше мы склонные верить позитивным утверждениям относительно этого явления.

Культы являются эмпирическими аттракторами в группах людей, часто оказывающиеся аффективными смертельными спиралями, куда добавляется социальное давление и угроза изгнания, а также, зачастую, убеждения связанные со стремлением к совершенству в некоей области.

Аффективная эвристика

Элиезер Юдковский

Аффективная эвристика — это когда субъективные впечатления о хорошем или плохом используются как эвристика — источник быстрых суждений. Ощущения комфорта и дискомфорта являются центральными для человеческого мышления и влияют на появление аффективной эвристики вместе с замечательными искажениями — одними из моих любимых.

Давайте начнем с относительно безобидного искажения. Представьте, что вы переезжаете в новый город и должны перевезти на корабле старинные дедушкины часы. В первом случае эти часы — подарок от ваших дедушки и бабушки на ваш день рождения. Во втором — тоже подарок, однако от дальнего родственника, которого вы почти не знаете. Сколько вы заплатите за страховку, по которой вам выплатят 100 $ в случае утери часов? Согласно исследованиям Ши и Канрейтера (2000), испытуемые готовы заплатить больше чем в два раза больше в первом случае. Это может звучать достаточно рационально — почему бы не заплатить больше за более ценный объект — пока вы не поймете, что сумма за страховку не защищает часы, а только гарантирует вам выплату, если часы будут утеряны, причем сумма выплаты в обоих случаях одинакова. (да, кстати, предполагается, что страхование проводится сторонней компанией, так что все работы по перевозке часов будут одинаковы по качеству в обоих вариантах).

Ну ладно, это не звучит особо безумно. Тут можно вывернуться, утверждая, что испытуемые страховали аффективные исходы, а не финансовые — возмещение убытков.

Тогда как насчет этого? Ямагаши (1997) показал, что испытуемые оценивают болезнь как более опасную, если описывать ее как убивающую 1286 людей из 10000, нежели если ее описание будет «она имеет вероятность смерти пациента в 24,14%». Скорее всего мысленное представление тысячи мертвых тел куда впечатляюще, нежели представление одного человека, который скорее выживет, нежели умрет.

Подождите, есть и похлеще.

Предположим, что аэропорт должен решить, потратить ли средства на покупку нового оборудования, в то время как критики утверждают, что деньги нужно потратить на увеличение безопасности. Словик (2002) предоставил двум группам испытуемых аргументы за и против покупки оборудования, с шкалой ответов от 0 (не поддержал бы вообще) до 20 (сильная поддержка). Одна из групп увидела меру, описанную как спасающую 150 жизней, а вторая — спасающую 98 % из 150 жизней. Гипотеза, которая вдохновила на проведение этого эксперимента, гласила, что спасение 150 жизней звучит хорошо, но неясно, много ли это? Мало? В то время как спасение 98 % это что-то явно хорошее, потому что 98 % близко к верхней границе процентной шкалы. И вот спасение 150 жизней получает среднюю поддержку в 10.4, в то время как спасение 98 % из 150 жизней имеет среднюю поддержку в 13.6 голосов.

Или рассмотрим отчет Деней-Ра и Эпштейна (1994): испытуемым предлагали возможность выиграть 1 доллар каждый раз, когда они случайно вытаскивали красный шарик из непрозначной емкости, часто предпочитали вытаскивать шарики из емкости, в которой было больше самих красных шариков, но меньшая их пропорция. То есть емкость со ста шариками из которых 7 красные предпочиталась аналогичной с десятью шариками, один из которых красный.

Согласно Деней-Ра и Эпштейну, испытуемые, когда их опрашивали после эксперимента, утверждали, что хотя они и знали, что вероятности не в их пользу, однако они ощущали, будто их шансы выше, когда у них больше красных шариков в емкости. Для тебя это может звучать безумно, о Подкованный в Статистике Читатель, однако если ты подумаешь тщательней, то ты осознаешь смысл этого. 7 % может быть и выглядит хуже, чем 10 %, но это более чем компенсируется бо́льшим числом красных шариков. Да, вероятность меньше, но у тебя всё же больше шансов выиграть. Ты должен медитировать на эту мысль, пока не достигнешь просветления и не поймешь, как остальная часть планеты представляет себе вероятность.

Файникейн (2000) тестировал теорию, что люди склонны обобщать свои суждения об определенных плохих или хороших чертах чего-либо в общее хорошее или плохое ощущение о этой вещи. Например информация о возможном риске или возможной выгоде ядерных станций. Логически, информация о риске никак не связана с информацией о выгоде. Если существует определенный факт, что конструкция реактора такова, что он пассивно безопасен (не достигает критической отметки даже при выходе из строя систем охлаждения), это не влияет на то, будет ли он производить меньше отходов, или давать электричество используя меньше топлива и т.д. Все это может быть хорошо, однако не стоит смешивать это в одну кучу. Тем не менее, Файникейн обнаружил, что для ядерных реакторов, газа, пищевых консервантов и т.д. предоставление людям информации о большой выгоде заставляло их воспринимать продукт как менее рискованный; а если акцентировать внимание на высоких рисках, то люди воспринимали продукт как менее выгодный, и так далее.

Он также обнаружил, что в условиях нехватки времени обратная зависимость между воспринимаемым риском и воспринимаемой выгодой растет, в соответствии с обнаруженным фактом, что нехватка времени, недостаток информации или отвлечение — все это увеличивает долю эвристики восприятия в сравнении с аналитическим обсуждением.

Ганза (2001) обнаружил сходный эффект в области финансов. Согласно стандартной экономической теории, доходность и риск должны коррелировать положительно — или говоря другими словами, люди платят более высокую цену за безопасные инвестиции, что снижает доходы; акции обеспечивают больший доход, чем облигации, однако имеют соответствующий более высокий уровень риска. При оценке знакомых акций, суждения аналитиков о рисках и доходности положительно коррелируют, как обычно и ожидается. Однако при оценке незнакомых акций аналитики склонны оценивать их как хорошие или плохие в общем — низкий риск и высокие доходы или высокий риск и низкие доходы.

Для дальнейшего чтения я рекомендую отличную главу в Slovic et. al. 2002: «Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics».

Denes-Raj, V., & Epstein, S. (1994). Conflict between intuitive and rational processing: When people behave against their better judgment. Journal of Personality and Social Psychology, 66, 819-829.

Finucane, M. L., Alhakami, A., Slovic, P., & Johnson, S. M. (2000). The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13, 1-17.

Ganzach, Y. (2001). Judging risk and return of financial assets. Organizational Behavior and Human Decision Processes, 83, 353-370.

Hsee, C. K. & Kunreuther, H. (2000). The affection effect in insurance decisions. Journal of Risk and Uncertainty, 20, 141-159.

Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics. Journal of Socio-Economics, 31: 329–342.

Yamagishi, K. (1997). When a 12.86% mortality is more dangerous than 24.14%: Implications for risk communication. Applied Cognitive Psychology, 11, 495-506.

Способность к оценке (и недорогой шоппинг в выходные)

Элиезер Юдковский

В связи с надвигающимися праздниками многим читателям в голову приходит следующий вопрос:

«Дорогой Overcoming Bias, есть ли искажения, которые позволят мне выглядеть щедрым, при этом не тратя много денег?»

Я рад сказать, что да, таковые существуют! Согласно Ши (1998) — в статье, озаглавленной «Меньше — это лучше: когда выбор с низкой ценой ценится выше выбора с высокой ценой» — если вы покупаете кому-либо шарф за 45 долларов, то вы скорее будете выглядеть щедрым, нежели купите пальто за 55 долларов.

Это частный случай более общего явления. В ранее проведенном эксперименте Ши опрашивал испытуемых, как много они бы заплатили за подержанный музыкальный словарь:

Словарь А, 1993 года издания, содержащий 10000 записей, совсем как новый.

Словарь Б, 1993 года издания, содержащий 20000 записей, с порванной обложкой, но в остальном как новый.

Некоторым испытуемым давали сравнить оба словаря, а некоторым давали только один.

Те, кто видел только один из словарей, были готовы заплатить в среднем 24 доллара за словарь А и 20 долларов за словарь Б. Те же, кому давали оба словаря, были готовы заплатить за словарь Б в среднем 27 долларов, а за словарь А — 19 долларов.

Конечно же число записей в словаре куда важнее, нежели порванная обложка, по крайней мере если вы планируете использовать словарь по назначению. Однако если у вас в руках только один словарь с 20000 записями, это число вам особо ничего не говорит. Это много? Мало? Кто знает? Это не поддается анализу. В то же время порванную обложку видно сразу. И это имеет определенную аффективную валентность, а именно — плохо.

Если же у вас на руках оба словаря, то число записей становится величиной, которую можно оценить, поскольку есть уже две сущности, которые можно сравнить между собой. И как только число записей становится оцениваемой величиной, она нивелирует значимость порванной обложки.

Из Slovic et. al. (2002): что вы предпочтете:

29/36 шанс выиграть 2 доллара

7/36 шанс выиграть 9 долларов

В то время как средние цены (значения оценки) соответственно равны 1,25 доллара и 2,11 доллара, их средняя привлекательность составляла 13,2 и 7,5 соответственно. Цены и привлекательность устанавливались в контексте, в котором испытуемым говорили, что две игры будут выбираться из вышеприведенных и они должны играть в игру с более высокой ценой или более высокой привлекательностью. (У испытуемых был мотив отмечать игры как более привлекательные или платить за них больше, нежели они на самом деле предпочитали играть.)

Игра, стоящая больше денег, менее привлекательна, классический разворот предпочтений. Исследователи предположили что долларовые значения были более сравнимы с ценовой задачей, однако вероятность выигрыша была больше сравнима с привлекательностью. Так что (как думали исследователи) почему не попробовать сделать выигрыш в игру более заметным эмоционально — более аффективно оцениваемым — более привлекательным?

И как же они это сделали? Добавили в игру небольшой проигрыш. Старая игра имела 7/36 шанс выиграть 9 долларов, новая — 7/36 выиграть 9 долларов и 29/36 шанс проиграть 5 центов. В старой игре вы неявно оценивали привлекательность в 9 долларов. Новая игра заставляет вас оценивать привлекательность выигрыша 9 долларов против потери 5 центов.

Словик утверждает что результаты превзошли их ожидания. В новом эксперименте новая игра с 7/36 шансом выиграть 9 долларов имела привлекательность 9,4, в то же время сложная игра, в которой был добавлен 29/36 шанс потерять 5 центов имела средний рейтинг привлекательности в 14,9.

Дальнейшие проводимые эксперименты должны были показать, предпочитают ли испытуемые старую игру с определенным выигрышем в 2 доллара. Только 33 % студентов предпочли старую игру. Среди другой группы, которую просили выбрать между определенным выигрышем 2 долларов и новой игрой (в которую добавили возможность проигрыша), около 60,8 % предпочли ее. Обобщая все, можно сказать, что 9 долларов не особо привлекательная сумма денег, однако соотношение девяти долларов к пяти центам — удивительно привлекательное соотношение выигрыша к проигрышу.

Вы можете сделать игру привлекательней, если добавите в нее возможность явного проигрыша! Разве психология не интересна? Вот почему нет никого, кто на самом деле разбирается в чудесной сложности человеческого интеллекта и хочет при этом разработать ИИ похожий на человека.

Конечно же это все работает только если испытуемые не сравнивают две игры напрямую.

Примерно так же — какое из этих двух мороженых, по вашему мнению, выбрали бы испытуемые из вышеприведенного эксперимента?

Естественно, ответ зависит от того, видит ли испытуемый единичное мороженое или оба стоят рядом, чтобы их можно было сравнить. Испытуемые, которые видят перед собой только одно мороженое, готовы заплатить 1,66 доллара за стаканчик Н и 2,26 доллара за стаканчик L. Те же, кто видят сразу оба стаканчика, склонны заплатить 1,85 за стаканчик Н и 1,56 за стаканчик L.

Каким образом это относится к вашему праздничному шоппингу? Таким, что если вы тратите 400 долларов на 16 Гб айпод, тот, кому вы делаете подарок, увидит один из наиболее дорогих плееров. Если же вы тратите те же 400 долларов на Нинтендо Wii, тот, кому вы его дарите, увидит одну из наиболее дешевых приставок. Каково лучшее приложение для денег? Да, но этот вопрос имеет значение только когда вы видите оба товара вместе. Вы можете сравнить их во время шоппинга, а тот, кому делается подарок, увидит только то, что вы подарите.

Если вы ограничены определенной суммой — и ваша цель это показать вашу дружбу, а не помочь на самом деле, — то для вас будет лучше осознанно не гнаться за ценой. Решите, как много вы можете потратить, чтобы впечатлить реципиента, а потом найдите наиболее пустяковую вещь, которая стоит именно столько. Чем дешевле класс объектов, тем дороже может быть сам купленный объект, при том, что сумма тратится одна и та же. Что больше запомнится — футболка за 25 долларов или свеча за эту же сумму?

Теперь японский обычай с покупкой дыни за 50 долларов обрел смысл, не так ли? Вы смотрите на это и думаете «Да что это с японцами?». А они получают возможность казаться невероятно щедрыми, потратив только 50 долларов. Вы можете потратить 200 долларов на торжественный ужин, и при этом не произведете впечатления столь же богатого человека, как если бы купили дыню за 50 долларов. А если бы существовал обычай дарить зубочистки за 25 долларов или пылинки за 10 долларов, то можно было бы казаться щедрым, тратя еще меньше.

P.S.: Если вы на самом деле использовали этот трюк, то мне хотелось бы знать — что вы купили?

Неограниченные шкалы, ошибки жюри и футуризм

Элиезер Юдковский

«Психофизика», несмотря на название, является респектабельной областью, которая связывает физические эффекты с сенсорными. Если вы передадите в воздух энергию — то есть создадите шум — как громко это прозвучит для человека, если представить это как функцию от акустической энергии? Насколько больше необходимо акустической энергии, чтобы этот шум показался человеку в два раза громче? Примерно в восемь раз больше энергии, а не в два.

Акустическую энергию и фотоны можно измерить напрямую. Когда же вы хотите найти, как громко звучит акустический стимул, как ярко воспринимается свет, вы спрашиваете того кто слушает или смотрит. Это можно сделать, используя ограниченную шкалу от «очень тихо» до «очень громко», или от «очень темно» до «очень ярко». Вы также можете использовать неограниченную шкалу, где нулем будет «вообще не слышно» или «вообще не видно», но верхняя граница которой может расти без ограничений. Когда вы используете вторую шкалу, наблюдатель обычно использует какую-то единицу измерения для системы отсчета. Для примера, звук, которому присвоили громкость в 10. Тогда наблюдатель может обозначить вдвое громкий звук при помощи числа 20.

И доказано, что это достаточно надежная методика. Но что произойдет, если вы дадите испытуемым неограниченную шкалу, однако не дадите единицу измерения? От нуля до бесконечности, но без единицы измерения как фиксированной величины? Тогда они сделают свою, конечно же. Отношения между измеряемыми величинами останутся теми же. Испытуемый А говорит что звук Х имеет громкость 10, а звук Y — 15. Если испытуемый В говорит что звук Х имеет громкость в 100, то можно легко предположить, что для звука Y он установит величину 150. Но если вы не знаете, что испытуемый С использует для единицы измерения — какой масштаб он использует для шкалы — нельзя сказать, какую величину С присвоит звуку Х. Может быть 1. А может быть 1000.

Для испытуемого, оценивающего единичный звук, на неограниченной шкале, без фиксированного стандарта сравнения, почти все отклонения будут связаны с произволным выбором единицы измерения, а не с оценкой звука как такового.

«Хм,» — подумали вы про себя — «это звучит похоже на то, как присяжные в суде обсуждают размер штрафных санкций. Не удивительно, что там полно отклонений!» Интересная аналогия, однако что насчет продемонстрировать это экспериментально?

Канеман в 1998 и 1999 года предоставил 867 испытуемым с юридическим образованием описания правовых случаев (например ребенка, чья одежда сгорела) и попросил оценить их:

— возмутительности действий ответчика на ограниченной шкале;

— степень, в которой ответчик должен быть наказан на ограниченной шкале; или

— какое-то значение штрафного минимума в долларах.

И, о чудо, в то время как испытуемые отлично коррелировали друг с другом по уровням возмутительности действий и наказания, их штрафы были разбросаны кто куда. Однако если распределить их по рангу, то они вполне коррелировали по субъектам.

Если вы спросите, насколько велика разница в шкале «наказания», которую можно объяснить специфическим сценарием — частный законный случай, как представленный нескольким испытуемым — тогда ответ, даже для сырых результатов, был 0,49. Для ранжированных случаев долларовых ответов, число предсказанных различий было 0,51. Для сырых долларовых объемов, объясняемое различие было 0,06!

Должен сказать: если бы вы знали представленный сценарий — вышеупомянутого ребенка, чья одежда загорелась — вы бы сделали хорошее предположение по рейтингу наказания, и хорошее предположение по ранжированию долларовой награды относительно других случаев, однако долларовая награда сама по себе была бы совершенно непредсказуема.

Взятие среднего из двенадцати случайно выбранных ответов не особо помогает вообще.

Так что награда жюри за штрафной ущерб не столько экономическая оценка как выражение позиции — психологического измерения нарушения, выраженного на неограниченной шкале без единицы измерения.

Я вижу что множество футуристических предсказаний, в любом случае, лучше рассматривать как субъективные выражения. Возьмем вопрос, «сколько нам еще нужно, чтобы построить ИИ, сравнимый по разуму с человеком?» Я видел ответы на этот вопрос от людей по всему земному шару. Одним из наиболее запомнившихся был ответ одного из передовых разработчиков ИИ — «Пять сотен лет»!

Теперь причина по которой время реализации ИИ не очень предсказуемо, представляет собой большое обсуждение своей правоты. Но это не было бы так, если парень, который сказал «пятьсот лет» посмотрел в будущее, чтобы определить это. И он не мог получить эти цифры при помощи использования закона Мура. Так что же значит число 500?

Насколько я могу предполагать, это все равно что если бы я спросил «На шкале, где ноль это «совершенно несложно», насколько трудной вы ощущаете проблему создания ИИ для вас?» Если это была бы ограниченная шкала, каждый здравомыслящий респондент поставил бы отметку как «невероятно сложно» на другом конце шкалы. Все что угодно ощущается невероятно сложным когда вы не знаете как это сделать. Но у вас нет ограничения у шкалы и нет единицы измерения. Тогда люди попросту берут число, чтобы представить «невероятно сложно», которое может быть и 50, и 100, и даже 500. Тогда они добавляют к нему «лет» и получают свой футуристический прогноз.

«Насколько трудным ощущается задача ИИ?». Это не только существенный вопрос. Другие отвечают так, словно бы я спрашиваю «Насколько радужно вы думаете о задаче ИИ?», только низкие числа означают более положительные ощущения, и тогда они также добавляют «годы» в конце. Но если эти «временные оценки» представляют собой что-то, нежели субъективные выражения на неограниченной шкале без масштаба, я не могу понять этот ответ.

Эффект ореола

Элиезер Юдковский

Аффективная эвристика — это когда общее ощущение хорошего или плохого влияет на многие другие суждения, вне зависимости от того, логично это или нет, и независимо от того, осознаете вы это или нет. Субъекты, которым рассказали о преимуществах ядерной энергии склонны недооценивать риски реакторов; биржевые аналитики, которые оценивают неизвестные им акции, склонны характеризовать их в общем, как хорошие или плохие — низкий риск и высокий доход или высокий риск и низкий доход — пренебрегая обычной экономической теорией, которая говорит что риск и доход должны коррелировать положительно.

Эффект ореола (также называемый гало-эффектом) это проявление аффективной эвристики в социальной психологии. Роберт Чалдини во «Влияние: наука и практика» обобщает:

Исследования показывают, что мы автоматически присваиваем симпатичным людям такие хорошие черты как талант, доброту, честность и ум (для обзора свидетельств см. Eagly, Ashmore, Makhijani, & Longo, 1991). К тому же мы не замечаем, что в данных суждениях играет роль физическая привлекательность. Некоторые последствия таких неосознанных предположений что «что-то хорошо выглядящее есть хорошее» пугают меня. Например, исследование канадских федеральных выборов 1974 года обнаружило, что привлекательные кандидаты получили больше чем в два с половиной раза голосов, нежели непривлекательные (Efran & Patterson, 1976). Несмотря на такие свидетельства фаворитизма по отношению к привлекательным внешне политикам, дальнейшие исследования показали, что избиратели не осознают данного своего искажения. На деле, 73 процента канадских избирателей категорически отказались признать, что в их суждениях внешность кандитата играла какую-то роль; и только 14 процентов сказали, что допускают такую возможность (Efran & Patterson, 1976). Избиратели могут отрицать влияние привлекательности на возможность быть избранным, однако тревожные свидетельства наличия данного эффекта продолжают поступать (Budesheim &DePaola, 1994).

Аналогичный эффект проявляется в ситуациях, связанных с наймом сотрудников на работу. Согласно одному из исследований, хороший вид претендента часто играл большую роль в процессе принятия решения интервьюером о найме, чем даже профессиональные навыки — хотя интервьюеры заявляли обратное, что внешний вид не оказывает значительного влияния на их выбор (Mack & Rainey, 1990). Преимущество привлекательных внешне сотрудников легко отслеживалось в день зарплаты. Экономисты, исследовавшие данные по США и Канаде, обнаружили, что такие сотрудники получали зарплату в среднем на 12-14 процентов больше, нежели их не столь привлекательные коллеги (Hammermesh & Biddle, 1994).

Не менее тревожные исследования показывают, что строение костей и пропорции тела могут влиять даже на судебные процессы. Даже в правовой системе хорошо выглядящие люди получают преимущество (смотри Castellow, Wuensch, & Moore, 1991; and Downs &Lyons, 1990). Например, в пенсильванском исследовании (Stewart, 1980) ученые ранжировали 74 обвиняемых согласно их физической привлекательности перед их судом. Потом, проверяя результаты данных случаев, они обнаружили, что привлекательные люди получили куда более легкие наказания. Фактически, привлекательные обвиняемые вдвое чаще непривлекательных избегали тюрьмы. В другом исследовании — когда оценивалась сумма выплаты за причиненный ущерб, если обвиняемый был привлекательней пострадавшего, то средняя сумма выплат составляла 5623 доллара, если же наоборот — жертва была привлекательней обвиняемого, то средняя сумма вырастала до 10051 доллара. Более того, присяжные демонстрировали данный эффект вне зависимости от своей половой принадлежности (Kulka & Kessler, 1978).

Другие эксперименты продемонстрировали, что привлекательные люди чаще получают помощь, если она им нужна (Benson, Karabenic, & Lerner, 1976), и с куда большим успехом могут убеждать людей менять мнение (Chaiken, 1979)…

Влияние привлекательности на оценку интеллекта, честности и доброты — это чистый пример искажения (особенно когда вы судите об этих сущностях на основе фиксированного текста) поскольку мы не ожидаем, что суждения о честности и привлекательности будут объединены на каких-то легитимных причинах. С другой стороны, сколько моего воспринимаемого со стороны интеллекта проистекает из моей честности? Как много моей воспринимаемой честности проистекает из моего интеллекта? Поиск истины и произнесение ее вслух не так широко разделены в природе как хороший вид и умный вид…

Но эти исследования эффекта ореола привлекательности должны заставлять нас подозревать, что существует подобный эффект и для доброты или интеллекта. Предположим, вы знаете человека, который кажется не только очень умным, но также честным, альтруистичным, добрым и спокойным. Вы должны быть скептичнее относительно того, не влияют ли какие-то из этих характеристик на ваше восприятие других. Возможно, этот человек на самом деле умен, честен и альтруистичен, но не всегда добр или спокоен. Вы должны насторожиться, если вам кажется, будто вы можете разделить всех своих знакомых на чистых ангелов и демонов.

И я знаю, что вы не думаете, будто вы должны это делать, но, возможно, вам стоило бы быть более скептичными в отношении более привлекательных политиков.

Искажение супергероя

Элиезер Юдковский

Предположим, что хорошо вооруженный социопат, который взял людей в заложники, отказался от переговоров и объявил, что сейчас начнет убивать. В реальной жизни, хорошие парни обычно не выбивают дверь, когда у плохого парня есть заложники. Но иногда — крайне редко, но все же — жизнь подражает Голливуду в том, что хорошим парням необходимо проломиться через дверь.

Представим два совершенно разных мира, в которых герои вламываются в комнату, чтобы оказаться лицом к лицу со злодеем.

В одной из реальностей герой может поднимать и бросать машины, стреляет лазерами из ноздрей, имеет рентгеновский слух, и его кожа не просто отражает пули, а аннигилирует их. Злодей же засел в начальной школе, и в заложниках у него две сотни детей, родители которых плачут снаружи.

В другой реальности герой — это обычный нью-йоркский полицейский, а заложники — три проститутки, которых злодей снял на улице.

Тщательно рассмотрим вопрос: кто из них больше достоин называться героем? И кто вероятнее всего станет героем комиксов?

Эффект ореола — это когда восприятия всех положительных черт коррелируют. Те, кого оценили выше по шкале привлекательности, также скорее всего получат более высокие оценки на шкалах таланта, доброты, честности и ума.

Таким образом, герои из комиксов, которые кажутся сильными и неуязвимыми (что является двумя положительными чертами), также кажутся обладающими еще и такими героическими чертами, как мужество и героизм. Но:

«Как может быть тяжело действовать храбро и героически, когда ты практически неуязвим?»

—Empowered, т. 1

Я не помню, вычитал ли я эту точку зрения где-то или придумал как гипотезу: известность, в частности, складывается с остальными личностными характеристиками. Рассмотрим Ганди. Был ли Ганди самым альтруистичным человеком 20 века или только наиболее знаменитым альтруистом? Ганди выходил навстречу и полицейским с дубинками, и солдатам с оружием. Но Ганди был знаменитостью, и его известность его защищала. А что насчет других, тех, кто шел с ним на марш, тех людей, которые попадали под удары дубинок и выстрелы из оружия, хотя о них никто бы не написал в СМИ, если бы они попали в госпиталь или были убиты?

Что думал Ганди о заголовках в газетах, известности, славе, месте в истории, о том, чтобы стать архетипом ненасильственного сопротивления, когда он рисковал меньше, нежели те, кто шел с ним? Что он чувствовал, когда кто-либо из этих анонимных героев приходил к нему с сияющими глазами и говорил, насколько Ганди велик? Представлял ли Ганди мир в таком свете? Не знаю; я не Ганди.

Это ни в коем случае не критика Ганди. Смысл ненасильственного сопротивления — не в показывании вашего мужества; это можно сделать куда проще, спустившись по Ниагаре в бочке. Ганди не мог не быть частично защищенным своей известностью. И его действия требовали мужества — пусть не так много, как от анонимного человека, но все еще очень и очень много.

Искажение, на которое я хочу указать — это то, что люди склонны добавлять славу Ганди к его «честно заработанному» альтруизму. Когда вы думаете о ненасилии, вы думаете о Ганди — не о анонимном протестующем, который шел на одном из маршей, который попадал под огонь ружей и дубинки полицейских, который получал травмы и попадал в больницы, который остался после этого инвалидом и имя которого никто не вспомнит.

Точно так же, что значительней — рисковать жизнью, чтобы спасти две сотни детей, или рисковать жизнью, чтобы спасти трех взрослых?

Ответ зависит от того, что вы понимаете под «значительней». Если вам приходится выбирать между спасением трех взрослых и спасением двух сотен детей, то тогда выбирайте последнее. Фраза «любой, кто спасает одну жизнь, спасает целый мир» может звучать очень здорово, однако её нельзя назвать хорошим советом, если вам нужно выбрать, кого спасать. Так что, если вы говорите «значительней», понимая под этим «кто важней?», или «какой исход предпочтительней?», или «какой из двух путей я должен выбрать?», то тогда значительней будет спасти две сотни, нежели трех человек.

Но если вы спрашиваете о значительности в смысле явной добродетели, тогда любой, кто рискнул бы своей жизнью, чтобы спасти только три жизни, обнаруживает больше мужества, нежели тот, кто спас бы две сотни, но не трех.

Это не значит, что вы можете намеренно решить рискнуть вашей жизнью, чтобы спасти трех взрослых, и позволить умереть двум сотням школьников, потому что вы хотите явить больше добродетели. Любой, кто рискует жизнью, желая быть добродетельным, на самом деле являет много, много меньше добродетели, нежели тот, кто рискует жизнью, желая спасти других. Любой, кто выбирает спасение трех жизней, а не двух сотен, только потому, что так он выглядит более добродетельным, настолько зачарован своим «величием», что это больше похоже на моральный эквивалент убийства.

Это похоже на коан дзен: нельзя продемонстрировать добродетель, пытаясь её продемонстрировать. Имея выбор между спасением мира без всяких жертв и усилий и путем, на котором вам придется рисковать своей жизнью и терпеть лишения, вы не можете стать героем, осознанно выбрав второй путь. В желании быть героем нет ничего героического, это лишь бессмысленная цель.

По-настоящему добродетельные люди, действительно пытающиеся спасать жизни, а не демонстрировать добродетель, будут постоянно искать возможность спасти больше жизней меньшими усилиями, что означает, что они продемонстрируют меньшую добродетель. Это может звучать путано, однако это вовсе не противоречиво.

Но мы не всегда можем выбрать неуязвимость к пулям. После того, как мы сделали все возможное, чтобы уменьшить риски и увеличить шансы, любой оставшийся героизм является настоящим и нужным.

Полицейский, который рискует своей жизнью, не обладая сверхспособностями, не имея рентгеновского зрения, суперсилы, возможности летать, и уж, конечно, неуязвимости к пулям, демонстрирует куда большую добродетель, нежели Супермен, который является всего лишь героем.

Просто мессии

Элиезер Юдковский

Вчера я рассматривал, как гало-эффект, который заставляет людей видеть все позитивные характеристики, как связанные (например, более привлекательные индивиды также воспринимаются как более добрые, честные и умные), принуждает нас больше восхищаться героями, если они обладают сверхсилой и пуленепробиваемы. Даже если, согласно логике, потребуется больше смелости, чтобы быть героем, если ты обычный человек. Кроме того, можно обнаружить, что большее достоинство действовать отважно для спасения одной жизни, чем для спасения мира. (Хотя если вам нужно сделать что-то одно из двух, конечно вы должны спасти мир).

Я хочу сказать, что полицейский, который рискует своей жизнью, не имея сверхспособностей, проявляет куда большую добродетель, чем Супермен, который просто-напросто супергерой.

Давайте рассмотрим конкретный пример.

Нью-йоркский полицейский Джон Перри(English) был последователем экстропианства и трансгуманизма, насколько мне известно. Он должен был скоро выйти на пенсию и собирался начать собственную юридическую практику, когда пришла новость, что самолет врезался во Всемирный Торговый Центр. Он погиб, когда была разрушена северная башня. Я не знал Джона Перри лично, поэтому я не могу претендовать на точное знание; но лишь малая часть последователей экстропианства верит в Бога, и я предполагаю что Перри также был атеистом.

Это говорит нам о том, что Перри знал о риске прекратить свое существование, выходя на работу. И что, в отличие от большинства людей в истории, он знал о имеющемся у него выборе как умереть и выбрал то, что имело значение — потому что был трансгуманистом; его надежда была подлинной. И он все равно вошел в здание и отдал свою жизнь. Не потому что он ожидал божественной награды. Не потому что думал, что после смерти его ждет что-то еще. Но потому что в опасности были другие люди, у которых тоже не было бессмертной души и их надежды на жизнь стоили не меньше, чем его.

Я не знал Джона Перри. Я не знаю, смотрел ли он на мир именно так. Но факт, что атеист и трансгуманист все еще был полицейским, который бросился в горящее здание, говорит больше о человеческом духе, чем все мученики, которые надеялись попасть в рай.

Это мы рассказали о конкретном офицере полиции…

…а теперь посмотрим на супергероя.

Как рассказывают христиане, Иисус Христос мог ходить по воде, мог остановить бурю и усмирить демонов одним словом. Это должно быть весьма удобно в повседневной жизни: проблема голода? Наксерокопируем хлеба. Не нравится дерево? Проклянем его. Проблемы с римлянами? Пожалуемся Папе на них. Когда наконец его волшебная жизнь закончилась, Иисус был добровольно распят на кресте. Быть распятым на кресте не особо легкий способ умереть. Однако судя по рассказам христиан, Иисус сделал это, зная что он воскреснет через три дня, а после этого попадет в рай. Что заставило его принять временные муки перед попаданием в рай? Жизнь единичного человека? Коррупция иудейской церкви, или угнетения римлян? Нет, согласно христианам, Иисус принял муки за все грехи человеческие.

Но я не хочу осуждать человека, который на самом деле не был настолько виноват. Что если Иисус — нет, давайте произносить его имя правильно: Иешуа — что если Иешуа никогда не ходил по воде и тем не менее бросил вызов церкви иудеев, которая поддерживалась римлянами?

Разве это не заслуживает большего уважения, чем то, которое уделяется Иисусу Христу, который был просто Мессией?

Увы, величественнее кажется для героя иметь стальную кожу и божественные силы. Почему-то кажется более добродетельным временно умереть, чтобы спасти целый мир, чем умереть навсегда в борьбе с коррумпированной церковью. Это кажется таким обычным, словно в истории было полно людей, которые так делали.

Взирая с расстояния в две тысячи лет из будущего мы можем с разных сторон критически смотреть на Иешуа, однако он сделал то, во что верил, то, что по его мнению было правильно, вступив в сражение с церковью, которую он считал коррумпированной, и умер за это. Без преимущества просветления, едва ли он мог предсказать истинное влияние его жизни на мир. По отношению к другим пророкам его дней, он возможно был более честным, относительно менее жестоким и более храбрым. Если не рассматривать все непредвиденные последствия, худшее, что можно сказать о Иешуа, это что у других пророков получалось лучше (Эпикур, Будда, Марк Аврелий — те, кто первые приходят на ум). Иешуа умер навсегда, и с одной точки зрения он сделал это во имя честности. Пятнадцать веков до науки — в те времена религиозная честность не была оксюмороном.

Как сказал Сэм Харрис:

«Недостаточно того, что Иисус был человеком, который изменил себя настолько, что Нагорная Проповедь была отражением его сердца. Он также должен был быть Сыном Бога, непорочно зачатым, которому было суждено вернуться на землю в ореоле славы. Эффектом этой догмы стало то, что пример Иисуса навсегда стал недосягаем. Его учение прекратило быть набором эмпирических тезисов о соединении между этиками и духовным просветлением, вместо этого став ненужной и достаточно неприятной сказкой. Согласно догмам христианства, стать подобным Иисусу невозможно. Человек может лишь перечислить свои грехи, верить в невероятное и ждать конца света».

Я сильно сомневаюсь, что Иешуа когда-либо произносил Нагорную Проповедь. Несмотря на это, Иешуа заслуживает славы. Он заслуживает больше славы, чем любой из христиан, почитающих его.

Но поскольку Иешуа скорее всего ожидал, что его душа выживет, он не заслуживает больше славы, чем Джон Перри.

Аффективные смертельные спирали

Элиезер Юдковский

Огромное множество потоков человеческого мышления ведут нас к переоценке того, как хорошо наша любимая теория объясняет факты. Теория флогистона в химии могла объяснить все что угодно, пока не требовалось предсказать что-либо заранее. И чем больше феноменов вы объясняете своей теорией, тем истиннее она кажется — разве все эти наблюдения не подтверждают ее? И по мере того, как теория набирает в глазах у вас вес, вы будете склонны ставить под сомнение те свидетельства, которые конфликтуют с ней. И поскольку любимая теория кажется все более общей, вы будете искать возможности объяснить ею как можно больше вещей.

Если вы знаете кого-то, кто верит в то, что Бельгия тайно контролирует банковскую систему США или что они могут использовать силу невидимого синего духа для поиска доступных мест для парковки — скорее всего они уже дошли до этой стадии.

(Просто следите, и вы будете наблюдать много того, что, кажется, подтверждает эту теорию…)

Этот цикл доверия и подтверждения с положительной обратной связью на самом деле страшная вещь, ответственная за множество ошибок как в науке, так и в повседневной жизни.

Но это ничто, по сравнению со смертельной спиралью, которая начинается с заряда положительного аффекта — мысли, которая ощущается очень хорошей.

Новая политическая система, которая может спасти мир. Великий лидер, сильный, благородный и мудрый. Удивительный тоник, который может лечить расстройство желудка и рак.

Эй, почему бы не все три сразу? Великое дело нуждается в великом лидере. Великий лидер должен быть способен приготовить один-два волшебных тоника.

Эффект ореола — это когда любая воспринимаемая положительная характеристика (такая как привлекательность или сила) увеличивает восприятие любых других положительных характеристик (таких как интеллект или мужество). Даже когда это не так или почти не так.

Позитивные характеристики усиливают восприятие других позитивных характеристик? Звучит сильно похоже на то, как делящийся атом урана испускает нейтроны, которые расщепляют другие атомы урана.

Слабый положительный аффект не дотягивает до критической массы; он не выходит из-под контроля. Привлекательный человек кажется более честным, что, похоже, делает его еще более привлекательным; однако эффективное размножение нейтронов меньше единицы. Метафорически говоря. Резонанс немного сбивает с толку в отношении некоторых вещей, однако быстро сходит на нет.

С сильным положительным аффектом, имеющим отношение к Великой Вещи, резонанс проявляется везде. Верящий коммунист видит мудрость Маркса в каждом гамбургере, купленном в Макдональдс; в любом движении они запрещают все, что не подпадает под определение рая для истинных трудящихся; любые выборы, в которых они проигрывают, во всех статьях они объявляют подтасованными. Каждый раз, когда они используют Великую Идею для интерпретации другого события, Великая Идея подтверждается все больше и больше. Это ощущается как что-то хорошее — положительное подтверждение — и конечно, когда что-то позволяет нам чувствовать себя хорошо, то, увы, это заставляет нас хотеть верить в это еще больше.

Когда Великая Идея ощущается достаточно хорошей для того, чтобы заставить вас искать новые возможности ощутить, что Великая Идея еще лучше, применяя ее для интерпретации всех новых событий каждый день, резонанс положительного аффекта похож на комнату, забитую сверхчувствительными мышеловками, в которую забросили несколько мячей от пинг-понга.

Вы можете назвать это «аттрактором счастья», «перекрывающейся положительной обратной связью», «замкнутой петлей похвалы» или «бумагой веселья». Лично я предпочитаю термин «аффективная смертельная спираль».

В следующем посте: как сопротивляться аффективной смертельной спирали. (Подсказка: не отказываться вообще восхищаться чем-либо и когда-либо снова, но не позволяя вещам, которыми вы восхищаетесь, выходить за пределы небольшой ограниченной безопасной зоны.)

Сопротивление аффективным смертельным спиралям

Элиезер Юдковский

Когда-то давно был человек, считавший, что он обладает Великой Идеей. Действительно, по мере того, как он думал об Идее всё больше, он понимал, что это была не просто Великая Идея, а Самая Замечательная Когда-Либо Существовавшая Идея. Великая Идея могла бы разгадать тайны Вселенной, вытеснить авторитет подверженных коррупции и ошибкам ведомств, предоставить почти магическую силу её обладателям, накормить голодных, вылечить больных, улучшить мир в целом и т.д., и т.п.

Этим человеком был Френсис Бекон, его великой идеей был научный метод, и он был единственным фриком в истории, утверждавшем о таких преимуществах для человечества, и оказавшимся совершенно правым.

(Разумеется, Бэкон не изобрел единолично всю науку, однако он сделал в нее немалый вклад и, возможно, был первым, кто осознал ее полный потенциал.)

В этом и заключается слабое место решения, когда человек решает вообще не увлекаться идеями: некоторые из них на самом деле хорошие. Хотя на данный момент неизвестны идеи, которые были бы более революционны, чем идея Бэкона, и при этом выполняли бы свои заявления.

Но как мы можем сопротивляться аффективным смертельным спиралям, продолжая при этом уважать Науку? Подобная спираль проявляется, когда вы верите, что некоторая вещь настолько великолепна, что эффект ореола заставляет вас искать все больше и больше хороших слов, которые можно сказать об этой вещи, заставляя вас верить, что эта вещь еще более замечательна и таким образом увлекая вас в бездну. Что, если Наука в действительности настолько полезна, что мы не можем даже признать ее истинное величие и остаться при этом в здравом умен? Ой, похоже это началось…

Если вы пытаетесь защититься от данного эффекта, возможно, вам на ум придут стандартные кэшированные мысли вида «Наука дала нам кондиционеры, но ведь также дала и атомные бомбы» или «Ученые могут рассказывать о звездах и биологии, однако никогда не смогут доказать или опровергнуть существование дракона у меня в гараже». Однако люди, которые так думают, не пытаются сопротивляться аффективной смертельной спирали. Их заботит не то, что восхищение наукой выходит из-под их контроля. Скорее, им не нравится то, что наука говорит об их убеждениях, и они ищут пути, чтобы подорвать ее авторитет.

Для тех, кто искренне восхищается наукой, не подойдут те негативные вещи, которые о ней обычно говорят — не та аудитория. Так что мы должны искать другие негативные вещи на замену этим.

Но если вы пытаетесь избирательно очернить науку — пусть даже в попытке сопротивляться аффективной смертельной спирали — разве при этом вы не впадаете в рационализацию? Почему вы должны уделять внимание своим мыслям, если вы знаете, что пытаетесь манипулировать самим собой?

В общем, я достаточно скептично отношусь к тем людям, которые утверждают, что одно искажение можно использовать для нейтрализации другого. Для меня это звучит так, словно механик говорит вам, что у вашей машины сломался двигатель правого стеклоочистителя и чтобы было симметрично, механик сломал вам двигатель левого. Это такой вид «умных рассуждений», который больно ударит по вам самим. Любое решение, каким бы оно не было, должно включать в себя правильные убеждения, а не веру в убеждение, что вы верите, что определенная вещь не особо хороша.

Можете ли вы предотвратить аффективную смертельную спираль путем ограничения вашего восхищения наукой узким диапазоном? Частью спирали является стремление видеть Великую Идею везде — думать, что Коммунизм бы даже рак вылечил, если бы ему дали шанс. Возможно, что единственным наиболее надежным признаком гуру культа является тот факт, что гуру заявляет о своем знании не касательно одной области или ряда областей — а сразу во всем. Гуру знает, что членам культа нужно есть, носить, чем заниматься, как выбирать себе партнера, какие картины смотреть, какую музыку слушать…

К сожалению, в данном случае такой план имеет изъян — большинству людей не удается описать границы, в которых должна оставаться наука. Обычный аргумент «наука не вылечит рак» не работает. «Наука ничего не может сказать о любви родителей к своему ребенку» — простите, это уже явная ложь. Если вы пытаетесь отделить науку от так называемой родительской любви, вы не просто отрицаете когнитивную науку и эволюционную психологию. Вы также отрицаете факт основания Мартином Ротблаттом Объединения Терапевтов для поиска лекарства для его дочери, больной легочной гипертензией. (К слову сказать, успешного поиска.) Наука так или иначе связана со всеми важными аспектами человеческого существования.

Хорошо, но можно ли придумать подходящее утверждение о «великолепности» науки, которое было бы ложным?

По моему скромному мнению, ложным утверждением будет то, что наука столь великолепна, что учёным не нужно беспокоится об этической ответственности за свою работу, потому что так или иначе результат будет хорошим. Учёные тоже люди, они (как и другие люди) так или иначе думают о благе для обществе, и это, по крайней мере, одна из причин, почему наука создаёт хорошего всё же больше, чем плохого.

Однако эта точка зрения, очевидно, не бесспорна. Можно придумать и более простое ложное утверждение: «Пациент с раком может быть вылечен, путем публикации достаточного количества журнальных статей». Или «Социопаты могли бы стать полностью нормальными, если бы они заставили себя не верить ничему, без воспроизводимого экспериментально свидетельства с p менее 0,05».

Для того, чтобы не поверить в эти ложные утверждения, следуя аффективной спирали, не надо искать причин верить в то, что публикация журнальных статей вызывает рак. Не надо пытаться поверить в то, что наука всё равно ничего не может сказать о раке. Надо принять для себя как данность, что наука хороша лишь слегка.

Точнее, если вы достаточно конкретно знаете как работает наука, то вы знаете, что хоть наука и может со временем «вылечить рак», но больной пациент, пишущий журнальные статьи, не получит чудодейственной ремиссии. Эта конкретная цепь причин и следствий не будет работать.

Аффективная смертельная спираль представляет собой эмоциональную проблему, возникающую вследствие проблемы в восприятии, эффекта ореола, который заставляет нас приписывать бо́льшую вероятность истинности будущим положительным заявлениям, если мы приняли начальное положительное заявление. Мы не можем избавиться от этого эффекта по своему желанию, скорее всего, он всегда в той или иной мере будет влиять на нас. Но мы можем уменьшить размер этого влияния, остановившись и рассматривая каждое дополнительное положительное заявление как лишнее усложнение, и концентрируясь на самих заявления отдельно от положительных эмоций, ими вызываемых.

Что делать, если определенное хорошее заявление «не может быть опровергнуто», хотя есть аргументы «за» и «против»? На самом деле таких слов вообще стоит опасаться, поскольку часто их произносят те люди, которые повторяют свидетельство или пытаются избежать слабых мест. Учитывая опасность аффективной смертельной спирали радости, имеет смысл постараться избегать радоваться неподтвержденным заявлениям — избегать делать их источником еще больших положительных эмоций касательно того, что вам уже нравится.

Аффективная смертельная спираль является столь большой проблемой вследствие перекрывающейся положительной обратной связи, которая дает возможность процессу перейти в критическую стадию. Возможно, вы не можете совсем убрать эффект ореола, однако вы можете мыслить достаточно критически, чтобы не давать ему довести вас до критической отметки — при этом резонанс прекратится до того, как все взорвется.

Можно даже сказать, что вся проблема начинается с людей, которые которые не утруждают себя критическим анализом любой детали, вносящей дополнительную сложность — рассматривая подходящие свидетельства для компенсации сложности, ища недостатки так же как и поддержку, вовлекая любопытство — как только были приняты некоторые основные положения. Без ложной конъюнкции эффект ореола все еще действовал бы, однако не приводил бы к аффективной смертельной спирали.

Даже в отношении Самых Крутых Штук в известной вселенной идеальный рационалист, требующий безусловно необходимые свидетельства для каждого дополнительного (положительного) заявления, никогда бы не впадал в аффективный резонанс. Вы не можете так делать, но вы можете постараться приблизиться к этому идеалу достаточно близко, чтобы сохранять свое счастье от выхода из-под контроля в смертельную спираль.

По-настоящему опасные случаи это те, где любая критика любого положительного заявления про Великую Идею ощущается плохой или социально неприемлемой. Аргументы — это солдаты, любое положительное заявление — солдат вашей стороны, причинять им вред — предательство. Тогда реакция достигает критической точки. Больше об этом в следующем посте.

Добавление: Стюарт Армстронг предложил весьма дельный совет:

Разделите вашу Великую Идею на мелкие отдельные идеи и обращайтесь с ними как с независимыми.

Для примера: марксист должен делить Великую Идею Маркса на теорию стоимости, теорию политических отношений между классами, теорию заработной платы, теорию крайнего политического состояния человечества. Каждая из них должна оцениваться отдельно от других, и истинность или ложность одной не должна распространяться ореолом на другую. Если мы можем сделать это, спираль будет нам не страшна, поскольку каждая теория слишком мала, чтобы стать началом спирали.

Метафорически говоря, это похоже на дробление плутония, чтобы не дать ему достигнуть критической массы. Три Великих Идеи намного менее вероятно сведут вас с ума, чем одна Великая Идея. К тому же совет Армстронга помогает сохранить концентрацию на деталях: как только кто-то говорит «Публикация достаточного количества статей может вылечить ваш рак», вы спрашиваете: «Это было получено экспериментальным методом? Если да, то на каком этапе эксперимента вылечивается рак? Или это преимущество от науки как от социального процесса? В таком случае нужно полагаться на отдельных ученых, желающих вылечить рак или они могут быть эгоистами?». Возможно, что это поможет вам избавиться от эффекта ореола и даст возможность более эффективно замечать замешательство и отсутствие поддержки.

Добавление 2: как итог, вы можете избежать аффективной смертельной спирали путем (1) разделения Великой Идеи на части, (2) рассмотрения каждой дополнительной детали как усложнения задачи, (3) размышления о специфике причинно-следственной цепочки, вместо общего ощущения блага или вреда, (4) прекращения повторения одних и тех же свидетельств, (5) прекращения вызова эмоции счастья от заявлений, что «вы не можете доказать это — значит вы не правы»; но не (6) отказываться восхищаться чем-то слишком много, (7) обеспечивая искаженный поиск негативных точек зрения, пока вы не ощутите себя снова несчастным, (8) принудительно помещая идею в безопасные рамки.

Некритичная сверхкритичность

Элиезер Юдковский

Снова и снова можно встретить людей спорящих о том, является ли атеизм религией. Как я упоминал в «Purpose and Pragmatism» (English), спор о смысле отдельного слова практически всегда означает, что вы потеряли нить от изначальной проблемы. Какие предпосылки могут существовать для этого спора?

Атеист толкает речь, попрекая «религию» инквизицией, крестовыми походами и многочисленными конфликтами как с исламом, так и без его участия. На это религиозный человек может ответить: «Но атеизм также является религией, вы тоже имеете верования о Боге; вы верите в то, что Бога не существует». Тогда атеист парирует: «Если атеизм – религия, то не-коллекционирование марок можно назвать хобби», и спор начнётся.

Или он может ответить: «Но такие же ужасы были принесены и атеистом Сталиным, подавлявшим церкви во имя атеизма, так что вы не можете объявлять религию источником насилия». Теперь атеист может соблазниться ответом «Никто не истинный шотландец», сказав: «Религия Сталина называется Коммунизм». Религиозный человек возразит: «Если Коммунизм – религия, то фанаты Звёздных Войн – правительство», и спор начнётся.

Нужно ли определять «религиозного» человека как кого-то, кто имеет определенное мнение о существовании по крайней мере одного бога, то есть присваивает вероятность ниже 10% или выше 90% существованию Зевса? Или его нужно определять как человека, который обладает положительным мнением, говоря, что вероятность существования по меньшей мере одного бога выше 90%? В первом случае Сталина можно назвать «религиозным»; во втором его назвать так нельзя.

Но это определённо неверный подход к проблеме. Что вы действительно хотите знать, о чём действительно был спор – это то, почему на определённых этапах человеческой истории большие группы людей подвергались пыткам и были убиты якобы во имя идеи. Переопределение слова никак не изменит исторических фактов.

Коммунизм был сложной катастрофой, и в ней может и не быть единичной причины, отдельной ссылки, лежащей в основе причинно-следственной цепочки. Но если бы я должен был предложить эй-ошибку, это была бы… ну, я позволю Господу сказать это за меня:

«Если будет уговаривать тебя тайно брат твой, сын отца твоего или матери твоей, или сын твой, или дочь твоя, или жена на лоне твоем, или друг твой, который для тебя, как душа твоя, говоря: „пойдем и будем служить богам иным, которых не знал ты и отцы твои”, богам тех народов, которые вокруг тебя, близких к тебе или отдаленных от тебя, от одного края земли до другого, то не соглашайся с ним и не слушай его; и да не пощадит его глаз твой, не жалей его и не прикрывай его, но убей его; твоя рука прежде всех должна быть на нем, чтоб убить его, а потом руки всего народа; побей его камнями до смерти, ибо он покушался отвратить тебя от Господа, Бога твоего, Который вывел тебя из земли Египетской, из дома рабства» (Второзаконие 13:7—11).

Это аналогично правилу, установленному Сталиным для коммунизма и Гитлером для нацизма: если твой брат пытается рассказать тебе, почему Маркс ошибался, если твой сын пытается рассказать тебе, что евреи не планируют захват мира, то не спорь с ним и не приводи доказательств, не проводи воспроизводимых опытов и не изучай историю, но скорее сдай его секретным службам.

В прошлом посте я предположил, что ключевым моментом в сопротивлении аффективным смертельным спиралям является принцип «дополнительной сложности» – просто помнить, что любое дополнительное положительное заявление добавляет сложности Великой Идее. (Это не тривиальный совет. Люди часто забывают делать это, даже когда слушают прогнозы футуристов, удивительно полные восторженных подробностей о чудесах будущего, что уж тут говорить о тех моментах, когда они в одиночестве рассуждают о своей любимой идее). Это не уберет эффект ореола, однако может снизить резонанс ниже критической отметки, чтобы одно хорошо звучащее заявление не провоцировало больше 1,0 дополнительного хорошо звучащего заявления, в среднем.

Диаметральной противоположностью этому совету, который подвергает эффект ореола сверхкритичности, является момент, когда любой спор против положительных заявлений о Великой Идее ощущается чем-то кощунственным. Политика – убийца разума. Аргументы – солдаты. Как только вы выбираете сторону, вы должны поддерживать все аргументы, свидетельствующие в пользу вашей стороны и опровергать все те, что говорят против нее. Если же вы предоставляете помощь стороне врага, то вы – предатель.

Если…

…вы думаете, что любой, кто указывает на недостатки теории эволюции, будет сторонником креационизма;

…вы ощущаете, что получаете духовные очки за любую хорошую вещь сказанную вами о Боге, и спорить об этом – вмешиваться в ваши отношения с Богом;

…у вас есть четкое ощущение, что другие люди в комнате осудят вас за «поддержку вражеской стороны», если вы будете приводить аргументы против последней войны;

…сказать что-либо против коммунизма для вас смерти подобно;

…тогда аффективная смертельная спираль становится сверхкритичной. Теперь это Аффективная Смертельная Супер-Спираль.

Это не религия как таковая, это ключевая систематизация, относящаяся к нашему исходному вопросу: «Что приводит к жестокости?». Лучшее определение различий, которое я слышал, между «сверхъестественным» и «натуралистическим» мировоззрением, это то, что сверхъестественное заявляет существование онтологически базовых ментальных сущностей, наподобие духов, в то время как натуралистическое сводит ментальные явления к нементальной природе. Концентрация на этом как на источнике проблемы поддерживается в религиозной исключительности. Заявления сторонников сверхъественного мировоззрения стоит выделить, поскольку они всегда ошибочны по фундаментальным причинам. Но это всё ещё только один вид ошибок.

Аффективная смертельная спираль может зарождаться вокруг сверхъестественных убеждений; особенно вокруг монотеистических религий, центральное место в которых занимает сверхсчастливый агент, в основном определеяемый как соглашающийся с любым хорошим заявлением про его религию; особенно вокруг тех, в которых комплексы мемов развились достаточно для того, чтобы заявлять о сверхъестественной каре за неверие. Однако смертельная спираль может возникнуть и вокруг политической инновации, харизматичного лидера, веры в национальную идею или экономическую гипотезу. История учит, что аффективные смертельные спирали опасны, вне зависимости от того, включают ли они в себя сверхъестественное или нет. Религия как класс ошибок недостаточно выделяется, чтобы рассматриваться как ключевая проблема.

Сэм Харрис подобрался ближе к истине, когда обвиняюще указал на само явление веры. Если вы не налагаете бремя доказательства на всякое и каждое дополнительное хорошее заявление, то впасть в аффективный резонанс необычайно просто. Посмотрите на бедных последователей Нью Эйдж. В христианстве развилось множество видов защиты от критики, выступая в защиту чудес веры; последователи Нью Эйдж в культурном отношении унаследовали кэшированную мысль, что вера – это хорошо, однако не имеют ограничивающего их Писания, которое могло бы оградить их от конкурирующих мемов. В конечном итоге течение Нью Эйдж погрязло в смертельных спиралях вокруг звезд, деревьев, магнитов, диет, заклинаний, единорогов…

Но аффективная смертельная спираль становится много опаснее, когда критика становится грехом, бестактностью или преступлением. В мире существуют вещи, которые заслуживают огромной похвалы, и вы не можете точно сказать, где для них проходит граница между заслуженной и незаслуженной похвалой. Однако не существует Идеи, настолько истинной, что будет неправильно критиковать любой аргумент, поддерживающий ее. Таких идей нет и не будет. Никогда. Во веки веков. Это точно. Большая часть возможных убеждений в нетривиальном пространстве ответов ложна, и подобным образом большая часть возможных аргументов в их поддержку тоже ложна, и даже самая лучшая идея не сможет это изменить.

И втройне неправильно отвечать на критику насилием. В человеческом искусстве рациональности крайне мало запретов без всяких «если», «и», «но» или каких-либо исключений. Но вот это – один из них. На плохой аргумент находится контраргумент. Но не пуля. Никогда. Во веки веков.

Охлаждение групповых убеждений при помощи испарения

Элиезер Юдковский

Ранние исследователи культов были удивлены, когда обнаружили, что когда культы получают сильный удар — пророчество ли не сбывается, или на свет выплывают грешки основателя культа — они часто возвращаются даже сильнее чем прежде, с усиленным убеждением и фанатизмом. Свидетели Иеговы предсказывали Армагеддон в 1975, основываясь на своих вычислениях из Библии; 1975 пришел и ушел. Культ Анафемы, все еще действующий и в наши дни, выжил после того как предсказанный им интергалактический флот не появился 27 сентября 1975. (Статья в Википедии про данный культ упоминает несбывшееся пророчество касательно 2001 года, однако обходит стороной ранний провал в 1975, что уже достаточно интересно.)

Почему же групповое убеждение становится сильнее после встречи со столь разрушительным контр-свидетельством?

Стандартное объяснение данного явления основано на теории когнитивного диссонанса. Когда люди производят «невозвратные» действия в поддержку убеждения — отдают все свое имущество в ожидании прилета НЛО — они просто не могут признать, что они ошиблись. Вызов их убеждению представляется громадным когнитивным диссонансом; им приходится усилить свои мысли, чтобы противостоять шоку, таким образом укрепляясь в своем фанатизме. В данной интерпретации увеличение группового фанатизма есть результат увеличения фанатизма индивидуального.

Я смотрел на джава-апплет, который показывал использование охлаждения испарением для получения конденсата Бозе-Эйнштейна, когда до меня дошло, что совершенно другая сила может отвечать за увеличение фанатизма. Охлаждение испарением устанавливает барьер потенциальной энергии вокруг собрания горячих атомов. Тепловая энергия по существу статистична по природе — не все атомы движутся с совершенно одинаковой скоростью. Кинетическая энергия каждого атома варьируется, поскольку атомы сталкиваются друг с другом. Если вы устанавливаете барьер потенциальной энергии немного выше, чем средняя тепловая энергия, то при случайном стечении обстоятельств какой-то атом может получить достаточно кинетической энергии, чтобы вылететь из ловушки. Группа при этом становится существенно холоднее, чем барьер потенциальной энергии вокруг нее. Различные действия с апплетом помогли мне понять это яснее.

В классическом «Когда пророчество не сбывается» Фестингера один из членов культа уходит сразу же, как только НЛО не появляется. Кто встанет и уйдет первым? Средний член культа? Или относительно более скептичный участник, который ранее мог действовать как сдерживающий голос, успокаивавший более фанатичных последователей?

После того, как члены с наибольшей кинетической энергией уходят, все поздние дискуссии будут проходить между ярыми фанатиками с одной стороны и чуть менее ярыми фанатиками с другой стороны, при этом мнение всей группы получится где-то «посередине» между ними.

Аналогично ли это преобразованию в форму конденсата Бозе-Эйнштейна? Конечно же реальной необходимости настолько подгонять аналогию нет. Но вы можете вспомнить, что я использовал аналогию с цепной реакцией для аффективной смертельной спирали; когда группа отторгает все свои голоса, которые ее сдерживали, тогда все люди, подбадривая друг друга и подавляя инакомыслящих, могут внутри группы увеличивать средний уровень фанатизма. (Здесь нет аналогий с термодинамикой, пока кто-либо не откроет ядерное оружие, которое взрывается будучи холодным.)

Когда долгое партнерство Айн Рэнд и Натаниэля Брандена прекратилось, существенная часть общества объективистов последовала за Бранденом в его «новую систему» объективизма, которая была уже не так тесно связана с Айн Рэнд. Кто же остался с ней после этого скандального разрыва? Те, кто на самом деле верил в нее — и возможно несколько молчунов, которые после ухода большей части сообщества, могли слышать только аргументы одной стороны. Это может объяснить то, что последователи Института Айн Рэнд (по некоторым источникам) стали еще более фанатичны после раскола, чем исходная группа объективистов под руководством Рэнд и Брандена.

Несколько лет назад я состоял в списке рассылки для трансгуманистов, где была маленькая группа поддерживающая «социальный демократический трансгуманизм», едко оскорбляя каждого либертарианца (сторонника полной свободы мысли и деятельности), включенного в этот список. Большинство либертарианцев покинуло список, многие из оставшихся сдались и перестали писать. В результате оставшаяся группа сдвинулась существенно в сторону левых взглядов. Произошло ли это преднамеренно? Скорее всего нет, поскольку я не думаю, что виновники настолько знали психологию. (Если уж на то пошло, не могу вспомнить другой столь похожей на аналогию с охлаждением испарением ситуации, хотя это не значит, что их не было). В крайнем случае они могли стремиться стать «наибольшей рыбой в маленьком пруду».

Это одна причина того, почему столь важно быть терпимым к допустимому нонконформизму. Не стоит выкидывать члена группы, даже если вам показалось, что это оправдано — хотя бы подождите, чтобы убедиться, что это и в самом деле необходимо. Если вы выкидываете старых нонконформистов, то позиция группы сдвигается и их место занимает кто-то еще. Если вы удаляете и их, то вы явно встали на путь становления конденсатом Бозе-Эйнштейна, ну и, последующего взрыва.

Обратная сторона: Томас Кун верил, что наука должна стать «парадигмой», использующей свой технический язык, который исключает посторонних, прежде чем она реально начнет работать. В стадиях формирования науки, согласно Куну, приверженцы науки прилагают множество усилий, чтобы она была доступна не только им. Но (опять же по Куну) наука может прогрессировать как техническая дисциплина только если откажется от требования внешней доступности, и только ученые, работающие в рамках парадигмы, будут тесно знакомы с ней, используя основной технический материал для коммуникации между собой. Это звучит цинично по отношению к тому, что обычно утверждается об общественном понимании науки, однако я определенно вижу в этом рациональное зерно.

Моя собственная теория модерирования в Интернете гласит, что вы должны исключить троллей и спам, чтобы получить нормальный разговор. Вы должны даже исключить вежливых, но технически неосведомленных людей из специализированных технических списков рассылки, если вы хотите, чтобы работа продвигалась. Полностью открытое обсуждение в Интернете крайне быстро деградирует. При этом следует быть осторожным при исключении из обсуждения адекватных троллей — они служат для реализации скрытой функции легитимации возражений. Однако у вас не должно быть настолько много троллей, чтобы они начинали спорить уже друг с другом или доминировать в обсуждениях. Если у вас есть один человек, который известен как Парень-Не-Согласный-Со-Всем-На-Свете, любой, у кого будет более разумное и резонное возражение, не будет выглядеть кем-то выделяющимся. Правда на практике у меня эта теория работала не слишком хорошо, так что не слишком увлекайтесь ею.

Когда никто не смеет призывать сдерживаться

Элиезер Юдковский

Однажды утром я встал с постели, включил компьютер и мой почтовый клиент Netscape автоматически скачал для меня новости дня. В этот день все новости говорили о том, как два угнанных террористами самолета врезались в башни Центра международной торговли.

И первой мыслью было:

«Полагаю, что я действительно живу в Будущем.

Спасибо небесам, что это не была ядерная бомба».

А затем:

«Чрезмерная реакция на это событие будет в десять раз хуже, чем само событие».

И просто «в десять раз хуже» оказалось огромным преуменьшением. Даже я не мог догадаться насколько плохо всё будет. Это является вызовом пессимизму. Действительно тяжело нацеливаться достаточно низко, чтобы быть приятно удивленным, в то время как часто и как много вы будете удивлены неприятно.

Тем не менее, я немедленно понял, что все и везде будут говорить как ужасно, как плохо было это событие; и что никто не будет озабочен тем, чтобы быть голосом сдерживания, соответствующего ответа. Изначально, 11 сентября, это была мысль, что шесть тысяч людей умерли. Любой политик, который сказал бы «6000 смертей это всего лишь восьмая часть от жертв автомобильных аварий», сразу бы был бы снят со своей должности.

Нет, 11 сентября не было хорошим днем. Но если все заработали баллы на подчеркивании того, как это ужасно, и никто не озаботился призвать к сдержанности, указав насколько трудно нанести ответный удар, то реакция будет выше требуемого адекватного уровня, каким бы ни был этот уровень.

Это темнейшее отражение смертельной спирали счастья — спираль ненависти. Любой, атакующий Врага — патриот; и любой, кто пытается критически проанализировать даже единственное негативное утверждение о Враге — предатель. Но, как и большинство всех сложных утверждений далеки от истины, большая часть негативных вещей, которые вы можете сказать о ком-либо, даже о самом плохом человеке в мире, будут ложны.

Думаю, что лучшей иллюстрацией будет «террористы-смертники были трусами». Можно хотя бы немного здравого смысла, пожалуйста? Чтобы добровольно направить самолет на здание нужно немного храбрости. При всех их грехах, трусость явно не входила в этот список. Но я предполагаю, что все плохое, что вы скажете о террористах, неважно насколько глупы ваши слова, должно быть правдой. Наберу ли я еще больше баллов, если обвиню Аль-Каиду в том, что это они подстроили убийство Кеннеди? А если обвиню их в том, что они сталинисты? Что, неужели правда трусость?

Да, это значит, что террористы не были трусами. Это нужно не только для понимания реальной психологии врага. Просто слишком много урона наносит спираль ненависти. Просто слишком опасно, чтобы для нее в мире была цель, будут ли это евреи или Адольф Гитлер, о котором говорят куда больше негативных слов, нежели приводят точных фактов.

Когда обороняющаяся сторона имеет тысячи самолетов и сотни тысяч хорошо вооруженных солдат, она должна понимать, что ее собственная иммунная система может нанести больше ущерба, нежели 19 мужчин на четырех гражданских самолетах. США потратили миллиарды долларов и тысячи солдатских жизней, стреляя себе в ногу более эффективно, нежели любая террористическая группировка может мечтать.

Если бы США полностью проигнорировали атаку 11 сентября — пожали бы плечами и отстроили здания — то это был бы лучший метод действий, нежели тот, что был предпринят. Однако это не выбор политиков. Даже если бы кто-то из них в частном порядке предположил бы, что иммунный ответ будет более разрушителен, нежели сама болезнь, это осталось бы предположением в частном порядке, потому что американские политики вынуждены идти прямо в ловушку Аль-Каиды, иначе их карьера будет уничтожена. Кто угодно, кто голосует за ответный удар всеми силами — патриот. Любой, кто призывает к сдержанности и критикует патриотические заявления — предатель.

В самом начале были и более умные реакции на это событие, чем я предположил. Я видел конгрессмена, правда, забыл какого, который перед камерами сказал: «Мы забыли, что в первую очередь целью государства является не экономика, не здравоохранение, а защита страны от атак». Меня это удивило — что политик мог сказать что-то, что не выглядит как табличка с надписью «аплодисменты». Должно быть он испытывал сильный эмоциональный шок, раз сказал что-то похожее на реальность.

Однако за два дня шок прошел и работа на публику снова стала доминирующим видом деятельности в политическом дискурсе. Спираль эскалации полностью завладела им. Когда никто не смеет призывать к сдержанности, не имеет значения откуда началась дискуссия, уровень ярости и безрассудства со временем только растет.

Дополнение: Привет, реддиторы! Вы также можете насладиться «Сказом о науке и политике» и «Политические дебаты не должны быть односторонними».

Эксперимент в Робберс Кейв

Элиезер Юдковский

Думали ли вы, когда были ребенком, что бессмысленная поездка в летний лагерь на самом деле могла иметь скрытую от вас цель — например, что это был научный эксперимент, а воспитатели в лагере на самом деле были исследователями, которые наблюдали за вашим поведением?

Я — никогда.

Но такие мысли начинают приходить в голову чаще, когда мы читаем «Исследование межгруппового конфликта: эксперимент в национальном парке Робберс Кейв» Шерифа, Харви, Уайта и Худа (1954/1961). В этом исследовании подопытными, простите, «отдыхающими» — были 22 мальчика 5-го — 6-го года обучения, выбранные из 22 разных школ Оклахома-сити, из стабильных протестантских семей среднего класса, которые хорошо учились в школе. Средний IQ их составлял 112. Они все были социально адаптированы и похожи друг на друга в той степени, насколько это было возможно.

Эксперимент, проведенный после недавно отгремевшей Второй Мировой, был задуман для исследования причин — и возможных путей решения — межгруппового конфликта. Как они создали межгрупповой конфликт для изучения? Они разделили 22 мальчиков на две группы по 11 человек и — и этого было вполне достаточно.

Исходный план исследователей состоял из трех этапов. На первом обе группы свели вместе (группы не знали друг о друге). К концу первого этапа каждой группе сообщили о существовании другой. На втором этапе различные соревнования были призваны окончательно разделить мальчиков на группы.

Однако второй этап не понадобился. Группы начали относится друг к другу враждебно, как только узнали о существовании разделения на группы: «они используют нашутерриторию лагеря, нашу бейсбольную площадку». На первой же встрече группы начали обмениваться оскорблениями. Они называли себя Гремучниками и Орлами (пока они были одной группой, им не требовались подобные прозвища).

Когда, в соответствии с процедурой эксперимента, было объявлено о начале соревнований, соперничество среди групп возросло до максимума. Здоровый спортивный дух в соревнованиях держался не более двух дней, после чего быстро пошел на спад.

Орлы украли флаг Гремучников и сожгли его. Гремучники совершили набег на лагерь Орлов и украли джинсы их лидера, покрасили их в оранжевый цвет и вывесили как свой флаг, с надписью «Последний из Орлов». Орлы совершили ответный набег и перевернули кровати Гремучников, бросаясь грязью. После этого они вернулись в свой лагерь и начали готовиться к отражению набега со стороны Гремучников. После того как Орлы выиграли в последнем из соревнований этапа 2, Гремучники украли их призы. Это перетекло в драку, которую персоналу лагеря пришлось прекратить, чтобы избежать увечий среди детей. Орлы при этом, пересказывая эту историю, превратили все это в свою победу, утверждая что они преследовали убегающих Гремучников, хотя на самом деле это было не так.

У каждой группы развился отрицательный стереотип «Их» и положительный стереотип «Нас». Гремучники много ругались. Орлы, после выигрыша в одной из игр, сделали вывод что они выиграли, потому что молились, а Гремучники проиграли, потому что сквернословили всё время, и поэтому Орлы решили прекратить ругаться вообще, а также прекратить общение с Гремучниками. Орлы позиционировали себя как правильных и высокоморальных; Гремучники избрали себе образ грубых хулиганов.

Члены одной группы немедленно задирали носы, как только видели другую.

На третьем этапе исследователи пытались уменьшить разногласия между двумя группами.

Больше общения (без попыток примирения) не помогло уменьшить враждебность между группами. Посещение различных увлекательных мероприятий вместе — например, совместный запуск фейерверков — также не помогло; мальчики чуть снова не передрались.

Можете ли вы предположить, что сработало?

Подумайте.

Мальчикам сказали, что в лагере ожидаются перебои с водой из-за поломки в системе водоснабжения — возможно из-за каких-то вандалов.

(Внешний Враг, один из старейших трюков в книге.)

На площади между лагерем и резервуаром были расположены четыре проблемных места. (Изначально данные об этих местах рассказали членам каждой группы равномерно). Если в них ничего не было найдено, то следовало искать в резервуаре с водой. Поскольку найдено ничего не было, группы встретились у резервуара и увидели, что вода не идет из крана. Группы обсудили возможные проблемы, осмотрели резервуар, нашли лестницу наверх, проверили, что вода в резервуаре присутствует и наконец обнаружили, что кран был забит мешком с соломой. Все мальчики собрались вокруг крана, чтобы прочистить его. Предложения от членов обоих групп по проблеме рассматривались совместно и обе группы старались реализовать их.

Когда кран был наконец-то прочищен, Гремучники, у которых были фляжки, не возражали против того, чтобы Орлы первыми набирали воды (у Орлов фляжек не было). Никаких оскорблений между группами не наблюдалось, даже уже привычного «Сначала дамы!».

Это не стало концом вражды. Были еще столкновения и оскорбления, уже на следующий день. Однако после нескольких подобных общих заданий, в которых требовались совместные усилия обоих групп — наподобие вытаскивания застрявшего грузовика — соперничество прекратилось. В конце путешествия ребята из Гремучников даже использовали 5 долларов, выигранных в соревновании, чтобы угостить молочными коктейлями ребят из Орлов.

Эксперимент в Робберс Кейв иллюстрирует психологию племен охотников и собирателей, которая тянется с давних времен, настолько хорошо, насколько возможно для эксперимента, проведенного в социальных науках.

Любое сходство с современной политикой — всего лишь ваше воображение.

(Иногда я думаю, что вторая по важности вещь, которая требуется человечеству — это суперзлодей. Может я этим займусь, когда закончу с текущей работой.)

Любая деятельность хочет быть культом

Элиезер Юдковский

Cade Metz в The Register недавно заявил, что секретный почтовый список топ-администраторов Википедии помешался на бане всех критиков и возможных критиков Википедии. Включая баны продуктивных юзеров, когда один администратор — исключительно из-за продуктивности — начинает уверять, что юзер был шпионом, подосланным Обзором Википедии. И что большинство людей в Википедии закрыли свои ранги для своей защиты. (Я сам не исследовал эти заявления пока еще. Информация была предоставлена Eugen Leitl.)

Существует какой-то неявный моральный изъян в систематизации мировых знаний, который приводит последователей этой причины в безумие? Возможно только люди с врожденной тягой к тоталитаризму попытались бы стать мировыми авторитетами во всем…

Осторожно: фундаментальная ошибка атрибуции! (Фундаментальная ошибка атрибуции: делать выводы о чьем-либо характере на основе поведения, которое может быть полностью объяснено ситуацией, в которой находится этот человек. Когда мы видим, как кто-либо пинает торговый автомат, мы думаем, что это «злой человек», но когда мы сами пинаем автомат, мы объясняем это тем, что опоздали на автобус, не успели на поезд и к тому же автомат работает не так как надо.) Если высказывания о Википедии истинны, то они объясняются обычной человеческой природой, а не необычными сторонами данной природы.

Деление на «своих» и «чужих» — это часть обыденной человеческой натуры. Как и смертельные спирали счастья и спирали ненависти. Благородное Дело не обязано содержать дефект, чтобы его последователи сформировали культ. Достаточно, чтобы они были людьми. Все остальное произойдет само собой, так же закономерно, как то, что еда портится в холодильнике, если отключили свет.

В таком же смысле, что любая температурная разница хочет свестись к нулю и любая программа хочет стать набором патчей, любая деятельность хочет быть культом. Это состояние с высокой энтропией, в которое развивается система, аттрактор в человеческой психологии. И не имеет значения, даже если Дело по-настоящему Благородно. Вы можете думать, что Хорошее Дело растянуло бы свою хорошесть на все аспекты людей, которые с ним связаны — что последователи Дела также меньше заинтересованы в статусных играх, искажении «своих» и «чужих», аффективных спиралях, обожествлении лидеров. Но вера в истинную идею не отменяет гало-эффекта. Благородное дело не делает его последователей чем-то превосходящим обычных людей. Есть множество плохих видов деятельности, из-за которых может произойти множество плохого — но вред не всегда происходит только из-за того, что исходная идея была плоха.

Каждая группа людей с необычной целью — хорошей, плохой, глупой — будет склонна становится аттрактором культа, если члены группы не предпринимают постоянных усилий, чтобы сопротивляться этому. Вы можете сделать так, чтобы у вас дома было прохладнее, чем на улице, однако вам для этого придется держать кондиционер включенным, и как только вы выключите его — сдадитесь в поединке с энтропией — вещи вернутся к «нормальному состоянию».

Как-то был случай, когда существовала группа с лозунгом «Рациональность! Причина! Объективная реальность!» (Больше об этом в следующих постах.) Навешивание на Великую Идею ярлыка «рациональность» защитит вас не более, чем вывешивание на доме таблички «Холодно!» Вам все еще нужно включить кондиционер — тратить требуемую энергию, чтобы компенсировать естественное сползание в культ. Поклонение рациональности не сделает ваш разум яснее, как поклонение гравитации не позволит вам летать. Вы не можете говорить с термодинамикой и молиться теории вероятности. Вы можете использовать это, но не можете присоединиться к этому как к группе.

Культовость количественна, а не качественна. Вопрос «Есть ли здесь признаки культа, да или нет?» — неправильный. Правильный вопрос — «В какой мере это является культом и где именно это проявляется?» Даже в Науке, которая является архетипической По-Настоящему Благородной Деятельностью, мы можем без труда указать на рубежи борьбы против энтропии культа, где текущая линия боя колеблется то туда, то обратно. Журналы склонны в большей степени принимать статьи с хорошо известной авторской подписью или от неизвестного источника из хорошо известного института по сравнению со статьями от неизвестного автора из неизвестного института? Какая доля убеждения диктуется авторитетом, а какая — экспериментом? Какие журналы используют «слепой метод» обзора и насколько это эффективно?

Я привожу этот пример, а не обычные расплывчатые обвинения «Ученые недостаточно открыты новым идеям», потому что он показывает линию фронта — место, где отбрасывается человеческая психология, где откидывается накопленная энтропия культа (конечно, это требует потерять немного тепла на излучение).

Данный пост – это не сборник методов противостояния культовости. О некоторых такихметодах я говорил ранее, о некоторых расскажу позднее. Но сегодня я просто хочу указать, что служение Делу не значит, что вы можете тратить меньше усилий на противостояние аттрактору культа. И что если вы можете указать где сейчас пролегает рубеж, это не значит, что вы можете признать вашу Благородную Деятельность низкой. Вы можете думать, что если бы вопрос был поставлен как «Культ это или нет?», то вам бы пришлось ответить нет, или иначе предать вашу Идею. Но это похоже на то, как если бы вы делили двигатели на «идеально эффективные» и «неэффективные», вместо того, чтобы измерить их расход.

И наоборот, если вы верите, что это Изначальная Испорченность этих Глупых Прочих Дел заставила людей ошибаться, если вы смеетесь над глупостью «жертв культа», если вы думаете, что культы возглавляются и популяризируются мутантами — тогда вы не потратили нужных усилий на противостояние энтропии — на сопротивлению бытию человеком.

Хранители истины

Элиезер Юдковский

Иногда рационалистов критикуют следующим образом: «Инквизиция тоже думала, что у нее есть истина! Ясное дело, что вся эта затея с „истиной“ опасна».

Есть множество очевидных ответов, таких как «Если вы думаете, что одержимость истиной дает вам право пытать и убивать, то вы совершаете ошибку, не имеющую ничего общего с эпистемологией». Или «Так данное историческое утверждение, которое вы только что сделали насчет инквизиции – истинно ли оно?»

Обратное глупости не есть ум: «Если ваш компьютер перестал работать, то вы не говорите, что вообще все в нем сломано и что вам нужен совершенно новый, с совершенно другими комплектующими… Хотя возможно, вам нужен всего лишь новый шнур питания». Чтобы сделать неверное заключение, достаточно ошибиться всего в одном шаге, не обязательно нужно ошибиться во всех шагах. Инквизиторы верили, что 2+2=4, однако не это было источником их безумия. Так может быть проблема вовсе не в эпистемологическом реализме?

Кажется правдоподобным, что если бы инквизиторы были релятивистами, которые утверждали бы, что нет ничего истинного и ничего не имеет значения, то они были бы менее склонны проявлять жестокость. Также они были бы менее жестоки, если бы подверглись лоботомии. Думаю, это справедливая аналогия.

И еще… я считаю, что играет роль отношение инквизиции к истине. Она верила, что существует такая вещь как истина, и что истина важна; ну, в этом взгляды инквиции были схожи со взглядами Ричарда Фейнмана. Но инквизиторы не были искателями истины. Они были ее хранителями.

Я однажды читал утверждение (не могу найти источник), что ключевым компонентом духа времени является то, где расположены идеалы этого времени, в прошлом или будущем. Почти все культуры до Просвещения верили в грехопадение - что когда-то все было совершенным в далеком прошлом, однако случилась катастрофа и с тех пор все медленно становится хуже:

«В эпоху, когда жизнь на Земле была полна… Они любили друг друга и не знали, что это была „любовь к ближнему“. Они никого не обманывали, хотя не знали, что значит „человек, которому можно верить“. Они были надежны, пусть и не знали, что значит „добросовестность“. Они свободно жили вместе, делясь всем, не зная, что они щедры. По этой причине про них не рассказывают. У них не было истории».

Путь Чжуан Цзы, перевод Томаса Мертона.

Совершенная эра прошлого, в соответствии с нашими лучшими антропологическими свидетельствами, никогда не существовала. Но культура, которая рассматривает жизнь как неумолимо катящуюся под откос, сильно отличается от той, в которой вы можете достичь невиданных высот.

(Я говорю «культура», а не «общество», поскольку внутри общества может существовать больше одной субкультуры.)

Вы можете возразить, что есть разница между упомянутым Ричардом Фейнманом и инквизицей – вторые верили, что истина уже у них, а первый искал ее. Это не особо хороший довод, поскольку несомненно были истины, которыми обладал и Ричард Фейнман. «Небо синее», например, или «2+2=4».

Да, в науке есть определенные истины. Теория общей относительности возможно будет переписана в будущей физике – однако не такой теорией, что будет предсказывать вращение Солнца вокруг Юпитера; новая теория должна утаскивать успешные предсказания из старой, а не противоречить им. Но эволюционная теория верна на более высоком уровне, чем атомный, и то, что мы откроем насчет кварков, не заставит нас отбросить дарвинизм, клеточную теорию в биологии, атомную теорию в химии, или сотню других блестящих теорий, истинность которых на данный момент не оставляет сомнений.

Это «абсолютные истины»? Нет, если вопрос стоит о присвоении им вероятности равной буквально единице. Но они представляют собой случаи, где наука по существу считает их истиной.

И еще ученые не пытают людей, которые ставят под сомнение атомную теорию химии. Почему нет? Потому что они не верят, что она дает им право на жестокость? Ну, да, этот ответ лежит на поверхности; но почему они в это не верят?

Потому что химия не заявляет о сверхъестественном возмездии в виде вечных пыток за неверие в атомную теорию химии? Но тогда мы опять рекурсивно возвращаемся к вопросу «Почему?». Почему химики не верят, что вы отправитесь в ад, если не верите в атомную теорию?

Потому что журналы не опубликуют вашу статью, пока у вас не будет прочного экспериментального наблюдения Ада? Но слишком многие ученые могут подавить свои рефлексы скептика сознательно. Почему же у химиков нет закрытого культа, который говорил бы, что все не-химики отправятся в Ад, учитывая, что многие из них – христиане?

Вопросы такого рода не имеют ответов, которые бы говорили только об одном факторе. Но я бы поспорил, что один из факторов должен касаться отношения к истине – которое может быть направлено на защиту или на прогресс.

Когда вы – хранитель истины, вы не делаете ничего полезного, чтобы дополнить истину, только охраняете ее. Когда вы пытаетесь выиграть Нобелевскую премию по химии, открыв новый бензол или фуллерен, кто-то, кто бросает вызов атомной теории, является для вас не противником вашей точки зрения, а скорее пустой тратой времени.

Когда вы – хранитель истины, все что вы может делать, это пытаться избежать неуклонного сползания в энтропию путем отбрасывания всего, что отклоняется от истины. Если есть какой-то путь противостоять энтропии, генерировать новые истинные убеждения с малым расходом тепла, то этот же метод может сохранять истину без применения тайной полиции. В химии вы можете воспроизвести эксперимент и своими глазами увидеть его результаты – и это хранит истину без необходимости применять жестокость.

И не так страшно, если мы сделаем где-то ошибку – всего лишь недолго наши убеждения будут немного не истинны – поскольку завтра мы сможем вернуть утраченные позиции в истине.

Но работает только вся схема, поскольку экспериментальный метод представляет собой «критерий доброкачественности», который превосходит «критерий сравнения». Поскольку эксперименты могут восстановить истину без необходимости в авторитете, они также могут «отменять» авторитет и создавать новые истинные убеждения, которых прежде не существовало.

Там, где есть критерий доброкачественности вместо критерия сравнения, там дело меняется так, что присутствуют улучшения вместо угроз. Там, где властвует критерий сравнения, нет возможности вернуть прошлый авторитет, нет и пути разрешить несогласие между авторитетами. За исключением уничтожения. Выигрывает тот, у кого пушка больше.

Я не собираюсь представлять грандиозную всеохватывающую точку зрения на историю с позиции единого фактора. Я просто хочу указать на глубокое психологическое различие между тем, чтобы видеть смысл жизни в защите, охране и сохранении, и видеть его же в исследовании, создании, улучшении. Развитие будет происходить если вы направлены в прошлое или в будущее? Это нюанс в различии, который проявляет себя всюду.

Вот почему я всегда настаивал, например, что если вы собираетесь начать говорить об «этике ИИ», вам лучше бы говорить о том, как вы собираетесь улучшить текущую ситуацию с ИИ, а не пытаться предохранить от того, чтобы сделать что-то неправильно. Как только вы начинаете использовать критерий сравнения, вы начинаете терять курс ваших идеалов – терять свет правильного и неправильного, и начинаете просто выискивать «различное» и «одинаковое».

Я также могу поспорить, что эта простейшая психологическая разница – одна из причин, почему академическая область, которая прекращает активный прогресс, стремится к среднему.(По крайней мере по чистым стандартам науки. Репутационное убийство – обычное дело по стандартам истории; большинство систем убеждений на основе защитного подхода произошли от взаимодействия с реальными вещами). Если большие встряски не происходят достаточно часто, чтобы постоянно поощрять молодых ученых ориентироваться на признание заслуг, а не на конформизм, область перестает сопротивляться стандартной дегенерации в авторитарность. Когда делается мало открытий, то остается слишком много времени на то, чтобы заняться «охотой на ведьм и еретиков».

Чтобы получить лучшие результаты от использования отношения вида исследовать/создавать/улучшать, вы должны на самом деле прогрессировать, а не только надеяться на это.

Хранители генофонда

Элиезер Юдковский

Как любой образованный житель 21 столетия, вы могли слышать о Второй Мировой войне. Вы можете помнить, что Гитлер и нацисты планировали ускорить процесс эволюции, вывести новую расу господ, сверхлюдей, сильнее и умнее всех людей, когда-либо живших ранее.

На самом деле это распространенное заблуждение. Гитлер верил, что сверхлюди-арийцы уже существовали ранее — стереотип нордического человека, голубоглазого блондина-хищника, который был загрязнен смешиванием с нечистыми расами. Своего рода расовое «грехопадение».

Это говорит о степени, в которой идея прогресса пронизывает западную цивилизацию — что когда человеку говорят о нацистской евгенике, он слышит «Они пытались вывести сверхчеловека». Ты, дорогой читатель — если ты будешь ошибаться настолько, чтобы одобрить принудительную евгенику, ты бы попытался создать сверхчеловека. Потому что твои идеалы расположены в будущем, не в прошлом. Потому что ты мыслишь творчески. Мысль о том, чтобы вернуться обратно к нордическому архетипу, обратно через эти тысячи лет, не будет даже рассмотрена тобой как возможность — что, всего лишь вернуться к викингам? И все? Собраться убивать людей в процессе исследований и не достигать при этом новых высот — это же более чем бесполезная трата времени и ресурсов, разве нет? И это одна из причин, по которой тебя, дорогой читатель, нельзя назвать нацистом.

Это говорит о том, как трудно относительно здоровому человеку влезть в шкуру относительного больного, как говорят о нацистах, и исказить историю так, чтобы сделать из них несовершенных трансгуманистов.

Коммунисты были теми, кого можно назвать несовершенными трансгуманистами. «Новый советский человек» и все такое. А нацистов можно с большой долей вероятности назвать лишь биоконсерваторами.

Хранители Айн Рэнд

Элиезер Юдковский

Для скептиков идея того, что разум может вести к культу, — абсурд. Характеристики культа противоположны разуму. Но, как я продемонстрирую, это не только может случиться — это уже случилось, причем с такой группой людей, что произошедшее следовало бы назвать самым невероятным культом в истории. Это урок того, что происходит, когда правда становится важнее, чем ее поиск…

— Майкл Шермер, «Самый невероятный культ в истории».

Я думаю, Майкл Шермер чрезмерно детально объясняет, что такое объективизм. Я попробую предельно расширить и развить эту идею.

Романы Айн Рэнд возвеличивают технологии, капитализм, индивидуальный вызов Системе, ограниченное в полномочиях правительство, частную собственность, себялюбие. Основной герой Рэнд, Джон Галт, был ученым, который изобрел новую форму дешевой возобновляемой энергии, но затем отказался отдать ее миру, потому что выгода была бы украдена и пошла бы на поддержку порочного правительства.

И потом — каким-то образом — это все превратилось в этико-философскую «закрытую систему» с Айн Рэнд в центре. Термин «закрытая система» — это не мое собственное обвинение, это термин, который использует Институт Айн Рэнд для описания объективизма. Объективизм определяется работами Айн Рэнд. Теперь, когда Айн Рэнд умерла, объективизм как система закрыт. Если вы несогласны с работами Рэнд в каком-нибудь отношении, вы не можете быть объективистом.

Макс Глакман однажды сказал: «Наука есть любая дисциплина, в которой дурак этого поколения может превысить порог, достигнутый гением предыдущего поколения». Наука движется вперед, уничтожая своих героев: так Ньютон пал перед Эйнштейном. Каждый молодой физик мечтает о том, чтобы стать новым чемпионом, о свержении которого будут мечтать будущие физики.

Философским кумиром Айн Рэнд был Аристотель. Ну, может быть, Аристотель был молодым и горячим математическим талантом 2350 лет назад, но математика заметно прогрессировала с его времен. Байесовская теория вероятности — это количественная логика, частным случаем которой является качественная логика Аристотеля, но ничто не указывает на то, что Айн Рэнд была знакома с байесовской теорией, когда писала свой magnus opus, «Атлант расправил плечи». Рэнд писала о «рациональности», однако даже не ознакомилась на должном уровне с современными исследованиями в области эвристики и предвзятости. Как вообще кто-то может называть себя искусным рационалистом, не зная таких элементарных вещей?

«Подождите минутку, — возражает читатель, — но это же нечестно! «Атлант расправил плечи» был опубликован в 1957! Практически никто не знал о Байесе тогда». Пфф. Вы мне еще скажите, что Айн Рэнд умерла в 1982 и никак не могла прочитать «Суждение в условиях неопределенности: эвристика и искажения», поскольку книга была опубликована в том же году.

Наука вообще нечестна. В этом как бы вся соль. Честолюбивый рационалист в 2007 году имеет огромное преимущество перед честолюбивым рационалистом в 1957. Это признак того, что прогресс происходит.

По-моему, мысль о том, чтобы добровольно принять систему, эксплицитно привязанную к убеждениям одного человека, который уже умер, где-то между дурью и самоубийством. Компьютеру нужно меньше пяти лет, чтобы стать устаревшим.

Колебание, движение, которым Рэнд восхищалась в науке, коммерции, каждой железной дороге, заменявшей путь эпохи извозчиков, каждом небоскребе, построенном по принципу новой архитектуры, рождается из принципа необходимости превзойти старых мастеров. Как можно говорить о науке, если самый умный ученый на свете уже жил? Кто бы поднял линию небоскребов в Нью-Йорке, которая так восхищала Айн Рэнд, если бы самое высокое здание в мире уже было построено?

И тем не менее Айн Рэнд не признавала никого, кто бы превосходил ее, в прошлом и не допускала появления такого человека в будущем. Рэнд, которая начала с восхищения разумом и индивидуальностью, закончила тем, что предавала остракизму всякого, кто смел ей противоречить. Шермер: «[Барбара] Брэнден вспоминала вечер, когда знакомый Рэнд сказал, что любит музыку Рихарда Штрауса. “Когда он ушел в конце вечера, Айн сказала (и такая реакция становилась все более типичной для нее): «Теперь я понимаю, почему мы с ним никогда не сможем быть действительно единомышленниками. У нас непреодолимо разное ощущение жизни». Нередко она даже не ждала, пока ее знакомый уйдет, чтобы сделать подобное замечание”».

Айн Рэнд изменилась со временем, полагаю.

Рэнд выросла в России и видела Октябрьскую революцию своими глазами. Ей дали визу для визита родственникам в Америке, когда ей был 21 год, и она никогда не возвращалась на родину. Просто ненавидеть авторитаризм, когда ты его жертва. Просто отстаивать свободу личности, когда ты угнетен.

Нужны гораздо более сильные склад ума и характер, чтобы бояться власти, когда у тебяесть сила. Когда люди обращаются к тебе за ответами, тяжелее сказать: «Что, черт побери, я могу знать о музыке? Я ж писатель, а не композитор», — или: «Черт знает, как любовь к музыкальному произведению может быть ошибочной».

Когда это ты сокрушаешь тех, кто смеет тебя оскорбить, применение силы выглядит гораздо более извинительным, чем когда сокрушают тебя. Всевозможные прекрасные оправдания любого рода каким-то образом приходят на ум.

Майкл Шермер детально описывает то, как, по его мнению, философия Рэнд пришла в итоге к тому, что опустилась до культовости. В частности, Шермер говорит (по крайней мере так кажется), что объективизм провалился, потому что Рэнд думала, что точность, уверенность возможна, тогда как наука никогда не бывает абсолютно точна. Не могу согласиться с Шермером. Атомная теория строения вещества в химии просто-таки чертовски точна, она неоспорима. Но химики не образовали вокруг нее культ.

Вообще говоря, я думаю, что Шермер становится жертвой фундаментальной ошибки атрибуции, предполагая, что есть однозначная корреляция между философией Рэнд и тем, как ее последователи образовали культ. Всякое дело хочет стать культом.

Айн Рэнд бежала из Советского Союза, написала понравившуюся многим книгу об индивидуализме, получила множество комплиментов и сформировала кружок обожателей. Ее поклонники говорили о ней все более и более приятные вещи, и она слишком наслаждалась этим, чтобы сказать им заткнуться (аффективная смертельная спираль). Она поняла, что у нее есть сила, достаточная, чтобы сокрушить всех, кого она не одобряла, и она не стала противиться искушению силы.

Айн Рэнд и Натаниэль Брэнден имели внебрачную связь. (С разрешения обоих их супругов, что дорого стоит, на мой взгляд. Если хотите представить это как «проблему», нужно уточнить, что их супруги были несчастны — и все равно это не касается посторонних.) Когда открылось, что Брэнден «изменял» Рэнд с еще одной женщиной, Рэнд впала в ярость и предала его анафеме. Многие объективисты откололись от объединения, когда об этой связи стало известно.

Кто остался с Рэнд вместо того, чтобы последовать за Брэнденом или совсем бросить объективизм? Ее самые уверенные сторонники. Кто ушел? Те, кто был голосом умеренности. (Это охлаждение групповых убеждений.) С этих самых пор власть Рэнд над оставшимися была абсолютна, и сомнения и вопросы не дозволялись.

Единственная необыкновенная вещь во всем этом — то, насколько обыкновенно все сложилось.

Вы могли бы подумать, что система убеждений, восхваляющая «разум», и «рациональность», и «индивидуализм», могла бы как-нибудь приобрести что-то вроде особого иммунитета…

Ну, не приобрела.

Это сработало так же успешно, как если бы кто-нибудь повесил табличку «Холодно» на холодильник, не включенный в розетку.

Активное усилие, необходимое для того, чтобы противостоять энтропии, не было предпринято, и тогда последовало неминуемое разложение.

И если вы называете это «самым невероятным культом в истории», вы просто называете реальность противными словами.

Пусть это будет уроком всем нам: восхваление «рациональности» ничего не стоит. Даже сказать: «Вы должны доказывать все ваши убеждения с помощью Разума, а не просто соглашаться с Великим Лидером», — значит просто запустить автоматическую программку, которая берет любое высказывание Великого Лидера и генерирует доказательство, которое вашим товарищам-последователям покажется Разум-ным.

Так где же найти истинное искусство рациональности? В изучении математических основ теории вероятности и теории принятия решений. В постижении когнитивных наук вроде эволюционной психологии или эвристики и искажений. В чтении исторических книг…

«Изучайте науку, а не только меня!» — это, наверное, самый важный совет, который Айн Рэнд должна бы была дать своим последователям, но не дала. Не было на земле человека, чьи плечи были бы достаточно широки, чтобы выдержать весь груз истинной науки, в которую вносят лепту столь многие.

Стоит отметить, я думаю, что герои Айн Рэнд были инженерами и архитекторами, Джон Галт, ее самый важный герой, был физиком, и тем не менее сама Айн Рэнд не была великим ученым. Насколько мне известно, она не была особенно хороша в математике. Она не могла возвыситься до соперничества с собственными героями. Может быть, поэтому она начала сбиваться с пути Tsuyoku Naritai.

Ну вот я, знаете, я восхищаюсь дерзостью Фрэнсиса Бэкона, но я уверен, что вправе застенчиво признаться: «Если б я мог перенестись назад во времени и как-нибудь объяснить Фрэнсису Бэкону проблему, над которой сейчас работаю, у него б глаза выскочили из глазниц, как пробки из бутылок шампанского, и взорвались».

Я восхищаюсь достижениями Ньютона. Но мое отношение к избирательному праву женщины начисто исключает возможность воспринимать Ньютона как образец морали. Точно так же, как мое знание байесовской теории вероятности не дает мне воспринимать Ньютона как абсолютный, непоколебимый, неоспоримый источник математического знания. И мое знание о специальной теории относительности, пусть она и не слишком известна и малоупотребима, препятствует тому, чтобы воспринимать Ньютона как абсолютный авторитет в физике.

Ньютон по объективным причинам не мог выяснить то, что я ставлю выше его идей, — но прогресс нечестен! В этом вся суть!

У науки есть герои, но нет богов. Великие Имена — это не те, кто превзошел нас, и даже не наши соперники — это уже пройденные вехи нашего пути, и самой важной вехой будет герой, которому еще предстоит появиться.

Быть еще одной вехой на пути человечества — это самая лучшая судьба для кого угодно, но она, по-видимому, оказалось слишком непритязательной, чтобы угодить Айн Рэнд. Так Айн Рэнд стала всего лишь Великим Пророком.

Два коана о культах

Элиезер Юдковский

1.Первый коан

2.Второй коан

Первый коан

Некий начинающий рационалист учился у мастера Оги. Однажды друг упрекнул его: «Ты постоянно слушаешь своего мастера и рассуждаешь про рациональное то и рациональное сё, — ты попал в лапы секты!».

Новичок был глубоко встревожен. Слова «Ты попал в лапы секты!» гремели в ушах, когда он ложился спать в ту ночь, и преследовали даже во сне.

На следующий день новичок подошел к мастеру Оги и рассказал о случившемся. «Мастер, меня постоянно терзают мысли о том, что я попал в самую настоящую секту, а ваше учение — не что иное как догма».

Оги ответил: «Если ты найдешь на дороге молоток и продашь его, то можешь запросить за него мало или много. Но если ты оставишь молоток себе и будешь заколачивать им гвозди, то кто станет сомневаться в его ценности?».

Новичок заявил: «Вот, именно это меня и беспокоит — ваши таинственные ответы в духе дзен».

Оги сказал: «Ладно, буду выражаться проще и приведу совершенно разумные аргументы, которые продемонстрируют, что ты попал не в секту. Но сначала ты должен надеть эту дурацкую шляпу».

Оги протянул новичку огромную коричневую ковбойскую шляпу.

«Э-э, мастер…», — начал было новичок.

«Когда я всё объясню», — прервал его Оги, — «ты поймешь, почему это было необходимо. Ну, или можешь и дальше не спать ночами, мучаясь вопросом о том, секта это или нет».

Новичок надел ковбойскую шляпу.

Оги заговорил: «Как долго ты будешь повторять мои слова и игнорировать их смысл? Беспорядок в мыслях начинается с привязанности к предпочитаемым выводам. Тебя слишком тревожит, насколько ты выглядишь рационалистом в своих глазах. Ты пришел ко мне, чтобы снова обрести уверенность. Если бы ты был по-настоящему любопытным, то, не зная в какую сторону двигаться, ты искал бы способ разрешить свои сомнения. Поскольку ты хотел избавиться от когнитивного диссонанса, ты охотно надел дурацкую шляпу. Будь я плохим человеком, я бы заставил тебя заплатить сотню серебряных монет. Когда задумываешься над вопросом, связанном с реальностью, полезность или бесполезность твоего знания скоро становится очевидной. Ты же уподобился мечнику, что беспрестанно кидает взоры по сторонам, — уж не засмеялся ли кто-нибудь над ним?..».

«Ладно-ладно, я понял!» — воскликнул новичок.

«Ты просил длинную версию», — заметил Оги.

Позднее этот новичок стал преемником Оги и обрел известность под именем Ни но Тачи. С той поры он не позволял ученикам цитировать свои слова в их дебатах, говоря: «Используйте техники, а не ссылайтесь на них».

Второй коан

Начинающий рационалист подошел к мастеру Оги и сказал: «Учитель, меня беспокоит, что наши рациональные додзё… ну… слегка сектантские».

«Это серьезный повод для беспокойства», — заметил Оги.

Новичок подождал немного, но Оги молчал.

Поэтому новичок заговорил снова: «Я имею в виду, что нам приходится носить эти мантии с капюшонами, — в них мы выглядим, прошу прощения, типа как хреновы масоны».

«А, — проронил Оги, — мантии и внешние атрибуты».

«Ну, да, мантии и атрибуты, — подхватил новичок. — Выглядят просто ужасно нерациональными».

«Я рассею все твои опасения, — ответил мастер, — но сначала ты должен надеть эту дурацкую шляпу». И Оги вытащил шляпу волшебника, украшенную полумесяцами и звездами.

Новичок взял шляпу, оглядел и возопил в отчаянии: «Да как она вообще может помочь!»

«Ты очень беспокоишься о взаимодействии одежды с теорией вероятности, — изрек Оги, — поэтому неудивительно, что для достижения понимания ты должен носить специальную шляпу».

Когда новичок завершил обучение, он взял себе имя Боузо1 и обсуждал рациональность не иначе как в клоунском наряде.

Эксперимент Аша о конформизме

Элиезер Юдковский

Соломон Аш, с помощью экспериментов, поставленных в 1950-е, а впоследствии хорошо воспроизводившихся, привлек внимание к явлению, которое сейчас известно как конформизм. В классическом эксперименте испытуемый видел загадку вроде той, что приведена на рисунке: «Какая из полос A, B, C той же длины, что и полоса X? Подумайте минутку, чтобы определиться с ответом».

Источник

Подвох был в том, что испытуемый проходил тест вместе с другими людьми, которые тоже смотрели на рисунок. Они играли роль других испытуемых, однако на деле были сообщниками экспериментатора. Эти «испытуемые» в эксперименте, один за одним, утверждали, что линия С той же длины, что и Х. Как много людей в такой ситуации согласились бы с этим очевидно неверным ответом, соглашаясь с мнением большинства? Каков по вашему мнению был их процент?

Три четверти испытуемых в эксперименте Аша дали «конформистский» ответ хотя бы раз. Треть испытуемых «подстраивалась» более чем в половине случаев.

Интервью после эксперимента показали, что хотя большинство участников заявили о своем неверии в данные ими конформистские ответы, несколько утверждали, что они на самом деле считали, что ответ большинства был верен.

Аша встревожили данные результаты:

«То, что обнаруженная нами склонность к конформизму в нашем обществе столь сильна … представляет собой определенную проблему. Перед нами встают вопросы о том, как мы получаем знания и какими ценностями руководствуемся при выборе действий.»

Вели ли себя испытуемые экспериментов Аша иррационально - нетривиальный вопрос. Теория Ауманна о согласии показывает, что честнейшие байесианцы не могут согласиться не соглашаться - если у них общие данные о их оценках вероятностей, их оценка будет одинаковой. Теорема Ауманна была доказана спустя больше чем двадцать лет после экспериментов Аша, однако она только формализует и укрепляет интуитивно понятную точку зрения - убеждения других людей часто являются легитимным свидетельством.

Если вы смотрите на рисунок, подобный приведенному выше, при этом зная тот факт, что другие люди в эксперименте были честны и смотрели на тот же рисунок, говоря, что С такого же размера, что и Х, каковы шансы, что только вы дали правильный ответ? Я не претендую на хорошее визуальное мышление - и не думаю таким образом, что я лучше среднего человека смогу определить, одинакового ли размера эти две линии. С точки зрения индивидуальной рациональности, я надеюсь, что заметил бы свое сильное замешательство и потом присвоил бы вероятность >50% мнению большинства.

С точки зрения групповой рациональности, мне кажется, что правильней всего для честного рационалиста было бы сказать, «Странно, но для меня одинаковыми выглядят В и Х. Но если мы все смотрим на один рисунок и отвечаем честно, у меня нет причины верить, что моя оценка лучше ваших.» Последняя часть важна - это намного менее выраженное заявление о несогласии, чем: «А, так перед нами оптическая иллюзия - я понимаю, почему вы считаете, что ответ С, но на самом деле ответ В.»

Так что нельзя автоматически признать испытуемых-конформистов в данных экспериментах иррациональными, основываясь только на тех данных, что я привел выше. Но, как можно ожидать, дьявол скрывается в подробностях экспериментальных результатов. Согласно мета-анализу сотен подобных опытов, который был сделан Смитом и Бондом (1996):

Конформность существенно возрастала, когда рядом с испытуемым добавляли трех сообщников экспериментатора, однако при дальнейшем увеличении их числа, до 10-15, не росла. Если бы люди использовали конформизм рационально, то мнение 15 испытуемых должно было бы быть существенно более сильным свидетельством, чем мнение трех.

Добавление человека, который не соглашается с мнением группы - который дает верный ответ или даже неверный, но отличающийся от выбора группы - резко снижает уровень конформизма, примерно на 5-10%. Если вы используете интуитивную версию согласия Ауманна, чтобы подумать о том, что когда один человек не соглашается с тремя, то правы скорее всего те трое, тогда в большинстве случаев вы должны бы приходить к тем же выводам, если 2 человека спорят с 6. (Это не автоматически верно, однако при прочих равных условиях - вполне.) С другой стороны, если вы относитесь к эмоционально неустойчивым людям, которым неприятно выделяться, то легко видеть, как даже единичный человек, который согласен с вами, или несогласен с группой, позволяет вам перестать так нервничать.

При этом, что неудивительно, испытуемые в случае, когда в группе помимо них был еще один несогласный с общим мнением, никак не связывали свой нонконформизм с присутствием этого человека. Подобно 90% водителей, которые считают, что водят выше среднего уровня - для некоторых из них это может быть истиной, но вряд ли верно для всех. Люди не знают о причинах своего конформизма или нонконформизма, что опровергает попытку защитить их, говоря, что это было проявлением рациональности. Например, в гипотезе, что люди социально-рационально выбирают лгать, чтобы не выделяться, было, что по крайней мере несколько человек в случае, когда в группе был один несогласный с общим мнением, сознательно не предвидели, что будет «осознанной стратегией», которой они будут следовать, когда встретятся с неанонимной оппозицией.

Когда нонконформист-одиночка вдруг начинает подстраиваться под группу, уровень конформизма испытуемых откатывается к столь же большой величине, как и в случае, когда не было никакого нонконформиста. Первым выступать против мнения группы весьма значимая (и трудная!) социальная деятельность, но ее нужно целенаправленно поддерживать.

Стабильным образом группы, состоящие полностью из женщин (женщина-испытуемая среди женщин — «подсадных уток»), в большей степени подвержены конформизму, чем целиком мужские группы. Подстраивалась более, чем в 50% случаев, примерно половина женщин, в то время как среди мужчин — треть. Если объявить, что средний человек делает выбор рационально, в то время как женщины, очевидно, более «конформисты», а мужчины более «бунтари», — то ни та, ни другая группа не рациональна по-настоящему.

Манипуляции с положением внутри-снаружи группы (то есть искусственное противопоставление подставных несогласных остальной группе) схожим образом показывает, что конформизм существенно выше среди людей, которые входят в группу.

Степень конформизма меньше в случае, когда используются более явные рисунки (например, тот, который приведен на этой странице), по сравнению с теми, где ошибка не столь заметна. Это трудно объяснить, если (все) испытуемые принимают социально рациональные решения с целью избегать того, чтобы выделяться.

Дополнение. Пол Кроули напомнил, что следует учесть падение уровня конформизма в случае, когда испытуемый может дать ответ так, чтобы группа его не слышала. Это также говорит против толкования в духе теоремы Ауманна.

Выражая беспокойство

Элиезер Юдковский

Ужасает в экспериментах Аша то, что людей легко заставить назвать черное белым, если поместить их в общество из людей, которые так говорят. Воодушевляет то, что даже при наличии одного-единственного несогласного с мнением толпы уровень конформизма существенно падает, причем для этого даже необязательно, чтобы этот несогласный говорил истину. И тоску наводит тот факт, что данный эффект является обратимым - если несогласный меняет свое мнение и начинает соглашаться с остальными, то уровень конформизма снова начинает расти.

Если вы являетесь нонконформистом для своей группы, то для нее это может быть реально полезно. Но это имеет свою цену. Вам надо будет продолжать этим заниматься, учитывая одновременно то, что вы можете и ошибаться.

Не так давно я получил занимательный опыт в виде обсуждения одного проекта с двумя людьми, у которых уже имелись заранее разработанные планы. По моему мнению, они были чересчур оптимистичны, и поэтому я внес ряд предложений, которые должны были увеличить запас прочности проекта. Вскоре к дискуссии присоединился четвертый участник, который принял сторону одного из тех двоих, и тоже начал вносить предложения. И где-то на этом этапе я осознал механизм работы сверхуверенности в группе - каждый раз, когда я начинал указывать на возможную проблему, четвертый участник тут же говорил что-нибудь ободряющее вроде «Не волнуйся, мы справимся с этим!»

Человек, работающий сам по себе, будет сомневаться просто по своей природе. В его голове постояно будут прокручиваться мысли вида «Точно ли я могу справиться с Х?», поскольку нет ничего предосудительного в том, чтобы сомневаться в собственных силах. Однако когда человек начинает работать в коллективе, поднимать такой вопрос касательно компетентности других людей становится невежливым. Вместе люди более оптимистичны, нежели поодиночке, они подавляют сомнения друг друга при помощи заверений, которые кажутся надежными, ведь человек редко осознает, что другие люди тоже подвержены внутренним сомнениям.

Это самая ужасная черта, которая была показана в экспериментах Аша - что любое беспокойство человека, согласного с группой, подавляется уверенными заявлениями прочих членов группы, которые обеспокоены тем, чтобы скрыть их собственное беспокойство и не понимают, что подобные опасения могут быть и у остальных. Данный феномен известен как «плюралистическое невежество».

Мы с Робином Хансоном долго спорили по поводу того, когда тот, кто претендует на звание рационалиста, должен осмеливаться не соглашаться с остальными. Моя позиция состояла в том, что у вас в любом случае нет никакого иного выбора, кроме как формировать свое мнение. Робин отстаивал более осторожную точку зрения, что вы - не просто другие люди - должны рассматривать возможность, что другие люди могут быть мудрее. В любом случае мы оба сходимся в том, что расширения теоремы Ауманна о согласии подразумевают чью-либо иррациональность в том случае, если наличествует общее знание о фактическом несогласии. В любом случае, каких бы позиций мы не придерживались, мы сходимся насчет скромности: что бы вам не говорили об индивидуализме, забудьте это и уделите внимание тому, что думают другие.

Итак. Смысл здесь в том, что рационалист должен рассматривать несогласие с группой как нечто весьма серьезное. Нельзя просто отмахнуться, сказав: «Каждый имеет право на свое мнение».

Я считаю, что наиболее важный урок, который можно извлечь из экспериментов Аша, заключается в необходимости отделять «выражение беспокойства» от «несогласия». Поднять тему, которую избегают все остальные, это не то же самое, что пообещать вообще не согласиться с группой в конце обсуждения.

Идеальный байесовский процесс, ведущий к принятию общего мнения, включает в себя обмен свидетельствами, которые непредсказуемы для слушателя. Результат соглашения Ауманна действителен только для общего знания, где вы знаете, я знаю, вы знаете, что я знаю и т.д. Статья Хансона «Мы не можем предвидеть несогласие» показывает картину того, как странно может выглядеть процесс конвергенции между идеальными рационалистами в оценке вероятности; это не похоже на то, словно два покупателя в магазине спорят по поводу цены.

К сожалению, в социуме не принято видеть разницу между «выражением недовольства» и «несогласием». Группа, состоящая из рационалистов, может понимать разницу, но по большей части люди не замечают нюансы этих выражений. Как только вы высказались, вы совершили необратимое социальное действие; вы становитесь гвоздем преткновения, возмутителем спокойствия группы, и вам не удаться отмотать все обратно. Все, кто расценил ваше беспокойство как обвинение в их некомпетентности касательно какой-либо задачи Х, вероятнее всего затаит на вас обиду, если в конце вы объявите о своем согласии с группой.

В эксперименте Аша мы видели как сила нонконформиста реально способна вдохновлять других. И этот же эксперимент показал, что сила конформизма не менее реальна. Если все в группе воздерживаются от высказывания личного мнения, то в конце концов воцаряется хаос. И в то же время не стоит забывать об уроках истории, которые показывают нам, какова цена за право быть одним из первых закричавших «А король-то голый!». Люди по своей природе не привыкли различать «выражение недовольства» и «несогласие даже с общеизвестным»; подобное разграничение является чертой рационалистов. Читая самые циничные книги о помощи себе (такие как «Государь» Макиавелли) вы могли встретить советы скрывать свой нонконформизм и соглашаться с группой, оставляя опасения при себе. И если вы все же решились первым указать на очевидный промах, не ждите, что группа будет благодарна вам за это.

В нонконформизме есть свои плюсы и минусы - как для «выражения беспокойства», так и для «несогласия» - и решение в любом случае только за вами.

Одинокий инакомыслящий

Элиезер Юдковский

Эксперимент Аша показал, что наличие одиночного инакомыслящего резко снижает частоту появления «конформистских» неправильных ответов. Проявлять индивидуализм легко, как показал эксперимент, если вас кто-то поддерживает. Все другие испытуемые в комнате, за исключением одного, говорят, что черное — это белое. Вы становитесь вторым, который говорит, что черное — это черное. И это кажется блистательным: двое, одинокие и непокорные повстанцы, против всего мира! (Дальнейшие интервью показали, что испытуемые, при наличии в группе инакомыслящего, испытывают по отношению к нему сильные товарищеские чувства — хотя, конечно, они не считают, что наличие инакомыслящего влияет на их собственный нонконформизм.)

Но вы в состоянии только присоединиться к протесту уже после того, как кто-нибудь окажется первым бунтарем, кто-нибудь, кто услышав, как все один за другим говорят, что черное — это белое, всё же скажет, что черное — это черное. И это, как показывает эксперимент, намного сложнее.

Бунтарь-одиночка не чувствует себя так, как будто идет в школу в черном рокерском балахоне и в берцах; скорее, он ощущает себя наряженным словно клоун.

В этом разница между тем, чтобы присоединиться к восстанию, и тем, чтобы покинуть стаю.

Если и есть что-то, чего я не могу выносить, так это притворство — вы могли заметить это, если читали какое-то время Overcoming bias. Ну, одинокий инакомыслящий является одной из наиболее распространенных, явно притворных характеристик. Каждый хочет быть ниспровергателем устоев.

Я не говорю, что акт присоединения к восстанию имеет меньшее значение. Есть восстания, стоящие того, чтобы к ним присоединиться. Требуется мужество, чтобы выдержать неодобрение группы, в которой вы состоите, или, что еще хуже, ее равнодушие. Нет нужды говорить, что поход на рок-концерт нельзя назвать восстанием. А вот, например, вегетарианство можно. Сам я не вегетарианец, но уважаю тех людей, которые это практикуют, поскольку я ожидаю, что требуется заметное количество тихого мужества, чтобы сказать людям, что гамбургеры не стоит есть. (Но только не в Bay Area, там это в порядке вещей.)

Однако, если вы скажете, что вы вегетарианец, люди будут думать, что понимают, почему, даже если это не так. Они могут не соглашаться. Они могут обидеться, если вы решите объявить это достаточно гордо, и даже, если на то пошло, они могут обидеться только потому, что их легко обидеть. Тем не менее, они будут знать, как к вам относиться.

Когда кто-нибудь ходит в школу в рокерском балахоне, учителя и прочие школьники понимают, какую роль в этом обществе он тем самым берет на себя. Эта роль именуется «Против Системы!» и является самым типичным способом протеста, который очевиден и понятен всем. Нет, правда, знаешь, я против Системы. Я не такой, как все, я бросаю вызов обывательскому мышлению, и люди возмущенно говорят «не знаю, зачем тебе…», но… на самом деле я не думаю каких-то вещей, до которых еще не додумался никто другой. Как кто-то сказал, «Хоть что-то из антиправительственной литературы, которую вы читали, заставило вас изменить свои политические взгляды?»

Что требует настоящего мужества — так это выдерживать открытое непонимание людей вокруг вас, когда вы делаете что-либо, что не вписывается в сценарий Обычного Восстания №37, что-либо, на что у них нет шаблона реагирования. Они не ненавидят вас за восстание, они просто думают, мол, странный чувак, и отворачиваются. Эта перспектива пугает куда сильнее. В этом различие между объяснением вегетарианства и объяснением крионики. В мире есть и другие сторонники крионики, но рядом с вами их нет. Вы должны объяснить суть этого в одиночку тем людям, которые считают, что это просто странно. Это не является запрещенным, но находится за границами стандартного мышления. Вы хотите чтобы после смерти вашу голову заморозили? Вы думаете, что это поможет вам избежать смерти? Что вы имеет в виду под информацией в мозгу? Э, что? Вы, что, псих?

Я испытываю желание найти объяснение постфактум в эволюционной психологии: вы можете собраться вместе с маленькой группой друзей и уйти из вашего племени, однако остаться в лесу одному — смерти подобно, по меньшей мере потомства вы точно не оставите. Мы не осознаем этого явно, но это не природа эволюционной психологии. Присоединяться к революции, о которой всем известно, страшно, однако куда страшнее делать что-то абсолютно иное. Что-то, что в древние времена могло не просто привести к расхождению во мнениях с группой, но к тому, что вы останетесь одиночкой.

Как в случае со свидетельствами о крионике, страх мыслить по-настоящему другим образом сильнее страха смерти. Охотники и собиратели были готовы встретиться лицом к лицу со смертью — это было частью их повседневной жизни, при охоте на больших млекопитающих или просто перемещении в мире, полном хищников. Им нужно было мужество, чтобы жить. Мужество отрицать стандартные способы мышления племени, вводить мысли, которые кажутся по-настоящему странными — ну, что возможно не особо хорошо служило их носителям. Мы не осмысливаем это явно; эволюционная психология работает не так. Мы, люди, устроены таким образом, что большинство из нас скорее пойдет прыгать с парашютом, нежели подписываться на крионику.

И это не высшая степень мужества. В мире не один крионист. Но только Роберт Эттингер сказал это первым.

Чтобы сделать революцию в науке, вы должны быть первым человеком, который возразит тому, что думают все. Это не единственный путь к величию в науке; это редкость даже среди великих. Никто не может совершить революцию в науке только попытками имитировать революционность. Вы можете попасть туда, только гоняясь за верным ответом в любой области, и не имеет значения, будет ли он революционен или нет. Но если, в свое время, если поглотив всю мощь и мудрость уже накопленных знаний, если, после всего этого и толики удачи, вы обнаруживаете, что погоня за точным ответом ведет на новую территорию… вот тут и появляется возможность проверить ваше мужество.

Настоящее мужество одинокого инакомыслящего, которое пытается изобразить каждая рок-группа.

Конечно не все, для чего требуется мужество, является хорошей идеей. Мужество нужно и для того, чтобы прыгнуть со скалы, но скорее всего при этом вы просто расшибетесь в лепешку.

Страх одинокого инакомыслящего препятствует хорошим идеям, однако не каждая идея, которая противопоставляет человека остальным, является хорошей. Смотрите также «Robin Hanson’s Against Free Thinkers». Наибольшая трудность в том, чтобы обладать новой истинной научной мыслью в «истинной» части.

На самом деле не обязательно отличаться от остальных только чтобы сделать вид отличающегося. Если вы делаете вещи по-другому только когда вы видите необыкновенно хорошую причину, у вас все равно будет более чем достаточно проблем, чтобы заполнить весь остаток вашей жизни.

Вокруг есть несколько настоящих сборников бунтарей. Церковь НедоМудреца, например, похоже, действительно направлена на приведение людей в замешательство, а не просто на то, чтобы обидеть их. И есть островки подлинной терпимости в мире, такие как конвенты научной фантастики. Есть некоторые люди, которые не боятся выходить из группы. Таких людей существует куда меньше, чем представляется, но они есть. Но все же научные революционеры встречаются редко. Вдумайтесь в это.

Теперь я, знаете ли, на самом деле бунтарь. Все думают, что они бунтари, но для меня это истина, видите ли. Я бы всегда носил клоунский костюм в школе. Мои разговоры были серьезными только с книгами, но не с другими людьми.

Но если вы думаете, что вы бы всегда носили этот клоунский костюм, тогда не гордитесь этим слишком сильно! Это всего лишь значит, что вам нужно прилагать усилия в противоположном направлении, чтобы избегать проявлять инакомыслие исключительно по привычке. Это то, что я должен делать, чтобы исправлять свою собственную природу. Другие люди имеют причины мыслить так, как они это делают, и игнорировать это — столь же плохо, как и бояться возражать им. Вы не хотели бы закончить как свободный мыслитель. Это не добродетель, как можно видеть — это лишь другое когнитивное искажение.

Культовая контркультовость

Элиезер Юдковский

В современном мире присоединиться к культу — возможно одна из наиболее плохих вещей, которые могут с вами произойти. В лучшем случае вы окажетесь в группе хороших, но запутавшихся людей, которые просто ошибаются, но не имеют против вас ничего плохого в принципе. Тогда вы всего лишь потратите много времени и денег, ничего не получив взамен. На самом деле, это описание подходит любому провалившемуся стартапу в Силиконовой долине. Что подразумевает под собой чертовски тяжелый опыт, если подумать. Так что да, это все же достаточно страшно.

Но настоящие культы намного хуже. Демонстративное проявление внимания и заботы к человеку, находящемуся в личном кризисе, как техника вербовки. Депривация сна. Стимулируемая апатия от тяжелой работы. Удаленные коммуны для изоляции новообращенного от друзей и семьи. Ежедневные собрания для исповеди в нечистых мыслях. Не является необычным для культов и забирать все деньги новообращенного — все сбережения плюс зарплата — заставляя его зависеть от культа даже в отношении еды и одежды. Голодание как наказание за неподчинение. Серьезный ущерб здоровью и промывка мозгов.

Принимая все это во внимание, наверное, я должен больше симпатизировать тем людям, которые ужасно нервничают, начиная делать что-то, что странно выглядит, по поводу того, не попали ли они в культ. Это не должно действовать мне на нервы. Хотя действует.

Момент первый: «культы» и «не-культы» это не отдельные естественные виды как собаки и кошки. Если вы посмотрите на любой список характеристик культа, вы увидите черты, которые легко обнаруживаются в политических партиях и корпорациях — «члены группы призывают не доверять внешней критике как имеющей скрытые мотивы», «иерархическая структура власти». Я постил групповые режимы неудач, типа раскола группы, смертельных спиралей счастья, некритичности и охлаждения испарением, каждый из которых усиливает другие. Когда все эти недостатки растут и встречаются друг с другом, они все вместе комбинируются в супер-Недостаток, глупее, чем каждая из составляющих его частей, типа Вольтрона. Но это не сущность культа; это его аттрактор.

Собаки рождаются со своей ДНК, а кошки со своей. В нашем мире нет существ, которые имели бы среднюю между ними ДНК. (Даже с учетом генетических манипуляций, далеко не просто создать существо с половиной собачьих генов и половиной кошачьих.) И невероятно, что кошачьи гены внезапно мутируют наполовину и дадут кошке половину собачьих характеристик, превратив ее в гибрида.

Человеческое сознание, когда думает о категориях, похоже, предпочитает сущности аттракторам. Оно хочет сказать «это культ» или «это не культ», и тем самым завершить задачу классификации. Если вы наблюдаете, что у Сократа десять пальцев, он носит одежду и говорит по-гречески, тогда вы можете сказать «Сократ — человек» и из этого вывести «Сократ уязвим к болиголову» без проведения тестов крови, чтобы подтвердить его смертность. Вы выводите человечность Сократа раз и навсегда.

Но если вы наблюдаете определенную группу людей, которая похоже проявляет внутригрупповое-внешнегрупповое разделение и видите эффект положительного ореола вокруг их Лучшей Штуки В Мире — которой может быть объективизм, вегетарианство или нейронные сети — вы не можете из свидетельств на данный момент вывести, достигли ли они уже некритичности. Вы не можете вывести, истинна ли их идея или ложна, или действительно полезна, но совсем не в той степени, как они думают. Из информации, собранной к текущему моменту, вы не можете вывести всегда ли они так вежливы, или они заманивают вас, чтобы изолировать от остальных и лишить вас сна и еды. Характеристики культа присутствуют не все и отсутствуют не все.

Если посмотреть поверх аргументов типа «Х это культ», «Х это не культ», то можно видеть, что одна сторона смотрит на список характеристик культа, находит те, что совпадают и говорит «Поэтому это культ!», а противная сторона находит список не совпадающих характеристик и возражает «Поэтому это не культ!».

Вы не можете сформировать точную картину динамики группового мышления используя данный вид эссенциализма. Вам нужно уделить внимание каждой характеристике отдельно.

При этом обратное глупости не есть ум. Если вы заинтересованы в центральной идее, а не в группе, которая ее реализует, то умные идеи могут иметь глупых последователей. Множество последователей Нью Эйдж болтали о «квантовой физике», однако это никак не свидетельствует против самой квантовой физики. Разумеется, глупые идеи тоже могут иметь глупых последователей. Из бинарного эссенциализма следует мысль, что если вы определяете, что группа является «культом», то их убеждения должны быть ложными, поскольку ложные убеждения являются характеристикой культа, равно как мех является одной из характеристик кошки. Если же вы интересуетесь идеей, то смотрите на нее, а не на людей. Культовость — это в большей степени характеристика групп, а не гипотез.

Вторая ошибка — это когда люди нервно спрашивают «Это же не культ, да?». Для меня это звучит так, словно они ищут уверений от рациональности. Понятие рационалиста не привязано к их виденью самого себя настолько, насколько этого заслуживает. Но даже не вдаваясь в детали, конечно любой может видеть, что нервный поиск уверений не лучший шаблон, в котором сознание может оценивать вопросы рациональности. При этом ваше любопытство не является искренним и вы не ищете способы проверить свои сомнения. Вместо этого вы приметесь искать некий внешний источник, который скажет вам, что культы используют депривацию сна для управления людьми, отметите, что Ваша-Любимая-Группа так не делает и сделаете вывод «Это не культ! Ура!». Если нет шерсти, то это не должна быть кошка. Весьма ободряюще.

Но любая деятельность стремится стать культом, и не имеет значения, осмысленна ли она сама по себе или глупа. Дихотомия «свои-чужие»

— часть человеческой природы, а не бич отдельных мутантов. Рациональность это исключение, а не правило. Вы должны прилагать постоянные усилия, чтобы поддерживать рациональность и не давать себе естественно съехать в энтропию. Если вы решили «Это не культ» и вздохнули с облегчением, тогда вы больше не будете прилагать усилий для противостояния обычным тенденциям съезжания в культ. Вы решите, что сущности культа тут нет и прекратите сопротивляться энтропии аттрактора культа.

Если вы ужасно тревожитесь о принадлежности к культу, тогда вы захотите убрать любое упоминание о любой характеристике, которая сигнализирует о культе. Но любая группа, которая видит цель в позитивном свете, рискует поддаться эффекту ореола и должна прилагать усилия, чтобы избежать смертельной спирали. Это истинно даже для обычных институтов, таких как политические партии — люди, которые думают, что либеральные или консервативные ценности могут вылечить рак и т.д. Это истинно для стартапов Силиконовой долины, как провальных, так и успешных. Истинно для пользователей Маков и пользователей Линукс. Эффект ореола не становится хорошим только потому, что все вокруг делают так же; если все пойду прыгать в пропасть, вы не пойдете. С ошибками в мышлении нужно сражаться, а не примиряться. Но если вы слишком тревожитесь о «Вы уверены, что это не культ?», тогда вы будете отказываться видеть любой знак культовости, поскольку это будет подразумевать, что вы в культе, и — это не культ!!! Так что вы не увидите настоящее поле боя, где обычные тенденции к культу либо наступают, либо отбрасываются.

Третья ошибка того, чтобы тревожно спрашивать «Это же не культ, да?» это то, что, я подозреваю, тревожность при этом присутствует там по неправильным причинам.

Почему группы, которые возносят свои Счастливые Штуки до небес, вдохновляют своих членов пожертвовать им деньги и добровольно работать на них без оплаты, формируют частные общины, в которых члены группы тесно связаны друг с другом, зовутся «религиями», а не «культами», если единственное отличие их в том, что они существуют больше нескольких сотен лет?

Почему большинство людей, которые нервно спрашивают о крионике «Это же не культ, да?» не настолько тревожатся, когда уделяют внимание предвыборной гонке, принимая сторону демократов или республиканцев? Дихотомии «свой-чужой» и спирали счастья могут образовываться в политических дебатах, в основных религиях, в спортивных сообществах. Если бы тревожность происходила из страха сделать ошибку в рациональности, люди бы спрашивали «Это не дихотомия «свой-чужой»?» о политической гонке точно с тем же уровнем страха.

Есть легитимная причина бояться либертарианства меньше, чем культа летающего макаронного монстра, поскольку у либертарианства нет репутации использования депривации сна для обращения людей в свою веру. Однако у крионики тоже. Так почему же люди больше волнуются о том, что голова человека будет заморожена после остановки дыхания?

Подозреваю, что данная тревожность — это не страх веры в ложь и не страх физических увечий. Это страх оказаться одиноким инакомыслящим. Тревожность, в которую впадал испытуемые в экспериментах Аша, когда другие подопытные (на самом деле — сообщники экспериментатора) один за одним говорили, что линия С одинакова с Х, хотя испытуемый видел, что одинаковы В и Х. Страх отстать от группы.

Вот почему группы, убеждения которых существуют так долго, что стали казаться «нормальными», не провоцируют такой тревоги, как «культы», хотя при этом те же основные религии вполне могут забрать все ваши деньги и отослать вас в монастырь. Вот почему группы наподобие политических партий, которые очевидно ложны в рациональности, не провоцируют такой тревожности как «культы». Слово «культ» не используется для обозначения ошибок в рациональности; оно используется как ярлык для всего, что кажется странным.

Не каждое изменение является улучшением, но каждое улучшение является изменением. Если вы хотите сделать что-то лучше, то у вас нет другого выбора, кроме как делать это по-другому. Да, общепринятая мудрость включает в себя немалый объем настоящей мудрости; да, имеет смысл сначала получить побольше доказательств действенности того, что кажется странным. Но тревожность не является разновидностью взвешенного рационального соображения. Это страх поверить во что-то, что заставит ваших друзей смотреть на вас как на натурального психа. И поэтому люди спрашивают «Это не культ, да?» таким тоном, каким никогда не говорят о политических выборах или покупке большого телевизора.

И это меня сильно достает.

Это словно бы как только вы поверите во что-то, во что не верят ваши предки, Фея Культа спускается с небес и заражает вас Сущностью Культа, и следующее, что вы помните — вы все носите робы и поете гимны. Словно «странные» убеждения являются прямой причиной проблем, а не лишение сна и побои. Что вред, наносимый культами — вроде суицида с целью попасть на небеса и так далее — просто показывает, что все со странными убеждениями сумасшедшие; что первой и основной характеристикой «членов культа» является то, что они — необычные аутсайдеры.

Да, социально необычное убеждение содержит для группы риск сформировать дихотомию «свой-чужой», попасть под влияния охлаждения испарением и т.д. Но необычность — это фактор риска, а не само расстройство. Точно то же происходит, если есть цель, про которую вы думаете, что она стоит достижения. Не имеет значения, истинно это убеждение или нет — обладание хорошей целью всегда подставляет вас под риск смертельной спирали счастья. Но это делает возвышенные цели фактором риска, а не пороком. Некоторые цели на самом деле стоят того, чтобы стремиться к их осуществлению.

С другой стороны, я не вижу легитимных причин для лишения сна или угроз побоями оппозиционерам, и точка. Когда группа это делает, то независимо от того, зовете вы ее «культом» или нет, у вас есть прямой ответ на прагматичный вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого инакомыслящего это что-то, что сами культы используют. Страх того, что твои друзья будут смотреть на вас с осуждением — это тот эффект, который настоящие культы используют чтобы привлекать людей и удерживать их у себя — помещая новообращенных в окружение, состоящее только из последователей культа.

Страх странных идей и склонность к конформизму, без сомнения, помогли многим потенциальным жертвам избежать культов. Когда вы вне культа, они помогают вам сохранить это положение. Но когда вы находитесь внутри культа — они не дают вам выйти. Конформизм просто удерживает вас там, где вы находитесь, не разбирая, хорошее это место или нет.

Человек хочет, чтобы существовал способ, при помощи которого он мог бы убедиться, что он не в «культе». Некий определенный неопровержимый аргумент, который можно предъявлять людям, которые смеются над ним. Способ, который раз и навсегда бы убедил его, что он занимается правильным делом и избавил бы его от постоянных сомнений. Я верю, что это и называется «потребность в завершении». И — конечно же — культы тоже это используют.

И вот фраза «культовая контркультовость».

Жизнь с сомнением не является добродетелью — назначение любого сомнения — это уничтожить само себя, либо подтвердившись, либо опровергнувшись, и сомнение — это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жизнь с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между тем, чтобы жить загнанным и тем, чтобы жить глупым.

Если вы на самом деле искренне не понимаете, является ли группа культом, тогда вы просто должны выбирать в условиях неопределенности. А для этого существует теория принятия решений.

Проблема пять: недостаток стратегического мышления.

Я знаю людей, которые принимают решения насчет Сингулярности только взвесив все, и аналогичным образом они действуют при оценке политических партий и основных религий. Взвешенно, а не тревожно или защищаясь. Эти люди могут видеть с первого взгляда, что Сингулярность, очевидно, не является полномасштабным культом с лишением сна и прочим. Но они считают, что он станет культом, вследствие факторов риска, таких как превращение концепции сильного ИИ в Сверх-Счастливого Агента (агента, в основном определяемого как соглашающийся с любым хорошим утверждением о нем). Только потому, что что-то не является культом сейчас, не значит, что оно не станет культом в последующем. Культовость является аттрактором, а не сущностью.

Раздражает ли меня такой вид благоразумия? Конечно же нет. Я и сам провожу немало времени, размышляя о таком сценарии развития событий. Я стараюсь так выставить мои фишки Го, чтобы блокировать это направление. Например, одним из проявлений этого является серия постов об ошибках культов в мышлении.

Люди, говорящие о «рациональности» также имеют повышенный фактор риска. Давать людям советы как думать — это по определению опасное занятие. Но это фактор риска, а не порок.

Оба моих любимых занятия имеют риск стать культом. Но почему-то я слышу вопросы вида «А вы уверены, что это не культ?» куда чаще, когда говорю о сильном ИИ, нежели когда говорю о теории вероятности и когнитивных науках. Я не знаю, выше ли один фактор риска другого, но знаю, что из этих двух занятий звучит страннее…

Проблема шесть с вопросом «Это же не культ, да?»…

Просто сам вопрос по себе ставит меня в весьма раздражающую безвыходную ситуацию. Настоящий Злой Гуру, конечно, использовал бы тревожность человека против него самого и придумал бы удобный и подробный аргумент, который объяснил бы Почему Это Не Культ, который человек хотел бы принять. Иногда у меня складывается такое впечатление, что это то, чего люди от меня хотят! Что бы я ни пытался писать о культовости и как ее избежать, я не могу избавиться от ощущения, словно я поддаюсь этому порочному желанию — что в конце концов я все же даю людям уверение. Даже когда говорю людям, что нужно постоянно бороться с энтропией.

Такое ощущение, что я — первый инакомыслящий в эксперименте Аша, который говорит остальным: «Да, линия Х на самом деле такая же как линия В, и нормально говорить, что это так». У них не должно быть необходимости спрашивать! Или, что даже хуже, ощущение такое, что я привожу подробный аргумент Почему Это Не Культ. Это неправильный вопрос.

Просто посмотрите на процессы мышления той группы сами и решите для себя, то ли это, частью чего вы хотите быть, как только отставите в сторону страх странного. Только вы ответственны за остановку себя от мышления в стиле культа, и не имеет значения, с какой группой вы на самом деле работаете.

Когда кто-либо спрашивает «Это же не культ, да?», то, вне зависимости от моего ответа, я всегда ощущаю себя так, словно защищаю что-то. Мне не нравится это чувство. Это не работа мастера-байесианца — уверять и успокаивать, и не работа рационалиста — защищаться.

Культы паразитируют на групповой тревожной потребности в уверениях. Вы не можете заставить тревожность уйти только пожелав этого, а ложная самоуверенность при этом будет только хуже. Если кто-либо ищет уверений — пусть даже уверений в том, чтобы быть рационалистом — это значит, что в его броне есть брешь. Умелый мечник концентрируется на цели, а не на том, чтобы оглядываться вокруг — не смеется ли кто над ним. Когда вы знаете, что вы пытаетесь сделать и зачем, вы будете знать, получается ли это у вас или нет, и помогает ли вам в этом ваша группа, или только мешает.

(Постскриптум: если кто-то придет к вам и спросит «Вы уверены, что это не культ?», не пытайтесь объяснить все вышеприведенное за один заход. Вы при этом недооцените понятийные расстояния. Человек скажет «Ага, так вы признаете, что это культ?» или «Стоп, ты говоришь, что я не должен обращать внимания на то, культ ли это?» или «Так… страх культа является признаком культа? Это звучит так, словно ты в культе». Так что последний раздражающий фактор — седьмой, если вы продолжаете считать — это то, что все это приходится очень долго объяснять.)

Умение отпускать

Важно уметь сказать «Упс»

Элиезер Юдковский

Я только что дочитал книгу о крахе компании Enron — «Самые умные парни в этой комнате». (Также я объявляю её победителем в номинации «Самое неподходящее название для книги».)

В медленном разложении и внезапном коллапсе компании Enron присутствовала достаточно типичная деталь — главные игроки никогда не признавались себе в том, что совершили большую ошибку. Когда катастрофа #247 разрасталась настолько, что для ее исправления требовалось изменение политики всей компании, они говорили: «Жаль, что это не сработало. Идея была такой хорошей. Как замаскировать эту проблему при составлении финансового отчета?» Вместо того, чтобы сказать: «Теперь кажется очевидным, что с самого начала эта затея была ошибкой». Или: «Я действовал очень глупо». Переломный момент — момент смиренного осознания, что существует действительно фундаментальная проблема — так и не наступил. После банкротства компании Джефф Скиллинг, ее бывший исполнительный директор и на короткое время генеральный директор, отказался следовать совету своих адвокатов и сослаться на Пятую Поправку — давая показания Конгрессу, он заявил, что Enron была великой компанией.

Не каждое изменение — это улучшение, но каждое улучшение — это обязательно изменение. Если мы признаём лишь небольшие локальные ошибки, мы сможем лишь немного изменить своё поведение. На крупные изменения мотивирует признание крупных ошибок.

В детстве я рос на научной фантастике и на чисто научной литературе, и от Хайнлайна до Фейнмана я учился путям Традиционной Рациональности. «Теории должны быть смелыми и фальсифицируемыми». «Получив контр-свидетельство, ты должен быть готовым принести героическую жертву и отказаться от собственных идей». «Приводи точные аргументы». «Старайся никогда себя не обманывать». И тому подобные размытые утверждения.

Воспитание в духе Традиционной Рациональности приводит к появлению спорщиков, которые рано или поздно сдаются, получив контр-свидетельства — какой-то горы свидетельств становится достаточно, чтобы изменить своё мнение на противоположное. Это важный шаг, и именно он отличает науку от религии. Но Традиционная Рациональность придаёт гораздо меньше значения скорости — умению сдаться как можно быстрее, умению встраивать свидетельства в свою картину мира настолько эффективно, что потребуется лишь минимум контр-свидетельств, чтобы разрушить особо ценное убеждение.

Я был воспитан в духе Традиционной Рациональности и полагал, что вполне могу считать себя рационалистом. Я перешел на Искусство Байеса (Лапласа/Джейнса/Тверски/Канемана) после того, как… впрочем, это долгая история. В общем, я принял такое решение, когда понял, что размытых советов, даваемых Традиционной Рациональностью, было недостаточно для того, чтобы уберечь меня от крупной ошибки.

Когда я наконец полностью признал свою ошибку, я оглянулся, чтобы посмотреть на тот путь, который привел меня к этому Ужасному Пониманию. И я увидел, что делал множество маленьких, еле заметных уступок, каждый раз неохотно отдавая очередную крошечную часть территории, пытаясь сделать как можно меньше выводов из каждой небольшой ошибки, признавая свою неправоту ровно настолько, чтобы она оставалась в пределах допустимого. И я осознал, что мог бы двигаться вперед гораздо быстрее, если бы просто воскликнул: «УПС!»

В этот миг я понял: «Мне нужно повысить уровень моей игры».

Признание крупной ошибки даёт огромное преимущество. Это больно. Однако это может изменить всю твою жизнь.

Важно находить свой переломный момент. Момент смиренного осознания, что существует действительно фундаментальная проблема, а не какое-то количество мелких ошибок, с которыми вы легко расправитесь.

Не стоит принимать красивую позу и гордиться тем, что ты умеешь признавать свои ошибки. Гораздо лучше делать всё правильно с первого раза. Но если ты допустил ошибку, лучше увидеть ее сразу. Даже с точки зрения физических ощущений боль от одной потери лучше, чем небольшие, но многочисленные мучения. Альтернатива — это вести войну с самим собой на протяжении многих лет. Альтернатива — это Enron.

С тех пор я неоднократно видел, как другие люди совершали серии своих маленьких уступок, каждый раз неохотно отдавая очередную крошечную часть территории. Замечая небольшие локальные ошибки, они никогда не признавались себе в крупных и каждый раз делали из них как можно меньше выводов. Вместо того, чтобы починить всё одним волевым усилием, они накладывали множество мелких заплаток, без которых обойтись было уже нельзя. Признаваясь в совершённой ошибке они никогда не говорили: «Я был дураком». Они прикладывали все усилия, чтобы уменьшить своё смущение. Они говорили: «В целом, я был прав», или «Это вполне могло сработать», или «Я по-прежнему уверен в том, что то-к-чему-я-так-привязан может принести нам пользу». Защищая свое чувство гордости, они делали все, чтобы эта ошибка повторилась еще раз, и гордость приходилось защищать снова.

Лучше проглотить горькую пилюлю одним кошмарным глотком.

Предложение спятить

Элиезер Юдковский

Когда я был очень молод — думаю, мне было тогда лет тринадцать, возможно, четырнадцать, — я думал, что нашел опровержение диагонального аргумента Кантора — известной теоремы, утверждающей, что действительных чисел больше, чем рациональных. О, какие мечты о славе и почёте роились в моей голове!

Моя идея заключалась в том, что, раз каждое целое число можно разложить на степени двойки, то можно отобразить целые числа на множество подмножеств целых чисел просто записывая числа в двоичной системе. Например, 13, оно же 1101, будет соответствовать подмножеству {0, 2, 3}. Прошла целая неделя, прежде чем мне пришло в голову, что, наверное, мне стоит применить диагональный аргумент Кантора к моей умной конструкции, и, конечно, нашелся контрпример — двоичное число… 1111, не соответствующее никакому конечному целому числу.

Я нашел этот контрпример и понял, что моя попытка опровержения была неверной, и мои мечты о почёте и славе рухнули.

Сначала я был несколько разочарован.

Я подумал: «Рано или поздно я доберусь до этой теоремы! Пусть моя первая попытка не удалась, но когда-нибудь я опровергну диагональный аргумент Кантора!» Я возмущался этой теоремой, ведь она упрямо оставалась верной, лишая меня славы и почёта. Поэтому я принялся искать другие опровержения.

А потом я кое-что осознал. Я осознал, что я ошибся, и понял, что теперь, когда я понимаю свою ошибку, оснований подозревать ложность диагонального аргумента Кантора у меня не больше, чем оснований подозревать ложность любой другой из основных теорем математики.

И ещё я очень хорошо понял, что передо мной была возможность стать фриком от математики и всю оставшуюся жизнь писать профессорам-математикам сердитые письма зелеными чернилами (когда-то я прочитал книгу о математических фриках).

Я не хотел для себя такого будущего, так что я немного посмеялся и оставил эти поиски. Я попрощался с диагональным аргументом Кантора, и перестал сомневаться в нём.

И сейчас я не помню, подумал ли я об этом тогда, или мне пришло это в голову позже… что ведь это ужасно несправедливое испытание для ребенка тринадцати лет. Получается, я должен был оказаться достаточно рациональным уже в этом возрасте или потерпеть неудачу навсегда.

Чем вы умнее, тем в более раннем возрасте вас впервые посетит идея, которая покажется вам действительно революционной. Мне повезло, что я понял свою ошибку сам, что мне не понадобился другой математик, который бы указал на неё, возможно, привив мне вместе с тем чувство вины. Мне повезло, что опровержение оказалось достаточно простым для меня. Наверное, я бы оправился и в противном случае. Потом, уже во взрослом возрасте, я оправлялся и от гораздо худшего. Но если бы я пошёл по неправильной дороге так рано, смог ли бы я потом выработать этот навык?

Интересно, скольким из тех людей, которые пишут сердитые письма зелеными чернилами, было тринадцать, когда они совершили эту первую и фатальную ошибку. Интересно, сколько из них во время этой первой ошибки подавали большие надежды.

Я допустил ошибку. Это всё. Я не был на самом деле прав в глубине души. Я не одержал моральную победу. Я не проявил амбициозности, скептицизма или какой-то ещё чудесной добродетели. Это не было разумной ошибкой. Я не был наполовину прав, не был хоть сколько-нибудь прав. Мне пришла в голову мысль, которая бы не появилась у меня, если бы я был мудрее – вот и всё, что можно об этом сказать.

Если бы я оказался неспособен признаться в этом сам себе, если бы я интерпретировал свою ошибку как проявление добродетели, если бы ради гордости я продолжал настаивать на том, что остаюсь хоть немного правым, тогда я бы не освободился. Я бы продолжил искать ошибку в диагональном аргументе. И, рано или поздно, я мог бы её найти.

Пока вы не признаёте, что были неправы, вы не можете жить своей жизнью. На вашу самооценку будет влиять старая ошибка.

Всякий раз, когда у вас возникает желание держаться мысли, которая бы никогда не пришла вам в голову, если бы были мудрее, перед вами открывается возможность стать фриком — даже если вы никогда не начнёте писать сердитые письма зелеными чернилами. Если никто не озаботится спором с вами или если вы никогда не станете никому излагать свою идею, вы все равно можете оказаться фриком. Фрика определяет неумение отказаться от идеи.

Это не правда. И не содержит правды глубоко внутри. Это не полуправда и даже не подобие правды. Это всего лишь мысль, которую вам не стоило думать. Не у каждой реки есть золотое дно. Люди совершают ошибки, и не все их ошибки являются скрытыми достижениями. Люди совершают ошибки. Так случается. Скажите «упс» и живите дальше.

Хватит уже надеяться

Элиезер Юдковский

Кейси Серин, 24-летний веб-программист, не имеющий опыта в сфере недвижимости, должен банкам 2,2 миллионов долларов. Он подал заявления на ипотеку, чтобы купить одновременно 8 различных домов в разных штатах. Часть денег он потратил на проживание и на семинары по обучению вложения денег в недвижимость (он брал ипотеку на большую сумму, чем стоили его дома). Похоже, он ожидал роста рынка.

Но это ещё не самая грустная часть истории. Самая грустная часть заключается в том, что он до сих пор не сдался. Кейси Серин не принимает поражения. Он отказывается объявить о банкротстве или устроиться на работу, он всё ещё думает, что может преуспеть в сфере недвижимости. Он продолжал тратить деньги на семинары. Он попытался получить ипотеку на 9-й дом. Он не ошибался, он просто набирался опыта.

Вот что происходит, когда мы отказываемся терять надежду.

Это поведение может показаться очень глупым, но эта ситуация заставляет меня вспомнить двух экономистов, получивших Нобелевскую премию…

… а именно Роберта Мертона и Майрона Шоулза из инвестиционного фонда Long-Term Capital Management.

Первые три года фонд LTCM загребал огромные прибыли. А в 1998 ошибки, которые использовал фонд, начали исчезать. Другие люди научились делать то же самое, и стратегия фонда перестала работать.

Фонд LTCM отказался терять надежду. Привыкнув к 40% дивидендам каждый год, они брали больше и больше кредитов для совершения сделок, а прибыль получали всё меньше и меньше. Когда у фонда всё пошло наперекосяк, акционерный капитал был 4,72 млрд долларов, кредиты — 124,5 миллиарда, деривативы — 1,25 триллиона.

В каждой профессии есть свои пути быть умным. В каждой профессии есть свои навыки, которые нужно освоить, и правила, которым нужно следовать. Поэтому кто-нибудь может подумать, что изучение «рациональности» в целом не принесёт большого успеха в реальной жизни. И всё же мне кажется, что способность не быть глупым — это очень полезный навык во многих профессиях. Искусство не превращать маленькие ошибки в большие не слишком зависит от того, применяете вы его в области хедж-фондов или в любви. И один из ключевых принципов этого искусства: будьте готовы признать, что вы проиграли.

Как правильно сомневаться

Элиезер Юдковский

Однажды, когда я рассказывал о Пути, я упомянул, что практически все организованные системы верований существуют для того, чтобы убегать от сомнений. Один из слушателей заметил, что иезуитов в этом обвинить никак нельзя, поскольку они умышленно практиковали сомнение: вступающим в орден, по его утверждению, говорили сомневаться в христианстве, сомневаться в существовании Бога, сомневаться в своём призвании, сомневаться в том, что они смогут выдержать пожизненные обеты целомудрия и нищеты. Я спросил у него: «О, но ведь предполагалось, что они справятся с этими сомнениями, верно?» Слушатель ответил: «Нет, они сомневались во всём этом скорее всего потому, что эти сомнения могли усилиться».

Поиск в интернете не дал мне возможности подтвердить или опровергнуть эти утверждения. (Если кто-нибудь из читателей готов помочь мне в этом вопросе, я буду очень признателен.) Но описанный сценарий кажется мне очень интересным и стоящим обсуждения, независимо от того, действительно ли он имел место в отношении иезуитов. Если иезуиты практиковали умышленное сомнение, делало ли это их, хоть и отчасти, рационалистами?

Думаю, я должен признать, что в (гипотетическом) сценарии выше иезуитов действительно нельзя обвинять в «бегстве от сомнений». Однако, такое (гипотетическое) поведение всё равно кажется мне очень подозрительным. Сомнения не должны пугать настоящего рационалиста. Описанное выше поведение для меня выглядит как программа десенсибилизации по отношению к страху — так арахнофобам в тщательно подготовленных условиях показывают пауков.

Но тем не менее, они ведь поощряли сомнения вступающих в орден, верно? Важно ли, что они это делали не по самым лучшим причинам? Разве для рационалиста это не остаётся достойным деянием?

Любое любопытство ищет способы уничтожить себя. Не бывает любопытства, которое не хочет получить ответы. Но если человек получает ответ, если человек удовлетворяет своё любопытство, восхитительная тайна перестаёт быть тайной.

И точно также любое сомнение существует для того, чтобы уничтожить какое-то конкретное убеждение. Если сомнение не в состоянии разрушить свою цель, оно умирает — но это всё равно развязка. Конец, пусть и печальный. Сомнение, которое не разрушает ни себя, ни свою цель, с таким же успехом может не существовать вовсе. Сам процесс сомнений не может раскрутить маховик рациональности, для этого нужно их разрешение.

Каждое улучшение — это изменение, но не каждое изменение — улучшение. Каждый рационалист сомневается, но не все сомнения рациональны. Сомнения делают человека рационалистом не больше, чем белый медицинский халат делает человека врачом.

Рациональное сомнение появляется по какой-то конкретной причине — имеется какой-то конкретный повод, чтобы подозревать, что некоторое убеждение ложно. Такая причина в свою очередь подразумевает цепочку расследований, которая или уничтожит это убеждение, или уничтожит сомнение. Это верно даже для очень абстрактных сомнений, вроде: «Интересно, можно ли объяснить эти даты какой-то более простой гипотезой?» В этом случае расследование — это попытки придумать более простую гипотезу. Чем дольше поиски не приводят к успеху, тем кажется всё менее вероятным, что следующий шаг выкладок приведёт к успеху. В какой-то миг цена на поиск превышает ожидаемую прибыль, и поиск прекращается. И здесь уже нельзя утверждать о полезности сомнений. Сомнение, которое не приводит к расследованию, с таким же успехом может вовсе не существовать. Неразрешаемое сомнение не делает ничего. Оно не приводит ни к движению вперёд, ни к движению назад.

Если у вас действительно есть религиозная вера (а не просто убеждение, что вы верите), зачем вам говорить вступающим в ваш орден, чтобы они размышляли о сомнениях, которые умрут неразрешёнными? Представьте студентов-физиков, которым говорят, чтобы они изо всех сил сомневались, не была ли ошибкой революция двадцатого века. Мол, вдруг на самом деле верна ньютоновская механика. Если вы на самом деле не сомневаетесь, зачем вам это изображать?

Однако, мы все хотим, чтобы нас считали рациональными. И многие убеждены, что сомнение — это добродетель рационалиста. Но гораздо меньше людей понимают, что для сомнения нужны конкретные причины и неразрешённые сомнения ничего не стоят. Вместо этого люди думают, что сомнение — это скромное поведение, демонстрация подчинения, направленная на поддержание иерархии в племени (ранее я писал, что практически та же проблема существует со скромностью). Грандиозная публичная сцена сомнений поможет убедить себя в том, что ты рационалист, примерно также, как надевание медицинского халата.

Для избежания притворных сомнений помните:

Рациональное сомнение существует, чтобы уничтожить конкретное убеждение. Если оно не в состоянии уничтожить свою цель, оно умирает.

Рациональное сомнение появляется по каким-то конкретным причинам сомневаться в соответствующем убеждении.

Неразрешённое сомнение ни к чему не ведёт.

Сомнение, которое не ведёт к исследованиям, с тем же успехом может не существовать вовсе.

Не стоит гордиться самим актом сомнения. Однако, когда ты закончил разрывать в клочки очень ценное для тебя убеждение, это вполне повод для гордости.

Хотя для того, чтобы взглянуть в лицо своим сомнениям, нужна смелость, помните, что идеальный разум сомнениями вообще не испугать.

Вы способны справиться с реальностью

Элиезер Юдковский

Правда не перестаёт быть правдой.

Признание не сделает её хуже.

Отказ узнавать правду не заставит её исчезнуть.

И именно с правдой вам придётся взаимодействовать.

Невозможно жить в неправде, ибо её не существует.

Люди способны вынести правду,

Ведь она и так их окружает повсюду.

-

Юджин Джендлин

Размышление о любопытстве

Элиезер Юдковский

Первая добродетель — это любопытство.

— Двенадцать добродетелей рациональности

Будучи рационалистами, мы обязаны подвергать критике себя и свои убеждения… не так ли?

Подумайте, какой эффект окажет на вас мысленная установка «Я обязан критиковать свои убеждения». Роджер Желязны однажды отметил разницу между «желанием быть автором» и «желанием писать». Как сказал Марк Твен: «Классика — это то, что каждый хотел бы уже прочесть и никто не хочет читать». Критика из чувства долга ведет к желанию иметь убеждения, уже прошедшие проверку, чтобы не считать свою веру слепой. Это не тоже самое, что хотеть проверить свои убеждения по-настоящему.

В ходе такой проверки вы рискуете стать жертвой мотивированной остановки. Вы анализируете возражение, приводите контраргумент, останавливаетесь. Повторяете с парой других возражений, ощущаете чувство выполненного долга, останавливаетесь. Так вы достигнете своей подсознательной цели: избавиться от когнитивного диссонанса «я — рационалист, не подвергнувший критике свои убеждения». Считайте это стремлением получить статус рационалиста — попыткой ощутить «теплое чувство» удовлетворения.

Теперь ваши оценки вероятностей будут достаточными для оправдания своих изначальных планов и убеждений, но недостаточными для возникновения сомнений со стороны других рационалистов или самого себя.

Истинное же любопытство будет тянуть вас к информации, кажущейся наиболее перспективной с точки зрения сдвига в оценке убеждений, либо к той, что наименее похожа на все известное вам до этого. Последующее распределение оценок вероятности, скорее всего, будет отличаться от изначального — должен будет произойти сдвиг в одну из сторон, и любое направление будет одинаково приемлемым, если ваше любопытство является искренним.

Сравните это с неосознанным желанием оставаться на знакомой территории, чтобы закончить свою проверку как можно быстрее, отметить свои убеждения и планы как «проверенные» и вернуться к своему привычному состоянию.

Что до моего взгляда на истинное любопытство и его силу — смотрите Сказ о науке и политике. Каждый персонаж служит иллюстрацией разных уроков. Последний из них, Феррис, является воплощением чистого и невинного любопытства, которое сопровождается легкостью и стремлением к поиску новых свидетельств.

Как писала Урсула К. Ле Гуин: «У невинности нет сил бороться со злом. Но у нее есть силы творить добро».1 Простое и невинное любопытство может обернуться простым тупиком на пути; поэтому обучение рациональности с сопутствующей этому изощренностью должно быть очень аккуратным, если мы хотим стать сильнее. Тем не менее, легкость и стремление к искренности в своих поисках можно сохранить.

Как сказано в «Двенадцати добродетелях»:

Если в глубине души вы верите, что уже обладаете знанием, или же не хотите знать вовсе — сомнения будут бесцельными, а навыки не найдут своего применения. Любое любопытство стремится себя уничтожить — нет любопытства, которое не жаждет найти ответ.

Подобной альтернативы искреннему любопытству просто не существует. «Жгучее желание знать — гораздо сильнее, чем торжественная клятва искать только правду». Но нельзя обрести любопытство простым усилием воли — как нельзя усилием воли заставить свою ногу чувствовать тепло, когда она чувствует холод. Иногда все, что у нас есть — это торжественные клятвы.

Так что же делать с «долгом»? Для начала можно попытаться разжечь свой интерес во время «обязательных» проверок — следить за проявлениями искреннего интереса или даже искреннего невежества и желания его устранить. Попутно можно уделять особое внимание неприятным и болезненным размышлениям, которых вы стараетесь избежать — это вовсе не какое-нибудь «негативное мышление».

Также можно вспомнить о Законе сохранения ожидаемого свидетельства. Для каждого нового вопроса, для каждой новой крупицы свидетельства математическое ожидание апостериорной вероятности должно быть равна априорной вероятности. Когда вы задаёте вопрос, вы должны в равной степени ожидать, что ваше убеждение изменится как в одном направлении, так и в другом. Не каждое новое свидетельство должно разворачивать ваше убеждение на 180 градусов — сдвигать вероятность его истинности с 70% до 30% — но если изначальная вероятность равна 70%, вы должны быть готовы поменять ее как на 71%, так и на 69%. Вы не сможете заранее предугадать направление этого сдвига (в среднем), потому что по законам теории вероятности, если вы знаете, куда вы направляетесь — вы уже находитесь там. Если вы готовы к честной проверке, готовы к тому, что каждое новое свидетельство действительно может сдвинуть ваше убеждение как вверх, так и вниз — вы сможете сохранять свой интерес и оставаться по-настоящему любопытными.

Если рассматриваемый вами аргумент новым не является, почему на нем сосредоточено ваше внимание? К нему бы вас привело искреннее любопытство? Не атакуете ли вы неосознанно сильные стороны своего убеждения вместо слабых? Не повторяете ли вы одно и то же свидетельство?

Если вы сможете не повторять одни и те же аргументы в свою поддержку и понемногу снижать оценку своего убеждения с каждым новым поступающим свидетельством, возможно, со временем вы сможете от этого убеждения даже отказаться — понять, что ветер свидетельств дует против вас.

Есть еще одно средство для поддержания любопытства — я его называю Литанией Тарского, которая в действительности является мета-литанией, имеющей для каждого отдельного случая свою формулировку (подходящую именно для этого случая). Например, если я очень сильно хочу узнать, содержит ли закрытый ящик бриллиант, тогда вместо мечтаний обо всех последствиях такого развития событий я могу повторять такую Литанию Тарского:

Если в ящике есть бриллиант,

Я хочу верить, что в ящике есть бриллиант.

Если в ящике бриллианта нет,

Я хочу верить, что в ящике бриллианта нет.

Я не буду цепляться за веру, которой не хочу.

И лишь после этого можно размышлять о возможности отсутствия бриллианта в ящике, и о вытекающих из этого преимуществах того, что вы будете верить в его отсутствие, и о соответствующих недостатках ситуации, при которой вы будете верить в его наличие. См. также Литанию Гендлина.

Обнаружив у себя хоть крохотную долю истинной неопределенности, берегите ее, как путник бережет свой костер. Если вы сможете разжечь эту неопределенность в пламя любопытства, оно подарит вам легкость и стремление к поиску истины, даст вашим сомнениям цель, а навыкам — их применение.

1.Урсула К. Ле Гуин. На последнем берегу (1972).

Законы рациональности беспристрастны

Элиезер Юдковский

Традиционная Рациональность пользуется языком социальных норм. Нарушение норм трактуется как жульничество — то есть, отказ от кооперации. Если ты хочешь меня в чём-то убедить, ты обязан предоставить определённое количество свидетельств. Если ты пытаешься от этого увильнуть, то всем ясно: ты жульничаешь. Теория должна делать смелые предсказания сама, а не просто воровать предсказания, сформулированные другими теориями. Теория должна давать возможность себя опровергнуть, а не избегать трусливо огня критики — это членский взнос клуба качественных теорий.

Правила Традиционной Рациональности выглядят очень похожими на обычаи, управляющие жизнью человеческих обществ, и поэтому их легко передавать из уст в уста. Люди замечают общественное мошенничество лучше, чем изоморфные ему нарушения абстрактных логических правил. Однако, если рассматривать рациональность как общественные обязательства, можно прийти к некоторым странным выводам.

Например, существуют верующие, защищающие свои убеждения фразой: «Ты сам не можешь обосновать свою веру в науку!». Иными словами: «Как ты смеешь критиковать меня за необоснованные убеждения, лицемер! У тебя есть точно такие же!»

В глазах байесианцев, мозг — аналитическое устройство. Оно собирает перепутанные свидетельства и превращает их в карту, которая изображает местность. Принципы рациональности — это законы в том же смысле, что и второй закон термодинамики: чтобы получить надёжные убеждения необходимо вычислимое количество свидетельств, также как и надёжное охлаждение содержимого холодильника требует вычислимого минимума свободной энергии.

Теоретически, законы физики инвариантны относительно обращения времени, поэтому, в принципе, существует ничтожно малая — настолько малая, что отличить её от нуля могут только математики — вероятность того, что холодильник спонтанно охладит сам себя, сгенерировав при этом электричество.

Представь, что ты ни разу не был в Нью-Йорке. Сможешь ли ты нарисовать его точную подробную(English) карту, сидя в комнате с закрытыми жалюзи и не имея доступа в интернет? Теоретически да, но вероятность этого немногим больше ничтожно малой вероятности самозаморозки холодильника.

Прежде чем начать рисовать карту незнакомой местности, плесни немного воды в чашку при комнатной температуре. Подожди, пока она самостоятельно замёрзнет, и лишь после этого приступай к самому занятию. Таким образом можно убедиться, что приём «игнорируй бесконечно малые вероятности успеха» работает. Часто бывает сложно осознать, что твоя карта неверна (особенно, если ты никогда не бывал в Нью-Йорке), но всегда можно убедиться в том, что вода сама по себе не замерзает.

Если правила рациональности — это законы общества, то, кажется, что можно оправдать поведение Х, если указать, что остальные ведут себя также. Было бы несправедливо требовать свидетельства от тебя, если мы все не можем их предоставить. И справедливое общество обязательно осознает, что все мы одинаково грешны и смягчившись, милосердно освободит всех от обязательства предоставлять свидетельства в пользу своих убеждений. Затем наступит свобода, равенство и братство, и будем мы жить долго и счастливо.

Если же правила рациональности — это математические законы, то все попытки что-то оправдать бессмысленны. Бесполезно зачитывать вслух 30 причин, согласно которым ты не можешь упасть с обрыва. Даже если все проголосуют за то, что нечестно требовать электричества для заморозки продуктов, это никак не повлияет на идущие внутри холодильника процессы. Даже если все согласятся с тем, что тебе не обязательно посещать Нью-Йорк, карта всё равно окажется неверной. Госпожа Природа не прислушивается к людским просьбам, и Госпожа Математика тоже.

Так что — вернёмся к Традиционной Рациональности, сформулированной как социальные нормы — не думай, что заявление «нет ничего страшного в моих необоснованных убеждениях о X, ведь у всех есть какие-то необоснованные убеждения» сойдет тебе с рук. Если обе заключившие контракт стороны нарушили свои обязательства, человек-судья может решить не применять санкции ни к кому. Но если два инженера соберут два механизма одинаково плохо, ни один механизм не заработает. Одна ошибка не может оправдать другую. Если я что-то делаю неправильно, тебе это никак не поможет и не освободит тебя от исполнения правил. Страдать мы будем оба.

Когда речь идёт о законах либеральной демократии, каждый имеет право на свои убеждения. Когда речь идёт о законах природы, никто не имеет права на абсолютную точность. Мы не арестовываем людей за то, что они верят в странные вещи (по крайней мере, в адекватных странах). Но никто не может аннулировать закон о том, что для получения точных убеждений необходимы свидетельства. Даже единогласное решение всей человеческой расы не имеет веса в суде Природы.

Физики не решают, какими должны быть законы природы, физики просто угадывают, каковы они на самом деле. Рационалисты не решают, какими должны быть законы рациональности, рационалисты просто угадывают, каковы они на самом деле. Нельзя рационализировать то, что не было рациональным с самого начала. Даже если кто-то ухитрится убедить всех физиков мира в том, что законы гравитации на него не распространяются, то всё равно, шагнув со скалы, он упадёт.

Даже фраза «это решаем не мы» слишком антропоморфна. Нет никакой вышестоящей инстанции, способной делать исключения в законах. Существуют лишь причина и следствие.

Помни об этом, когда будешь просить разрешения нарушить закон всего лишь этот раз. Мы не можем выдать разрешения. Это просто не в нашей власти.

Оставь путь к отступлению

Элиезер Юдковский

Когда вы окружили врага,

Всегда оставляйте ему путь к отступлению.

Пусть он видит,

Что есть альтернатива смерти.

— Сунь-цзы, «Искусство войны»1

Всё, хватит на них давить. Наоборот, сбавим прессинг.

— Лоис Макмастер Буджолд, «Комарра»2

Вчера вечером я разговаривал с нерационалисткой, которая случайно зашла на встречу местных рационалистов. Она только что объявила, что (а) верит в существование души и (б) не верит в крионику, потому что считает, что душа не останется в замороженном теле. Я спросил: «Но откуда вы это знаете?». По растерянности, промелькнувшей на её лице, было понятно, что этот вопрос никогда не приходил ей в голову. Я не хочу сказать, что в этом есть что-то плохое — она показалась мне хорошим человеком, у которого нет ни малейшей подготовки в области рациональности — как и у большинства других представителей человечества. Мне действительно надо написать эту книгу.

Большая часть последующего разговора посвящалась вопросам, уже раскрытым на сайте Overcoming Bias [Эта книга представляет из себя переработанные статьи, и изначально эти статьи публиковались на сайте overcomingbias.com — Прим.перев.]: если вам что-то очень любопытно, то скорее всего, вы сможете придумать хороший способ это проверить, старайтесь сперва приобретать точные убеждения, а затем позвольте эмоциям опираться на них, ну и так далее. Однако, этот разговор напомнил мне об одном соображении, которое я пока ещё тут не раскрыл:

— Постарайтесь как можно лучше себе представить, – предложил я ей, – как выглядел бы мир, где нет душ, и как бы вы поступали в таком мире. Не думайте обо всех причинах, почему это невозможно. Просто примите это как допущение и представьте последствия. Чтобы вы могли подумать: „Ладно, если душ нет, то я могу просто заключить контракт на крионирование“ или „Если Бога нет, я всё равно могу просто быть добродетельной“, а не просто ужасаться самой идее. Как я уже сказал раньше, вам стоит верить в правду, какой бы она ни была — это вопрос самоуважения. Однако, человеческая природа такова, что полезно сперва свыкнуться с убеждением и только потом оценивать свидетельства в его пользу.

Принцип в основе этой методики прост. Поступайте с собой так, как Сунь-цзы советует поступать с врагами – оставьте себе путь к отступлению. Если для вас непереносима сама мысль о потере работы, то эта перспектива может вас пугать гораздо сильнее, чем если вы точно подсчитали, на сколько хватит ваших сбережений, проверили вакансии на рынке труда в своей сфере занятости и тщательно распланировали, что будете делать в таком случае. Только в этом случае вы будете готовы честно оценить вероятность сохранения работы с учётом грядущих в следующем месяце сокращений. Будьте настоящим трусом и в деталях составьте план отступления. Мысленно представьте себе каждый шаг. Желательно, ещё до выхода на поле боя.

Для того, чтобы представить себе неприятное состояние дел всего лишь в качестве мысленного эксперимента, требуется меньше мужества, чем для того, чтобы оценить, какова на самом деле вероятность, что дела действительно состоят именно так. Но после первого сделать второе становится проще.

Помните, что байесианство любит точность: даже если пугающая вас перспектива действительно выглядит маловероятной, всё равно, чтобы получить количественную оценку вероятности, важно честно подсчитать все свидетельства за и против. Визуализация устрашающей идеи совершенно не означает признания, что глубоко внутри Вы считаете её возможной истиной. Вы можете представлять различные пугающие идеи просто из общих соображений о поддержании себя в хорошей ментальной форме. «Идея, о которой Вы не можете даже подумать, управляет вами больше, чем идеи, о которых вы громко говорите вслух». Такое случается, даже если эта невообразимая идея является ложной!

Методика оставления пути к отступлению для её правильного использования требует некоторый минимум честности по отношению к себе.

В первую очередь, вы должны быть способны хотя бы признаться себе, какие именно идеи вас пугают и к каким идеям Вы привязаны. Но это гораздо проще, чем честная оценка свидетельств по поводу идеи, которая вас пугает. Вам станет легче, если я скажу, что мне самому приходится пользоваться такой методикой? В конце концов, рационалист не отказывается от всех эмоций. Есть идеи, которые меня пугают, хотя я по-прежнему считаю их ложными. Есть идеи, к которым я привязан и знаю об этом, и всё равно считаю их истинными. Но тем не менее у меня есть план отступления: не потому, что я планирую отступать, а потому что изначальное наличие плана отступления помогает мне думать о проблеме, не привязываясь к ней.

Однако ещё большее испытание честности перед собой заключается в том, чтобы по-настоящему принять неприятное предположение в качестве предпосылки и продумать, как вы бы с ним справились. Когда мы сталкиваемся с неприятной идеей, наш первый импульс, естественно, подумать обо всех причинах, почему это может быть не так. Поэтому вы столкнётесь с некоторым количеством своего психологического сопротивления, если попытаетесь в точности представить, каким был бы мир и что бы вы в связи с этим делали, если бы самое-самое ценное убеждение было ложным или самое-самое пугающее убеждение было верным.

Подумайте обо всех людях, которые говорят, что без Бога была бы невозможной мораль. (И да, об этом зашла речь в том разговоре, так что я не выдумываю.) Если бы теисты могли представить свою настоящую реакцию на веру в то, что Бог не существует, они бы осознали, что, нет, они не отправились бы убивать младенцев. Они могли бы осознать, что атеисты реагируют на несуществование Бога примерно так же, как и они сами бы отреагировали, если бы в это поверили. Я говорю об этом, чтобы показать, что это весьма трудно: представить себе, как бы вы отреагировали, если бы поверили в противоположность какого-то из своих очень важных убеждений.

Кроме того, хоть это и довольно сложно осознать, но люди привыкают ко всему. Недавно парализованные люди через шесть месяцев не настолько этим опечалены, как они сами предполагали в начале, и тому подобное. Идея, что если бы ваше устрашающее убеждение оказалось истинным, то вы каким-то образом с ним бы свыклись, ничуть не более контринтуитивно. Паралитики привыкают, и вы бы привыкли.

Не забывайте также про литанию Гендлина и литанию Тарского. Правда не перестаёт быть правдой. Признание не сделает её хуже. Не бойтесь просто представить себе мир, которого боитесь. Если этот мир существует, то представив его мысленно, вы себе не навредите. А если он не существует, то от того, что вы его представите, тоже хуже не станет. И помните, когда визуализируете, что если ужасные явления в вашем воображении на самом деле истинны – чего может и не быть! – тогда вы наверняка хотели бы в них верить, и вам следует визуализировать и это тоже. Неверие вам не поможет.

Как много религиозных людей сохранили бы свою веру в Бога, если бы могли в точности представить себе гипотетический мир, в котором Бога нет, а они сами стали атеистами?

Оставлять путь к отступлению – мощная методика, но не простая. Честная визуализация требует меньше усилий, чем нужно, чтобы полностью признать, что Бог не существует, но всё равно требует усилий.

1.Автор цитирует текст по изданию Sun Tzu, The Art of War (Cloud Hands, Inc., 2004). Однако, приведённые им строки не вполне соответствуют соответствующим строкам известного в России перевода Николая Конрада: «… если окружаешь войско противника, оставь открытой одну сторону; если он находится в безвыходном положении, не нажимай на него». Прим. перев.

2.В переводе О.Г.Косовой. Прим. перев.

Кризис веры

Элиезер Юдковский

Если вы не готовы с одинаковой лёгкостью допустить оба варианта, это ещё не настоящий кризис веры.

Тор Шенкель

Многие в этом мире придерживаются убеждений, несостоятельность которых заметил бы даже десятилетний ребёнок, услышавший такое убеждение в первый раз. И речь идёт не о каких-то незначительных заблуждениях. Человек незашоренного ума играючи отказался бы от таких убеждений, если бы без колебаний применил к ним скептицизм десятилетнего ребёнка. Как выразился Premise Checker [Один из читателей overcomingbias во времена написания этого эссе. — Прим.перев.]: «Если бы идея бога не появилась до эпохи науки, только очень странный человек смог бы её придумать и всерьёз утверждать, что она всё объясняет».

Тем не менее, даже профессиональные учёные и выдающиеся специалисты в своих областях в наш день и век всё ещё недостаточно скептичны. Нобелевский лауреат Роберт Ауманн, автор теоремы Ауманна о согласии, является ортодоксальным иудеем. Я достаточно сильно уверен, что в тот или иной миг своей жизни Ауманн сомневался в своей вере. Однако, его сомнения не стали успешнымиМы меняем мнение реже, чем нам кажется.

Это должно пробрать вас до мозга костей. Ведь получается, что можно быть учёным с мировым именем, хорошо владеть теоремой Байеса и тем не менее не смочь отвергнуть убеждения, абсурдность которых бросается в глаза даже десятилетнему ребёнку с его незамутнённым взглядом. Получается, что давно закрепившееся в разуме убеждение способно создать себе неуязвимую защиту.

Что же делать с ошибкой, которая окопалась у вас в мозгу?

Ну, если вы поняли, что на самом деле имеете дело с ошибкой, значит вы с ней уже справились. Вопрос не в том, как отказаться от давно привычного ложного убеждения Х, а в том, как понять, что давно привычное убеждение Х ложно. Сложно быть честным с собой, когда сам не знаешь, что правильно. Поэтому вопрос на самом деле звучит так:

Как вызвать у самого себя настоящий кризис веры в некое убеждение и допустить возможность альтернативных вариантов?

Как пример серьёзного испытания, которое мы все можем представить, возьмём религию. (У читателей, чьи родители были атеистами, не было этого важного жизненного испытания, поэтому в качестве довольно слабой замены я предлагаю им подумать об их религиозных друзьях). Однако, если вы не можете поставить себя на место верующего и считаете их всех злобными мутантами, значит вы не в состоянии вообразить, с какими внутренними испытаниями они на самом деле сталкиваются. Вы не в состоянии задаться вопросом:

Какая стратегия может помочь религиозному человеку отказаться от своей религии?

Уверен, что некоторые, едва взглянув на этот вопрос, уже начали потрясать стандартным списком атеистических аргументов. «Они должны признать, что байесовских свидетельств в пользу существования Бога не существует». «Они должны понять, что для оправдания поведения Бога в Библии они прибегают к многочисленным моральным уловкам». «Им надо научиться использовать бритву Оккама». Ну и так далее.

Нет! Нет, нет, нет! Именно такое оттарабанивание давно привычных аргументов в точности соответствует тому стилю мышления, из-за которого люди не спешат отказываться от своих религий. Если вы остаётесь в рамках собственных заранее заготовленных мыслей, если ваш мозг выдаёт ответ столь быстро, что вы даже не успеваете посмотреть на вопрос так, как будто видите его впервые, вы никак не сможете придти к кризису веры.

Возможно, дело в том, что слишком мало людей прочли книгу «Гёдель, Эшер, Бах» в достаточно раннем возрасте, но я часто замечал, что очень многие люди — даже с техническим образованием — не в состоянии мыслить на таком высоком уровне абстракции. Во время приступов особо сильного пессимизма я даже начинаю думать, что у верблюда действительно два горба.

Судя по всему, некоторые люди не могут перейти с объектного уровня «Воспользуйся бритвой Оккама! Ты должен понять, что твой Бог — это ненужное убеждение!» на мета-уровень «Попробуй не дать своему мозгу привычно действовать по шаблону!» Ведь для верующего человека ответ «Пути Господни неисповедимы, и наивно считать, что мы сможем их понять» настолько же привычен и так же быстро приходит на ум, как вам и вашим друзьям рационалистам приходит на ум бритва Оккама. Поэтому если вы считаете, что правильная стратегия заключается в «Воспользуйся бритвой Оккама!», вы похожи на верующего, который говорит, что правильная стратегия — это уверовать.

«Но… но бритва Оккама же на самом деле лучше, чем вера! Мы же не о любимом вкусе мороженого спорим! Если обратиться к истории, сразу понятно, что рассуждения, согласованные с законом Оккама, гораздо продуктивнее тех, что основаны на вере…»

Всё это так. Однако не имеет отношения к делу. А дело в том, что, когда вы всё это произносите, вы повторяете стандартные доводы в пользу своих убеждений. Доводы, которые уже укоренились у вас в мозгу. Устроить себе кризис веры — значит допустить, что наши стандартные умозаключения неверны и наши стандартные доводы тоже. Допустим, стандартным доводом в пользу Х является «Бритва Оккама!», и вы хотите испытать кризис веры относительно X. Тогда задайтесь вопросом, действительно ли бритва Оккама говорит в пользу X, действительно ли вы правильно понимаете бритву Оккама, и — если хотите по-настоящему глубоких сомнений — действительно ли простота является исторически либо логически обоснованным рабочим критерием в подобных случаях, и т. д. Если вы советуете религиозному человеку усомниться, что «вера» — это хорошее объяснение для X, то вам стоит посоветовать то же самое себе, то есть, приложить такие же серьёзные усилия и усомниться, что «бритва Оккама» — это хорошее объяснение для X.

(Подумайте обо всех людях, которые не понимают таких формулировок бритвы Оккама, как минимальная длина описания или индукция Соломонова. Подумайте о тех, кто считает, что бритва Оккама исключает многомировую интерпретацию или гипотезу симуляции. Этим людям стоит поставить под сомнение свою формулировку бритвы Оккама и своё представление о том, что простота — это что-то хорошее. Готов поспорить, что какое бы Х вы ни защищали в споре восклицанием «Бритва Оккама!», это X не дотягивает по простоте формулировки до закона гравитации).

Если «Бритва Оккама!» — это ваш привычный ответ, ваш стандартный ответ, если это ответ, который дают все ваши друзья, то вам стоит помешать своему мозгу моментально достраивать этот шаблон. Иначе устроить себе настоящий кризис веры не получится.

Лучше задать себе такие правила для размышлений: «Представить, что сказал бы скептик. Потом представить, что ему сказали бы в ответ. А теперь представить, что он ещё мог бы сказать и на что уже было бы сложнее ответить».

Или: «Сосредоточиться на самой неприятной мысли».

И самое главное правило:

«Стараться изо всех сил. Вкладывать столько же отчаянных усилий, сколько требуется верующему человеку, чтобы отринуть свою религию».

Ведь если вы не слишком стараетесь, то — как знать — может быть, ваша голова забита какой-нибудь чепухой, ничуть не менее абсурдной, чем религия.

Если вы не предпринимаете судорожных отчаянных усилий, чтобы стать рациональным (а именно такие усилия нужны, чтобы избавиться от религии), как вы осмеливаетесь верить во что бы то ни было? Ведь даже сам Роберт Ауманн верит в Бога.

Кто-то (уже не помню кто) однажды заметил, что люди в принципе способны отказаться от своей веры лишь до определённого возраста. Потом у них уже есть готовые ответы на все возражения, и становится слишком поздно. Это способ существования, который необходимо преодолеть. Это испытание вашей силы как рационалиста, и оно очень суровое. Но если вы не сможете его пройти, вы останетесь слабее, чем десятилетний ребёнок.

Но повторюсь: если вы понимаете, что убеждение ошибочно, то вы его уже побороли. Если вы уже пришли к заключению, что ваша религия не верна, то речь больше не идёт об отчаянных, судорожных попытках преодолеть последствия религиозного воспитания. Отчаянные усилия, о которых мы здесь говорим, нужны, чтобы понять, стоит ли избавиться от оков некоего убеждения или же сохранить его. Трудно быть честным с самим собой, когда не знаешь, какая дорога верна. Когда рационализация не кажется грехом.

Ради каждого сомнения устраивать себе полноценный кризис веры не стоит. Однако, вам стоит задуматься о нём, если:

убеждение давно укоренилось в вашей голове;

вам известно множество аргументов и контраргументов, связанных с этим убеждением;

вы уже как-то невозвратно вложились (в виде времени, денег, публичных заявлений) в это убеждение;

убеждение имеет какие-то важные эмоциональные последствия (заметим, что само по себе это не значит, что убеждение неверно);

на убеждение завязана ваша идентичность.

Эти тревожные признаки не означают, что убеждение совершенно точно ложно. Они лишь сигнализируют о том, насколько рисковано ваше убеждение и насколько трудно вам будет с ним расстаться, если оно неверно. Такие признаки можно найти как для католичества Папы Римского, так и для убеждённости Ричарда Докинза в эволюционной биологии. Однако, это не означает, что подобные убеждения — лишь дело вкуса. Уравнивать между собой любые глубоко укоренившиеся убеждения только в силу того, что они глубоко укоренившиеся, при этом напрочь игнорируя подкрепляющие их свидетельства, — это удел непросвещённых. Цель не в том, чтобы сохранять лишь поверхностные убеждения, а в том, чтобы построить карту, которая наиболее точно соответствует территории.

Разумеется, я подчёркиваю всё это для того, чтобы вы могли признаться себе: «Да, у моего убеждения есть эти тревожные признаки» без необходимости сказать: «Моё убеждение ложно».

Однако, упомянутые признаки указывают на то, что вам потребуются экстраординарные усилия, чтобы эффективно поставить под сомнение своё убеждение. Эффективно — значит так, чтобы действительно отказаться от этого убеждения, если оно ложно. Если вы не в состоянии сомневаться эффективно, то вы слепы, ибо ваш мозг будет безоговорочноцепляться за убеждение. Если сетчатка глаза посылает один и тот же сигнал, независимо от попадающих на неё фотонов, мы называем этот глаз слепым.

Когда же стоит устраивать себе кризис веры?

Ещё раз подумайте о совете, который вы дали бы верующему: если вы чувствуете в себе какую-то лёгкую неуверенность, но продолжаете изыскивать веские доводы в пользу своего убеждения, то вам, скорее всего, стоит испытать себя кризисом веры. Если ваше убеждение подкреплено свидетельствами надёжными, как гравитация, вам не о чем беспокоиться. Однако задумайтесь обо всех верующих, которые отчаянно продолжают считать, что Бог надёжен, как гравитация. Так что попробуйте представить, что сказали бы скептически настроенные люди о ваших «надёжных, как гравитация» аргументах. Одна из причин, почему кризис веры может провалиться, состоит в том, что вы вообще никогда не пытались оспорить своё убеждение. Вы никогда не говорили себе: «Вот здесь мне стоит как следует посомневаться».

Если вы понимаете, что ситуация действительно сложная, вам нужно сделать следующий шаг и устроить себе кризис веры. Однако, не стоит это делать в спешке, в первую попавшуюся свободную минуту. Не рвитесь побыстрее расправится с этим делом, ради оправдания: «Я сомневался, как и должен был поступить рационалист». Это не сработало бы для верующего, это не сработает и для вас. В день накануне отдохните, чтобы ваш ум был в хорошей форме. Заранее выделите себе несколько часов, в которые вас никто не побеспокоит. Найдите какое-нибудь тихое место. И предпримите отчаянную попытку призвать настоящее сомнение, которое разрушит ложные — и только ложные — из ваших глубочайших убеждений.

Элементы методики кризиса веры разбросаны по целому ряду эссе:

Избегая по-настоящему слабых мест убеждения. Один из первых соблазнов кризиса веры — начать с самых веских доводов в пользу своего убеждения, чтобы ещё раз отрепетировать хорошие ответы. Путь сомнений нужно начинать с поиска уязвимостей, а не с рассмотрения наиболее обнадёживающих аргументов.

Размышление о любопытстве. Роджер Желязны однажды противопоставил «желание быть писателем» и «желание писать». Точно так же различаются «желание разобраться» и «желание разбираться». Недостаточно заявить: «Подвергать критике собственные убеждения — это мой долг». Необходимо настоящее любопытство. А любопытство рождается только из неуверенности. Не упускайте из виду закон сохранения ожидаемых свидетельств, это поможет вам совершенствоваться шаг за шагом. Переходя к каждому новому пункту, аргументу или свидетельству, вы не должны предвидеть, в какую сторону сдвинется ваше убеждение. Таким образом вы сможете сохранять подлинное любопытство о том, к чему вы в итоге придёте.

Непосредственный взгляд. Используйте методы Пирсига, чтобы избежать привычных шаблонных мыслей, которые приходят на ум в первую очередь.

Литания Джендлина и литания Тарского. Люди способны вынести правду, ибо они уже живут в ней. Если убеждение верно, то лучше верить, что оно верно. Если убеждение неверно, то лучше отказаться от него. Вы могли бы посоветовать религиозному человеку как можно тщательнее представить мир, где нет Бога, и честно признать, что если Бога нет, то лучше верить, что Бога нет. Если человек в глубине души не способен это принять, значит он не сможет пройти путём кризиса веры. Так что сделайте честную попытку представить альтернативу вашему убеждению. Представить так, чтобы даже самый придирчивый скептик не смог придраться. Думайте о тех усилиях, которые потребовались бы верующему, чтобы представить себе атеистическую картину мира, не искажая эту картину ради собственного комфорта.

Старайтесь изо всех сил. Вспомните о понятии «иссёкэнмэй» [Японское слово, означающее совершить отчаянную попытку, подробнее раскрывается в эссе по ссылке. — Прим.перев.]. Приложите все силы, чтобы быть рациональным. Такие силы, которые потребовались бы Роберту Ауманну и всем великим учёным прошлого, которые так и не преодолели свою религиозность.

Генетическая логическая ошибка. Иногда люди соглашаются, что некоторый источник недостоверен, однако продолжают считать: «Но ведь идеи там всё равно правильные!» Если многие из ваших идей почерпнуты из таких источников, вам стоит быть крайне осторожным. (Например, кто-нибудь может прийти к мнению, что Библия всё-таки написана людьми, однако продолжать цепляться за идею, что она служит источником незаменимой этической мудрости).

Важно уметь сказать «Упс». Ужасную горькую пилюлю и в самом деле лучше проглотить одним глотком.

Единомыслие — противоположность двоемыслия. Замечайте мысли, которые вы гоните прочь. Мысли, которые успевают лишь на мгновение появиться в уголке вашего сознания, прежде чем вы откажетесь об этом думать. Если вы осознаете, о чём вы не думаете, вы сможете об этом подумать.

Аффективные смертельные спирали и Сопротивление аффективным смертельным спиралям. Аффективные смертельные спирали — это главные генераторы ложных убеждений, и без встряски кризисом веры от них не избавишься. Поскольку аффективные смертельные спирали могут начинаться и вокруг поистине прекрасных вещей, вам не нужно признавать, что ваше убеждение — ложь, чтобы пытаться противостоять их гало-эффекту в каждый отдельно взятый миг. Даже что-то по-настоящему хорошее стоит хвалить только искренне. Не делайте политические споры однобокими.

Не спешите предлагать решения. Не предлагайте никаких решений до тех пор, пока не обсудили проблему настолько подробно, насколько это возможно. Пусть ваш разум позже поймёт, каким должен быть ответ. Потратьте хотя бы пять минут, прежде чем сдаться. Это правило подходит всегда, и особенно, когда вы становитесь адвокатом дьявола.

Следующие методики тоже довольно важны в вопросах кризиса веры:

Цепочка про нижнюю строчку и рационализацию, где объясняется, почему всегда неправильно защищать в дискуссии только одну сторону.

Помните о подтверждающем искажениимотивированном скептицизме и мотивированной остановке, чтобы не подходить избирательно к поиску доказательств, к поиску контраргументов и не останавливать дискуссию, если она становится опасной. Отсутствие альтернатив — это частный случай остановки дискуссии. частный случай для обоснованного скептицизма — это ложная скромность, когда вы смиренно признаёте, что никто не может знать чего-то. Причём речь идёт о том, чего вы сами и не хотели бы знать. Не надо выборочно придираться к контраргументам под предлогом их недостаточной авторитетности.

Остерегайтесь семантических стоп-сигналов, замечайте требование аплодисментов и сами выбирайте объяснить, поклоняться или пренебречь.

Прочувствуйте, что дьявол в деталях. Каждая деталь — отдельная ноша, поворотная точка.

В общем, и здесь, и на Overcoming Bias довольно много материала по этой теме. Кризис веры - это лишь поворотная точка и внезапная схватка на длинном пути иссёкэнмэй. На вечном пути бескомпромиссных попыток достигнуть уровня настолько великой рациональности, что все эти дурацкие глупые ошибки окажутся где-то далеко внизу. И в этой схватке вы сможете использовать на всю катушку все навыки, в которых вы так долго практиковались. Использовать против себя самого.

Успехов вам в вашей битве. Чудесного кризиса!

Ритуал

Элиезер Юдковский

Комната, где Джеффриссай принимал своих гостей, не владевших искусством бейзутсукай, была оформлена в самом строгом классическом стиле и выглядела весьма официально. Сквозь серебряную решётку, острые края которой чётко давали понять, что эта ограда не должна открываться, струились свежий воздух и солнечные лучи. Стены и пол из очень толстого стекла искажали находящееся за ними до полной неразличимости. Поверхность стекла украшали едва заметные непонятные узоры, которые словно вышли из-под руки творчески одарённого ребёнка (впрочем, так и было).

В доме Джеффриссая были комнаты и в другом стиле. Но когда-то он обнаружил, что эта лучше всего соответствует представлениям чужаков о вкусах Байесианского Мастера, и решил их в этом не разубеждать. В конце концов, такие бесхитростные развлечения тоже часть маленьких радостей жизни.

Гостья села напротив него: колени на подушке, ступни сзади. Её привели сюда исключительно дела Заговора. Наряд выдавал это: облегающий комбинезон из розовой кожи, закрывающий всё, включая кисти рук — вплоть до головы и волос, скрытых капюшоном. Впрочем, лицо оставалось открытым.

Итак, Джеффриссай решил принять её в этой комнате.

Он сделал глубокий вдох, затем выдохнул.

— Уверена ли ты?

— О-о-о, — протянула она. — Неужели мои советы поменяют твою точку зрения лишь в том случае, когда я абсолютно уверена? Разве не достаточно того, что я специализируюсь в этой области, а ты нет?

Губы Джеффриссая скривила лёгкая улыбка.

— Кстати, откуда тебе известно столь многое о правилах? У тебя никогда не было подготовки даже планковских масштабов.

— Разве это не очевидно? — сухо ответила она. — Вы, бейзутсукай, просто обожаете объяснять причины своих поступков.

Джеффриссай внутренне поморщился от мысли, что кто-то может нахвататься рациональности, лишь наблюдая, как другие люди говорят о ней…

— И не надо так внутренне морщиться на меня, — продолжила гостья. — Я не стремлюсь сама стать рационалисткой. Я хочу лишь победить рационалиста в споре. Уверена, что ты даже ученикам говоришь, что это огромная разница.

Неужели она читает меня как открытую книгу? Джеффриссай посмотрел наружу сквозь серебряную решётку. Солнечный свет отражался от склона горы. Всегда, всегда, каждый день золотые лучи солнца пронзают облака и падают на это место. Неизменная вещь этот свет. Далёкое Солнце, представленное этим светом, через пять миллиардов лет сгорит, но сейчас, в эту секунду, оно ещё светит. И это не изменить. Зачем желать, чтобы что-то сохранялось неизменным вечно? Ведь это желание уже исполнено настолько надёжно, насколько только можно. Парадокс постоянства и непостоянства: прогресс или потери существуют только в позднейшей перспективе.

— Ты всегда давала мне хорошие советы, — произнёс Джеффриссай. — Так было всегда. Всё время, которое мы знаем друг друга.

Она склонила голову, признавая его слова. Это истина, и нет нужды объяснять подразумеваемое.

— Итак, — сказал Джеффриссай. — Не спора ради, но лишь потому что я хочу узнать ответ. Ты действительно уверена?

Он не понимал, как она могла догадаться.

— Я вполне уверена, — ответила она. — Мы достаточно долго собирали статистику, и из тысячи случаев, подобных твоему, в девятьсот восьмидесяти пяти…

От вида его лица она расхохоталась.

— Я шучу. Конечно же, я не уверена. Решение исключительно за тобой. В чём я точно уверена, так это в том, что ты должен пойти и сделать все, что вы там делаете, когда совершенно всерьёз раздумываете, стоит ли отказаться от какого-то фундаментального основания собственного существования. Не сомневаюсь, что для таких случаев у вас есть какой-нибудь ритуал, пусть вы и не рассказываете о нём посторонним.

Джеффриссай задумался. С этим было трудно спорить. Особенно когда эксперт в обсуждаемой области утверждает, что ты, возможно, не прав.

— Я сдаюсь, — сказал Джеффриссай. В его исполнении эти слова прозвучали словно приказ об окончании дискуссии: «Нет нужды спорить дальше. Ты победила».

— О, избавь меня! — ответила она. Она поднялась с подушки быстро, но плавно — ни единого лишнего движения. Она не выпячивала свой возраст, но и не скрывала его. Подхватив его протянутую кисть, она поднесла её к своим губам в формальном поцелуе. — Прощайте, учитель!

— «Прощайте»? — переспросил Джеффриссай. Это слово означало расставание более серьёзное, чем если бы она ограничилась простым «до свидания». — Вообще-то я планировал нанести вам визит, миледи. И я всегда рад видеть вас здесь.

Не ответив, она направилась к дверям. В дверном проёме она замерла и, не оборачиваясь, сказала:

— Ничто уже не будет прежним.

Её движения ничуть не казались стремительными, но удалилась она так быстро, что могло показаться, что она просто исчезла.

Джеффриссай вздохнул. Но, по крайней мере, с этого момента и до самого испытания он знал, что делать. Все его действия определялись предписаниями.

Покинув свою официальную приёмную, Джеффриссай направился к своей арене. Оттуда он разослал сообщения своим ученикам, что во время завтрашних занятий они должны импровизировать без него, а позже он устроит им проверку.

И после этого Джеффриссай не делал ничего существенного. Он прочёл ещё сотню страниц учебника, который взял взаймы. Учебник оказался не слишком хорошим, впрочем, книга, что он отдал взамен, тоже была посредственной. Он бродил из одной комнаты своего дома в другую. Заглянул в несколько кладовых проверить, не было ли что-нибудь оттуда украдено (пропала колода карт, но и только). Время от времени его мысли возвращались к завтрашнему испытанию, и он позволял им течь свободно. Он старался совсем не управлять своими мыслями, лишь гнал те, которые уже приходили ранее. Также он не допускал любых заключений и выводов, даже мысль о том, куда должны течь его мысли.

Солнце садилось. Очистив свой разум, Джеффриссай какое-то время любовался закатом. Не думать ни о чём без необходимости постоянной концентрации и без огромных усилий было примером превосходного мастерства. Годы назад при таком упражнении с него пот лился ручьём. Но тренировки уже давно принесли свои плоды.

Когда он проснулся на следующее утро, хаотические ночные видения были свежи в его памяти. Стараясь сохранить это ощущение хаоса и память о снах, он спустился по лестнице на один пролёт, потом ещё на один, и ещё на один, и наконец оказался в самой неприглядной комнате из всех.

Она была белой. Это слово лучше всего описывало её цветовое оформление.

На одной из стен висели дощечки с надписями. Следуя традиционным практикам, их когда-то кропотливо нанёс юный Джеффриссай. С каждым движением кисти, что выводила слова, идеи врезались в его сознание. «Что может быть разрушено правдой, должно быть разрушено». «Люди способны вынести правду, ведь она и так их окружает повсюду». «Любое любопытство стремится себя уничтожить». На одной маленькой дощечке была лишь красная горизонтальная черта. Что угодно можно заменить символом, хотя даже Барды-Заговорщики не осмелятся признать такую гибкость и могущество визуальных образов.

На стене под дощечками виднелись два колонки значков. В столбце со знаком плюс было две записи. Со знаком минус — пять. Семь раз он входил в эту комнату. Пять раз он решил не менять своё мнение. Дважды он покинул комнату в какой-то степени другим человеком. Никакие правила не предписывали какое-либо соотношение между первым и вторым — подобные правила сделали бы абсурдной всю идею. Однако если за долгое время под знаком плюс не появилось бы ни одной записи, пришлось бы признать, что нет никакого смысла держать эту комнату, раз ты не умеешь её использовать. Ну или знание истины даровано тебе от рождения и ты прав во всём.

Джеффриссай сел на пол, но не лицом к дощечкам, а спиной к ним. Он смотрел на пустую белую стену, дабы ничто не могло отвлечь его. Мысленно он повторил вступительную мета-мнемонику, а затем множество под-мнемоник, на которые та ссылалась: семь главных принципов и шестьдесят две специальные техники, что вероятнее всего понадобятся во время Ритуала Изменения Убеждений. К этому Джеффриссай добавил ещё одну мнемонику, напоминающую ему четырнадцать его собственных самых стыдных оплошностей.

Он не сделал глубокого вдоха. Лучше сохранять спокойное дыхание.

И тогда он задал себе вопрос.

Машина в призраке

Сила интеллекта

Элиезер Юдковский

В своих черепах мы носим около полутора килограммов склизкой, серой, морщинистой субстанции, напоминающей скомканную туалетную бумагу.

Взглянув на этот неаппетитный комок жира, едва ли можно подумать, что это самая могущественная штука в изученной вселенной. Если бы вы никогда не читали книг по анатомии и увидели бы мозг, лежащий на улице, вы бы сказали «Фууу» и постарались, чтобы он не запачкал вашу обувь. Аристотель считал, что мозг — это орган, охлаждающий кровь. Он совсем не кажется опасным.

Пять миллионов лет назад, предки львов правили днём, а предки волков правили ночью. Правящие хищники были вооружены острыми, как лезвия бритвы, зубами и когтями, обладали мощными мышцами. Их добыча, в качестве обороны, эволюционировала бронированные панцири, острые рога, токсичные яды, камуфляж. Война велась на протяжении сотен эпох, и гонкам вооружений не было конца. Многие проигравшие покидали игру, но победителя так и не было видно. У одних видов были панцири, но другой вид эволюционировал вскрывать их. Одни виды становились ядовиты, но другие вырабатывали иммунитет к яду. У каждого вида была своя ниша - но кто мог бы жить и в морях, и в океанах, и на земле одновременно? Не существовало ни абсолютного оружия, ни универсальной защиты и не было причин считать, что нечто подобное возможно.

А затем наступил День Хлипких Существ.

У них не было ни брони, ни когтей, ни яда.

Если бы вы увидели фильм, в котором происходит ядерный взрыв и вам бы сказали, что это сделала земная форма жизни, вы бы ни за что не подумали, что ответственность лежит на Хлипких Существах. Ведь Хлипкие Существа не радиоактивны.

В начале, у Хлипких Существ не было ни реактивных истребителей, ни пулемётов, ни ружей, ни мечей. Ни бронзы, ни железа. Ни молотков, ни наковален, клещей, кузниц или же шахт. Всё, что было у Хлипких Существ - их хлипкие пальцы - слишком слабые, чтобы сломать дерево, не говоря уже о горе. Очевидно, не опасны. Чтобы разрубить камень потребуется сталь. Хлипкие Существа не могли выделить сталь. В окружающей среде не было готовых стальных клинков, которые можно было бы поднять хлипкими пальцами. Их тела и близко не могли генерировать температуры достаточные для того, чтобы плавить металл. Сама эта идея совершенно абсурдна.

Хлипкие Существа манипулируют ДНК? Это уже за пределами абсурдности. Хлипкие пальцы не настолько маленькие. Нет возможности получить доступ к ДНК с уровня Хлипких Существ, это всё равно, что взять атом водорода. Ну, технически они находятся в рамках одной вселенной, технически Хлипкие Существа и ДНК являются частью одного мира, единых законов физики, единой великой паутины причинности, но будем реалистичны: вы не смогли бы заглянуть так далеко.

Даже если бы Хлипкие Существа смогли бы когда-нибудь эволюционировать так, чтобы овладеть всеми этим умениями, на это потребовались бы миллиарды лет. Мы наблюдали за взлётами и падениями Жизни на протяжении эпох, и позвольте заметить, год – это даже не мгновение по меркам эволюции. Ну, конечно, технически год – это шестьсот триллионов триллионов триллионов триллионов Планковских интервалов. Но менее чем за шестьсот миллионов триллионов триллионов триллионов триллионов Планковских интервалов все равно ничего не происходит, так что спорить бесполезно. Хлипкие Существа, бегущие сейчас по саванне, ни за что не смогут облетать континенты, по крайней мере, ещё десять миллионов лет. Никто не способен заниматься сексом настолько часто.

Ну а теперь расскажите мне, как Искусственный Интеллект не сможет сделать ничего интересного через Интернет, если только человеческие программисты не построят ему роботизированное тело.

Я много раз наблюдал за реакцией, которую вызывает у людей слово «интеллект». Нередко первая мысль, что приходит им в голову определяет их отношение к технологической сингулярности. Часто первой ассоциацией к слову «интеллект» становится образ «книжного червя» — что-то вроде шахматного гроссмейстера, неспособного пригласить девушку на свидание, или профессора колледжа, неспособного выжить вне научного сообщества.

«Одного интеллекта недостаточно, чтобы преуспеть», — говорят люди, как будто харизма заключена в почках, а не в мозгу. «Интеллект не сравнится с пистолетом», — говорят они, как будто пистолеты выросли на деревьях. «Откуда Искусственный Интеллект возьмёт деньги?», — спрашивают они, словно первый Homo Sapiens нашёл долларовые купюры, упавшие с неба, а затем потратил их на покупки в магазинах, уже расположенных в том же лесу. Человечество появилось не в условиях рыночной экономики. Пчелы не продадут вам мёд в обмен на электронный перевод средств. Человек придумал деньги, и вот они существуют — для нас, не для пчёл, — потому что мы продолжаем в них верить.

Я всё пытаюсь объяснить, что воплощением интеллекта является вовсе не Дастин Хофман в «Человеке Дождя». Воплощение интеллекта — это человек. Точка. Это хлипкое существо, разрывающее вакуум, чтобы оставить отпечаток ноги на Луне. Внутри серого влажного комка жира заключена сила искать пути среди великой паутины причинности и находить, казалось бы, невозможное — сила, что иногда называется творческим подходом.

Люди — в частности венчурные капиталисты — иногда спрашивают: если MIRI удастся успешно создать полноценный ИИ, каким образом из этого можно будет извлечь прибыль? Это мы называем проблемой постановки задачи.

Хотя, вероятно, дело тут далеко не только в конфликте допущений. Немного творческого подхода позволяет людям представить, как отправиться на Луну, или исцелить оспу, или построить компьютеры. Но придумать способ, как сделать всё это разом, кажется совершенно невозможным. Пусть даже необходимая для этого сила расположена всего в нескольких сантиметрах от их глаз. Серые влажные штуки кажутся таинственными для серых влажных штук.

И таким образом, раз люди не вполне понимают, как это всё могло сработать, сила интеллекта кажется менее реальной. Это куда сложнее, чем представить, как столб пламени отправляет корабль на Марс. Перспектива полёта на Марс захватывает воображение. Но стоит кому-то пообещать и полет на Марс, и единую теорию поля, и доказательство гипотезы Римана, и лекарства от ожирения, рака, старения и глупости — ну это просто звучит неправдоподобно, вот и всё.

И это правильно. Это серьёзная ошибка нашего воображения: считать, что интеллект способен лишь на столь малое. Кто мог бы представить на заре времён, чего удастся добиться при помощи разума? Не исключено, что мы до сих пор не догадываемся, в чем состоят наши настоящие проблемы.

Но в то же время, поскольку сложно понять, каким образом один процесс владеет такими разнообразными силами, сложно представить, что одним махом он сможет решить даже столь простые проблемы, как ожирение, рак и старение.

Тем не менее один и тот же процесс смог исцелить оспу, и построить самолёты, и вывести пшеницу, и приручить огонь. Наша текущая наука может до конца не соглашаться касательно того, как именно он работает, но это не мешает ему работать. Если вы временно невежественны относительно явления, - это факт о вашем состоянии ума, а не о самом явлении. Пустая карта не соответствует пустой территории. Если кто-то не вполне понимает ту силу, что оставила следы на Луне, это никак не меняет того факта, что следы все ещё там - реальные следы на реальной Луне, оставленные реальной силой. И если бы кто-то понял эту силу достаточно глубоко, то смог бы создавать и направлять эту силу. Интеллект так же реален, как и электричество. Он всего лишь сильнее, опаснее, имеет куда более глубокое влияние на грядущую историю жизни во вселенной. И разобраться, как построить его генератор, немного сложнее.

Простая математика эволюции

Цель первой цепочки тома «Машина в призраке» — описать противоречия между историей нашего происхождения, нашим современным биологическим устройством и нашими стремлениями. Это потребует углубиться в описание эволюции сильнее, чем привычно для не биологов, которые часто обращают внимание лишь на поверхностные особенности естественного отбора.

Чуждый Бог

Элиезер Юдковский

«Удивительное свойство теории эволюции: любому она кажется понятной»

Жак Моно

Глядя на природу, человек всюду видит предназначение. Заячьи лапы сконструированы для бега. Лисьи челюсти идеально подходят для разрывания добычи. Увы, наше зрение нас здесь подводит: мы видим не то, что есть на самом деле.

В додарвиновские времена причины этой повсеместно наблюдаемой предназначенности были одной из величайших научных загадок. Богопоклонники твердили: «это сделал Бог» — ведь ты получаешь 50 бонусных баллов каждый раз, когда используешь слово «Бог» в предложении. Хотя, пожалуй, я здесь несправедлив. В те времена гипотеза божественного происхождения выглядела гораздо разумнее, чем её альтернативы. «Обнаружив в пустыне часы, — говорил Уильям Пейли — можно сделать вывод о существовании часового мастера».

Но стоит лишь внимательно рассмотреть всю кажущуюся предназначенность в Природе, вместо того, чтобы выбирать только удобные примеры — начинаешь замечать вещи, несовместимые с иудеохристианской концепцией всеблагого Творца. Лисы выглядят так, будто они спроектированы для охоты на зайцев. Зайцы выглядят так, будто спроектированы, чтобы убегать от лис. Творец что, не смог определиться?

Проектируя тостер, я не включаю в него один блок для нагревания теплового элемента, а другой — для его охлаждения. Это было бы глупо и расточительно. Кому могло прийти в голову запроектировать экосистему со всеми её хищниками и жертвами, вирусами и бактериями? Даже кактусы, будто специально придуманные, чтобы снабжать водой и пищей пустынных животных, покрыты неприятными колючками.

Картина становится гораздо более осмысленной, если предположить, что природу создавал не единственный Творец, а целый сонм мелких богов — как в индуизме или синтоизме. Такое предположение удобно объясняет и повсеместную предназначенность, и повсеместные конфликты. Множество богов действовало независимо, часто с противоположными целями. И лиса, и заяц были спроектированы — но различными, конкурирующими божествами. Интересно, кто‑нибудь уже предлагал это наблюдение как доказательство в пользу индуизма против христианства?

Иудеохристианская традиция постулирует, что Бог благосклонен. Ну, в общих чертах. В то же время, значительная часть наблюдаемой в природе предназначенности демонстрирует невероятную жестокость. Дарвин заподозрил, что Творец не соответствует общепринятой концепции, изучая наездников-ихневмонид. Их ядовитое жало лишь парализует, а не убивает жертву, что предохраняет её от порчи, позволяя личинкам ихневмонид в течение длительного времени пожирать её заживо. «Я не могу убедить себя в том, — писал Дарвин — что всеблагой и всемогущий Бог сотворил ихневмонид, намеренно предусмотрев пожирание ими живых тел гусениц, или сотворил кошку, заложив в неё желание играть с мышью»1. Интересно, озвучивал ли какой‑нибудь более ранний мыслитель эти факты как доказательство в пользу манихейства2 против монотеизма?

Сегодня мы все знаем разгадку: надо просто сказать «эволюция».

К сожалению, некоторых это «научное» объяснение вполне устраивает. Как будто «эволюция» — это такой волшебный источник предназначенности в Природе. Я уже приводил в качестве примера Шторм из Людей Икс, которая в результате одной мутации получила способность метать молнии. Как? Ну, есть такая штука — «эволюция», которая закачивает в Природу предназначенность. Изменения происходят посредством «мутаций»; если получить действительно большую мутацию, результатом станут реально большие полезные изменения. Например, Шторм получит способность метать молнии. Популярный источник суперспособностей — радиоактивность: радиация приводит к мутациям, так что чем мощнее радиация, тем мощнее будут мутации. Такая вот логика.

Но эволюция не позволяет любой предназначенности проникать в Природу. Именно это делает эволюцию столь успешной в качестве эмпирической гипотезы. Если бы эволюционная биология объясняла не только деревья, но и тостеры, она была бы бесполезна. Эволюционная теория — это не просто ткнуть пальцем в Природу и сказать «теперь предназначенность разрешена», или «так сделала эволюция». Сила любой теории не в том, что она объясняет, а в том, что она объявляет невозможным. Если ты придумал гипотезу, одинаково убедительно объясняющую любое событие, твои знания равны нулю.

«Многие люди, далёкие от биологии, — заметил(e) Джордж Уильямс — думают, что именно для их блага гремучие змеи отращивают на хвостах “погремушки”»3. Бзз‑з‑з! Неправильный ответ! Такая предназначенность не разрешена. Эволюция не позволяет произвольным всплескам предназначенности пробираться тут и там, перекраивая один вид для блага другого вида.

Движущая сила эволюции — систематическая корреляция между способами, которыми разные гены влияют на конструкцию организмов и количеством копий этих генов, которые добираются до следующего поколения. Чтобы «погремушки» росли на хвостах гремучих змей, «погремушечные» гены должны с каждым поколением встречаться всё чаще и чаще (на самом деле, не просто «погремушечные» гены, а гены, кодирующие всё более сложные звуки, издаваемые «погремушками»; но погружаться в подробное описание всех тонкостей эволюционной биологии мы не будем, иначе эта статья никогда не закончится).

Нет никакой Эволюционной Феи, которая изучает текущее состояние природы и решает: «хм, хорошая идея!», увеличивая частоту «погремушечных» генов в популяции.

Подозреваю, что именно на этом месте спотыкается значительное число людей, изучающих эволюционную биологию. Они понимают, что «полезные» гены становятся более распространёнными, но слово «полезные» позволяет любой предназначенности прокрасться в рассуждение. Они вроде бы не верят в Эволюционную Фею, в то же время спрашивая, какие гены могли бы быть «полезны», имея в виду, в том числе, «пользу» не только для гремучих змей, но и для других видов.

Ключевой факт, который необходимо осознать — нет никакой Эволюционной Феи. Нет никакой внешней силы, решающей, какие гены должны «получить повышение». Всё происходящее происходит исключительно в результате работы самих генов.

Гены, кодирующие (всё более сложные) звуки «погремушки», должны становиться всё более распространёнными в генофонде гремучих змей исключительно благодаря самим звукам. В этом случае, вероятно, всё дело в том, что змеи с лучшими «погремушками» лучше выживают (а не в том, что они успешнее размножаются или способствуют более успешному размножению своих родственников).

Возможно, хищники опасаются звуков «погремушек» и стараются не наступать на гремучих змей. Возможно, «погремушка» на хвосте отвлекает внимание от змеиной головы. (Джордж Уильямс утверждал(e), что «результат схватки между собакой и змеёй почти полностью определяется тем, за какую часть собака схватит змею изначально — за голову или за хвост»).

Но это всего лишь змеиные «погремушки». Существуют гораздо более сложные способы, которыми гены могут приводить к увеличению частоты своего появления в следующем поколении. Ваши братья и сёстры разделяют с вами половину ваших генов. Ген, жертвующий одной единицей ресурса, чтобы предоставить три единицы ресурса брату, может передать будущему поколению несколько своих копий, пожертвовав одним из сконструированных им организмов (несущим лишь одну копию).

Если вы действительно хотите разобраться в деталях и тонкостях, купите книжку по эволюционной биологии; не существует царского пути. Но ключевая идея такова: эффект от наличия определённого гена должен напрямую увеличивать частоту появления этого гена в следующем поколении. Нет Эволюционной Феи, которая бы воздействовала извне. Нет ничего, что бы решало, какие гены «полезны» и, следовательно, должны появляться чаще. Должна быть прямая причинно-следственная связь, начало которой — в самих генах.

Это объясняет странные конфликты предназначенности в Природе и распространённую в ней жестокость. Объясняет даже лучше, чем орда синтоистских божеств.

Почему столь многое в Природе находится в постоянной войне с другими её частями? Потому что нет никакой единой Эволюции, которая управляла бы процессом. Есть лишь множество малых «эволюций», представленных отдельными размножающимися популяциями. Заячьи гены становятся более или менее распространёнными в популяциях зайцев. Лисьи гены становятся более или менее распространёнными в популяциях лис. Лисьи гены, которые конструируют лис, хорошо ловящих зайцев, создают больше собственных копий в следующем поколении. Заячьи гены, конструирующие зайцев, хорошо убегающих от лис, естественным образом встречаются чаще в следующем поколении зайцев. Отсюда словосочетание «естественный отбор».

Почему Природа так жестока? Мы, будучи людьми, смотрим на наездников-ихневмонид и решаем, что пожирать жертву заживо — жестоко. Если уж никак нельзя избежать пожирания жертвы заживо, мы постараемся хотя бы не причинять ей страданий. Ихневмонидам не стоило бы больших усилий добавить в состав парализующего яда обезболивающее. А что насчёт старых слонов, медленно умирающих от истощения после выпадения последнего комплекта зубов? Эти слоны всё равно уже не могут размножаться. Чего стоило эволюции — точнее, эволюции слонов — сделать так, чтобы старые слоны умирали сразу, не мучаясь так долго? Чего стоило эволюции сделать их смерть безболезненной, или усыплять их, чтобы безмятежное угасание сопровождалось приятными снами? Ничего. Всё вышеперечисленное никак не повлияло бы на шансы этого слона продолжить свой род.

Если бы речь шла о том, чтобы убедить другого человека, мы были бы в отличной позиции для переговоров и легко настояли бы на своём. Ведь от нашего оппонента потребовались бы лишь незначительные уступки: обезболить жертву, позволить слону умереть без мучений. Почему бы не пойти навстречу столь скромной просьбе? Ну пожалуйста, э‑э…

Нет никого, к кому мы могли бы обратиться со своими аргументами.

Люди подделывают свои оправдания, определяя желаемое одним способом, а потом оправдывая принятое решение чем‑нибудь другим. Нет никакой Феи Эволюции Слонов, которая пыталась бы (а) определить, что для слонов лучше всего и (б) определить, как оправдать это перед Эволюционным Надзирателем, который (в) не хочет, чтобы эволюционная приспособленность снижалась, но (г) не будет мешать в реализации идеи безболезненной смерти до тех пор, пока она не мешает никаким другим полезным генам.

В системе нигде нет места для защитника слонов.

Люди, нередко глубоко переживающие за благополучие животных, могут быть очень убедительны в своей аргументации в пользу того, как различные проявления милосердия не повредили бы репродуктивной приспособленности. Увы, эволюция слонов не использует ничего, что напоминало бы этот алгоритм; она не выбирает классные гены, про которые можно придумать реалистично звучащие аргументы в пользу их ценности для репродуктивной приспособленности. Алгоритм эволюции донельзя прост: гены, которые реплицируются чаще, становятся более распространёнными в следующим поколении. Как вода, текущая под гору — и с тем же уровнем великодушия.

Окидывая взором Природу, мы думаем обо всех усовершенствованиях, которые мы внесли бы в конструкцию организмов. После чего рационализируем, выдумывая причины, по которым желаемые нами улучшения увеличили бы репродуктивную приспособленность — таков наш политический инстинкт, желание «продать» вариант, предпочтительный для нас, под видом того, что хочет видеть наше начальство.

По этой схеме эволюционные биологи-любители делают тысячи удивительных и фантастически ошибочных предсказаний. Потому что биологи-любители делают свои заключения, более того — находят свои гипотезы в общем пространстве всех возможных идей — используя не тот алгоритм, который использует эволюция, делая свои «заключения».

Разумный инженер спроектировал бы человеческие вкусовые рецепторы так, чтобы они измеряли, сколько в еде содержится различных питательных веществ и сколько их нам необходимо. При нехватке жиров миндаль и чизбургеры казались бы невероятно вкусными, а при первых признаках приближающегося ожирения, или в случае нехватки витаминов, самым вкусным казался бы салат-латук. Но не существует Феи Человеческой Эволюции, которая бы заранее разумно спланировала и запроектировала универсальную систему для любых обстоятельств. Нехватка калорийной пищи была надёжным инвариантом окружающей среды древних людей. Поэтому гены организмов, любивших калории, стали встречаться чаще. Как вода, текущая под гору.

Мы — воплощённая история того, какие организмы фактически выжили и размножились, а не того, какие организмы должны были бы «по уму» выжить и размножиться.

Сетчатка человеческого глаза устроена очень криво: светочувствительные клетки находятся сзади, а нервы к ним прикреплены спереди, где собираются в пучок и сквозь сетчатку уходят вглубь черепа. Отсюда слепое пятно. Для инженера это выглядит просто тупо. У некоторых других организмов сетчатка развивалась независимо от нас и получилась гораздо лучше. Почему бы не переделать человеческую сетчатку?

Проблема в том, что никакая отдельная мутация не сможет переделать всю сетчатку сразу. Это инженер может переделать разом несколько частей или заранее предусмотреть пространство для будущих изменений. Но если отдельная мутация поломает какие‑то важные части организма, не имеет значения, сколь удивительные вещи Фея могла бы впоследствии выстроить на этой основе: организм погибнет, и частота появления соответствующего гена в популяции снизится.

Если развернуть клетки сетчатки глаза, не изменив соответственно нервные окончания и зрительный нерв, система в целом не будет работать. Не имеет никакого значения тот факт, что для Феи, или разумного инженера, это лишь первый шаг к более совершенной, модернизированной системе. Такой организм будет слеп. Эволюция неспособна предвидеть последствия, ведь это лишь зафиксированная история того, какие организмы фактически размножились. Эволюция столь же слепа, как человек с наполовину переделанной сетчаткой.

Обнаружив в пустыне часы, можно сделать вывод о часовом мастере. Когда-то некоторые люди это отрицали. Они утверждали, что жизнь «просто появилась», без необходимости в оптимизирующем процессе. Как мыши, спонтанно зарождающиеся в грязных тряпках4.

Если спросить, кто был ближе к истине — теологи, защищавшие концепцию Бога‑Творца, или интеллектуально неудовлетворённые атеисты, защищавшие идею спонтанного зарождения мышей, мы должны признать победу за теологами: эволюция — не Бог, но она ближе к Богу, чем к хаосу чистой энтропии.

Мутации случайны, но отбор — не случаен. Это не значит, что разумная Фея вмешивается и отбирает, но существует ненулевая корреляция между геном и частотой воспроизводства организма. За несколько миллионов лет отклонения аккумулируются, превращаясь в непреодолимую силу. Это не божество, но гораздо больше похоже на божество, чем на «снег» случайных помех на телеэкране.

«Творцы онтологически отличны от сотворённых существ, — сказал Дэмиен Бродерик(e)— или они не стоят бумаги, на которой описаны». Действительно, могущественный Скульптор Жизни сам не является существом. Он бестелесен, подобно иудеохристианскому богу. Он пронизывает всю Природу, воплощаясь в падении каждого листа. Он безбрежен, как поверхность целой планеты. Он существует миллиарды лет. Он не был сотворён, но неизбежно произрастает из самой структуры физических законов. Разве нельзя назвать Богом того, кто подходит под такое описание?

В то же время, Создатель не имеет и разума. Жизнь — его творение — по человеческим меркам спроектирована просто паршиво. В ней нет внутреннего единства, одни части конфликтуют с другими. А главное — она совсем не добра и не приветлива.

В каком‑то смысле, Дарвин открыл Бога — Бога, который не совпал с представлениями теологов, а потому прошёл незамеченным. Если бы Дарвин открыл, что жизнь создана разумным существом — бестелесным сознанием, которое любит нас и шарахнет молнией любого, кто в этом усомнится — люди бы воскликнули: «О боже мой! Это же Бог!»

Вместо этого Дарвин открыл странного, чуждого Бога — не успокаивающе «непознаваемого», но действительно непохожего на нас. Эволюция — не Бог, но если бы она была им, это был бы не Иегова. Это был бы Азатот Говарда Лавкрафта — слепой безумный Бог, хаотически бурлящий в самом центре бесконечности под монотонные всхлипы чудовищных флейт.

Что вы и могли бы ожидать, если бы внимательно посмотрели на Природу.

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они действительно верят в непознаваемое божество без конкретных, заранее известных им признаков с соответствующе высокой вероятностью. Кто‑то действительно верящий в столь неопределённое божество, немедленно опознал бы своего странного нечеловеческого создателя, когда Дарвин сказал своё «Ага!».

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они с искренней непредвзятостью ожидают, когда наука обнаружит Бога. Наука уже обнаружила вполне богоподобного создателя людей, но не такого, о котором религиозные люди хотели бы узнать. Они ожидали обнаружения их Бога — божества очень конкретного типа, которого им хотелось бы узреть. Их ожидание будет бесплодным, ибо великое открытие уже сделано и победителем оказался Азатот.

Что ж, тем лучше для нас, людей. Мне нравится Создатель, которого я могу перехитрить. Лучше, чем быть домашним животным. Я рад, что наш Бог — Азатот, а не Один.

Примечание редактора: Перевод этого эссе взят с сайта Данилы Сентябова с его разрешения.

1.Francis Darwin, ed., The Life and Letters of Charles Darwin, vol. 2 (John Murray, 1887).

2.Манихейство — древняя религия, согласно которой материальный мир не сотворён единственным Создателем, а рождён в результате конфликта двух равноправных сил — всеблагого Света и бездуховного Мрака. Подробнее можно прочитать в Википедии. — Прим.перев.

3.Речь идёт о популярной идее, будто «погремушки» появились у змей «из гуманистических целей», чтобы оповещать окружающих об опасности. Источник цитаты — George C. Williams, Adaptation and Natural Selection: A Critique of Some Current Evolutionary Thought, Princeton Science Library (Princeton, NJ: Princeton University Press, 1966).— Прим.перев.

4.В Средние века было распространено представление о самозарождении мышей и других вредителей из «нечистот».— Прим.перев.

Чудо эволюции

Элиезер Юдковский

Чудо эволюции в том, что она вообще работает.

Я говорю буквально. Если уж вы хотите восторгаться эволюцией, именно это достойно восхищения.

Каким образом во вселенной впервые возникла оптимизация? Если некий разумный агент сотворил природу, кто сотворил разумного агента? Где первый создатель, у которого нет создателя? Загадка не в том, как уже первый этап этой последовательности может быть супер-разумным и супер-эффективным. Загадка в том, как он вообще мог появиться.

Эволюция разрешает бесконечную регрессию не потому, что она сверхумная и сверхэффективная, а потому, что она тупая, неэффективная, но всё равно работает. В этом и заключается чудо.

По профессиональным причинам мне часто приходится обсуждать медлительность, случайность и слепоту эволюции. После чего кто-нибудь говорит: «Вы только что сказали, что эволюция не способна планировать одновременные изменения и что эволюция крайне неэффективна, так как мутации случайны. Но разве не это же утверждают креационисты? Что вы не можете собрать часы, случайно перемешивая детали в коробке?»

Но нельзя возражать креационистам словами, что вы на самом деле можете собрать часы, тряся коробку с деталями. Просто эволюция работает не так. Если вы считаете, что эволюция действительно представляет из себя воздушные вихри, собирающие Боинги 747, то креационисты успешно исказили ваше представление о биологии — продали вам чучело.

В действительности сложные механизмы эволюционируют либо последовательно улучшаясь, либо приспосабливая уже существующие сложные механизмы под новую цель. Белки прыгают с дерева на дерево, используя лишь свои мышцы, но длина их прыжка в определенной степени зависит от аэродинамики их тел. И сейчас существуют белки-летяги, настолько аэродинамичные, что они могут парить на небольшие расстояния. Если бы птицы оказались уничтожены, потомки белок-летяг могли бы занять эту экологическую нишу в течении десяти миллионов лет, их летательные мембраны превратились бы в крылья. А креационисты говорили бы: «Что толку от половины крыла? Вы бы просто упали и разбились. Как бы птицебелки могли эволюционировать последовательно?»

Вот так одна сложная адаптация может породить новую сложную адаптацию. Сложность также может нарастать постепенно, начиная с одной случайной мутации.

Сначала появляется какой-нибудь ген А — простой, но хотя бы чуть-чуть полезный сам по себе, благодаря чему он распространяется в генофонде. Потом появляется ген B, от которого есть польза только в присутствии A, но так как A уже широко распространён в генофонде, в пользу B действует серьёзное давление отбора. Далее возникает модифицированная версия А*, которая зависит от B, но не разрушает зависимость B от А/А*. Потом появляется С, связанный с А*, и B*, который зависит от А* и С. И вскоре мы имеем «нечленимо сложный» механизм, который ломается, стоит вытащить одну деталь.

И тем не менее, вы всё ещё можете отследить путь обратно к единственному элементу: вы можете, не ломая механизм, сделать один элемент менее зависимым от другого, и, повторив это несколько раз, вы сможете вытащить деталь, не сломав механизм, и так пока не превратите механические часы в грубые солнечные.

Например: ДНК хранит информацию очень точно. В устойчивом формате, который позволяет осуществлять точную дупликацию. Рибосома переводит эту сохраненную информацию в последовательность аминокислот, в белок, который может принимать множество химически активных форм. Объединенная система, ДНК и рибосома, может создать любой белковый механизм. Но в чём польза от ДНК без рибосомы, которая переводит информацию в белки? В чём польза от рибосомы без ДНК, которая бы объяснила, какой белок производить?

От организмов не всегда остаются окаменелости, поэтому эволюционная биология не всегда может выяснить, как именно происходило последовательное улучшение. Но в данном случае мы действительно знаем, как это произошло. РНК способна переносить информацию и самореплицироваться, как и ДНК, хотя РНК и не так устойчива, а её копии не столь точны. И РНК, как и белки, способна принимать химически активные формы, хотя и не столь универсальные, как аминокислотные цепочки белков. Почти наверняка РНК — это одиночная А, которая предшествовала взаимозависимым А* и B.

Отметить, что РНК выполняет объединенную работу ДНК и белков плохо, столь же важно, как и отметить то, что она вообще её выполняет. Восхитительно, что одна единственная молекула может одновременно хранить информацию и управлять химическими процессами. Делать эту работу ещё и хорошо было бы совершенно лишним чудом.

Что же было первым репликатором на свете? Это вполне могла бы быть нить РНК, ведь, «по какому-то странному стечению обстоятельств», химические элементы, составляющие РНК — это те химикаты, что могли естественным образом появиться на добиологической Земле 4 миллиарда лет назад. Пожалуйста, обратите внимание: эволюция не объясняет возникновение жизни. Эволюционная биология не предназначена для объяснения первого репликатора, потому что первый репликатор не произошёл от другого репликатора. Эволюция описывает статистические тенденции репликации. Первый репликатор не был статистической тенденцией, он был просто случаем. Идея, что эволюция должна объяснять возникновение жизни — это настоящее соломенное чучело, ещё одно креационистское непонимание эволюции.

Если бы вы наблюдали за первичным бульоном в день возникновения первой самовоспроизводящейся молекулы, день, который изменил Землю, вас бы не впечатлило то, насколько хорошо этот первый репликатор воспроизвел себя. Первый репликатор наверняка копировал себя, как пьяная мартышка под ЛСД. Вы не увидели бы никаких признаков той тщательной тонкой настройки, которая воплощена в современных репликаторах, потому что первый репликатор был случайностью. Эта одинокая ниточка РНК, или химический гиперцикл, или узор в грязи, не обязана была воспроизводиться изящно. Достаточно было сделать это хоть как-то. И даже тогда — это всё ещё было невероятно, если воспринимать это как единичный случай. Но это должно было случиться только один раз, а приливных луж было очень много. И вот несколько миллиардов лет спустя репликаторы ходят по Луне.

Первая случайно самореплицирующаяся молекула была самой важной молекулой в истории. Но если бы вы восхваляли ее слишком сильно, приписывая ей всяческие способствующие воспроизводству возможности, вы бы упустили всю суть.

Не думайте, что в политических дебатах между эволюционистами и креационистами тот, кто восхваляет эволюцию больше всех, должен быть на стороне науки. Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все. Вы попадаете в креационистскую ловушку, настаивая, что да, торнадо может собрать Боинг 747! Разве это не здорово! Как чудесно разумна эволюция, насколько она заслуживает восхищения! Посмотрите на меня, я расписываюсь в своей верности науке! Чем больше я скажу хороших вещей о эволюции, тем больше я на стороне эволюции, против креационистов!

Но превознесение эволюции уничтожает истинное чудо: оно не в том, как хорошо эволюция создаёт вещи, а в том, что происходящий естественным образом процесс вообще способен что-то создавать.

Так что давайте избавимся от идеи, что эволюция прекрасно создаёт новые виды или чудесно управляет их судьбой, а мы, люди, должны подражать ей. Для человеческого интеллекта подражать эволюции как творцу было бы как для современной сложно организованной бактерии брать пример с первого репликатора как с биохимика. Как выразился Томас Гексли, «бульдог Дарвина»:

Давайте поймем раз и навсегда, что этический прогресс общества строится не на подражании космическому процессу и тем более не на бегстве от него, а на противостоянии ему.

Гексли сказал это не потому, что он не верил в эволюцию, а потому что он понимал её слишком хорошо.

Эволюции неразумны (но всё равно работают)

Элиезер Юдковский

В предыдущем эссе я писал:

Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все.

В этом эссе я опишу некоторые широко известные неэффективности и ограничения эволюций. Я говорю «эволюции» во множественном числе, потому что цель эволюции лис прямо противоположна цели эволюции кроликов, и ни одна из них не может расспросить эволюцию змей, чтобы научиться выращивать ядовитые клыки.

Итак, я говорю здесь об ограничениях эволюции, но это не значит, что я пытаюсь пропагандировать креационизм. Это стандарный курс эволюционной биологии для продолжающих (если добавить выведение уравнений, будет продвинутый). Эволюции, ограниченные таким образом, всё ещё могут объяснить наблюдаемые биологические изменения; фактически эти ограничения как раз и придают им смысл. Помните, что прелесть эволюций не в том, насколько хорошо они работают, а в том, что они работают вообще.

Человеческий интеллект настолько сложен, что нет достаточно рабочего способа рассчитать, насколько он эффективен. Естественный отбор, хотя и не прост, - проще, чем человеческий мозг; как следствие, он медленнее и менее эффективен, как и подобает первому процессу оптимизации, который когда-либо существовал. На самом деле эволюции просты настолько, что мы можем точно рассчитать, насколько они глупы.

Эволюционные изменения медленны. Насколько? Предположим, есть полезная мутация, которая обеспечивает преимущество в приспособленности на 3%. В среднем, носители этого гена имеют в 1,03 раза больше детей, чем не-носители. При условии, что мутация распространяется свободно, сколько займёт её внедрение во всей популяции? Это зависит от численности населения. Ген, передающий 3% -ное преимущество приспособленности, распространяющееся среди 100 000 человек, потребует в среднем 768 поколения для достижения повсеместности в генофонде. Для населения в 500 000 потребуется 875 поколений. Общая формула такова:

требуемое количество поколений для фиксации гена в генофонде = 2*ln(N)/s

где N — размер популяции, а (1 + s) — приспособленность. (Если у каждого носителя этого гена в 1,03 раза больше детей, чем у не-носителя, s равняется 0,03). Таким образом, если размер популяции составляет 1 000 000 особей — примерная численность населения во времена охоты и собирательства — то потребуется 2763 поколения, чтобы ген, дающий преимущество на один процент, распространился в генофонде.

В этом нет ничего удивительного. Генам приходится самим выполнять всю работу, потому что нет никакой Феи Эволюции, которая бы наблюдала за генофондом и решала: «Хм, этот ген, кажется, быстро распространяется, надо раздать его всем!»

В условиях человеческой рыночной экономики любой, кто, оставаясь в рамках закона, получает 20% прибыли от инвестиций — особенно если за этим стоит очевидный, прозрачный механизм — стремительно получает ещё больше капитала от инвесторов, а другие начинают копировать его предприятие. Генам же приходится распространяться без помощи фондовых рынков, банков и подражателей. Как если бы Генри Форду пришлось сделать одну машину, продать её, купить деталей на ещё 1,01 машину (в среднем), продать эти машины, и так до тех пор, пока не дойдёт до миллиона.

Это если предполагать, что ген вообще распространится. Следующее уравнение проще и вовсе не связано с размером популяции:

вероятность закрепления гена = 2s

У мутации, которая несёт 3%-ное преимущество (что чертовски много для мутаций), 6% вероятность распространения в популяции, по крайней мере на этот раз. Мутации могут повторяться, но при популяции из миллиона особей и точности копирования 10^-8 ошибок на поколение вам придётся подождать сотню поколений, чтобы получить ещё один шанс, а потом у неё всё равно будет 6% шанс закрепиться.

И всё-таки в конечном итоге эволюции неплохо удаётся добираться до финальной точки. (Это лейтмотив.)

На развитие сложных адаптаций требуется очень много времени. Сначала появляется аллель А, который выгоден сам по себе, и уходит тысяча поколений, прежде чем он закрепится в генофонде. Только после этого аллель B, зависимый от А, может начать развиваться. Меховая шуба не станет серьёзным преимуществом, если у окружающей среды нет статистически достоверной склонности устраивать вам морозильник. А гены составляют часть окружающей среды для других генов, и если B зависит от A, то B не получит серьёзного преимущества, пока A не будет достоверно присутствовать в окружающей среде.

Предположим, что B дает преимущество 5% при наличии A, а без него не даёт никакого. Тогда до тех пор, пока A всё ещё имеет 1% -ную частоту в популяции, B даст преимущество только 1 из 100 раз, поэтому суммарное преимущество наличия B составляет 0,05%, а вероятность закрепления В составляет 0,1%. В случае развития сложной адаптации сначала гену А придётся развиваться на протяжении более чем тысячи поколений, потом гену B придётся развиваться ещё тысячу поколений, и тогда A∗ разовьётся ещё через тысячу поколений… и несколько миллионов лет спустя вы получите новую сложную адаптацию.

И при этом другие эволюции не перенимают её. Если эволюция змей разработает потрясающий новый яд, это не поможет эволюции лис или эволюции львов.

Сравните всё это с человеком-программистом, который может разработать новый сложный механизм с сотней взаимозависимых частей всего за один день. Как это вообще возможно? Я не знаю ответа, и предполагаю, что наука тоже не знает(en); человеческий мозг намного сложнее, чем эволюции. Я мог бы махнуть рукой и сказать что-то вроде «целенаправленная обратная цепочка с использованием комбинаторных модульных представлений», но это не помогло бы вам спроектировать своего собственного человека. Тем не менее: люди предусмотрительны и способны разрабатывать новые элементы системы c расчётом на то, что в будущем будут разработаны другие новые элементы; производить согласованные одновременные изменения в взаимозависимом механизме; учиться, наблюдая отдельные тестовые примеры; фокусироваться на проблемных точках и разбираться с ними, используя абстрактное мышление; придумывать, как ещё можно поиграть с настройками вместо того, чтобы ждать, что луч из космоса создаст удачное изменение. По меркам естественного отбора это просто волшебство.

Люди способны делать вещи, которые эволюции сделать не смогут (здесь можно поставить точку) за всё то время, сколько ещё проживёт Вселенная. Как однажды сказала выдающийся биолог Синтия Кеньон за обедом, на котором я имел честь присутствовать: «Один аспирант за час может сделать то, что эволюция не смогла за миллиард лет». Согласно текущим знаниям биологов, эволюции изобрели полностью вращающееся колесо в общей сложности трижды.

И не забывайте о том, что программист может запостить фрагмент кода в интернете.

Да, некоторые изделия эволюции впечатляют даже в сравнении с лучшими технологиями Homo sapiens. Но наш кембрийский взрыв только начался, мы едва только начали накапливать знание, примерно… четыре сотни лет назад? В чём-то биология всё ещё превосходит лучшие человеческие технологии: мы не можем создать самовоспроизводящуюся систему размером с бабочку. В других случаях человеческая технология делает биологию только так. У нас есть колёса, у нас есть сталь, у нас есть ружья, у нас есть ножи, у нас есть заострённые палки; есть ракеты, транзисторы, атомные электростанции. С каждым десятилетием наша чаша весов склоняется всё ниже.

Повторю: для человеческого разума искать вдохновение в конструкторском мастерстве естественного отбора — то же самое, как если бы сложная современная бактерия подражала бы неуклюжей биохимии первого репликатора. Первый репликатор, появись он в сегодняшней конкурентной среде, был бы мгновенно съеден. Та же участь ждёт и человека-проектировщика, который станет вносить в свои стратегии случайные точечные мутации и ждать 768 итераций тестов, прежде чем внести 3%-ное улучшение.

Не превозносите эволюции ни на миллиметр больше, чем они того заслуживают.

Далее в программе: ещё больше захватывающих математических ограничений эволюции!

Эволюция к вымиранию

Элиезер Юдковский

Существует очень сильно распространённое заблуждение, согласно которому эволюция работает на благо видов. Вы, наверное, слышали чьи-нибудь рассуждения о том, что два кролика производят на свет восемь крольчат потомства и тем самым «способствуют выживанию своего вида»? Современный эволюционный биолог никогда бы такого не сказал. Скорее бы он породнился с кроликом.

При обсуждении этого вопроса тоже необходимо одновременно держать в уме несколько абстрактных концепций и при этом не смешивать их. Эволюция не работает на уровне конкретных особей. Особи сохраняют те гены, с которыми были рождены. Эволюция оперирует на уровне популяций — видов — во времени. Возникает естественная тенденция думать, что раз Фея Эволюции работает на уровне видов, она, должно быть, оптимизирует ради этих видов. Но на самом деле меняются лишь частоты встречаемости генов в популяции, а они не увеличиваются и не уменьшаются в зависимости от того, насколько этот ген поможет виду в целом. Как мы увидим в дальнейшем, для вида вполне возможно эволюционировать к вымиранию.

Почему мальчиков и девочек рождается примерно одинаковое количество? (Не учитывая безумные страны, использующие технологии искусственного полового отбора.) Чтобы понять, почему это удивительно, учтите, что от одного мужчины могут забеременеть сразу 2, 10, 100 женщин. Не похоже, чтобы одинаковое количество самцов и самок было необходимо для обеспечения выживания вида. Это ещё более удивительно для большинства видов животных, у которых самец практически не участвует в выращивании потомства - в вопросе родительских инвестиций люди экстраординарны, даже среди приматов. Сбалансированное половое распределение обнаруживается даже у видов, где самец оплодотворяет самку, а затем исчезает в тумане.

Рассмотрим две группы на разных сторонах горы: в группе А каждая мать рожает 2 дочерей и 2 сыновей, в группе В каждая мать рожает 3 дочерей и 1 сына. Группа А и группа В будут иметь одинаковое количество детей, но в группе В будет на 50% больше внуков и на 125% больше правнуков. Можно подумать, что это серьёзное эволюционное преимущество.

Но стоит учесть: чем реже начинают встречаться самцы, тем более репродуктивно ценными они становятся - не для группы, а для отдельного родителя. У каждого ребёнка есть отец и мать. Поэтому в каждом поколении общее генетическое влияние всех самцов должно быть равно общему генетическому влиянию всех самок. Чем меньше самцов, тем больше индивидуальное генетическое влияние каждого из них. Если все самки вокруг действуют во благо группы и вида, рожая по самцу на десять самок, вы можете одержать полную генетическую победу, родив исключительно сыновей, каждый из которых (в среднем) будет иметь в десять раз больше внуков, чем у их кузин.

В результате, в то время как групповой отбор должен поощрять рождение большего количества дочерей, индивидуальный отбор поощряет равный вклад в рождение потомства обоих полов. Взглянув на статистику по рождаемости, нетрудно заметить, что в борьбе между этими двумя силами у Homo sapiens, сокрушительную победу одержал индивидуальный отбор.

(Технически, всё немного сложнее. Индивидуальный отбор поощряет равный родительский вклад в потомство обоих полов. Если рождение и/или воспитание самцов в два раза проще, то эволюционно стабильным состоянием будет популяция, в которой самцов в два раза больше чем самок. Если в популяции в целом рождается одинаковое количество самцов и самок, но рождение самцов в два раза проще, то вы опять же можете одержать генетическую победу, рожая больше самцов. Таким образом, пациенты родильного отделения должны отражать баланс родительских издержек в семье охотников-собирателей при выращивании мальчиков и девочек. Но знаете, не похоже, чтобы для семьи охотников-собирателей вырастить девочку было настолько более репродуктивно затратным, что рождение примерно одинакового количество мальчиков и девочек выглядело подозрительным.)

Естественный отбор — не о группах, не о видах и даже не об отдельных особях. У видов, практикующих половое размножение, отдельный организм не эволюционирует, он сохраняет те гены, с которыми был рождён. Особь — это одноразовый набор генов, который никогда не возникнет вновь. Как можно вести отбор на таком основании? Стоит заметить, что почти все ваши предки мертвы, как становится ясным, что «выживает сильнейший» — это огромное заблуждение. «Воспроизводство более приспособленных» — вот подходящая формулировка, хотя технически приспособленность и определяется исключительно в терминах воспроизводства.

В действительности, естественный отбор — о частотах генов. Чтобы получить сложную адаптацию, механизм с множеством взаимозависящих деталей, каждый новый ген в процессе эволюции зависит от остальных генов, в достаточной степени распространённых в генетической среде. Они должны часто встречаться. И чем сложнее механизм, тем больше должны быть эти частоты. Особенность естественного отбора проявляется в распространённости гена, увеличивающейся от 0.00001% до 99% генофонда. Увеличение распространённости — это информация в смысле теории информации, и оно необходимо, чтобы большие сложные адаптации эволюционировали.

Настоящая борьба естественного отбора не в конкуренции между организмами за ресурсы, это лишь морок и все его участники исчезнут в следующем поколении. Настоящая борьба в соревновании между аллелями за частоты в генофонде. Именно результат этой борьбы создаёт информацию, сохраняющуюся надолго. Два ревущих барана, столкнувшиеся рогами всего лишь тени на стене пещеры.

Абсолютно возможно для аллеля распространиться вплоть до повсеместности, победив в конкурентной борьбе альтернативный аллель, который был бы «лучше для всего вида». Если бы Летающий Макаронный Монстр магически создал вид, в котором половое разнообразие было бы идеально оптимизировано ради выживания всего вида – такое, что могло бы эффективно восстанавливать популяцию после событий приводящих к почти полному вымиранию, адаптироваться к новым экологическим нишам и так далее, – то эволюция быстро бы испортила это разнообразие с оптимального значения для вида к индивидуальному оптимальному значению одинакового вклада в потомство обоих полов.

Представьте «ген Фродо», который жертвует своим носителем, ради спасения всего вида от вымирания. Что же случится с распространённостью этого аллеля в результате? Она уменьшится. Спасибо и до свидания.

И если события, способные привести к вымиранию вида, возникают регулярно (назовём это «средой Баффи»), распространённость гена Фродо будет систематически понижаться, пока он не исчезнет. Вскоре после этого исчезнет и весь вид. Гипотетический пример? Возможно. Если человечество планирует остаться биологическим ещё один век, было бы хорошей идеей начать клонировать Ганди.

У вирусов существует противостояние между стремлением каждого вируса воспроизвестись как можно быстрее и выгодой от того, что носитель останется в живых достаточно долго, чтобы распространить болезнь. Это хороший пример группового отбора, существующий в реальном мире. Если вирус эволюционирует до такого состояния, когда давление группового отбора не справляется с давлением индивидуального, вирус может вскоре исчезнуть. Не знаю, зафиксированы ли случаи, когда какая-нибудь болезнь эволюционировала к вымиранию, но наверняка это происходило многократно.

Нарушители сегрегации нарушают работу механизмов, которые обычно гарантируют справедливость полового размножения. Например, существует нарушитель сегрегации в мужской половой хромосоме некоторого вида мышей, который приводит к рождению исключительно самцов, которые также несут в себе этот нарушитель сегрегации. Затем эти самцы оплодотворят самок, те родят исключительно самцов и так далее. Вы могли бы возмутиться: «Это же жульничество!» Но это человеческий взгляд: репродуктивная приспособленность аллеля невероятно высока, ведь он оставляет в два раза больше копий себя в последующем поколении, чем альтернативный, немутировавший аллель. Даже когда самки начинают встречаться все реже и реже, самцы, несущие в себе этот ген имеют не меньшие шансы на спаривание, чем любые другие самцы, и таким образом нарушитель сегрегации остаётся в два раза более приспособленным, чем альтернативный аллель. Предполагается, что настоящий групповой отбор мог сыграть свою роль в удержании распространённости этого гена на том небольшом уровне, на котором она и находится. В таком случае, если бы в результате эволюции мыши научились летать и мигрировать на зиму, они бы наверняка сформировали единую репродуктивную популяцию и эволюционировали к вымиранию, как только нарушитель сегрегации распространился бы по все популяции.

Около 50% генома кукурузы состоит из транспозонов - ДНК элементов, чья основная функция копировать себя в другие участки ДНК. Класс транспозонов, называемый «P элементами», похоже, впервые возник в геноме дрозофилы только в середине двадцатого века и за 50 лет распространился по всей популяции. У людей есть «Alu-элемент», транспозон примерно из 300 оснований. Он встречается в человеческом геноме где-то от 300 тысяч до миллиона раз. Возможно, от транспозонов виды и не вымирают, но пользы это не приносит точно: транспозоны вызывают больше мутаций, которые почти всегда опасны, поскольку уменьшают эффективную точность копирования ДНК. И, тем не менее, подобные жулики крайне приспособлены.

Представим, что в некотором виде с половым размножением возник идеальный механизм копирования ДНК. Так как большинство мутаций вредны, подобный набор генов будет преимуществом для своих носителей. Но как же полезные мутации? Раз они иногда возникают, не будет ли неспособность мутировать недостатком? Однако у видов с половым размножением полезные мутации, возникшие в способных мутировать особях, могут распространиться к потомкам неспособных. Таким образом, мутируемость оказывается чистым недостатком. Идеальный механизм копирования ДНК увеличивает свою распространённость вплоть до повсеместности. Десять тысяч лет спустя наступает ледниковый период, и весь вид исчезает. Он эволюционировал к вымиранию.

«Эффект свидетеля» заключается в том, что когда кто-то попадает в неприятность, одинокий человек с большей вероятностью вмешается, чем группа. Студенту колледжа при эпилептическом приступе в 85% случаев помогали одинокие прохожие и в 31% группы из пяти человек. Предположу, что родство в племени охотников-собирателей было достаточно сильно, чтобы создать давление отбора для помощи особям, напрямую не родственным. Однако, я допускаю, что даже в этом случае генетическая гонка вооружений могла способствовать тому, что при наличии нескольких потенциальных помощников лучше остаться сзади. Каждый откладывает свою помощь, рассчитывая, что поможет кто-то другой. В настоящее время перед лицом человечества стоит множество угроз, способных привести к вымиранию всего вида, и, должен сказать, не так уж много людей готовы выступить вперёд. Если мы проиграем этот бой, потому что на поле боя не выйдет практически никто, значит, мы эволюционируем к вымиранию — как, по всей видимости, большое количество видов, которых мы не можем наблюдать сейчас.

Раковые клетки достаточно успешны в теле, они благоденствуют и накапливают больше ресурсов, значительно опережая своих более послушных конкурентов. Некоторое время.

Многоклеточные организмы могут существовать лишь потому, что они развили мощные внутренние механизмы, подавляющие эволюцию. Если клетки начнут эволюционировать, то очень быстро эволюционируют к вымиранию: организм погибнет.

Не стоит восхвалять эволюцию за заботу об отдельной особи, ведь почти все ваши предки мертвы. Не стоит восхвалять эволюцию и за заботу обо всем виде: никому ещё не удалось обнаружить сложную адаптацию, которую можно объяснить лишь направленностью на сохранение вида в целом. Судя по всему, математика показывает, что это практически невозможно. И наоборот, вид вполне может эволюционировать к вымиранию. Не исключено, что человечество завершает этот процесс прямо сейчас. Нельзя даже похвалить эволюцию за заботу о генах: битва между двумя альтернативными аллелями за распространённость — это игра с нулевой суммой.

Приспособленность не всегда ваш друг.

Трагедия группового отбора

Элиезер Юдковский

До 1966 года было довольно естественным, что серьезные биологи отстаивают эволюционные гипотезы, которые сейчас мы бы отнесли к магическому мышлению. Эти сумбурные идеи сыграли в развитии эволюционной теории важную историческую роль. Ошибки приводят к их исправлению — недальновидность английских королей привела к появлению великой хартии вольностей и конституционной демократии.

Например, Веро Вайн-Эдвардс, Вардер Алли и Дж. Л. Бреретон (а также многие другие) считали, что хищники будут добровольно воздерживаться от размножения, дабы избежать перенаселения их зоны обитания и истощения популяции их добычи.

Но эволюция не открывает шлюзы по собственному произволу. Нельзя объяснить погремушку гремучей змеи, утверждая, что она полезна для других животных, которых без этой погремушки укусила бы эта змея. Нет никакой внешней Феи Эволюции, которая решала бы, какой ген следует продвинуть: эффект гена должен как-то напрямую способствовать тому, чтобы он стал более распространенным в следующем поколении. Понятно, почему наше человеческое представление о прекрасном, видя популяцию лис, съевших всех зайцев, кричит: «Что-то нужно с этим сделать!» Но каким образом совокупность генов, обеспечивающих воздержание от размножения — представьте эту картину! — сделает себя более часто встречающейся в следующем поколении?

Человеку, создающему маленькую ухоженную игрушечную экосистему — в качестве развлечения, как модель железной дороги — скорее всего не понравится, если его тщательно сконструированные популяции лис и зайцев самоуничтожатся, когда лисы съедят всех зайцев, а затем сами умрут от голода. Так что человек будет возиться с игрушечной экосистемой до тех пор, пока экосистема не станет выглядеть мило и ухоженно, а ограничитель размножения лис — очевидное решение, которое тут же возникает в нашем человеческом мозгу. Природа — не человек, разумеется, но это не обязано останавливать нас. Особенно, когда мы знаем, что бы мы сделали по эстетическим причинам. Нам всего лишь нужно придумать правдоподобные аргументы, которые убедят природу хотеть того же по эволюционным причинам.

Очевидно, что индивидуальный отбор не создаст особь, ограничивающую свое размножение. Особи, которые размножаются неограниченно, естественным образом оставят больше потомства, чем те, кто ограничивают себя.

(Дополнение: Индивидуальный отбор не способствует жертвованию возможностями размножения. Он определенно может способствовать возникновению особей, которые, после получения всех доступных ресурсов, используют их, чтобы произвести 4 больших яйца вместо 8 маленьких — не для того, чтобы сохранить ресурсы, а потому что это индивидуальное оптимальное значение для произведения количества яиц на вероятность выживания яйца. Это не спасает от трагедии общин.)

Но предположим, что популяция некоторого вида была разбита на две подпопуляции, которые были в основном изолированны и лишь иногда спаривались друг с другом. Затем, внезапно, подпопуляция, которая ограничивала свое размножение окажется в условиях, которые с меньшей вероятностью приводят к ее вымиранию и сможет отправить больше особей на чужие территории, и создать новые колонии, чтобы заселить места обитания исчезнувших популяций.

Недостаток этого сценария не в том, что он математически невозможен. Недостаток в том, что он возможен, но крайне маловероятен.

Главная проблема в том, что от ограничения размножения в некоторой группе выиграют не только члены этой группы. Если некоторые лисы будут рожать меньше щенков, которые едят зайцев, то несъеденные зайцы достанутся не только тем щенкам, что несут в себе гены ограниченного воспроизводства. Прочие лисы и их куда большее количество щенков, с радостью съедят всех оставшихся зайцев. Ген воздержания может выжить под давлением отбора только в том случае, если выгода от воздержания достаётся лишь воздерживающимся.

Если быть точным, необходимо выполнение условия C/B < FST, где C — это стоимость альтруизма для донора, B — выгода от альтруизма для получателя, а FST — пространственная структура популяции: среднее «родство» между случайно выбранным организмом и его случайно выбранным соседом, где «сосед» - это любая другая лиса, которая получает выгоду от альтруизма воздерживающейся лисы. (Насколько я понимаю, в этой статье выводится это неравенство, но с использованием других символов. Это лучшее, что мне удалось найти в сети.)

То есть, если цена воздержания от размножения достаточно мала, а наблюдаемая польза от меньшего голода достаточно велика по сравнению с наблюдаемой пространственной структурой популяций лис и зайцев, то аргумент группового отбора может работать?

Математически это крайне маловероятно. Например, в данной симуляции при условиях, что цена альтруизма составляет 3% от приспособленности, чисто альтруистические группы имеют приспособленность дважды превосходящую чисто эгоистические, размер подпопуляций 25 особей и 20% от всех смертей компенсируются пришельцами из другой группы получается неустойчивое равновесие между альтруизмом и эгоизмом. Если удвоить размер подпопуляций до 50, эгоизм закрепляется. Если увеличить цена альтруизма до 6%, эгоизм закрепляется. Если уменьшить вдвое выгоду от альтруизма, эгоизм закрепляется или значительно преобладает. Когда цена альтруизма превосходит 10%, группы должны быть очень маленькими — всего лишь около 5 членов — чтобы групповой отбор работал. Для лис, воздерживающихся от размножения, такие условия выглядят неправдоподобно.

Я думаю, сейчас многие уже догадались, что в научном споре сторонники группового отбора потерпели окончательное поражение. И решающим оказался не математический аргумент, а эмпирическое наблюдение: лисы не ограничивают свое размножение (я не помню, о каких конкретно видах шел спор, это были не лисы и зайцы), и действительно, системы хищник-жертва постоянно рушатся. В дальнейшем теория группового отбора в некотором смысле возродится, в совершенно иной форме. С математической точки зрения возможна структура «соседей», которая создаёт ненулевое давление группового отбора — пусть и не обязательно способное преодолеть противостоящее ему давление индивидуального отбора. Если вы не будете его учитывать, то ваши вычисления будут неверны. И эволюционные механизмы принуждения (не те, о которых говорилось изначально) кардинально изменили игру. Так почему же этот уже ставший историей научный спор стоит полноценного материала для Overcoming Bias?

Десять лет спустя после упомянутого разногласия, у одного биолога возникла отличная идея. Математические условия, при которых групповой отбор может победить индивидуальный, практически невозможно обнаружить в природе. Почему бы не создать их искусственно, в лаборатории? Майкл Дж. Вейд поставил такой эксперимент, последовательно отбирая популяции насекомых по меньшему количеству взрослых особей в подпопуляции. И каков же был результат? Насекомые в самом деле ограничили своё размножение и стали жить мире и покое с достаточным количеством еды для всех?

Нет. Взрослые особи приспособились поедать яйца и личинок, особенно личинок-самок.

Ну конечно же, отбор по малым размерам подпопуляций не будет отбирать индивидов, которые воздерживаются от их собственного размножения. Он будет отбирать тех, кто съедает чужих детей. Особенно девочек.

И как только у вас появляется результат эксперимента — который теперь кажется совершенно естественным — становится ясно, что сторонники группового отбора позволяли романтизму и человеческому чувству прекрасного затуманить их предсказания о природе.

Это показательный пример упущенной Третьей Альтернативы, в результате рационализации заранее определенной нижней строчки, порождающей фальшивое оправдание и мотивированную остановку. Сторонники группового отбора не пришли к своей идее с чистым, открытым умом, не стали непредвзято выводить следствия. Они начали с прекрасной идеи популяции лис, добровольно ограничивающих свое размножение, в соответствии с нуждами популяции зайцев, с идеи о природе в абсолютной гармонии. Затем они стали искать причину, по которой такое могло бы произойти и пришли к идее группового отбора. Затем, раз они уже знали, какой результат группового отбора они хотели бы получить, они не стали искать каких-либо менее прекрасных и эстетичных адаптаций, к которым бы привел групповой отбор с большей вероятностью. Если бы они действительно попытались спокойно и непредвзято представить результат отбора по маленькому размеру подпопуляции, устойчивой к голоду, они бы подумали о поедании детей других особей или каком-либо столь же «уродливом» исходе, причём задолго до того как представить столь же эволюционно невероятное, как индивидуальное воздержание от размножения!

Это также иллюстрирует позицию, которую я пытался объяснить в Самоуверенности Эйнштейна. При больших пространствах возможных ответов почти вся реальная работа уходит на то, чтобы выдвинуть один возможный ответ как заслуживающий рассмотрения. Если гипотеза привлекла внимание неоправданно — ваше чувство прекрасного предлагает красивый способ, каким Природа может работать, и в то же время естественный отбор не включает в себя Фею Эволюции, которая разделяет ваши ценности — одно это может обеспечить ваше поражение, разве что вы сможете полностью очистить свой разум и начать все заново.

В теории, глупейший человек на земле может сказать, что Солнце светит, и это не означает, что вокруг темнота. Даже если ответ предложен сумасшедшим под ЛСД, вы должны быть способны непредвзято вычислить свидетельства за и против и, если необходимо, разуверить себя.

На практике же сторонники группового отбора были обречены, так как их нижняя строчка появилась под действием их чувства прекрасного, а нижняя строчка природы была результатом естественного отбора. И не было никакой причины, почему эти два процесса могли оказаться взаимосвязанными, и они не оказались. И никакая сколь угодно яростная аргументация этого не изменила.

Если вы начнете со своих собственных желаний о том, что делать природе, подумаете о наблюдаемых причинах, по которым природа поступает так или иначе, а затем рационализируете крайне убедительный аргумент, почему природа должна следовать предпочитаемому вами исходу по природным же причинам, то природа, увы, всё равно вас не послушает. У вселенной нет ума и на неё не действует хитроумная политическая аргументация. Можно весь день спорить, почему гравитация на самом деле должна заставлять воду течь вверх, а вода всё равно останется там, где и была. Как будто бы вселенная попросту не слушает. Дж. Р. Моллой сказал: «Природа - абсолютный ханжа, она упрямо и нетерпимо предана своим предрассудкам и совершенно отказывается уступить самой убедительной рационализации людей».

Я часто рекомендую эволюционную биологию друзьям, потому что в своём нынешнем состоянии она отучает от рационализации. Ошибки призывают к их исправлению. У физиков и инженеров-электронщиков нет проблемы с антропоморфизацией электронов, электроны не демонстрируют поведения, которое кажется разумным. Естественный отбор создает целеориентрированность, чуждую для людей, и изучающих теории эволюции об этом предупреждают. Это хорошая тренировка для любого мыслителя, но она особенно важна, если вы хотите ясно мыслить о чужих и странных процессах, которые выглядят как разум и при этом работают не так, как вы.

Фальшивый критерий оптимизации

Элиезер Юдковский

Я прежде уделил немало внимания формам рационализации, посредством которой наши убеждения, похоже, воспринимают свидетельство куда сильнее, чем должны на самом деле. И я не преувеличиваю значимость этого. Если бы мы могли преодолеть это фундаментальное метаискажение и увидеть что на самом деле предсказывает каждая гипотеза, мы были бы в состоянии исправить почти любую фактическую ошибку.

Зеркальный вызов для теории принятия решений — увидеть, какой из вариантов на самом деле рекомендуется критерием выбора. Если ваши заявленные моральные принципы говорят вам, что нужно обеспечить лэптопами всех, на самом ли деле они скажут вам купить украшенный драгоценностями лэптоп за миллион долларов или же потратить те же деньги на приобретение пяти тысяч дешевых лэптопов?

Создается такое впечатление, что мы, эволюционируя, развили в себе ловкость оправдывать практически любое действие для любой цели. В средние века при помощи теории флогистона оправдывали почему магний горит, хотя это металл, а инквизиторы объясняли каким образом бесконечная любовь Бога к своим детям требует сжечь некоторых из них на костре.

В этом нет ничего загадочного. Политика развилась как черта родоплеменного окружения. Мы произошли от тех, кто мог убедительно доказать что во благо племени нужно убить ненавидимого ими соперника Углака (мы определенно не произошли от Углака).

И еще…возможно ли доказать, что если бы Роберт Мугабе заботился только о благе Зимбабве, он бы отказался от поста президента? Вы можете сказать, что цель оправдывает средства, но разве мы только что не видели, что люди способны подогнать любую цель к любым действиям? Как вы можете знать, что вы правы, а Мугабе — нет? (Есть ряд причин, которые являются хорошими предположениями, но пока просто потерпите меня.)

Человеческие мотивы многочисленны и туманны, процессы наших решений весьма сложны, равно как и наш мозг. Да и мир сам по себе является очень сложным местом, в каждом из выборов средств реального мира. Можем ли мы вообще доказать, что люди рационализируют — что мы систематически искажаем связь между принципами и средствами — когда мы теряем даже ту единственную опору, на которой стоим? Когда нет способа точно найти даже подразумеваемый единичный оптимизационный критерий? (На самом деле вы можете просто наблюдать что люди не соглашаются насчет офисной политики такими способами, которые странно коррелируют с их собственными интересами, в то же время одновременно отрицая, что эти интересы играют какую-либо роль. Но опять же, потерпите еще.)

Где же стандартиризованный, открытый, в общем разумный, консеквенциалистский оптимизационный процесс, в который мы могли бы поместить завершенную моральность как XML файл, чтобы найти? что же мораль на самом деле рекомендует, будучи примененной к миру? Есть ли пусть даже единичный реальный случай, где мы могли бы точно знать, какой критерий выбора рекомендован? Где чистый моральный мыслитель — известная функция полезности, очищенная от всех остальных заблудившихся желаний которые могут исказить ее оптимизация — чей надежный вывод мы можем сравнить с человеческими рационализациями той же самой функции полезности?

И это, конечно же, наш старый друг, чуждый бог! Естественный отбор гарантированно свободен ото всей милости, любви, сострадания, эстетических взглядов, политической фракционности, идеологических пристрастий, академических амбиций, либертарианства, социализма, Синих и Зеленых. Естественный отбор не максимизирует всестороннюю генетическую пригодность — он не умен. Но когда вы смотрите на результат естественного отбора, вы гарантированно смотрите на результат того, что было оптимизировано только по всесторонней генетической пригодности, а не в интересах агрокультурной индустрии США.

В примерах из эволюционных наук — в, например, Трагедии Группового Отбора — мы можем напрямую сравнить человеческие рационализации с результатом чистой оптимизации по известному критерию. Что Уэйн-Эдвардс думал по поводу того, что должно быть результатом группового отбора для малых размеров субпопуляций? Добровольное ограничение в размножении и достаточность еды для всех. Что было настоящим лабораторным результатом? Каннибализм.

Теперь вы можете спросить: может быть все эти случаи эволюционных наук нерелевантны человеческой морали, которая, когда речь заходит о любви, сострадания, эстетики, исцеления, свободы, честности и прочего, никоим образом не помогает всеохватной генетической приспособленности.

Но я спрошу в ответ: если мы не можем напрямую увидеть результат единого монотонного оптимизационного критерия — если мы даже не можем натренировать себя слышать отдельную чистую ноту — тогда как мы услышим оркестр? Как мы увидим, что «всегда будь эгоистичен» или «всегда слушайся правительства» являются плохими принципами, которыми могут руководствоваться люди — если мы думаем, что даже оптимизация генов для всеохватной генетической пригодности должна производить организмы, жертвующие репродуктивными возможностями во имя социального соглашения о ресурсах?

Чтобы научить себя видеть ясно, нам нужны простые практические примеры.

Исполнители адаптаций, а не максимизаторы приспособленности

Элиезер Юдковский

«Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности»

—Джон Туби и Леда Космидес, «The Psychological Foundations of Culture»1

Пятьдесят тысяч лет назад, вкусовые рецепторы Homo sapiens направляли своих хозяев на поиски самых дефицитных и наиболее востребованных пищевых ресурсов — сахара и жира. Одним словом — калорий. С тех пор обстановка, в которой существуют вкусовые рецепторы, значительно изменилась — в отличие от самих рецепторов. Калории теперь в избытке (в странах Первого Мира) и причиняют ощутимый вред. Микронутриенты, которых было предостаточно в листьях и орехах, отсутствуют в хлебе, но нашим вкусовым рецепторам всё равно. Шарик мороженного — это суперстимул, содержащий больше жира, сахара и соли, чем что угодно в древнем мире.

Ни один человек, умышленно стремящийся к максимизации генетической приспособленности своих аллелей, никогда не съел бы печенье, разве что под страхом голодной смерти. Но отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

Крестовую отвёртку создали, чтобы закручивать шурупы, но она не перестроит свою головку на плоскую, чтобы выполнять свою функцию. Мы создаём инструменты, но они существуют независимо от нас и будут существовать независимо от нас.

Атомы отвёртки не содержат внутри себя крошечных XML-тэгов, описывающих их «объективное» предназначение. У её создателя был какой-то замысел. Но реальный мир не обязан ему соответствовать. Если забыть о том, что творец является отдельной сущностью, отличной от творения, можно подумать: «Цель отвёртки — закручивать шурупы», как будто бы это неотъемлемое свойство самой отвёртки, а не свойство состояния ума её создателя. И можно удивиться, что отвёртка не становится плоской, когда нужно закрутить шуруп с плоской головкой, ведь, в конце концов, цель отвёртки — закручивать шурупы.

Причина существования отвёртки — разум её создателя, который представил воображаемый винт и воображаемый поворот рукоятки. Фактическая работа отвёртки, её реальное соответствие головке реального винта, не может быть причиной существования отвёртки: будущее не может быть причиной прошлого. Но мозг создателя, объект, существовавший в прошлом, может быть причиной существования отвёртки.

Последствия существования отвёртки могут не соответствовать воображаемым последствиям в мозгу создателя. Наконечник отвёртки может соскочить и порезать руку пользователя.

А смысл отвёртки — это что-то, что существует в уме пользователя, а не в крошечных этикетках на атомах отвёртки. Её создатель мог ожидать, что отвёртка будут закручивать шурупы. Убийца мог купить её, чтобы использовать как оружие. А затем случайно уронить её, в результате чего её подберёт ребёнок и использует как стамеску.

Причина, форма, последствия и всевозможные смыслы отвёртки — разные вещи. И лишь одна из них заключена в самой отвёртке.

Как возникли вкусовые рецепторы? Они не были созданы разумным творцом, предвидящим последствия, они результат истории древнего человечества. Адаму нравится сахар, он ест яблоко и оставляет потомство, Барбара любит сахар, ест яблоко и оставляет потомство, Чарли любит сахар, ест яблоко и оставляет потомство, и 2763 поколения спустяаллель становится повсеместно распространённым в популяции. Ради удобства мы иногда сжимаем весь этот огромный промежуток истории и просто говорим: «Это сделала Эволюция». Однако, именно он — объективная причина существования вкусовых рецепторов. Пусть это и не быстрое локальное событие, вроде человека, представляющего создаваемую им отвёртку.

Каково объективное устройство вкусовых рецепторов? Технически, это молекулярный сенсор, присоединённый к контуру подкрепления. Это добавляет дополнительный уровень косвенности, потому что вкусовой рецептор не занимается напрямую добычей пищи. Он влияет на разум организма, приводя к тому, чтобы организм хотел есть ту еду, которая похожа на только что съеденную.

Каковы объективные последствия существования вкусовых рецепторов? Для современного жителя Первого Мира вкусовые рецепторы вовлечены в многочисленные цепочки причинно-следственной связи: желание съесть больше шоколада влечёт составление плана, как съесть больше шоколада, и далее поедание шоколада, набор веса, меньшую популярность у противоположного пола, что приводит к меньшим шансам на размножение. Эти последствия прямо противоположны главной причине в длинной цепочке причин и следствий, породившей вкусовые рецепторы. Но так как переедание лишь недавно стало проблемой, никакая дальнейшая эволюция (совокупная последовательность предков) не повлияла на устройство вкусовых рецепторов.

В чем смысл употребления шоколада? Это уже зависит от вас и вашей моральной философии. Лично я думаю, что у него хороший вкус, но я бы хотел, чтобы он был менее вредным. Приемлемые решения могут включать в себя как изменение шоколада, так и моей биохимии.

Смешав некоторые из этих понятий вместе, можно вроде бы сказать: «Современные люди поступают таким образом, который способствовал бы распространению генов в обществе охотников-собирателей, независимо от того, помогает ли это нашим генам в современном мире». Однако, такое утверждение не вполне верно, ведь на самом деле мы не спрашиваем себя, какое поведение максимизировало бы приспособленность наших предков. К тому же, множество современных занятий не имеет древних аналогов. В обществе охотников-собирателей вообще не было такой вещи как шоколад.

Так что лучше рассматривать наши вкусовые рецепторы как адаптацию, приспособленную к древним условиям, включающих в себя голод, яблоки и жареных кроликов, которую современные люди применяют в новом контексте, включающим в себя дешёвый шоколад и постоянно попадающиеся на глаза рекламные объявления.

Отсюда и высказывание: Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

1.John Tooby and Leda Cosmides, “The Psychological Foundations of Culture,” in The Adapted Mind: Evolutionary Psychology and the Generation of Culture, ed. Jerome H. Barkow, Leda Cosmides, and John Tooby (New York: Oxford University Press, 1992), 19–136.

Эволюционная психология

Элиезер Юдковский

[От переводчика: существующему в англоязычном интернете явлению любительской эволюционной психологии соответствует существующее на русском языке явление любительской этологии. Несмотря на разные названия, комплекс идей, в значительной мере ошибочных, они выражают одинаковый.]

Выражение «орган размножения» — это тавтология, точно такая же как и «чат IRC» или «протокол TCP/IP». Все органы — это органы размножения. Откуда у птиц крылья? Фея эволюции птиц подумала, что полёт — это очень изящно? Крылья есть только потому что они помогли предкам птиц размножаться. Равно как и лёгкие, и сердце, и гениталии. Максимум может быть целесообразно разделять органы, непосредственно или косвенноучаствующие в размножении.

Это наблюдение также верно и для мозга, наиболее сложной из известных биологии систем органов. Некоторые органы мозга непосредственно участвуют в размножении — например, сексуальное желание — а некоторые косвенно, такие как злость.

Почему у людей есть такая эмоция как злость? Фея эволюции человека подумала, что злость — это полезная функция? Отвечающая за злость нейронная сеть является таким же органом размножения, как и печень. Homo sapiens может испытывать злость, потому что у испытывавших её предков было больше детей. Нет никакого иного пути, который бы привёл к возникновению злости.

Исторический факт о происхождении злости сбивает многих с толку. Они говорят: «Минуточку, вы говорите, что когда я злюсь, я подсознательно стремлюсь завести детей? Это не то, о чём я думаю, если меня кто-то ударил в нос».

Нет. Нет. Нет. НЕТ!

Об отдельных организмах стоит думать как об исполняющих адаптации, а не максимизирующих приспособленностьПричина адаптации, форма адаптации и результат адаптации — это разные вещи. Если вы сконструируете тостер, то он не будет менять свою форму при попытке затолкать в него целый батон хлеба; да, вы сконструировали тостер, предназначенный для того, чтобы жарить хлеб, но это факт о вас, а не о тостере. У тостера нет никакого чувства собственного предназначения.

Но тостер не является объектом вообще имеющим намерения. У него нет разума, поэтому мы не испытываем соблазн приписывать ему цели. То, что мы знаем предназначение тостера, не значит, что его знает тостер — он вообще ничего не знает.

Это похоже на старый тест, в котором просят назвать цвет букв в слове «синий», когда сами буквы окрашены в красный. Это занимает много времени, поскольку мозгу нужно расцепить значение букв и цвет букв. У вас не будет такой проблемы с задачей назвать цвет букв в слове «ветер».

Однако человеческий мозг, помимо того, что он был создан эволюцией, способен иметь собственные стремления, намерения, желания, цели и планы. И человек, и пчела являются проектами, но только человек — проектировщиком. Пчела — это «ветер», а человек — «синий».

Сознательные цели онтологически отличаются от эволюционных целей. Они сделаны из другого материала. Сознательные цели состоят из нейронов, а эволюционные — из предков.

Самые очевидные сознательные цели — это волевые решения, такие как план пойти в магазин или поджарить хлеб. Но эмоции тоже физически существуют в мозге, в виде последовательности нервных импульсов или облака распространяющихся гормонов. Также и инстинкты, зрительные образы, спешно подавленные мысли — имея возможность сканировать мозг и понимать код, мы бы могли видеть их.

Даже подсознательная деятельность физически существует в мозге. Как сказал лорд Актон: «Власть развращает». Сталин вполне мог считать себя альтруистом, работающим ради великого блага для большего количества людей. Однако кажется весьма вероятным, что где-то в его мозге были сети, которые подкрепляли использование власти удовольствием, и сети, которые предсказывали укрепление и ослабление власти. Если бы в мозге Сталина не было ничего, что бы коррелировало со властью — никакой лампочки, которая загоралась при командовании и тухла при политической слабости — тогда как бы власть его развратила?

Давление эволюционного отбора онтологически отличается от биологических артефактов, которые оно создаёт. Эволюционная причина существования крыльев у птиц — это миллионы предков-птиц, которые по статистике размножались чаще, чем остальные предки-птицы, благодаря тому, что они обладали всё сильнее улучшающимися крыльями, по сравнению со своими конкурентами. Мы сжимаем этот колоссальный историко-статистический факт в короткую фразу: «Это сделала эволюция».

Естественный отбор онтологически отличается от существ; эволюция — это не мохнатое чудовище, блуждающее в неизведанном лесу. Эволюция — это причинная и статистическая закономерность в репродуктивной истории предков.

И эта логика также применима к мозгу. Эволюция сделала крылья, которыми можно махать, но она не понимает концепции махательности. Она сделала ноги, на которых можно ходить, но она не знает про ходительность. Эволюция сделала кости из ионов кальция, но сами кости ничего не знают про прочность, не говоря уж об эволюционной приспособленности. Эволюция спроектировала мозг, который сам по себе способен к проектированию, но этот мозг понимает эволюцию не лучше, чем птицы — аэродинамику. До XX века ни один человеческий мозг не представлял себе комплексную абстрактную концепцию инклюзивной приспособленности(English).

Когда нам говорят «Эволюционная цель злости — увеличивать генетическую приспособленность», мы часто сползаем через «Цель злости — это размножение» на «Сознательная цель злости — это размножение». Нет! В мозге нет статистической закономерности размножения предков, даже подсознательно — её там нет так же, как и тостер не содержит цель жарить хлеб, поставленную перед собой инженером.

Думать, что ваши встроенные нейронные сети злости воплощают желание размножаться — это как думать, что рука воплощает желание подбирать предметы.

Рука не полностью отрезана от сознательных желаний. В конкретных обстоятельствах вы можете контролировать сгибание пальцев волевым актом. Если вы наклонитесь и подберёте монету, тогда это будет волевым актом, но не воля заставила руку вырасти.

Нужно также различать единовременные явления злости (злость-1, злость-2, злость-3) и соответствующую им нейронную сеть, отвечающую за злость вообще. Злость-событие — это сознательная мотивация, и у неё могут быть сознательные причины, но у вас не было сознательного желания создать нейронную сеть злости.

Итак, нужно различать злость-событие, нейронную сеть злости, описывающий её комплекс генов и статистику размножения предков, которая привела к возникновению этого комплекса.

Если и есть наука, которая по своей сути требует экстремальной аккуратности, то это эволюционная психология.

Узрите же, о мои читатели, это низкую и радостную историю: мужчина и женщина встречаются в баре. Мужчину привлекают её светлый тон лица и упругая грудь, которые в доисторические времена были бы признаками фертильности, но в данном случае являются результатом наличия макияжа и бюстгальтера. Мужчину это не беспокоит; ему просто нравится, как женщина выглядит. Его нейронные сети, отвечающие за распознавание светлого тона лица понятия не имеют о том, что их предназначение — оценивать фертильность, точно так же, как на атомах его руки нет XML-тега «≺цель≻поднимать предметы ≺/цель≻». Женщину привлекают его уверенная улыбка и твёрдые манеры, которые в доисторические времена были бы признаками способности обеспечить пропитание детям. Она собирается воспользоваться контрацепцией, но её нейронные сети, регистрирующие уверенные улыбки, об этом знают ничуть не лучше чем тостер знает о том, что его создатель спроектировал его для жарки хлеба. Её не беспокоит философское значение этого бунта, поскольку её мозг — креационист, неистово отрицающий существование эволюции. Он надевает презерватив, поскольку не хочет детей, а только лишь дофаминово-норадреналиновую бурю секса, которая надёжно производила потомство 50 тысяч лет назад, когда отсутствие презервативов было неотъемлемым свойством окружающей среды. Они занимаются сексом, принимают душ и расходятся. Основной объективный результат всего этого — прибыль бара, отеля и производителя презервативов, что никак не было ни сознательной целью в умах мужчины и женщины, ни имело что-либо общее с закономерностью размножения их предков 50 тысяч лет назад, которая объясняет, откуда у них взялись гены, создавшие такие мозги, осуществившие такое поведение.

Чтобы правильно рассуждать об эволюционной психологии, нужно одновременно держать в голове много сложных абстрактных фактов, которые тесно связаны, но при этом критически различны, и ни разу при этом не подменить понятия.

Суперстимулы и крах западной цивилизации

Элиезер Юдковский

Известно как минимум три случая, когда люди умерли, потому что играли в видеоигры несколько дней без перерыва. Из-за «World of Warcraft» люди теряли супругов, детей и работу. Если люди имеют право играть в видеоигры — а сложно представить более фундаментальное право, — рынок в ответ предоставит им самые захватывающие игры, какие только можно продать. Вплоть до того, что особо увлечённые игроки окажутся исключены из генофонда.

Как потребительский продукт может быть настолько увлекательным, что даже спустя 57 часов использования потребитель предпочтёт воспользоваться им ещё один час, а не поесть или поспать? (Полагаю, кто-нибудь может заявить, что потребитель делает рациональный выбор, предпочитая поиграть в «Старкрафт» ещё один час вместо того, чтобы жить весь остаток своей жизни, но, пожалуйста, не здесь.)

Шоколадный батончик — это суперстимул: в нём больше концентрированного сахара, соли и жира, чем в любой еде из среды, в которой эволюционировал человек. Шоколадный батончик возбуждает вкусовые рецепторы, эволюционировавшие во времена охотников-собирателей, но возбуждает их намного сильнее, чем всё, что существовало в те времена. Сигнал, который когда-то достоверно соответствовал здоровой еде, был взломан. В пространстве вкусов появилась точка, отсутствовавшая в тренировочном наборе данных, для древних параметров появился невероятно редкий выброс. Вкус, ранее бывший эволюционным маркером полезности, подвергли реверс инжинирингу, и к нему идеально подобрали искусственную субстанцию. К сожалению, не существует столь же сильного рыночного стимула делать получившуюся еду столь же полезной, как и вкусной. Мы же не можем напрямую ощутить полезность.

Ставшее знаменитым видео Dove Evolution подробно показывает, как создаётся другой суперстимул. При помощи косметики, профессиональной фотографии и активного использования Фотошопа обычная женщина превращается в модель с обложки, приобретая красоту, невозможную и недостижимую для женщин в неотретушированном, реальном мире. Настоящие женщины убивают себя (например, супермодели употребляют кокаин, чтобы не набирать вес) ради конкуренции с тем, чего в буквальном смысле не существует.

И, аналогично, видеоигра, даже просто транслируемая сквозь компьютерный монитор, может быть настолько увлекательной, чем какая-то реальность, что некоторые будут играть в неё, не отрываясь даже на еду и сон, до тех пор, пока в буквальном смысле не умрут. Я не знаю всех хитростей, используемых в видеоиграх, но некоторые, наверное, примерно представляю: сложность задач тщательно подбирается, чтобы они не казались слишком простыми или наоборот невозможными, вознаграждение выдаётся случайным образом, обратная связь демонстрирует постоянный рост очков, в крупных многопользовательских играх присутствует социальная вовлечённость.

Ограничивает ли что-нибудь рынок в стремлении делать игры всё более увлекательными? Можно было бы понадеяться, что вряд ли кто-то захочет перейти черту, за которой игроки будут терять работу, в конце концов, они же должны оплачивать подписку. Это рассуждение подразумевает, что есть некоторая оптимальная точка притягательности видеоигр, в которой мода колоколообразной кривой — это развлекающиеся игроки, и лишь несколько бедолаг приобретают настолько сильную зависимость, что лишаются работы. В 2007 году игра в «World of Warcraft» 58 часов без перерыва с последующей смертью всё-таки скорее исключение, чем правило. Однако производители видеоигр конкурируют друг с другом, и, сделав видеоигру более притягательной на 5%, можно получить 50% клиентской базы конкурента. Легко увидеть, как эта проблема может стать намного хуже.

Если люди имеют право на искушение — а ведь в этом и состоит весь смысл свободы воли — рынок реагирует соответственно и обеспечивает такое количество искушений, какое только можно продать. Мотивация — сделать стимул на 5% более искушающим, чем у главных конкурентов. И гонка приводит к тому, что в какой-то момент стимулы превращаются в суперстимулы, аномальные по меркам среды, в которой эволюционировал человек. Подумайте о том, как изменились наши стандарты женской красоты со времён рекламных плакатов 1950-х. И, как показывают нам шоколадные батончики, мотивация рынка также преодолевает тот порог, за которым суперстимулы уже наносят потребителю побочный урон.

Так почему бы нам просто не сказать «нет»? Ключевое допущение свободной рыночной экономики в том, что при отсутствии принуждения или обмана люди всегда могут просто отказаться заключать вредоносные сделки. (Будь это действительно так, свободный рынок был бы не просто лучшей из возможных экономических политик, а политикой, у которой недостатков либо нет совсем, либо их очень мало.)

Организм, который регулярно отказывается от пищи, умирает, и некоторые игроки в видеоигры узнали об этом на собственном опыте. Однако, в древние времена обычно выгодное (и таким образом соблазнительное) действие иногда оказывалось вредоносным. Благодаря абстрактному мышлению люди как вид очень сильно воспринимают такие особые случаи. С другой стороны, мы также часто воображаем множество специфических последствий, которых не существует. Например духа предков, приказывающего нам не есть вполне пригодных для того кроликов.

Похоже, что эволюция нашла компромисс, или, быть может, выстроила новую систему поверх старой. Еда всё ещё искушает Homo sapiens, однако наша огромная префронтальная кора мозга до некоторого предела позволяет нам противостоять искушению. Предел есть — наши предки с чрезмерно развитой силой воли, вероятно, заморили себя голодом во имя богов или же чаще отказывались от внебрачного секса. В некотором смысле у тех игроков, что умерли за видеоиграми, была необычайная сила воли, чтобы продолжать играть так долго без еды и сна. Такова эволюционная опасность самоконтроля.

Сопротивление искушению требует сознательных усилий и растрачивает ограниченный запас ментальной энергии1. Утверждение о том, что мы можем «просто сказать „нет“ », на самом деле не верно, сказать «нет» — не просто, за это приходится платить. Даже те люди, что выиграли в генетическую лотерею больше силы воли или прозорливости, платят свою цену, чтобы сопротивляться искушению. Просто им это даётся легче.

Наша ограниченная сила воли эволюционировала, чтобы справляться с искушениями, существующими в среде, где мы эволюционировали. Она может плохо справляться с соблазнами, неведомыми охотникам-собирателям. Даже если нам удаётся противостоять искушению суперстимула, весьма правдоподобно, что усилие, необходимое для этого, исчерпывает силу воли куда быстрее, чем противостояние давно существующим искушениям.

Является ли публичная демонстрация суперстимулов вредоносной даже для тех, кто говорит «нет»? Должны ли мы запретить рекламу шоколадного печенья или же витрины, на которых в открытую пишут слово «Мороженое»?

Из существования проблемы напрямую не следует, что правительство в состоянии её решить (если нет соответствующих доказательств). Регулятор не заинтересован заниматься продуктами, в которых сочетается небольшой вред для потребителя и вызывающий зависимость суперстимул, его больше интересуют продукты, вред от которых может создать достаточный шум, чтобы попасть в газеты. И наоборот, из того, что правительство не может что-то исправить, не следует, что в этом нет ничего плохого.

В качестве последнего аргумента я оставляю вам вымышленное свидетельство: опубликованный в интернете роман Симона Фанка «После Жизни» описывает (среди прочего) умышленное уничтожение биологического вида Homo sapiens, причём не посредством марширующей армии роботов, а при помощи искусственных детей. Эти дети красивее и милее настоящих, и их гораздо интересней воспитывать. Возможно, демографический крах продвинутых обществ происходит, потому что рынок обеспечивает все более соблазнительные альтернативы тому, чтобы иметь детей, а привлекательность смены подгузников остаётся неизменной. Где же рекламные плакаты с призывами «РАЗМНОЖАЙТЕСЬ»? Кто заплатит профессиональном пиарщикам, чтобы убедить всех, будто спорить с угрюмыми подростками увлекательнее, чем отдых на Таити?

«В конце концов», — писал Симон Фанк, — «рынок просто вытеснил человеческий вид из бытия».

1.Кризис воспроизводимости поставил эту теорию под сомнение. — Прим.редактора.

Суть твоя - осколки бога

Элизер Юдковский

До двадцатого века, ни один человек не имел представления о «генетической приспособленности» - единственной вещи, которой полностью одержим слепой безумный бог. У нас нет инстинктивного отвращения перед презервативами или оральным сексом. Наши мозги, эти превосходные репродуктивные органы, не проводят проверку на репродуктивную эффективность, прежде чем наградить нас оргазмом.

Почему нет? Почему мы не являемся сознательно одержимыми генетической приспособленностью? Почему Фея Эволюции Людей создала мозги, которые изобрели презервативы? «Не допустить этого было бы так легко» - думает человек, способный создавать новые сложные системы за один вечер.

Насколько нам известно, Фея Эволюции просто одержима генетической приспособленностью. Когда она решает, какой ген распространить до повсеместности, она, похоже, учитывает исключительно то, сколько своих копий ген производит (Удивительно!)

Но раз создатель разума столь одержим, почему бы ему не сотворить разумных агентов – едва ли их можно назвать людьми, – которые также будет озабочены исключительногенетической приспособленностью? Такие агенты занимались бы сексом только ради размножения и ни за что не пользовались бы контрацепцией. Они бы употребляли пищу исключительно из-за того, что она необходима для воспроизводства, а не потому, что им нравится вкус, так что они не стали бы есть конфеты, будь те угрозой для выживания и размножения. Женщины после менопаузы сидели бы с детьми до тех пор, пока не становились слишком больными, начиная негативно сказываться на бюджете семьи, и тогда бы они добровольно совершали самоубийство.

Это выглядит совершенно очевидным улучшением проекта – с точки зрения Феи Эволюции.

Понятно, что довольно-таки сложно создать достаточно сильного консеквенцианалиста. Естественный отбор вроде бы рассуждает консеквенциально, но исключительно в зависимости от непосредственных последствий. Теоретикам эволюции потребовались крайне высокоэффективные абстрактные рассуждения, чтобы представить связь между адаптациями и репродуктивным успехом.

Но человеческий мозг определенно способен представлять эти связи. Так почему же, когда Фея Эволюции создала людей, она дала им какую-либо мотивацию кроме генетической приспособленности?

Прошло менее двухсот лет, с тех пор как белковый мозг впервые представил концепцию естественного отбора. Современное понятие «генетической приспособленности» еще более деликатно - это крайне абстрактная концепция. Важно не просто количество общих генов. У вас 95% общих генов с шимпанзе. Что важно, так это общее генетическое разнообразие внутри популяции - ваша сестра родная вам наполовину, так как любая особенность вашего генома по отношению к человеческому виду, имеет 50% вероятность быть общей для вас двоих.

Только в прошлом веке, возможно даже во второй его половине, эволюционные биологи начали понимать полный спектр причин репродуктивного успеха, включая взаимный альтруизм и дорогостоящий сигналлинг. Без этого крайне подробного знания, разумный агент, стремящийся «максимизировать генетическую приспособленность» попросту сядет в лужу.

Так почему бы изначально не запрограммировать это знание в белковых мозгах? Почему понятие «генетической приспособленности» не было вшито в нас, вместе с готовой библиотекой явных стратегий? Тогда можно было бы избавиться ото всех механизмов подкрепления. Организм бы рождался со знанием того, что жирная пища с высокой вероятностью увеличит приспособленность. Если позже организм узнает, что это больше не так, то он перестанет употреблять жирное. Можно провести рефакторинг всей системы. И она не изобретет ни презервативов, ни печенья.

Это кажется в принципе возможным. Я иногда встречаю людей, не вполне понимающих консеквенциализм, которые возражают: «Но если организм не имеет отдельной мотивации есть, он умрет с голоду и не сможет таким образом оставить потомства». Что ж, покуда организм это знает и обладает функцией полезности, ценящей репродукцию, он автоматически будет есть. Фактически, это как раз и есть та консеквенциальная причина, по которой естественный отбор породил автоматических едоков.

Но что на счет любопытства? Разве не будет консеквенциалист любопытен только в случае, когда есть некая особая причина быть любопытным? И раз так, не приведет ли это к тому, что он упустит множество важных знаний? Опять же, сам этот факт и будет причиной для консеквенциалиста искать новые знания. Человек любопытен. Не ко всему без разбору, но к проблемам со специфическими характеристиками. И наличие этой комплексной адаптации в людях исключительно консеквенциально обосновано нашей ДНК. Это неявный способ представления информации: Предки, ведущие себя таким образом оставляли больше потомков.

Но слепой безумный бог не настолько умен. Эволюция это не программист, способный за раз переписать всю архитектуру кода. Эволюция это не программист, способный сидеть и печатать команды со скоростью шестьдесят слов в минуту.

За миллионы лет до возникновения гоминидного консеквенциализма существовало обучение с подкреплением. Поощряющие сигналы были стабильно коррелированы с репродукцией. Негоминидный мозг не способен предвидеть, что употребление жирной пищи сейчас позволит ребенку пережить зиму. Поэтому ДНК создает протеиновый мозг, генерирующий сигнал поощрения при употреблении жирной пищи. А организму же просто остается выяснить, какие животные самые вкусные.

ДНК создает протеиновые мозги, система поощрения в которых непосредственно коррелирует с поведением организма, и лишь опосредованно с репродуктивным успехом. Необязательно понимать, что съеденная осенью сладкая пища приведет к производству калорий, которые могут быть сохранены в жировой прослойке, что поможет пережить зиму, что в свою очередь поспособствует спариванию весной, чтобы произвести потомков летом. Просто яблоко вкусное. И мозгу остается только придумать способ, как раздобыть больше яблок.

И так организмы развили поощрение для еды, и строительства гнезд, и отпугивания соперников, и помощи близким, и открытия важных истин, и формирования крепких союзов, ведения убедительных споров, и, конечно же, занятий сексом.

И когда мозг гоминидов начал демонстрировать способности к межобластным консеквенциальным рассуждениям, они использовали их для того чтобы удовлетворить уже существующие механизмы подкрепления. Это было относительно простая надстройка, куда проще, чем создание «максимизатора генетической приспособленности» с нуля. Протеиновые мозги изобретали способы получить калории и секс, без какого-либо явного представления о «генетической приспособленности».

На месте эволюции, человеческий инженер бы воскликнул: «Да я только что изобрел консеквенциалиста! Теперь, вместо того чтобы использовать сложные костыли, вроде механизмов подкрепляющего обучения, я могу явно задать все с таким трудом добытые знания! Просто написать декларативную систему, состоящую из утверждений вроде “жирная еда и секс обычно повышает генетическую приспособленность”, а дальше консеквенциальное рассуждение само позаботится обо всем. Вдобавок еще и избавимся от бага, из-за которого живые существа изобретают презервативы!»

Но человек бы и не установил сетчатку глаза задом наперед.

Слепой безумный бог – это не единая сущность, но множество отдельных устремлений. Лисы эволюционируют чтобы ловить зайцев, зайцы – спасаться от лис. Существует так же много эволюций, как и видов на Земле. Но в рамках каждого вида, слепой безумный бог озабочен исключительно генетической приспособленностью. Ни одно качество не важно само по себе, даже выживание, разве что оно увеличивает репродуктивную приспособленность. Нет смысла в существе со стальной кожей, если в результате оно будет размножаться хоть на 1% менее эффективно.

И все же, когда слепой безумный бог создал протеиновые компьютеры, ему не удалось полностью передать им свою одержимость генетической приспособленностью. Ему не удалось успешно создать куайн своего критерия оптимизации. Мы, творение эволюции, столь же чуждые ей, как и наш Творец чужд нам. Единая функция полезности, разбитая на тысячу осколков страстей.

Почему? Прежде всего, потому, что эволюция буквально неразумна. Но также и потому, что первые протеиновые компьютеры не были столь же универсальными, как и слепой безумный бог, и могли ориентироваться лишь благодаря краткосрочным желаниям.

В итоге, спрашивать, почему эволюция не создала людей максимизаторами генетической приспособленности, все равно, что спрашивать, почему эволюция не дала людям рибосому, потребовав, чтобы мы сами разработали свою биохимию. Просто эволюция не может так быстро переписывать код. Но возможно, спустя миллиард лет естественного отбора, именно это бы и произошло, будь интеллекты столь глупы, чтобы позволить слепому безумному богу оставаться у власти.

В произведении Нивена и Пурнеля Соринка в Глазу Бога описывается разумный вид, оставшийся биологическим слишком долго, постепенно становясь действительно порабощенным эволюцией, превращаясь в истинных максимизаторов приспособленности, одержимых тем, чтобы оставить как можно больше потомства. Но к счастью, это не то, что произошло в действительности на нашей планете. По крайней мере, пока.

Итак, людям нравится вкус сахара и жира, а также мы любим своих сыновей и дочерей. Мы ищем высокого общественного положения и секса. Мы поем, танцуем и играем. Мы познаем новое, ради самой любви к знанию.

Тысяча предпочтений, соответствующих древним механизмам подкрепления, что когда-то коррелировали с репродуктивной приспособленности. Теперь же мы ценим их самих по себе, независимо от того ведут ли они к размножению или нет. Мы занимаемся безопасным сексом, едим шоколад и слушаем музыку давно покойного Баха, записанную на диске.

И когда мы наконец-то узнаем об эволюции, то думаем: «Быть постоянно одержимым генетической приспособленностью? И что в этом интересного?»

Мы – маниакальная одержимость слепого безумного бога, разбитая на тысячу осколков страстей. И, будучи человеком, я считаю, что это хорошо. Иначе что бы мы делали с нашим будущим? С миллиардом галактик ночного неба? Заполнили бы их максимально эффективными репликаторами? Следует ли нашим потомкам быть озабоченным исключительно собственной генетической приспособленностью, воспринимая все остальное лишь как средства достижения этой цели?

Быть тысячью осколками страстей не всегда здорово, но, по крайней мере, это не скучно. Мы развили вкусы к новизне, сложности, элегантности и преодолению трудностей – вкусы, что оценивают маниакальную одержимость слепого безумного бога и находят ее эстетически неудовлетворительной.

И да, эти вкусы породил в нас тот самый слепой безумный бог. И что с того?

Хрупкие цели

Ценности терминальные и инструментальные

Элиезер Юдковский

Интуитивно кажется, что любой человек при планировании ведёт себя так, будто умеет различать цели и средства. Хочется шоколада? Шоколад продаётся в супермаркете «Пабликс». Чтобы попасть в супермаркет, нужно проехать одну милю на юг по проспекту Вашингтона. Чтобы проехать эту милю, нужно сесть в машину. Чтобы открыть дверь, нужны ключи от машины. И вы кладёте ключи от машины в карман, собираетесь выйти из дома…

… и тут внезапно по радио сообщают, что землетрясение уничтожило весь шоколад в местном «Пабликсе». И нет смысла ехать в «Пабликс», если там нет шоколада, и нет смысла садиться в машину, если вы никуда не едете, и нет смысла в ключах от машины в кармане. Поэтому вы вытаскиваете ключи из кармана, звоните в местную службу доставки пиццы и заказываете там шоколадную пиццу. М-м-м, вкусно.

Я редко сталкиваюсь с тем, что люди теряют нить плана, который они сами же и разработали. Обычно люди не едут в супермаркет, если знают, что шоколада там нет. Но при этом я часто замечаю, что когда люди не просто хотят чего-то, а явно описывают свою систему целей — говорят о целях, а не пытаются их достичь, — они часто путаются. Люди хорошо планируют, но они не специалисты по планированию1. Если бы это было не так, в мире было бы гораздо больше разработчиков ИИ.

В частности, я замечаю, что люди путаются — в абстрактных философских дискуссиях, а не в обычной жизни, — когда обсуждают разницу между целями и средствами. Более формально: разницу между «инструментальными ценностями» и «терминальными ценностями».

Насколько я понимаю, часть проблемы заключается в том, что человеческий мозг использует для отслеживания своих целей отдельную систему, которая работает, но не идеально. В нашем языке нет чёткого разделения между целями и средствами: предложения «Я хочу спасти жизнь моей сестры» и «Я хочу сделать моей сестре укол пенициллина» содержат одно и то же слово «хочу».

Можем ли мы описать утерянную разницу на обычном человеческом языке?

Давайте попробуем:

«Инструментальные ценности» нужны нам исключительно потому, что мы ожидаем, что они повлекут ожидаемые нами последствия. «Я хочу сделать моей сестре укол пенициллина» не потому, что сестра с пенициллином внутри это нечто хорошее само по себе, а потому что ожидаю, что пенициллин вылечит её от пожирающей плоть пневмонии. Если бы вы ожидали, что укол пенициллина приведёт к тому, что ваша сестра растает как Злая Ведьма Запада, вы бы дрались изо всех сил, чтобы спасти её от пенициллина.

«Терминальные ценности» нужны нам без какой-либо связи с другими последствиями. «Я хочу спасти жизнь моей сестре» никак не связано с тем, будет ей сделан после этого укол пенициллина или нет.

У этой первой попытки есть очевидные проблемы. Если спасение жизни моей сестры приведёт к тому, что Землю поглотит чёрная дыра, я порыдаю некоторое время, но не буду делать ей укол пенициллина. Означает ли это, что спасение жизни моей сестры не является «терминальной ценностью» (не имеет ценность само по себе), ведь теоретически оно может повлечь какие-то последствия? Возможно, я пытаюсь спасти ей жизнь лишь из убеждения, что впоследствии Землю не поглотит чёрная дыра? Интуиция подсказывает, что дело не в этом.

Поэтому оставим в покое обычный язык. Мы можем математически описать теорию принятия решений так, чтобы терминальные и инструментальные ценности оказались независимыми и несовместимыми типами — как целые числа и числа с плавающей запятой в языках программирования, где нет автоматической конвертации между ними.

Идеальную байесианскую систему принятия решений можно построить всего лишь на основе четырёх элементов:

Исходы: тип Исход[]

перечень возможных исходов

{сестра живёт, сестра умирает}

Действия: тип Действие[]

перечень возможных действий

{сделать укол пенициллина, не делать укол пенициллина}

Функция_полезности: тип Исход -> Полезность

функция полезности, которая ставит в соответствие каждому исходу его полезность

(полезность описывается действительным числом между минус- и плюс-бесконечностью)

{сестра живёт: 1, сестра умирает: 0}

Функция_условной_вероятности: тип Действие -> Исход -> Вероятность

функция условной вероятности описывает вероятностное распределение по исходам для каждого действия

(вероятность описывается действительным числом от 0 до 1)

{сделать укол пенициллина: сестра живёт, 0,9; сестра умирает: 0,1;; не делать укол пенициллина: сестра живёт: 0,3; сестра умирает: 0,7}

А что насчёт самой системы принятия решений?

Ожидаемая_полезность: Действие Д -> (Сумма И из Исходы: Полезность(И) * Вероятность(И|Д))

«Ожидаемая полезность» действия равна сумме по всем исходам от полезности исхода, помноженной на условную вероятность исхода при выполнении этого действия.

{ОП(сделать укол пенициллина) = 0,9; ОП(не делать укол пенициллина) = 0,3}

Выбрать: -> (Argmax Д из Действий: Ожидаемая_Полезность(Д))

Выбрать действие, «ожидаемая полезность» которого максимальна.

{результат: сделать укол пенициллина}

Для каждого действия вычислите условную вероятность всех возможных последствий, затем сложите полезности, помноженные на условные вероятности. Затем выберите лучшее действие.

Это математически простой набросок системы принятия решений. Вычислять решение в реальном мире таким образом не эффективно.

Например, что будет, если план требует выполнить некую последовательность шагов? Построенный формализм может легко описать такую ситуацию, при этом Действие будет обозначать всю последовательность. Но при этом получится экспоненциально большое пространство вариантов, похожее на пространство всех предложений, состоящих из 100 букв. Если одним из возможных первых шагов будет «Отстрелить себе ногу», человек решит, что это в любом случае плохая идея, и выбросит все последовательности, начинающиеся с этого шага. Но в нашем представлении мы упрощаем эту структуру. У нас нет последовательностей шагов, есть лишь просто «действия».

В общем, да, есть «несколько небольших сложностей». Собственно, если бы их не было, мы бы могли просто создать таким способом настоящий ИИ. В каком-то смысле таковым ИИ и была бы сама байесовская теория вероятностей.

Однако всё равно это пример ситуации, когда гораздо лучше сначала рассмотреть простой до абсурдности вариант, а уж потом добавлять всякие навороченные усложнения.

Рассмотрим философа, который заявляет: «Все мы, в сущности, эгоисты. Мы заботимся лишь о том, что у нас в голове. Мать, которая заявляет, что волнуется о благополучии сына, на самом деле хочет верить, что с её сыном всё в порядке. Её делает счастливой это убеждение. Она помогает сыну ради своего счастья, а не ради его счастья». Вы отвечаете: «Предположим, мать жертвует своей жизнью, чтобы вытолкнуть сына из под колёс едущего грузовика. Этот поступок не делает её счастливой, она просто погибает». Философ запинается на секунду, затем возражает: «Но она всё равно это делает, потому что этот выбор ей нравится больше других, потому что она присвоила этому решению большую важность».

И на это вы говорите:

ОШИБКА ТИПОВ: Конструктор для Ожидаемая_Полезность -> Полезность не найден.

Позвольте мне объяснить этот ответ.

Даже наш простой формализм чётко показывает различие между ожидаемой полезностью, которая является свойством действия, и полезностью, которая является свойством исхода. Да, конечно, вы можете перевести и полезность, и ожидаемую полезность в действительные числа. Но это тоже самое, что перевести в действительные числа скорость ветра и температуру — они не становятся от этого одной и той же сущностью.

Философ начинает спор с утверждения, что полезность является функцией от исходов, составляющих состояние нашего разума. Если это правда, то наш разум будет действовать как машина, которая направляет будущее в те области, где мы счастливы. Будущие состояния при этом различаются только по состоянию разума. Если в каких-то двух разных будущих у вас одинаковое состояние ума, вам всё равно, какое из них предпочесть.

И в этом случае вы действительно вряд ли станете жертвовать своей жизнью, чтобы спасти чужую.

Когда мы возражаем, что люди иногда всё-таки жертвуют своими жизнями, философ переключается на обсуждение ожидаемой полезности от действий: «Она присвоила этому решению большую важность». Именно из-за этого неожиданного переключения мы должны подпрыгнуть от возмущения. В нашем языке программирования попытка преобразовать Ожидаемая_полезность в Полезность сразу же вызовет ошибку. Но в обычном человеческом языке и то, и другое кажется одним понятием.

В нашей простой системе принятия решений мы выбираем те действия, которым соответствует наивысшая Ожидаемая_полезность. Но это ничего не говорит о том, в какое именно будущее мы хотим попасть. Ожидаемая полезность ничего не говорит о полезностях, которые назначает принимающий решение, или об исходах, которые скорее всего произойдут в реальном мире. Она ничего не говорит о разуме как о машине, направляющей куда-то будущее.

Физической причиной физического действия является состояние разума. Для нашего идеального принимателя решений таким состоянием является Ожидаемая_полезность, которая вычисляется через функцию полезности от воображаемых последствий. Чтобы спасти жизнь сына, вы должны представить событие, при котором жизнь сына спасена. Воображаемое событие само по себе не является событием. Оно оказывается в кавычках, тут такая же разница, как между «снегом» и снегом. Но это не означает, что то, что находится в кавычках должно само быть состоянием разума. Если вы выбираете действие, которое ведёт к будущему, которое вы представляете как «мой сын по-прежнему жив», то вы работаете машиной, которая направляет будущее в ту область, где ваш сын по-прежнему жив. Не машиной, которая направляет будущее в область, где вы представляете предложение «мой сын по-прежнему жив». Чтобы направлять будущее в эту область, ваша функция полезности должна возвращать высокое значение при входных данных « „мой сын по-прежнему жив“ », когда стоят двойные кавычки, когда речь идёт о том, как вы воображаете себя воображающим такой исход. У вас получится плохой торт, если вы измельчите рецепт и бросите его в тесто.

Именно поэтому полезней сначала рассмотреть простую систему принятия решений. Если в неё внести достаточно усложнений, различия, хорошо заметные ранее, будет увидеть сложнее.

А теперь давайте рассмотрим некоторые усложнения. Очевидно, что функция полезности (отображающая исходы в полезность) нужна, чтобы формализовать то, что раньше я обозначил как «терминальные цели», цели, которые никак не связаны с их последствиями. Что у нас теперь получается с примером, когда спасение жизни вашей сестры приводит к тому, что чёрная дыра уничтожает Землю? В нашем формализме мы эту возможность упрощаем. Исходы не ведут к исходам, к исходам ведут только действия. Выздоровление вашей сестры от пневмонии, за которым следует уничтожение Земли чёрной дырой, становится одним «возможным исходом».

А где в этом простом формализме оказываются «инструментальные ценности»? А они полностью исчезают! Понимаете, в этом формализме действия ведут к исходам без каких-то промежуточных событий. Мы здесь не рассматриваем камень, который летит сквозь воздух, попадает в яблоко на дереве, в результате чего оно падает на землю. Бросок камня — это действие. Оно ведёт к исходу, в котором яблоко лежит на земле — в соответствии с функцией условной вероятности, которая превращает действия напрямую в распределение вероятностей по исходам.

Для того, чтобы на самом деле вычислить функцию условной вероятности, и для того, чтобы отдельно рассмотреть полезность сестры с пневмонией и чёрной дыры, поглощающей Землю, мы должны представить структуру причинно-следственных связей — как именно одни исходы ведут к другим.

И тут возвращаются инструментальные ценности. Если причинно-следственная сеть в достаточной степени «регулярна», возможно, вы обнаружите, что состояние B, скорее всего, ведёт к C. Тогда, если вы по каким-то причинам хотите достичь С, вы можете сперва запланировать достичь В, которое ведёт к С, а затем запланировать достичь А, которое ведёт к В. В этом весь смысл «инструментальных ценностей»: В является «инструментальной ценностью», потому что ведёт к С. С само по себе может считаться терминальной ценностью, аргументом функции полезности из пространства исходов. Или С может быть просто инструментальной ценностью, узлом, который невозможно оценить с помощью функции полезности напрямую.

Инструментальные ценности в этом формализме служат исключительно для эффективного планирования. Если нужной «регулярности» нет, от них можно и нужно избавиться.

Например предположим, что есть какое-то конкретное значение В, которое не ведёт к С. Предпримите вы действие А, которое ведёт к этому В? Или отбросим абстрактную философию. Если вы хотите попасть в супермаркет ради шоколада, и вы хотите поехать в супермаркет, и вам нужно попасть в машину, будете вы выламывать дверь машины паровым экскаватором? (Нет.) Инструментальные ценности — это «дырявые абстракции» (это словосочетание из нашего программистского жаргона). Иногда закэшированную ожидаемую полезность нужно выкидывать и вычислять заново. Чтобы быть эффективным и не самоубиться при этом, нужно в том числе замечать, когда привычные ходы перестают работать. Хотя описываемый формализм использует инструментальные ценности, они нужны только в тех случаях, когда присутствует необходимая «регулярность» и исключительно для удобства вычислений.

Однако если некто усложняет формализм до того, как понял простую версию, он иногда начинает думать, что инструментальные ценности живут какой-то своей странной жизнью, причём даже в нормативном смысле. В смысле, если сказать, что В — обычно хороший поступок, потому что он ведёт к С, то следует всегда пытаться сделать В — даже в отсутствие С. Занимаясь абстрактной философией, люди часто допускают такую ошибку, хотя в реальной жизни они никогда не выламывают дверь своей машины паровым экскаватором. Не понимая простой вариант формализма люди иногда думают, что невозможно появление консеквенциалиста, который максимизирует лишь генетическую приспособленность — ведь он умрёт от голода, если у него нет явной терминальной ценности «питаться». Люди совершают эту ошибку, хотя сами никогда не стоят целый день возле открытой машины из страха оказаться в ней запертой — ведь у них же нет терминальной ценности открывать дверь машины.

Инструментальные ценности обитают в функции условной вероятности. Из-за этого инструментальные ценности напрямую зависят от убеждений о поведении функции полезности. Если я убеждён, что пенициллин вызывает пневмонию, а отсутствие пенициллина её лечит, то для меня инструментальная ценность пенициллина упадёт. Убеждения меняются — меняется функция условной вероятности, которая связывает действия с ожидаемыми последствиями. И вместе с ней меняются и инструментальные ценности.

Когда люди спорят о морали, то иногда они спорят об инструментальных последствиях, а иногда — о терминальных ценностях. Если ваш оппонент заявляет, что запрет на ношение личного оружия ведёт к снижению количества преступлений, а вы утверждаете, что запрет на ношение оружия ведёт к увеличению количества преступлений, то вы согласны по поводу высшей инструментальной ценности (преступления — это плохо), но не согласны по вопросу, какое промежуточное событие ведёт к каким последствиям. Однако в споре о женском обрезании, как мне кажется, вряд ли у оппонентов есть общие представления о том, как справедливо обращаться с женщинами или как сделать их счастливее.

Во время особо яростных споров на это важное различие часто никто не обращает внимание. Люди, у которых есть общие ценности и разногласие по поводу фактов, приходят к мысли, что их оппонент наверняка социопат. Мол, если он выступает за ограничение/легализацию оружия, значит, он на самом деле хочет убивать людей. С точки зрения психологии это довольно не реалистично.

Боюсь, человеческий мозг не слишком хорошо видит различие между терминальными и инструментальными ценностями в вопросах морали. «Мы должны запретить оружие» и «Мы должны спасать жизни людей» выглядят схожими убеждениями о морали по своей форме. Хотя в остальном человеческая система целеполагания усложняет практически всё, именно это различие превращается в мешанину разных штук с условными ценностями.

Чтобы выделить терминальные ценности, нам нужно разобраться в этой мешанине ценных штук и понять, ценность каких из них привязана к чему-то ещё. Это очень сложно! Если вы говорите, что хотите запретить ношение оружия для того, чтобы уменьшить число преступлений, может потребоваться время, чтобы понять, что «уменьшение числа преступлений» — это не терминальная ценность, это более высокая инструментальная ценность, которая связана с терминальной ценностью человеческой жизни и человеческого счастья. А у человека, который защищает право на ношение оружия, это право может быть связано с более высокой инструментальной ценностью «уменьшение числа преступлений», а также с ценностью «свободы», которая может быть терминальной ценностью или ещё одной инструментальной ценностью…

Мы не в состоянии распечатать полную «сеть», как одни наши ценности выводятся из других ценностей. Скорее всего, мы даже не помним всю историю, откуда эти ценности взялись. Часто мы можем это понять, размышляя над правильными моральными дилеммами: «Сделаете ли вы Х в случае Y?» Но если вы всерьёз захотите понять, какие у вас терминальные ценности, на вашем пути встретится множество ловушек: запутывающих дилемм и сомнительных философских аргументов. Мы не знаем свои ценности и откуда они взялись. Мы можем это узнать лишь копаясь в наших процессах познания, а при этом мы обязательно будем ошибаться. Довольно сложно даже просто научиться сознательно различать понятия «терминальные ценности» и «инструментальные ценности», отслеживать, что они значат, и использовать их правильно. Только исследуя наш простой формализм мы можем понять, как это теоретически просто могло бы быть.

И я здесь ещё не касаюсь сложностей, связанных с человеческой системой вознаграждения — наших механизмов подкрепления. Есть шоколад приятно, предвкушать поедание шоколада приятно, но это разные случаи приятности…

Однако я не слишком горюю из-за всех этих сложностей.

Не знать собственные ценности — не всегда забавно. Но уж точно не скучно.

1.Автор здесь ссылается на текст Робина Хэнсона «Expert At Versus Expert On». — Прим.перев.

Как люди понимают слова

Цепочка о том, как люди пользуются словами и как они при этом ошибаются. О том, почему нельзя просто взять и определить слово так, как хочется. О том, как наши мозги, судя по всему, обрабатывают определения.

Ориентироваться по цепочке можно по эссе Когда слова могут быть ошибочны.

Притча о кинжале

Элиезер Юдковский

Когда-то давно жил в одном дворце придворный шут, который баловался логикой. И вот однажды шут принес королю две шкатулки.

На крышке первой было написано: «Либо в этой шкатулке сидит свирепая лягушка, либо в шкатулке с ложной надписью сидит свирепая лягушка, но не то и другое одновременно».

На крышке второй было написано: «Либо в этой шкатулке лежит золото, а в шкатулке с ложной надписью сидит свирепая лягушка, либо в этой шкатулке сидит свирепая лягушка, а в шкатулке с истинной надписью лежит золото».

И шут сказал королю:

— В одной шкатулке сидит свирепая лягушка, в другой лежит золото; одна и только одна из надписей истинна.

Король открыл неправильную шкатулку, и на него напала лягушка.

— Видите ли, — сказал шут, — давайте предположим, что первая надпись истинна. Тогда предположим, что в первой шкатулке лежит золото. Тогда во второй шкатулке должна сидеть лягушка, а в шкатулке с истинной надписью должно лежать золото, из чего следует, что вторая надпись тоже истинна. Теперь давайте предположим, что первая надпись ложна, и в первой шкатулке лежит золото. Тогда вторая надпись будет…

Король приказал бросить шута в темницу.

На следующий день шута в кандалах привели к королю, и тот показал ему другие две шкатулки.

— В одной шкатулке лежит ключ к твоим кандалам, — сказал король, — и если ты сможешь найти его, ты свободен. Но в другой шкатулке лежит кинжал к твоему сердцу, если ты этого не сможешь.

На первой шкатулке было написано: «Либо обе надписи истинны, либо обе ложны».

На второй шкатулке было написано: «В этой шкатулке лежит ключ».

Шут размышлял так: «Предположим, что первая надпись истинна. Тогда вторая надпись тоже истинна. Теперь предположим, что первая надпись ложна. Тогда вторая надпись всё равно истинна. Так что во второй шкатулке должен лежать ключ, если первая надпись истинна, и если первая надпись ложна. Поэтому во второй шкатулке логически должен лежать ключ».

Шут открыл вторую шкатулку и нашел кинжал.

— Как? — закричал шут в ужасе, когда его утаскивали прочь. — Это логически невозможно!

— Вполне возможно, — ответил король. — Я просто написал эти надписи на двух шкатулках, а потом положил кинжал во вторую.

Притча о болиголове

Элиезер Юдковский

Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.

— Аристотель (?)

Сократ поднёс к губам чашу с болиголовом…

— Возможно ли, — спросил один из наблюдателей. — что даже болиголова недостаточно, чтобы убить столь мудрого и доброго человека?

— Нет, — ответил другой зритель, студент философии. — Все люди смертны, Сократ — человек, и если смертный выпьет болиголов, он непременно умрёт.

— Ладно, — сказал наблюдатель. — А если окажется, что Сократ «не» смертен?

— Вздор! — отрезал студент. — Все люди смертны «по определению»: это часть того, что мы понимаем под словом «человек». Все люди смертны, Сократ — человек, следовательно, Сократ смертен. И это не просто предположение. Это «логическая достоверность».

— Наверное, ты прав… — проговорил наблюдатель. — О! Глянь! Пока мы тут разговаривали, Сократ уже выпил болиголов. — Ага. Он упадёт с минуты на минуту. — ответил студент.

И они ждали, и ждали, и ждали…

— Сократ совсем не кажется смертным. — сказал наблюдатель.

— Значит, Сократ — не человек, — ответил студент. — Все люди смертны, Сократ не смертен, следовательно, Сократ — не человек.

И это не просто предположение. Это «логическая достоверность».

Главная проблема утверждения о том, что что-то истинно «по определению» состоит в том, что нельзя изменить реальность, поменяв определение (English).

Можно рассуждать примерно так: «Я вижу, что все носящие одежду, говорящие и использующие инструменты существа также имеют другие общие свойства, как-то: они дышат воздухом и перекачивают красную кровь. Последние тридцать объектов из этого кластера (я называю их «людьми»), которые выпили болиголов в моём присутствии, очень скоро упали и перестали двигаться. Сократ носит тогу, бегло говорит на древнегреческом и только что выпил болиголов из чаши. Поэтому я предсказываю, что Сократ рухнет на землю в течение следующих пяти минут».

Но это рассуждение — всего лишь «догадка», уязвимая и невозвышенная. Она не может быть абсолютно и неоспоримо верна (English), вы же понимаете . А греческие учёные, как и большинство донаучных философов, очень любили стопроцентную определённость.

К счастью, у греческих философов был разрушительный ответ на ваши сомнения.

— Вы неверно понимаете смысл утверждения «Все люди смертны», — сказали бы они. — Это вовсе не «наблюдение». Это часть «определения» слова «человек». Бренность — одно из нескольких свойств, индивидуально необходимых и совместно достаточных для того, чтобы определить принадлежность к классу «человек». Высказывание «Все люди смертны» логически истинно и бесспорно. И если Сократ — человек, то он «должен» быть смертен: это логическая дедукция, настолько несомненная насколько это вообще возможно.

Но тогда мы никак не сможем с определённостью знать «человек» ли Сократ до тех пор, пока не увидим его мёртвым. Бесполезны наблюдения того, что Сократ владеет греческим, или что у него красная кровь, или даже что ДНК Сократа человеческая. Ни один из этих признаков «логически не эквивалентен» бренности. Вы должны увидеть «его» мёртвым, прежде чем сможете сделать заключение о том, что он был человеком.

(И даже в этом случае ваше заключение не будет абсолютно достоверным (English). Вдруг Сократ восстанет из могилы следующей ночью? Или, если не столь сильно утрировать, вдруг Сократ подписал контракт на своё крионирование? Если бренность определить как конечную продолжительность жизни, то невозможно «знать», что кто-то является человеком, не достигнув сначала конца вечности — как иначе можно убедиться в том, что этот кто-то не вернётся? Не говоря о том, что сцена с падающим на землю Сократом может быть лишь иллюзией, спроецированной на ваши глаза сканером сетчатки. Или, может быть, вся эта история — лишь плод вашего воображения, серия галлюцинаций…)

Проблема с силлогизмами — это то, что они верны «всегда». Если воспринимать цепочку умозаключений «Все люди смертны; Сократ — человек; следовательно Сократ смертен» как силлогизм, то эта цепочка логически неоспорима в нашей вселенной. А ещё она логически неоспорима в соседней ветви Мультиверса, где эволюция пошла по слегка другому пути, из-за чего болиголов — это божественный деликатес, а не отрава. И она логически неоспорима даже во вселенных, в которых Сократ никогда не существовал или, коли на то пошло, в которых никогда не существовали люди.

По байесианскому определению свидетельство рассматривается, как говорящее в пользу гипотезы, если его вероятнее наблюдать в случае, когда гипотеза верна, чем в случае, когда она неверна. Наблюдение того, что силлогизм логически безупречен, не может быть свидетельством в пользу любого эмпирического утверждения, потому что силлогизм будет логически безупречен вне зависимости от верности этого утверждения.

Силлогизмы неоспоримы во всех возможных мирах. Таким образом, их неоспоримость не говорит нам ничего о том, в «каком» из возможных миров мы действительно проживаем.

Это значит не то, что логика бесполезна, а то, что логика может сообщить нам только то, что мы и так «в некотором смысле» уже знаем. Но мы не всегда верим в то, что знаем. Является ли простым число 29384209? После того, как я определил десятичную систему счисления и аксиомы арифметики, я определил и ответ на этот вопрос. Но я всё ещё не знаю ответа и мне нужна логика, чтобы найти его.

Аналогично, если я сформулирую неопределённое эмпирическое обобщение «Болиголов воздействует на людей», и неопределённое эмпирическое суждение «Сократ — человек», логика подскажет мне что мои предыдущие догадки приводят к умозаключению, что Сократ подвержен воздействию болиголова.

Можно рассмотреть логические рассуждения как способ разрешения неопределённостей в отношении невозможных возможных миров, способ обнуления вероятности логически невозможных миров, о логической невозможности которых нам не было известно. Таким образом, логическое умозаключение может считаться разновидностью наблюдения.

Но когда мы говорим об эмпирических предсказаниях вроде «Сократ свалится с ног и прекратит дышать» или «Сократ сделает пятьдесят подпрыгиваний, а затем победит на Олимпийских играх в следующем году», это является возможными мирами, а не невозможными возможными мирами.

Логика позволяет нам понять, какая гипотеза соотносится с конкретными наблюдениями, и позволяет нам сделать выводы о том, что эти гипотезы предскажут в будущем — она позволяет взять старые наблюдения и предыдущие заключения и применить их к новой проблеме. Но логика никогда не скажет «Сократ прекратит дышать через минуту» вместо «Сократ „может“ прекратить дышать через минуту». Логика никогда не ответит ни на один эмпирический вопрос; она никогда не разрешит встреченную в реальности тайну, допускающую — если напрячь воображение — несколько реалистичных разгадок; она не подскажет ответа на дилемму, правильный ответ в которой неопределён, и, в принципе, может оказаться каким угодно.

Просто запомните литанию против логики:

Логика остаётся истинной, куда бы ты ни пошёл,

Поэтому логика никогда не скажет тебе, где ты живёшь.

Слова как скрытые умозаключения

Элиезер Юдковский

Предположим, что я наткнулся на бочку, верх которой запаян, но в которой есть дыра такого размера, что в неё пролезает рука. Я просовываю ладонь внутрь и нащупываю что-то маленькое и изогнутое. Я вытаскиваю объект наружу — это голубоватое яйцо. Я просовываю руку ещё раз: что-то жёсткое и плоское, с рёбрами — после извлечения это оказывается кубом красного цвета. В итоге я вытащил 11 яиц и 8 кубов, и каждое яйцо синее, и каждый куб красный.

На этот раз, просунув руку внутрь, я нащупал ещё один объект яйцеобразной формы. Пока я не извлёк его из бочки, я пытаюсь угадать: как он выглядит?

Имеющиеся свидетельства не доказывают, что каждое яйцо в бочке синее, и что каждый куб красный. Свидетельства даже не дают этому сильных обоснований: 19 — не очень большой размер выборки. Тем не менее, я предполагаю, что это яйцо синее — или, что менее вероятно, но всё же занимает второе место, красное. Думать о других вариантах бессмысленно: возможностей столько, сколько существует различимых цветов — и почему яйцо должно быть выкрашено в один цвет? Может быть, на нём нарисована лошадь.

Посему я говорю «синее», и слова эти покрыты послушной долгу патиной смиренности: ибо я искушённый рационалист, привыкший следить за своими допущениями и догадками. Я тыкаю пальцем в небо, но я осознаю, что я тыкаю пальцем в небо, верно?

Однако, когда из теней выпрыгивает объект котообразной формы, покрытый жёлтыми и чёрными полосами, в моей голове проносится «Ой! Тигр!». Не «Хммм… полосатые объекты большого размера и жёлтого цвета, форма которых типична для представителей семейства кошачьих, ранее очень часто обладали свойствами «голодный» и «опасный», и поэтому — несмотря на то, что строгой логической необходимости в этом нет — можно сделать довольно неплохой с эмпирической точки зрения вывод о том, что ааааааргххххХРУМ ХРУМ ЧАВК»

По какой-то странной причине в процессе эволюции человеческий мозг научился производить это умозаключение быстро, автоматически, и не отслеживая все использованные допущения явно.

И если я назову яйцевидные объекты словом «сияйца» (что будет означать «синие яйца»), а красные кубы словом «крубы», то тогда, нащупав в бочке ещё один яйцевидный объект, я могу подумать «о, это сияйцо» вместо того, чтобы рассуждать о проблеме индукции и прочих вещах того же рода.

Убеждение о том, что ты можешь определить слово так, как тебе нравится, — распространённое заблуждение.

Это было бы правдой, если бы мозг воспринимал слова исключительно как логические конструкции, аристотелевы классы, а ты никогда бы не вытаскивал информацию, изначально не положенную внутрь.

И всё же мозг продолжает своё занятие категоризацией вне зависимости от того, одобряем ли мы это сознательно. «Все люди смертны, Сократ человек, следовательно Сократ смертен» — рассуждали философы древней Греции. Ну что же, если смертность — часть определения логического понятия «человек», то ты не можешь классифицировать Сократа как человека до тех пор, пока ты не убедишься в его смертности. Однако — в этом и состоит проблема — Аристотель прекрасно знал, что Сократ является человеком. Мозг Аристотеля поместил Сократа в категорию «люди» также эффективно, как и твой мозг категоризирует тигров, яблоки, и всё своё окружение: быстро, безмолвно, и без сознательного одобрения.

Аристотель заложил правила, согласно которым никто не мог установить, что Сократ был «человеком», не пронаблюдав его смерти. Тем не менее, Аристотель и его ученики спокойно делали выводы о том, что ещё живые горожане были людьми, и, следовательно, смертными; они видели отличительные свойства — человеческие лица и человеческие тела — и их мозги совершали прыжок в сторону неявных свойств, таких, как смертность.

Неверное понимание алгоритма действий своего разума, к счастью, не мешает ему выполнять свою работу. Иначе последователи Аристотеля умерли от голода, неспособные сделать вывод об съедобности объекта на основании всего лишь того, что он выглядел и пах, как банан.

И последователи Аристотеля отправились классифицировать окружающее на основании неполной информации, точно также, как делали и все предыдущие поколения людей. Процесс мышления учеников Аристотеля нисколько не изменился из-за того, что они узнали принципы классической логики, однако они приобрели ошибочное представление о том, чем они занимались.

Если бы ты спросил философа-последователя Аристотеля о том, смертна ли Кэрол, торговец бакалейными товарами, то ты бы услышал положительный ответ. Почему? «Все люди смертны, Кэрол — человек, значит, Кэрол — смертна» — объяснил бы философ. Что это — предположение или несомненный факт? На этот вопрос философ бы ответил «разумеется, несомненный факт» (по крайней мере, если бы дело происходило раньше шестнадцатого века). Поинтересуйся, откуда он знает, что люди смертны, и получи ответ о том, что это закреплено в определении.

Последователи Аристотеля по-прежнему были людьми, они сохранили свою изначальную природу, но они приобрели неверные убеждения о своём внутреннем функционировании. Они смотрели в зеркало самосознания и видели что-то, непохожее на них самих; корректность их рефлексии была нарушена.

Твой мозг видит в словах нечто большее, чем просто логические определения без эмпирических последствий, и тебе следует последовать его примеру. Одного лишь создания нового слова достаточно для того, чтобы твой разум выделил ему категорию, и тем самым запустил бессознательные умозаключения о похожести. Или заблокировал умозаключения о похожести: создав два ярлыка, я могу заставить твой разум выделить две категории. Ты обратил внимание на то, что я сказал «ты» и «твой мозг» так, будто это две разные вещи?

Наличие заблуждений о том, как работает содержимое твоего черепа никак не влияет на это содержимое; иначе Аристотель пал бы бездыханным в тот же миг, когда заключил, что мозг — орган для охлаждения крови. Философские ошибки обычно не взаимодействуют с требующими доли секунды бессознательными умозаключениями.

Но философские ошибки могут чрезвычайно испортить процессы осознанного мышления, в том числе и те, которые используются для коррекции первых впечатлений. Если ты считаешь, что можно «определить слово так, как тебе нравится», не понимая, что твой мозг продолжает категоризировать без сознательного надзора, то ты не потратишь никаких усилий на то, чтобы выбрать свои определения с умом.

Экстенсионалы и интенсионалы

Элиезер Юдковский

— Что такое красный?

— Красный — это цвет.

— Что такое цвет?

— Цвет — это свойство вещи.

Но что такое вещь? И что такое свойство? И вскоре собеседники теряются в лабиринте слов, определенных через другие слова. Стивен Харнард описывал эту проблему, как обучение китайскому языку через китайско-китайский словарь.

С другой стороны, если вы меня спросите: «Что такое красный», я могу показать на знак «Стоп», затем на кого-то в красной рубашке, на светофор, если он в данный момент красный, на кровь, если я случайно порезался, на красную визитку. И наконец, я мог бы открыть палитру цветов на компьютере и указать курсором на красную область. Скорее всего, этого было бы достаточно, однако, если вы знаете значение слова «нет», то какой-нибудь сторонник строгости настаивал бы, чтобы я указал на небо и сказал: «Нет».

По-моему, я украл этот пример у С. И. Хаякавы, но я не особо в этом уверен, потому что это одно из моих туманных детских воспоминаний. (Когда мне было 12, мой отец случайно удалил все мои файлы на компьютере, и у меня не осталось никаких воспоминаний о том, что было раньше).

Но, кажется, именно тогда я впервые узнал про разницу между экстенсиональным и интенсиональным определением. Дать «интенсиональное определение» — определить слово или фразу в контексте других слов, как это делается в словаре. Дать «экстенсиональное определение» — указать на пример, как это делают взрослые, когда объясняют что-то ребенку. Предыдущее предложение — интенсиональное определение «экстенсионального определения», что делает его экстенсиональным примером «интенсионального определения».

С точки зрения «голливудской рациональности» и поп-культуры в целом, «рационалисты» одержимы смыслами слов и плавают в бесконечном вербальном пространстве, оторванном от реальности.

Но настоящие «традиционные рационалисты» давно настаивают на сохранении прочной связи с опытом1:

Если вы заглянете в учебник химии в поисках определения лития, вы, возможно, обнаружите, что это элемент, атомный вес которого очень близок к семи. Но если у автора более логический склад ума, то он сообщит вам, что вам следует искать среди минералов, стекловидных, прозрачных, серых или белых, очень твердых, хрупких и нерастворимых, такой, который придает малиновый оттенок несветящемуся пламени; этот минерал, растертый в порошок вместе с известью или с так называемым крысиным ядом и расплавленный, может быть частично растворен в соляной кислоте; если этот раствор выпарить и осадок с помощью серной кислоты должным образом очистить, то обычными методами он может быть обращен в хлорид; если этот хлорид получить в твердом виде, расплавить и подвергнуть электролизу с помощью полудюжины мощных элементов, то образуется шарик розового, серебристого металла, который будет плавиться на газолиновой горелке; вот это вещество и есть образчик лития.

Чарльз Сандерс Пирс

Это пример «логического склада ума», как его видят «традиционные рационалисты», а не голливудские сценаристы.

Отметим, что Пирс не показывает нам кусочек лития. В комплекте с его книгой не идут куски лития. Скорее он дает карту сокровищ — интенсионально описанную процедуру, которая, будучи выполненной, приведет нас к экстенсиональному примеру лития. Это не то же самое, что и кинуть в вас куском лития, но и не то же самое, что и сказать «атомный вес семь». (Однако, если у вас особенно острый глаз, то фраза «три протона» позволит вам сразу понять, что речь идёт о литии…)

Итак, я описал, что такое интенсиональное и экстенсиональное определения. С их помощью можно передать кому-нибудь смысл, который вы вкладываете в концепт. Когда я выше разговаривал про «определения», я говорил про способ передачи концептов, т.е. о том, как сообщить кому-то, что именно вы имеете ввиду, когда говорите «красный», «человек», «тигр» или «литий». Теперь давайте поговорим о самих концептах.

Реальный интенсионал концепта «тигр» для меня — реакция совокупности нейронов (в височной коре), обрабатывающих входящий сигнал зрительной коры с целью определить, тигр это или нет.

Реальный экстенсионал концепта «тигр» для меня — все, что я называю тигром.

Интенсиональные определения не учитывают все интенсионалы; экстенсиональные — все экстенсионалы. Если я покажу на одного тигра и скажу «тигр», коммуникация может провалиться, если те, кому я показал, подумают что я имею в виду «опасное животное» или «самец тигра» или «жёлтая штука». Аналогично, если я скажу «опасное животное с жёлто-черными полосками», не указав пальцем на что-либо, слушатель может вообразить гигантского шершня.

У вас не получится описать словами все детали существующего в вашей голове механизма, позволяющего вам отличать тигров от не-тигров. Он слишком сложен. И вам не удастся показать пальцем на всех тигров, которых вы когда-либо видели, не говоря уже о том, чтобы показать на всё, что вы можете называть тигром.

Чтобы лучше всего выразить концепт, чтобы точнее всего передать смысл понятия, оно определяется через совокупность интенсионалов и экстенсионалов. Но даже с учётом этого, мы лишь передаем карты концептов или инструкции для постройки таковых, а не реальные категории в том виде, в котором они существуют в нашем разуме или в реальности.

(Разумеется, немного изобретательности, и можно соорудить исключения для этого правила. Например, «Четвёртого февраля 2008 года Элиезер Юдковский опубликовал предложение, содержащее термин „хурагалони“». Только что я показал весь экстенсионал этого концепта. Но, за исключением математики, определения обычно являются картами сокровищ, а не сокровищами).

И это ещё одна причина, почему вы не можете «определять слова так, как вам захочется» — вы не можете запрограммировать концепты прямо в чей-то мозг.

Даже внутри Аристотелевой парадигмы, где мы притворяемся, что определения являются концептами, нет одновременной свободы интенсионала и экстенсионала. Предположим, я определяю Марс как «огромную каменную сферу, примерно в 1/10 массы Земли и на 50% дальше от Солнца». Мне придется отдельно показывать, что это интенсиональное определение совпадает с конкретной экстенсиональной штукой в моем опыте, или даже совпадает с реальной штуковиной. С другой стороны, если я скажу «это Марс» и покажу на красную точку на ночном небе, мне придется отдельно показывать, что эта экстенсиональная красная точка совпадает с конкретным интенсиональным определением, которое я мог бы предложить, или с каким-то моим интенсиональным убеждением — вроде «Марс — бог войны».

Но большая часть мозговой деятельности по сооружению интенсионалов протекает подсознательно. У нас нет осознанного понимания, что наше определение красного света с неба как «Марса» никак не связано со словесным определения «Марс — это бог войны». Неважно, какие интенсиональные определения я изобрету для Марса, мой разум верит в то, что «Марс» — это отсылка на ту точку на небе , которая является четвертой планетой Солнечной системы.

Если мы учтём, как на самом деле работает человеческий разум, то идея «я могу определять слова так, как мне захочется» вскоре превращается в «я могу верить в то, во что мне захочется, относительно любого заданного набора объектов» или «я могу по желанию объявлять, что предмет принадлежит или не принадлежит к любому наперёд заданному множеству, описываемому понятием». Подобно тому, как вы не можете передать весь интенсионал концепта словами, потому что это большой и сложный тест на принадлежность к множеству, осуществляемый вашими нейронами, вы не можете управлять всем интенсионалом концепта сознательно, потому что он создается подсознательно. Именно поэтому аргументация «по определению» так популярна. Если бы изменения определений изменяли эмпирическую реальность определяемых объектов, то спорить о них было бы неинтересно. Но стоит лишь слегка злоупотребить определениями, и они превращаются в волшебные палочки (в спорах, разумеется, а не в реальности).

1.Цитируется по переводу Т. В. Булыгиной и А. Д. Шмелева, изданному в сборнике «Семиотика» под редакцией Ю. С. Степанова, М., Радуга, 1983 — Прим.перев.

Кластеры подобия

Элиезер Юдковский

Давным-давно философы Академии Платона заявили, что наилучшее определение человека — это «двуногое существо без перьев». Согласно легенде, Диоген Синопский незамедлительно выставил на обозрение ощипанную курицу и произнес: «Вот он — человек Платона». Последователи Платона тут же изменили определение на «двуногое существо без перьев с плоскими ногтями».

Никакой словарь и никакая энциклопедия не перечисляют вообще всё, что свойственно людям. У нас красная кровь, по пять пальцев на каждой руке, костистые черепа, 23 пары хромосом, однако, то же самое можно сказать и про другие виды животных. Мы создаем сложные устройства, которые делают другие сложные устройства, используем синтаксический комбинаторный язык, мы обуздали реакцию деления в качестве источника энергии. Эти признаки уже относятся только к людям, но не ко всем людям. Многие ли строили ядерные реакторы? Можно записать цепочку необходимых и достаточных генов, которая будет описывать людей и только людей — во всяком случае, пока что — однако, это далеко не все свойства, присущие всем людям.

Но пока вы держитесь на расстоянии от ощипанных куриц, фраза «ищи двуногих и без перьев» может хорошо послужить для выделения конкретных объектов, которые являются людьми, в отличии от домов, ваз, бутербродов, кошек, цветов или математических теорем.

Как только определение «двуногое существо без перьев» оказалось связанным с конкретными двуногими существами без перьев, можно начинать наблюдать за этой группой для сбора других характеристик, — помимо отсутствия перьев и двуногости, — которыми обладают члены этой группы. Эти конкретные двуногие существа без перьев так же используют язык, создают сложные инструменты, говорят на комбинаторном языке с использованием синтаксиса, кровоточат красным (если их проткнуть), умирают, приняв болиголов.

Таким образом, категория «человек» растет и включает в себя все больше и больше характеристик, и теперь нас так просто не проведешь, когда Диоген вновь покажет на ощипанную курицу. Эта ощипанная курица, очевидно, не так уж подобна другим «двуногим без перьев».

(Если бы логика Аристотеля была хорошей моделью человеческой психологии, то платоники, увидев ощипанную курицу, сказали бы: «Да, это человек, к чему ты это все?»)

Если первое двуногое существо без перьев, которое вы увидите, окажется ощипанной курицей, то, возможно, вы начнёте думать, что слово-ярлык «человек» обозначает именно ощипанных куриц. В таком случае я могу изменить мою карту сокровищ на «двуногое без перьев с плоскими ногтями», и, если я достаточно мудр, сказать: «Вон там Диоген стоит, видишь? Это человек, и я человек, и ты человек, а вот шимпанзе — не человек, но довольно близок».

Первая подсказка должна лишь вести к кластеру подобия — группе объектов, у членов которой есть множество общих характеристик. Теперь эта подсказка выполнила свое предназначение, и я могу продолжить передачу информации, например, «Люди, в данный момент, смертны», ну или что угодно, что я решу сказать о нас, двуногих существах без перьев.

О словарях полезней думать не как о книгах, содержащих определения аристотелевых логических классов, а как о книгах подсказок, призванных помочь сопоставить слова-ярлыки с кластерами подобия или сопоставить ярлыки и свойства объектов, которые помогут такой кластер выделить.

Типичность и асимметричное подобие

Элиезер Юдковский

Птицы могут летать. А вот страусы нет. Но какая из двух птиц более типичная птица: малиновка или страус?

Какое из кресел является более типичным: офисное, кресло-качалка или кресло-мешок?

Большинство людей скажут, что малиновка — более типичная птица, а офисное кресло — более типичное кресло. Изучающие этот феномен когнитивные психологи, говорят о нем, как о «эффекте типичности» или «эффекте образца»(Rosch and Lloyd, 1978). Скажем, если попросить испытуемых нажимать кнопки правда/ложь для высказываний вроде «малиновка — это птица» или «пингвин — это птица», то для типичных примеров кнопку нажимают существенно быстрее. (Я все еще распаковываю свои книги, но я практически уверен, что этот эксперимент описан в Lakoff, 1986) Наличие корреляции при измерении типичности можно показать разными способами: можно измерить время нажатия кнопки, или попросить людей оценить примеры по шкале от 1 до 10: насколько пример (малиновка) подходит для категории (птица)?

Итак, мы умеем мысленно измерять типичность, и это, возможно, работает как эвристика. Но есть ли соответствующее этой эвристике когнитивное искажение?

Какое из следующих высказываний для вас выглядит более естественным: «98 это приблизительно 100» или «100 это приблизительно 98»? Если вы относитесь к большинству, то первое высказывание покажется вам более осмысленным (Sadock, 1977). Руководствуясь похожими причинами, люди, которых попросили оценить, насколько Мексика похожа на США, стабильно оценивают это подобие выше, чем те, которых просили оценить, насколько США похожи на Мексику (Tversky and Gati, 1978).

Ну а если это все еще кажется вам безобидным, то в исследовании Рипса (1975) показано, как люди более вероятно ожидают, что болезнь на острове будет передаваться от малиновок к уткам, чем от уток к малиновкам. Разумеется, ничего логически невозможного в этом нет, однако, с практической точки зрения, если утки отличаются от малиновок какой-то особенностью, из-за которой болезнь с меньшей вероятностью передаётся от уток к малиновкам, то обязано существовать и отличие малиновок от уток, из-за которого болезнь с меньшей вероятностью будет передаваться от малиновок к уткам.

Разумеется, можно рационализировать это: «Ну, у малиновок может быть больше видов неподалеку, что будет способствовать более быстрому распространению болезни в начале», но будьте осторожны и не перестарайтесь в рационализации оценок вероятностей людьми, которые даже не понимают, о каких именно различиях идёт речь. И не забывайте, что Мексика больше похожа на США, чем США на Мексику, и что 98 ближе к 100, чем 100 к 98. И проще это интерпретировать так: люди используют (и это было показано экспериментально) эвристику подобия, как замену вероятности распространения болезни, и эта эвристика (как было показано экспериментально) — асимметрична.

Канзас необычайно близок к центру США, а Аляска необычайно отдалена от центра. Так что, скорее всего, Канзас ближе к большинству точек в США, а Аляска — дальше. Но из этого не следует, что Канзас ближе к Аляске, чем Аляска к Канзасу. Люди же, однако, рассуждают (образно говоря), что близость — свойство, присущее Канзасу, а удаленность - свойство, присущее Аляске. Так что Канзас близок — даже к Аляске, а Аляска удалена — даже от Канзаса.

И вот опять мы видим, что аристотелевская идея категорий — логических классов с членством, определенным совокупностью признаков, по отдельности каждый из которых необходим, а вместе они достаточны, не такая уж хорошая модель человеческой когнитивной психологии. (Кто бы мог подумать, что наука продвинется вперед за 2350 лет?) Мы даже не рассуждаем с помощью бинарного подхода правда/ложь - высказывания о принадлежности могут быть более или менее истинными. (Замечу, что это не то же самое, что и быть более или менее вероятным.)

Еще одна причина прекратить притворяться, будто вы — или кто-то еще — в самом деле сможете обращаться со словами, как с аристотелевскими логическими классами.

Lakoff, George. (1986). «Women, Fire and Dangerous Things: What Categories Tell Us About the Nature of Thought», University of Chicago Press, Chicago.

Rips, Lance J. (1975). «Inductive judgments about natural categories», «Journal of Verbal Learning and Verbal Behavior», 14:665-81.

Rosch, Eleanor and B. B. Lloyd, eds. (1978). «Cognition and Categorization», Hillsdale, N.J.: Lawrence Erlbaum Associates.

Sadock, Jerrold. (1977). «Truth and Approximations.» В «Papers from the Third Annual Meeting of the Berkeley Linguistics Society», pp. 430-39. Berkeley: Berkeley Linguistics Society.

Tversky, Amos and Itamar Gati. (1978). «Studies of Similarity». В Rosch and Lloyd (1978).

Кластерная структура пространства вещей

Элиезер Юдковский

Идея «конфигурационного пространства» состоит в переводе описаний объектов в их позиции. Кажется, что синий «ближе» к сине-зеленому, чем к красному, но насколько ближе? Если просто смотреть на цвета, то на этот вопрос ответить трудно. Но будет понятней, если вспомнить, что (относительные) координаты этих цветов в пространстве RGB — (0; 0; 5), (0; 3; 2) и (5; 0; 0). Если изобразить эти точки на трёхмерном рисунке, будет еще понятней.

Точно также, если рассуждать о малиновке, можно думать о ней привычным способом: коричневый хвост, красная грудка, обычный для малиновки облик, максимальная скорость без груза, типичный для этого вида набор ДНК и индивидуальные аллели. А можно рассматривать малиновку, как точку в конфигурационном пространстве, измерения которого описывают всё, что мы знаем о малиновках или можем узнать.

Малиновка больше вируса, но меньше авианосца — таким образом в конфигурационном пространстве можно ввести измерение «объёма». Малиновка весит больше атома водорода, но меньше галактики — измерение «массы». «Объём» и «масса» разных малиновок будут очень сильно коррелировать между собой, так что точки-малиновки в этих двух измерениях будут выглядеть почти как отрезок прямой линии. Однако, корреляция не будет полной, поэтому нам всё же нужны два отдельных измерения.

В этом и есть преимущество рассмотрения малиновок как точек в пространстве: у нас бы не получилось так легко увидеть линейность, если бы мы продолжали думать о малиновках, как о маленьких и милых махающих крыльями существах.

ДНК малиновок — это переменная с очень большим количеством измерений, но о ней всё равно можно думать, как о части описания расположения малиновки в пространстве вещей — в виде миллионов координат (по одной на каждый нуклеотид), которые могут принимать одно из четырёх значений, или даже что-то более элегантное. Форму малиновки, ее цвет (отражательную способность) точно также можно рассматривать как часть описания, где малиновка находится в конфигурационном пространстве, пусть даже они принадлежат к разным измерениям.

Точка (0; 0; 5) в пространстве цветов содержит ту же самую информацию, что и реально существующий синий цвет на HTML странице. Точно также мы не должны терять информацию, представляя малиновок, как точки в пространстве. Мы можем вообразить малиновку на весах, которые показывают 0,07 килограмм. Или можем представить малиновку-точку с координатой-массой +70. В обоих случаях мы представляем массу малиновки одинаково.

Мы можем даже вообразить конфигурационное пространство с одним или больше измерением для каждой отдельной характеристики объекта, так что позиция точки-объекта в этом пространстве будет соответствовать всей информации, которая у нас имеется об объекте. Пусть эта информация и окажется избыточной - например, в пространстве будут измерения для массы, объема и плотности.

Если это вам кажется слишком уж экстравагантным, то в квантовой физике используется многомерное конфигурационное пространство (с бесконечным числом измерений), в котором одна точка обозначает расположение каждой частицы во вселенной. Так что мы себя ведём ещё довольно скромно — точка в нашем конфигурационном пространстве описывает лишь один объект, а не всю вселенную.

Если мы не уверены насчет точной массы и объёма малиновки, то можно вообразить маленькое облако в пространстве вещей, некий объём неопределенности, внутри которого может располагаться малиновка. Плотность этого облака в некоторой точке соответствует нашей уверенности, что масса и объём малиновки равны значениям, которые являются координатами этой точки. Если вы уверены насчет плотности малиновки больше, чем насчет массы и объёма, то ваше облако вероятностей будет сильно сконцентрированным в измерении плотности, а в подпространстве массы/объёма сконцентрированы вокруг наклонной линии. (Облако в этом случае будет поверхностью из-за соотношения Объём ⋅ Плотность = Масса)

Когнитивные психологи используют понятие «радиальных категорий» для описания границ не-аристотелевых понятий. Центральное понятие «мать» означает женщину, которая участвует в зачатии, рождении и воспитании ребёнка. Донор яйцеклеток, которая никогда не увидит своего ребенка будет матерью? Она — «генетическая мать». Как насчет женщины, в которую имплантировали эмбрион, чтоб она его выносила? Она — «суррогатная мать». Ну а женщина, которая воспитывает ребенка, которого не рожала? Она — «приемная мать». Аристотелевский силлогизм звучал бы: «У людей десять пальцев, у Фреда — девять, следовательно — Фред не человек», но в действительности люди думают об этом так: «У людей десять пальцев, Фред — человек, следовательно, Фред — человек с девятью пальцами».

На языке интенсионалов мы можем описать радиальность категорий так: у объекта свойства категории обычно присутствуют, но некоторые могут отсутствовать. Интенсионал слова «мать» будет похож на распределенное по пространству вещей сияние, яркость которого соответствует тому, насколько координаты точки в пространстве соответствуют категории «мать». Сияние будет сконцентрировано в центре, который соответствует одновременно зачатию, рождению и воспитанию. Объём, в который попадут доноры яйцеклеток, тоже будут светиться, но не так ярко.

Или мы можем представить радиальность экстенсионально. Предположим, мы отобразили всех птиц в мире на пространство вещей и определили в нём расстояние так, что оно как можно лучше соответствует человеческому представлению о подобии: малиновка больше похожа на другую малиновку, чем они обе похожи на голубя, однако малиновки и голуби ближе друг к другу, чем к пингвину, и так далее.

В центре птичности окажется множество соседствующих плотных кластеров: малиновки, воробьи, канарейки, голуби и множество других видов. Орлы, ястребы и другие хищные птицы попадут в другой кластер неподалеку. Пингвины окажутся в более далеком кластере, как и курицы, и страусы.

Результат, скорее всего, будет чем-то напоминать галактический кластер: плотное скопление галактик в центре, и несколько неподалеку.

Или мы можем думать одновременно об интенсионале мыслительной категории «птица» и об экстенсионале реальных птиц. Центральный кластер малиновок и воробьев светится очень ярко — здесь высокий уровень птичности. Кластеры-сателлиты страусов и пингвинов светятся тусклей из-за менее типичной птичности, а Авраам Линкольн находится в нескольких мегапарсеках от них всех и не светится совсем.

Я предпочитаю именно эту визуализацию — светящиеся точки, —потому что, по-моему, структура интенсионалов в нашем разуме вторична по отношению к структуре экстенсиональных кластеров. Первична структура реального мира — эмпирическое распределение птиц в пространстве вещей. А затем мы, наблюдая птиц, формируем мыслительную категорию, интенсионал которой грубо покрывает это распределение.

Это ещё один способ понять, почему слова не являются аристотелевскими классами — структура эмпирических кластеров реальной вселенной не такая прозрачная. Природный кластер, группа очень похожих друг на друга предметов, может и не иметь набора необходимых и достаточных признаков: ни набора характеристик, которыми обладают все члены множества, ни набора, которыми никто из не-членов не обладает.

Но даже если категории необратимо туманны и ухабисты, для паники повода нет. Я бы не стал возражать, если бы кто-нибудь заявил, что «птицы — это такие летающие штуки с перьями». Но ведь пингвины не летают! Ну и ладно. У правила есть исключения, так что это не конец света. Не стоит ожидать, что определения будут точно совпадать с эмпирической структурой пространства вещей, ведь карта меньше по размеру и намного проще территории. Цель определения «такие летающие штуки с перьями» в том, чтобы привести слышащего к кластеру птиц, а не в том, чтобы дать полное описание всех существующих птиц вплоть до молекулярного уровня.

Когда вы проводите границу вокруг группы экстенсиональных точек, образующих кластер в пространстве вещей, скорее всего, на каждое выдуманное вами интенсиональное правило вы обнаружите как минимум одно исключение.

Однако, если на практике определение вполне сносно позволяет указать на нужный эмпирический кластер, то возражения к формулировке этого определения вполне оправданно можно назвать «придирками».

Замаскированные вопросы

Элиезер Юдковский

Представьте, что вы работаете на необычной фабрике. Вы должны брать объекты с загадочного конвейера и сортировать их по двум корзинам. В ваш первый рабочий день Старшая Сортировщица Сьюзен объяснила вам, что синие объекты яйцевидной формы называются «сияйцами» и их следует класть в «корзину для сияиц», а красные кубы называются «крубами» и их следует класть в «корзину для крубов».

Приступив к работе, вы заметили, что сияйца и крубы отличаются не только цветом и формой. Сияйца покрыты мехом, а крубы — гладкие. Поверхность сияиц слегка пружинит при нажатии, крубы — твердые. Сияйца — непрозрачные, поверхность крубов слегка просвечивает.

Вскоре вы столкнулись с сияйцом необычайно темного оттенка синего. Более того, присмотревшись получше, вы увидели, что это фиолетовый цвет — смесь красного и синего.

Погодите! Почему же вы называете этот объект «сияйцом»? Ведь «сияйцо» изначально определили как синий и яйцевидный объект. А характеристика «синее» даже отражена в самом названии «сияйца». А этот объект не синий. Одна из необходимых характеристик отсутствует, так что вам следует называть его не «сияйцом», а «фиолетовым яйцевидным объектом».

Но так уж случилось, что помимо яйцевидности и фиолетового цвета, этот объект непрозрачный, покрыт мехом и слегка пружинит. Так что увидев его, вы подумали: «О, сияйцо странного цвета». Но это уж точно не круб, верно?

И всё же вы не слишком уверены в том, что следует делать в таких случаях. Поэтому вы зовете на помощь Старшую Сортировщицу Сьюзен.

— Точно, это сияйцо, — отвечает Сьюзен. — Кладите его в корзину для сияиц.

Вы уже собираетесь бросить фиолетовое сияйцо в соответствующую корзину, но останавливаетесь.

— Сьюзен, откуда вы знаете, что это сияйцо?

Сьюзен странно на вас смотрит.

— Разве не очевидно? Пусть этот объект и фиолетовый, но при этом он еще и яйцевидной формы, непрозрачный, покрыт мехом и пружинит, как и другие сияйца. В редких цветовых дефектах нет ничего удивительного. Или это одна из философских загадок вроде: «Откуда вы знаете, что мир не был создан пять минут назад вместе с людьми с полным набором ложных воспоминаний?» В философском смысле у меня нет абсолютной уверенности в том, что это сияйцо, но, по-моему, вполне можно считать, что это так.

— Нет, я имею ввиду… — вы медлите, подыскивая нужные слова. — Зачем нужны отдельные корзины для сияиц и крубов? В чем разница между сияйцами и крубами?

— Сияйца — синие и яйцеподобные, крубы — красные и кубические, —- терпеливо отвечает Сьюзен. — Вы ведь прослушали стандартную вводную лекцию?

— Зачем надо сортировать сияйца и крубы?

— Э-э-э… потому что иначе они перемешаются? — говорит Сьюзен. — Потому что никто не станет нам платить просто за то, что мы сидим тут и не сортируем сияйца и крубы?

— Кто исходно определил, что синий яйцевидный объект — это сияйцо, и почему он так решил?

Сьюзен пожимает плечами:

— Думаю, с тем же успехом можно называть сияйцами красные кубические объекты, а крубами — синие и яйцевидные, но, по-моему, нынешний вариант удобнее для запоминания.

Вы на некоторое время задумываетесь.

— Предположим, что по конвейеру приехал очень необычный объект. Оранжевый, сферической формы, покрытый мехом, прозрачный и с маленькими зелеными щупальцами. Как мне определить — сияйцо это или круб?

— Ух-ты, с таким пока ещё никто не сталкивался, — отвечает Сьюзен. — Думаю, в этом случае мы воспользуемся сортирующим сканером.

— Как этот сканер работает? — продолжаете допытываться вы. — Это рентген? Магнитно-резонансная томография? Нейронная спектроскопия?

— Мне сказали, что он работает по правилу Байеса, но я не до конца понимаю, как это, — сказала Сьюзен. — Впрочем, мне нравится произносить это слово: байес, байес, байес, байес, байес.

— Какую информацию сообщает сортировочный сканер?

— Он сообщает, в какую корзину надо положить объект. Поэтому его и называют сортировочным.

Вы замолкаете.

— Кстати, - небрежно добавляет Сьюзен, — возможно, вам будет интересно узнать, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия. И то, и другое активно применяется в промышленности.

— Сьюзен, вы чистое зло.

— Спасибо за комплимент.

Итак, судя по всему, мы обнаружили, в чём сущность сияйцности: сияйцо — объект, содержащий ванадиевую руду. Внешние характеристики — вроде синего цвета или пушистости — не определяют, является ли объект сияйцом. Эти характеристики важны лишь потому, что помогают понять, является ли объект сияйцом, то есть, содержит ли он ванадий.

Содержание ванадия — необходимое и достаточное определение. Все сияйца содержат ванадий, и всё, что содержит ванадий, — сияйцо. «Сияйцо» это лишь быстрый способ сказать «содержащий ванадий объект». Так ведь?

Не так быстро, говорит Сьюзен. Около 98% сияиц содержит ванадий, однако 2% содержит палладий. Точнее (продолжает Сьюзен), около 98% синих яйцевидных, мохнатых, мягких, непрозрачных объектов содержит ванадий. Для необычных сияиц будут другие пропорции: 95% фиолетовых сияиц содержат ванадий, 92% твердых сияиц содержит ванадий и так далее.

Предположим, вы обнаружили синий яйцевидный, мохнатый, непрозрачный объект. На вид — обычное сияйцо во всех отношения. Чисто из любопытства вы засунули его в сортировочный сканер. Сканер выдал: «палладий» — те самые редкие 2%. Сияйцо ли это?

Поскольку вы собираетесь бросить этот объект в корзину для крубов, первоначально у вас может появиться желание назвать его «крубом». Однако, оказывается, почти все сияйца, если выключить свет, слегка светятся в темноте, а почти все крубы в темноте не светятся. И процентное соотношение светящихся сияиц к несветящимся примерно такое же, как и для содержащих палладий вместо ванадия синих, яйцевидных, мохнатых, мягких, непрозрачных объектов. Поэтому, если вас интересует вопрос, светится ли этот объект в темноте как сияйцо или не светится как круб, вам стоит предположить, что он светится как сияйцо.

Так что это в итоге за объект: сияйцо или круб?

С одной стороны, независимо от того, что вы ещё узнаете про этот объект, вы его бросите в корзину для крубов. С другой — если вы хотите сделать предположение о каких-то неизвестных характеристиках этого объекта, то вам следует предполагать, что объект обладает скорее характеристиками сияйца, а не круба. То есть поместить его в кластер подобия синих, яйцевидных, мохнатых, мягких, непрозрачных вещей, а не в кластер красных, кубических, гладких, твердых и слегка прозрачных вещей.

В различных ситуациях вопрос «сияйцо ли это?» может использоваться для решения самых разных задач.

Если же никакая задача перед вами не стоит, то ответ на этот вопрос вам на самом деле не нужен.

Атеизм — это религия? Трансгумагизм — это культ? Люди, утверждающие, что атеизм — религия, потому что «это совокупность убеждений о Боге», на самом деле стремятся доказать (как мне кажется), что методы рассуждений у атеистов примерно такие же, как и у религиозных людей, или что атеизм не менее опасен с точки зрения вероятности спровоцировать насилие, и так далее… В действительности же на кону стоят заявления атеистов о существенной разнице и даже превосходстве атеизма по отношению к религии, которое верующий стремится опровергнуть путем отрицания разницы, вместо того, чтобы опровергать превосходство(!).

Однако такое поведение нельзя считать заведомо иррациональным. Заведомо иррациональное происходит в тот миг, когда кто-то в ходе спора вытаскивает словарь, чтобы посмотреть определения «атеизма» и «религии». И это глупо независимо от того, кто это делает, атеист или верующий. Как вообще словарь может определить, отличается ли эмпирический кластер атеистов достаточно сильно от эмпирического кластера теологов? Как от изменения смысла слов может измениться реальность? Точки в пространстве вещей не сдвинутся с места, если мы нарисуем другие границы.

Но люди часто не понимают, что их спор про то, где нарисовать определяющую границу, на самом деле является спором про то, можно ли сделать вывод, что большинство вещей внутри некоего эмпирического кластера обладает некоторой общей характеристикой…

Отсюда и выражение — «замаскированный вопрос».

Нейронные категории

Элиезер Юдковский

В «Замаскированых вопросах» я рассказал про сортировку «сияиц» и «крубов». Обычное сияйцо — синее, яйцевидной формы, мохнатое, мягкое, непрозрачное, светится в темноте и содержит ванадий. Обычный круб — красный, кубический, гладкий, твердый, с просвечивающей поверхностью, не светится и содержит палладий. Что бы слегка упростить задачу, давайте пока отбросим характеристики мягкости/твердости и непрозрачности/просвечивающей поверхности. В нашем пространстве вещей остаётся пять измерений: цвет, форма, текстура поверхности, свечение и состав.

Предположим, что я хочу сделать искусственную нейронную сеть (ИНС), предсказывающую неизвестные характеристики сияйца на основе уже известных. Предположим также, что я пока неопытен в области создания ИНС. Я лишь прочел несколько увлекательных научно-популярных книг, где описано, что нейронные сети являются распределёнными, эмерджентными и вычисления в них идут параллельно — прямо как в человеческом мозге!!! Но я не могу вывести дифференциальные уравнения для градиентного спуска в не-рекуррентной многослойной нейронной сети с сигмоидной функцией активации (что на самом деле гораздо легче чем кажется).

Так что сделанная мной нейронная сеть будет выглядеть примерно так:

Сеть 1 предназначена для сортировки сияиц и крубов. Но поскольку «сияйцо» — незнакомый и искусственный концепт, для наглядности я изобразил похожую Сеть 1b для классификации людей и Космических Монстров, которая в качестве входных данных использует информацию, предоставленную Аристотелем («Все люди смертны») и философами Академии Платона («Двуногое без перьев и с плоскими ногтями»).

Для нейронной сети нужен алгоритм обучения. Очевидная идея: будем усиливать связь между двумя узлами, если эти узлы часто активируются одновременно. Это один из первых алгоритмов для обучения нейронных сетей, так же известный как правило Хебба.

Таким образом, если вы часто видите объекты, которые одновременно синие и пушистые, — то есть узел «цвет» активируется в состоянии «+» и одновременно узел «текстура» активируется в состоянии «+», — связь между цветом и текстурой усиливается, в результате чего активация «цвет+» будет вызывать активацию «текстура+» и наоборот. А если вы часто видите синие, яйцеподобные и содержащие ванадий объекты, то это усилит положительную взаимную связь между цветом, формой и содержанием.

Предположим, вы уже видели достаточно сияиц и крубов, спустившихся по конвейеру. Но вдруг вы видите, как по ленте приближается нечто пушистое, яйцевидное и — ну надо же! —красновато-фиолетовое (для нашей нейронной сети это будет означать активацию узла «цвет» с силой -2/3). Вы еще не тестировали светимость и содержимое. Каков будет ваш прогноз? Это сияйцо или круб?

Дальше мы увидим, как сила активации узлов в Сети 1 начнёт меняться. Положительная активация идет к светимости от формы, негативная — к содержимому от цвета, и от содержимого в светимости… Разумеется, все эти сигналы идут параллельно!!! И асинхронно!!! Прямо как в человеческом мозге…

Наконец Сеть 1 приходит в стабильное состояние, в котором узлы «светимость» и «содержимое» активированы очень сильно в положительную сторону. Сеть могла бы сказать, что нам следует «ожидать» (пусть мы это ещё и не проверяли), что этот объект светится в темноте и содержит ванадий.

И смотрите, Сеть 1 демонстрирует такое поведение, несмотря на отсутствие узла, который явно бы говорил, является ли объект сияйцом или нет. Вся сеть выносит имплицитную оценку!!! Сияйцность - аттрактор!!! Появляющийся в результате эмерджентного поведения!!! Благодаря распределенному обучающему алгоритму!!!

Сети с такой архитектурой могут казаться очень привлекательными, однако, использовать их в реальной жизни довольно проблематично. Сети с обратными связями не всегда быстро останавливаются: иногда в них начинаются колебания, иногда можно наблюдать хаотичное поведение, или же они просто слишком долго думают. Если вы видите что-то большое, желтое и полосатое, и вам надо ждать пять минут, прежде чем сеть придет к аттрактору «тигр», то это очень-очень плохо. Да, процессы в этих сетях идут асинхронно и параллельно, но этого всё равно не хватает для работы в реальном времени.

Есть и другие проблемы. Например, одно и то же свидетельство может оказаться учтено дважды, потому что сигнал ходит туда-сюда: вы подозреваете, что объект светится в темноте, это способствует активации убеждения о ванадии внутри объекта, что, в свою очередь, способствует активации убеждения о свечении в темноте.

К тому же, если вы захотите увеличить Сеть 1, это потребует O(N2)O(N2) соединений, где NN - число наблюдаемых характеристик.

А как можно построить более реалистичную сеть?

В такой сети активируются сначала узлы, отвечающие за наблюдаемые характеристики, от них сигнал идет к центральному узлу, а от него к еще не активированным (отвечающим за ненаблюдаемые характеристики) узлам. Это означает, что мы можем вычислить ответ за один шаг, а не ждать, пока сеть успокоится. С точки зрения биологии это очень важно, ведь нейроны работают с частотой в 20 герц. И расширение сети с такой архитектурой требует O(N)O(N) новых соединений, а не O(N2)O(N2).

Следует признать, что некоторые выводы делать проще, используя сеть с архитектурой первого типа, чем второго. В Сети 1 каждые два узла соединены напрямую. Поэтому если красные объекты не светятся в темноте, но красным мохнатым объектам обычно свойственны и другие характеристики сияйца, вроде яйцевидности и ванадия, Сеть 1 может это легко воспроизвести. Потребуется лишь несколько сильных отрицательных связей от цвета к светимости и более сильных положительных связей от текстуры ко всем остальным узлам кроме светимости.

Но это не означает, что в правиле «сияйца светятся в темноте» появилось «особое исключение». В Сети 1 нет узла, отвечающего за «сияйцность». Сияйцность появляется как аттрактор в распределенной сети.

Поэтому, да, от этих N2N2 соединений бывает польза. Но не часто. В реальных задачах мы редко наблюдаем животных, которые наполовину похожи на кошку, а наполовину — на собаку, и Сеть 1 для большинства таких реальных задач не подходит.

(Кроме того, есть факты, которые трудно воспроизвести как на Сети 1, так и на Сети 2. Предположим, что если лазурный цвет и сферическая форма встречаются одновременно, то это всегда означает наличие палладия. Однако, если эти характеристики присутствуют поодиночке, это является сильным свидетельством в пользу наличия ванадия. Если не вводить дополнительные узлы, на обеих сетях такое явление будет трудно воспроизвести. Архитектура и Сети 1, и Сети 2 неявно содержит предположение о том, какие связи между характеристиками возможны в реальности. В машинном обучении детей от взрослых отличает именно способность видеть такие неявные предположения.)

На самом деле, ни Сеть 1, ни Сеть 2 не похожи на реальные биологические системы. Однако, судя по всему, имеет смысл предполагать, что работа мозга в каком-то смысле ближе к Сети 2, чем к Сети 1. Сеть 2 быстрая, простая, масштабируемая и хорошо подходит для различения кошек от собак. Естественный отбор приходит к чему-то подобному точно так же, как вода стекает со склона холма.

Кажется, будто в задаче классификации объектов как сияиц или крубов и распределении их по корзинам нет ничего сложного. Но сможете ли вы заметить, что лазурные объекты никогда не светятся в темноте?

Возможно, вы обратите на это внимание, если окажетесь перед двадцатью объектами, которые будут различаться во всём, кроме лазурного цвета, и кто-нибудь выключит свет, и ни один из объектов не засветится. Другими словами, если ситуация будет такова, что не заметить отсутствие свечения в темноте будет почти невозможно. Возможно, когда вы понаблюдаете за всеми этими объектами вместе, ваш мозг сформирует новую подкатегорию и сможет определять характеристику «не светится» внутри этой подкатегории. Но если лазурные объекты будут рассеяны в куче из сотни других сияиц и крубов, то вы, скорее всего, ничего не заметите. Замечать подобные связи между характеристиками трудно и не интуитивно - по сравнению с различением кошек и собак.

Или: «Сократ - человек, все люди смертны, следовательно, Сократ смертен». Как Аристотель узнал, что Сократ был человеком? Ну, у Сократа не было перьев на теле, его ногти были плоскими, он был прямоходящим, говорил на греческом и, в целом, имел человеческую форму и вел себя как человек. И мозг решает — раз и навсегда, — что Сократ является человеком, и делает из этого вывод, что, как и все люди, которых он до этого наблюдал, Сократ тоже смертен. Вопрос о том, насколько ношение одежды связано со смертностью сильнее, чем умение говорить, кажется сложным и не интуитивным. Просто «то, что носит одежду и разговаривает — люди» и «люди смертны».

Существуют ли искажения, связанные с попыткой распределить объекты по категориям раз и навсегда? Разумеется, существуют. Например, читайте статью «Культовая контркультовость».

Продолжение следует…

Как алгоритм ощущается изнутри

Элиезер Юдковский

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?

Рационалист, скорее всего, разрешил бы этот вопрос так: первый человек под словом «звук» подразумевает акустические вибрации в воздухе, а второй — слуховое переживание в мозге. Если спросить «были ли акустические колебания?» или «было ли слуховое переживание?», ответ достаточно очевиден. Таким образом, оказывается, что весь спор ведётся вокруг определения слова «звук».

Я полагаю, что этот анализ по существу правильный. Давайте примем это за основу и спросим: почему люди спорят друг с другом по такому поводу? Какие явления с точки зрения психологии к этому приводят?

Ключевая идея концепции эвристик и искажений — ошибки часто рассказывают о процессе познания больше, чем правильные ответы. И если люди втягиваются в жаркий спор о том, производит ли звук дерево, падающее в необитаемом лесу, то обычно это считается ошибкой.

О каких особенностях работы разума может говорить такая ошибка?

В «Замаскированных вопросах» я рассказал о задаче классификации сияиц и крубов. В этой задаче Старшая Сортировщица Сьюзен объясняет, что ваша работа — сортировать предметы, поступающие по конвейерной ленте, и складывать синие яйца, или «сияйца» в одну корзину, а красные кубы, или «крубы» — в другую. Как оказывается позже, дело в том, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия, и то, и другое используется в промышленности.

Однако, около 2% синих яйцевидных объектов содержат вместо ванадия палладий. Поэтому, если вы обнаружите синий яйцевидный предмет, содержащий палладий, может быть, следует назвать его «крубом»? Вы ведь собираетесь положить его в корзину для крубов — так почему не называть его «крубом»?

Но при этом, если выключить свет, почти все сияйца будут немного светиться в темноте. И синие яйцевидные объекты, содержащие палладий, будут светиться в темноте с той же вероятностью, как и любые другие синие яйцевидные объекты.

Таким образом, если вы увидите синий яйцевидный объект, содержащий палладий, и спросите: «Это сияйцо?», ответ будет зависеть от того, что вы собираетесь делать с объектом. Если вам нужно выяснить, в какую корзину поместить объект, то от вы будете рассуждать о нём, как о крубе. Но если вы спросите: «Если выключить свет, будет ли объект светиться?», то объект стоит рассматривать как сияйцо. В одном случае под вопросом «Это сияйцо?» замаскирован вопрос «В какую корзину его поместить?». В другом случае замаскирован вопрос «Будет ли объект светиться в темноте?».

Предположим, вам попался синий содержащий палладий яйцевидный объект. И вы уже определили, что он еще и мохнатый, мягкий, непрозрачный и светится в темноте.

Теперь вы знаете ответы на все вопросы, у вас есть информация обо всех наблюдаемых характеристиках. Нет ни одного вопроса, за которым смог бы замаскироваться другой вопрос.

Так почему же у кого-то может появиться искушение поспорить о том, действительно ли это сияйцо?

Эта диаграмма из «Нейронных категорий» показывает две нейронные сети, с помощью которых можно получать ответы на вопросы про сияйца и крубы. У Сети 1 есть множество недостатков — она склонна скатываться к хаотичному поведению, в ней могут начаться колебания, при росте этой сети количество соединений растёт пропорционально квадрату числа элементов. Однако, у Сети 1 есть серьезное преимущество перед Сетью 2 — каждый узел первой сети соответствует наблюдаемой характеристике. Если вы пронаблюдаете все наблюдаемые характеристики, зафиксируете значение каждой, то узлов с неопределённым состоянием в сети не останется.

Однако, с другой стороны, если мы будем сравнивать эти две сети и человеческий мозг, то мы заметим, что работа Сети 2 больше похожа на работу мозга, пусть это и довольно условное сходство. Сеть 2 быстрая, простая, масштабируемая. И у неё есть дополнительный узел в центре, состояние которого может оказаться неопределённым даже после того, как мы зафиксировали значения окружающих его узлов.

То есть, даже когда вы знаете, синий это объект или красный, яйцевидный или кубический, мохнатый или гладкий, сияет или нет, содержит ванадий или палладий, остаётся ощущение, что у вас есть вопрос, на который вы так и не получили ответа. Действительно ли это сияйцо?

В повседневной жизни акустические колебания и слуховые переживания сопутствуют друг другу. Однако, в примере про падающее в необитаемом лесу дерево эта связь разрывается. Поэтому даже после того, как вы установили, что упавшее дерево создавало акустические колебания, но не слуховые переживания, вам кажется, что вы так и не получили ответа на вопрос: издавало ли упавшее дерево звук?

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет?

Не забывайте: когда вы смотрите на схему Сети 2, которую я привожу здесь, вы видите алгоритм снаружи. Люди не спрашивают себя: «Должен ли активизироваться центральный узел?» — точно так же, как вы не думаете: «А должен ли возбуждаться нейрон № 12 234 320 242 в моей зрительной коре?»

Чтобы посмотреть на свой мозг «снаружи», вам нужно приложить осознанное усилие. И даже в этом случае вы не видите свой настоящий мозг, вы лишь представляете образы, которые для вас описывает ваш мозг. Я надеюсь, что ваши представления основаны на науке, но в любом случае интроспекция не даёт прямого доступа к структурам нейронных сетей. Поэтому древние греки и не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи. Но если посмотреть, как эта нейронная структура ощущается изнутри, представить себя мозгом, который исполняет такой алгоритм, получится, что даже когда вы знаете все характеристики объекта, вы всё равно размышляете: «Это всё-таки сияйцо или нет?»

Воспринимать собственные представления о реальности именно как «представления о реальности» очень сложно, и я сталкивался с людьми, которые никак не могли этому научиться. Ведь нам всем кажется, что наши представления о реальности — это и есть сама реальность. Когда вы смотрите на зеленую кружку, вы не думаете о том, что вы видите картинку, созданную вашей зрительной корой, — хотя на самом деле вы видите именно её — вы просто видите зелёную кружку. Вы думаете: «Ну, да, эта кружка зеленая», а не: «Моя визуальная кора изображает эту кружку как зелёную».

Точно также, когда люди спорят про звук падающего дерева или про то, является ли Плутон планетой, они не видят себя людьми, спорящими должен ли активироваться узел, отвечающий за категоризацию, в их нейронных сетях или нет. Им просто кажется, будто дерево либо издает звук, либо нет.

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет? Разумеется, кто-то скажет, что это спор об определениях. Но это всё равно высказывание с точки зрения Сети 2, потому что это спор о том, с какими наблюдаемыми характеристиками должен быть связан центральный узел. Если бы ваш разум был сконструирован по типу Сети 1, то вы бы не сказали: «Это зависит от того, как вы определяете слово „планета“ ». Вы ответили бы: «Поскольку мы знаем орбиту Плутона, его массу и форму, мы ответили на все вопросы». Более того, если бы вы были разумом, построенным по типу Сети 1, вам бы казалось, что тут в принципе нет никаких неотвеченных вопросов.

Прежде чем подвергать сомнениям свои представления о реальности, нужно понять, что ваш мысленный взор лишь смотрит на ваши представления о реальности — на результат работы мысленного алгоритма, видимый изнутри — а не воспринимает напрямую то, Как На Самом Деле Устроен Мир.

Я полагаю, что люди цепляются за свои представления о реальности не потому, что они считают свои когнитивные алгоритмы абсолютно надежными, а потому, что они не воспринимают свои представления о реальности как результат работы когнитивных алгоритмов, видимый изнутри.

И поэтому всё, что вы попробуете рассказать людям про некорректную работу встроенных когнитивных алгоритмов, люди будут сравнивать со своим прямым восприятием того, Как На Самом Деле Устроен Мир. И отбросят ваши утверждения как очевидно неверные.

Споры об определениях

Элиезер Юдковский

Очень многие разговоры — даже разговоры о (предположительно) когнитивистике — скатываются в споры об определениях. Если взять в качестве примера классическое «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?», то ход последующего спора можно представить примерно следующим образом:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?

АЛЬБЕРТ: Разумеется! Что за глупый вопрос? Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет.

БАРРИ: Секундочку! Если никто не может этого услышать, то как это может быть звуком?

В этом примере Барри спорит с Альбертом из-за действительно отличающегося интуитивного понимания того, что представляет из себя звук. Однако, Стандартный Диспут может возникнуть и множеством других путей. У Барри может быть мотив отвергать вывод Альберта. Или Барри может быть скептиком, который, услышав аргумент Альберта, машинально исследовал его на наличие логических ошибок, а затем, найдя контраргумент, автоматически принял его, не запустив второй слой поиска в попытке найти контрконтраргумент, таким образом убедив себя в правоте противоположной позиции. Для этого необязательно, чтобы прежняя интуиция Барри — та интуиция, которую проявил бы Барри, спроси мы его до того, как заговорил Альберт — отличалась от интуиции Альберта.

Ну, в любом случае, даже если интуиция Барри изначально не отличалась от альбертовой, сейчас они точно разнятся.

АЛЬБЕРТ: В смысле? Корни дерева ломаются, ствол начинает валиться и в итоге врезается в землю. Всё это создаёт вибрации, передающиеся по воздуху и через землю. Именно сюда уходит энергия падения: в тепло и звук. Ты хочешь сказать, что если люди ушли из леса, то деревья начинают нарушать закон сохранения энергии?

БАРРИ: Но никто ничего не слышит. Если в лесу нет людей — будем считать, что в лесу нет вообще никаких обладателей нервной системы, достаточно сложной для того, чтобы уметь «слышать» — то никто не слышит звука.

Альберт и Барри более подробно описали мысли, заставившие сработать или не сработать их детекторы «звука»(English), и они ощущают, что завербованные ими аргументы поддерживают их позицию. Но всё же, пока что спор фокусируется на лесе, а не на определениях. И можно заметить, что спорщики, на самом деле, не расходятся во мнениях о том, что происходит в лесу.

АЛЬБЕРТ: Этот спор входит в тройку тупейших споров, в которых я когда-либо участвовал. Ты трясущийся фейчихахуа, замаринованный в запредельном идиотизме.

БАРРИ: Да ну? Это мне говорит человек, по которому видно, что в детстве его часто били по голове сельскохозяйственным инвентарём. Чтобы, видимо, потушить загоревшиеся волосы.

Оскорбление предложено и принято; теперь никто не может отступить, не боясь потерять лицо. Строго говоря, это нельзя назвать частью «спора» в понимании рационалистов, но эта сцена столь важна для развития Стандартного Диспута, что я всё равно решил упомянуть её здесь.

АЛЬБЕРТ: Дерево создаёт акустические вибрации. По определению, это звук.

БАРРИ: Никто ничего не слышит. По определению, это не звук.

Спор уходит в сторону, фокусируясь на определениях — несмотря на то, что довод «по определению» совершенно бессмыслен, когда речь идёт о чём-то приземлённее чистой математики. Важно помнить, что всё, верное «по определению» верно во всех возможных мирах, и поэтому наблюдение справедливости этого факта никогда не сможет сказать тебе, в каком именно мире ты живёшь: оно не ограничивает возможные миры.

АЛЬБЕРТ: Мой компьютер может записать звук — даже когда нет никого рядом, чтобы его услышать — и сохранить это в файл. Такие файлы называются «звуковыми файлами». В файле хранится последовательность колебаний воздуха, а не последовательность возбуждений нейронов чего-либо мозга. «Звук» означает последовательность колебаний.

Альберт отправляет в наступление аргумент, который кажется доводом в пользу того, что слово «звук» имеет определённое значение. Этот вопрос уже не имеет отношения к тому, происходили ли в лесу акустические вибрации. Однако, этот переход обычно остаётся незамеченным.

БАРРИ: Да ну? Давай посмотрим, согласится ли с тобой словарь.

Я увидел много вещей, вызывавших бы у меня любопытство, окажись я в этом сценарии. Можно пойти в лес и посмотреть на деревья, или разобраться в выводе волнового уравнения, касающегося колебаний воздуха, или проанализировать анатомическое строение уха, или изучить принципы работы слуховой коры мозга. Однако вместо того, чтобы заняться чем-либо из этого списка, я должен, очевидно, посоветоваться со словарём. Почему? Неужели словарь составляли профессиональные ботаники, врачи и нейробиологи? Я могу увидеть логику в решении заглянуть в энциклопедию, но причём тут словарь?

АЛЬБЕРТ: Вот! Определение 2c в Мерриэме-Уэбстере: «Звук: физическое явление, вызываемое колебательными движениями частиц воздуха или другой среды»

БАРРИ: Вот! Определение 2b в Мерриэме-Уэбстере: «Звук: чувство, вызываемое воздействием на орган слуха, восприятие слуховых ощущений»

АЛЬБЕРТ И БАРРИ, хором: Дурацкий словарь! Лучше не стало.

Редакторы словарей занимаются историей, а не законотворчеством. Редактор словаря находит используемые сейчас слова и записывает их; затем добавляет то (малую часть того(English)), что, как ему кажется, имеют в виду люди, употребляющие это слово. Если употреблений несколько, то он записывает несколько определений.

АЛЬБЕРТ: Смотри. Предположим, я оставил в лесу микрофон и он записал последовательность акустических вибраций, связанных с падением дерева. Если кто-нибудь прослушает эту запись, он назовёт это «звуком»! Это — общепринятое употребление. Прекрати высасывать из пальца какие-то свои чокнутые определения!

БАРРИ: Во-первых, я могу определить слово так, как мне нравится. Главное — употреблять его последовательно. Во-вторых, моё значение имеется в словаре. В-третьих, кто дал тебе право решать, что можно считать общепринятым употреблением, а что нельзя?

С точки зрения рациональности, Стандартный Диспут кишит ошибками. Часть этих ошибок я уже описал, и часть из них мне ещё предстоит описать; то же самое касается и средств защиты от них.

Но сейчас я хочу лишь обратить ваше внимание на то, что Барри и Альберт, скорее всего, дадут один и тот же ответ на любой вопрос, касающийся вещей, действительно происходящих внутри леса, но всё равно никто из них не чувствует этого согласия. Просто печальное напоминание.

Споры об определениях — ложная тропинка, незаметно ведущая в тупик. Никто не пошёл бы по этой тропинке, если бы знал, куда она ведёт. Если спросить у Альберта (или у Барри), почему он до сих пор участвует в споре, то он бы ответил что-то вроде «этот подлый негодяй Барри (или Альберт) пытается протащить контрабандой своё определение слова «звук», чтобы обосновать своё смехотворное мнение; и мой долг — защитить стандартное определение»

Но представим, что я вернулся назад во времени и успел оказаться рядом с Барри и Альбертом до начала спора.

(Из ниоткуда возникает Элиезер, сидящий внутри своеобразного транспортного средства, очень похожего на машину времени из старого фильма «Машина времени»)

БАРРИ: Боже! Путешественник во времени!

ЭЛИЕЗЕР: Я прибыл к вам из будущего! Внимайте моим словам! Я прошёл долгий путь — около пятнадцати минут — для того, чтобы…

АЛЬБЕРТ: Пятнадцать минут?

ЭЛИЕЗЕР: …для того, чтобы задать вам этот вопрос!

(Немая сцена, пропитанная смесью замешательства и предвкушения)

ЭЛИЕЗЕР: Вы считаете, что слово «звук» должно означать как акустические вибрации (волны давления, передающиеся через физический объект-проводник), так и слуховые впечатления (восприятие кем-то звука)? Или вы считаете, что «звук» нужно определить так, чтобы он означал только лишь акустические вибрации, или только лишь аудиторные переживания?

БАРРИ: Ты вернулся в прошлое, чтобы спросить у нас вот это?

ЭЛИЕЗЕР: Мои мотивы — моё личное дело! Отвечайте!

АЛЬБЕРТ: Эммм… Я не понимаю, почему это должно кого-то беспокоить. Можно выбрать любое определение. Главное, употреблять его последовательно.

БАРРИ: Брось монетку. Точнее, брось монетку дважды.

ЭЛИЕЗЕР: Я считаю, что, в случае возникновения такой проблемы, обе стороны должны взглянуть на происходящее уровнем организации ниже и начать описывать событие, используя более элементарные компоненты: например, акустические вибрации или слуховые впечатления. Или каждая сторона может придумать новое слово — например «алберзаль» или «баргулум» — для того понятия, которое они ранее обозначали словом «звук»; это позволяет обеим сторонам употреблять новые слова последовательно. Таким образом, никому не придётся пойти на уступки или потерять лицо, но при этом возможность успешного обмена информацией сохраняется. Ну и, разумеется, всегда стоит отслеживать, о каком именно утверждении, доступном для проверки опытом, идёт речь. Вы считаете мои предложения разумными?

АЛЬБЕРТ: Видимо, да…

БАРРИ: Зачем мы об этом разговариваем?

ЭЛИЕЗЕР: Чтобы сберечь вашу дружбу пред лицом неожиданной беды, о которой вы — отныне и теперь — никогда не узнаете, ибо будущее уже изменилось!

(Элиезер и машина исчезают в клубах дыма)

БАРРИ: На чём мы остановились?

АЛЬБЕРТ: Секундочку… Вот: «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?»

БАРРИ: Оно создаёт алберзаль, но не баргулум. Давай дальше.

Этот рецепт не уничтожает каждый диспут о категоризации. Однако, он уничтожает значительную их долю.

Ощути смысл

Элиезер Юдковский

Когда я слышу, как кто-то говорит: «Смотрите — бабочка», произнесенные фонемы «бабочка» попадают в мои уши и вибрируют в барабанных перепонках, попадают во внутреннее ухо, «щекочут» нервы, что приводит к активации нейронов слуховой коры. В которой начинается обработка этих фонем — распознавание слов, реконструкция синтаксиса и прочие сложности.

Но в итоге, через несколько мгновений, у меня появится желание взглянуть туда, куда указывает мой друг, и я увижу там визуальный паттерн, который будет интерпретирован как бабочка. И я довольно сильно удивлюсь, если вместо бабочки я увижу волка.

Мой друг смотрит на бабочку, его горло вибрирует, а губы движутся, звуковые волны незримо передаются по воздуху, мои уши слышат, нервы передают и мой мозг распознает и, ну надо же, я понимаю, на что смотрит мой друг. Разве это не чудо? Если бы мы не знали про звуковые волны, то все газеты трубили бы о невероятном открытии — люди владеют телепатией! Человеческие мозги способны передавать мысли друг другу!

Да, мы действительно телепаты. Однако, если магия является обыденностью и все ваши друзья ею тоже владеют, она никому не интересна.

Думаете, телепатия — это просто? Попробуйте собрать компьютер, который будет телепатически общаться с вами. Телепатия или «язык», или как вам будет угодно назвать нашу способность к частичной передаче мыслей, сложнее чем кажется.

Однако, было бы довольно неудобно думать что-то вроде: «Сейчас я преобразую часть моих мыслей в линейную последовательность фонем, которые вызовут похожие мысли у моего партнёра по диалогу…»

Поэтому мозг прячет от нас сложность, точнее даже вовсе её не показывает. И это приводит к тому, что у людей появляется странное представление о словах.

Как я отметил ранее, когда большой желтый и полосатый объект кидается на меня, я думаю: «А-а-а! Тигр!», а не «Так… Объект с характеристиками огромности, желтости и полосатости был ранее отмечен как обладающий еще и характеристиками «голодный» и «опасный», следовательно, хотя логически это и не выводимо, а-а-а… ХРУМ-ХРУМ-ХРУМ».

Точно также естественный отбор не станет содействовать организму, который, услышав: «А-а-а! Тигр!», будет думать: «Так… Я только что услышал «Ти» и «гр», которые у моих соплеменников ассоциируются с их внутренними аналогами моего концепта «тигр», и они, скорее всего, склонны издавать эти звуки, заметив объект, который они классифицируют как а-а-а-и-и-и-и ХРУМ-ХРУМ помогите он откусил мне руку ХРУМ-ХРУМ».

Можно рассматривать это как проектное ограничение когнитивной архитектуры у людей — любому хотелось бы, чтобы у него не было лишних шагов между распознаванием слуховой корой звуков «тигр» и активацией концепта тигра.

Вернёмся к притче о сияйцах и крубах и к централизованной сети, которая быстро и легко распределяет объекты по категориям. Можно представить себе прямую связь между узлом, который распознаёт слово «сияйцо», и узлом в центре сети. Центральный узел — понятие сияйца — активируется почти сразу же, как Старшая Сортировщица Сьюзен говорит: «Сияйцо!»

Или в целях передачи информации — на что тоже не должна уходить вечность — как только вы видите синюю штуку в форме яйца, и центральный узел «сияйцо» возбуждается, вы кричите Сьюзен: «Сияйцо!»

И изнутри этот алгоритм ощущается так, как будто ярлык и понятие очень тесно связаны. Смысл кажется неким свойством, присущим самому слову.

Знатоки распознают в этом ещё один частный случай «ошибки проецирования ума» по Э. Т. Джейнсу. Нам кажется, будто у слова есть смысл, и этот смысл — свойство самого слова, точно так же, как краснота — свойство красного яблока, а таинственность — свойство таинственного явления.

Более того, в большинстве случаев мозг не проводит границу между словом и его значением — разве что при изучении нового языка он позаботится отделить одно от другого. И даже тогда, если вы увидите, как Сьюзен указывает на синий яйцевидный предмет и говорит «Сияйцо!», вы подумаете: «Интересно, что значит „сияйцо“?», а не «Интересно, какую мысленную категорию Сьюзен связывает со звуковым ярлыком „сияйцо“?».

Рассмотрим в свете этого ту часть стандартного спора об определениях, где две стороны спорят о том, что на самом деле означает слово «звук». Точно также они могли бы спорить о том, красного или зелёного цвета одно конкретное яблоко.

Альберт:

— Микрофон моего компьютера может записать звук, даже когда рядом нет никого, кто мог бы его услышать, сохранить его в файл, и этот файл будет называться «звуковым». И то, что сохранено в файле — это последовательность вибраций воздуха, а не последовательность возбуждения нейронов в чьём-то мозгу. «Звук» — это последовательность вибраций.

Барри:

— Что, серьёзно? А давай посмотрим, что словарь скажет по этому поводу?

Альберт интуитивно чувствует, что у слова «звук» есть смысл, и этот смысл — акустические вибрации. А ещё он чувствует, что дерево, падающее в лесу, производит звук (а не становится причиной явления, попадающего в категорию «звук»).

Барри, в свою очередь, ощущает, что

звук.смысл == слуховые переживания

лес.звук == неверно

А не:

мойМозг.НайтиПонятие("звук") == понятие_СлуховоеПереживание

понятие_СлуховоеПереживание.совпадение(лес) == неверно

Хотя последнее гораздо ближе к тому, что на самом деле происходит. Однако, эволюция не готовила людей к этому знанию, во всяком случае, не больше, чем к инстинктивному знанию о том, что мозг состоит из нейронов.

Противоречащие друг другу интуитивные представления Альберта и Барри подливают масла в огонь дискуссии, уже дошедшей до того, что они спорят о том, что значит слово «звук». И им кажется, что они спорят о факте, не отличающемся от любого другого факта, и этот спор ничем не отличается от, например, спора, является ли небо голубым или зелёным.

Вы можете даже не заметить, что забрели совсем не туда, пока не попытаетесь исполнить рационалистский ритуал: предложить проверяемый эксперимент, результат которого зависит от фактов, о которых вы так горячо спорите…

Аргумент к традиционному пониманию

Элиезер Юдковский

«Стандартный спор об определениях» иногда содержит примерно такой фрагмент:

Альберт:

— Предположим, я оставил в лесу микрофон и записал последовательность акустических вибраций от падающего дерева. Если я проиграю кому-нибудь запись, они скажут, что на записи «звук». Традиционно это слово понимается именно так! И не надо тут выдумывать всякие ненормальные определения!

Барри:

— Во-первых, я могу определять значение слова так, как мне угодно, главное, что я использую его последовательно. Во-вторых, значение, которое я в него вкладываю, есть в словаре. В-третьих, кто дал вам право решать, какое понимание слова соответствует традиции, а какое — нет?

Само понятие традиционного понимания слова всплывает не во всех спорах об определениях. По-моему, чаще всего люди берут в руки словарь, потому что считают, что у слов есть смысл и что словарь прилежно фиксирует, какой именно. Некоторые люди, судя по всему, даже верят, что словарь определяет смысл слов и составители словаря для этих людей — это законодатели языка. Может быть, это потому, что в начальной школе учитель — авторитет для них в то время — сказал им, что они должны подчиняться словарю? И с тех пор они считают, что это обязательное к исполнению правило?

Составители словарей читают то, что пишут другие люди, и фиксируют, что эти слова, судя по всему, означают. Они — историки. Оксфордский словарь может исчерпывающе описывать лексику английского языка, но он не имеет силы закона.

Но разве не существует социального императива, предписывающего нам использовать слова в том смысле, в котором они обычно понимаются? Разве наша человеческая телепатия, наша драгоценная сила языка, не требует всеобщей слаженности усилий? Быть может, нам добровольно следует относиться к редакторам словарей, как к верховным судьям, — даже если они предпочитают считать себя историками, — просто чтобы поддерживать молчаливое соглашение, от которого зависит вся речь.

Словосочетание «авторитетный словарь» некорректно почти во всех случаях. Как пример исключения можно упомянуть «Официальный словарь терминов стандартов IEEE» [«Официальный словарь» в этом названии в оригинале тоже пишется как «authoritative dictionary» — «авторитетный словарь». — Прим.перев.] Членам IEEE необходимо достигать чёткого соглашения о терминах и определениях, они решают вопросы голосованием, и потому «Официальный словарь терминов стандартов IEEE» - это настоящий закон, авторитет которого поддерживается авторитетом IEEE.

В отличии от IEEE, в обычной жизни язык возникает не в результате обдуманного соглашения. Скорее, он больше похож на инфекцию — кто-то придумывает слово, а потом оно растворяется в культуре. (Кто-нибудь мог бы вспомнить слово «мем», предложенное Ричардом Докинзом тридцать лет назад. Но вы и так уже поняли, о чём я тут пишу. Если же нет, можете воспользоваться Гуглом и тоже заразиться этим словом.)

И тем не менее, как показывает пример IEEE, соглашение относительно используемого языка тоже может быть совместно созданным общественным благом. Если мы желаем обменяться мыслями посредством языка, человеческой телепатии, то использование одного и того же слова для схожих концептов — в наших общих интересах. (Конечно, предпочтительней, если эти концепты будут схожи с точностью до предела разрешения нашего мысленного представления.) При этом у нас может не быть никаких общих интересов использовать какое-то конкретное слово.

С точки зрения общих интересов, не слишком важно, используем ли мы слово «ото» для обозначения звука или «звук» для обозначения ото. Однако, в наших общих интересах использовать одно и то же слово, каким бы оно ни было. (Предпочтительно, чтобы часто употребляемые слова были короткими, но не будем пока углубляться в теорию информации).

Использование одинаковых ярлыков для размышлений — тоже в общих интересах, но острой необходимости в этом нет. Так просто удобней. Если я знаю, что «ото» для вас означает «звук» (то есть, вы ассоциируете слово «ото» с концептом, который очень похож на тот, с которым я ассоциирую слово «звук»), то я могу сказать: «Если смять бумагу, она будет издавать хрустящий ото». Для этого мне придется приложить лишь чуть больше усилий.

Точно также, если вы скажете: «Какую трость создаёт упавший на пол шар для боулинга?» и я знаю, какой концепт у вас связан с фонемами «трость», то я смогу понять, что вы подразумевали. Возможно, мне придётся на некоторое время задуматься, потому что обычно слово «трость» у меня связано с другим концептом. Но я вполне неплохо всё пойму.

Желающих пообщаться людей трудно остановить! Даже оказавшись на необитаемом острове без общего языка, мы можем взять в руки палки и общаться с помощью изображений на песке.

Альберт, используя «аргумент к традиционному пониманию», подразумевает, что соглашение о языке является совместно установленным общественным благом. Тем не менее, единственная цель Альберта в этот момент — в полемических целях обвинить Барри в нарушении соглашения и угрозе общему благу. Спор о падающем дереве больше не сводится к ботанике или семантике. Теперь это политический спор. И Барри в ответ оспаривает право Альберта устанавливать определения.

Владеющий навыком «ухватить задачу» рационалист заметит, что спорщики сильно отклонились от темы разговора.

Уважаемый читатель, неужели это всё действительно необходимо? Ведь Альберт знает, что Барри подразумевает под «звуком». Барри знает, что Альберт подразумевает под «звуком». Оба они знают о словосочетаниях «акустические вибрации» и «слуховые переживания», и каждое из этих словосочетаний у обоих связано с одним и тем же концептом, и эти концепты, в свою очередь, описывают происходящие в лесу события без каких-либо двусмысленностей. Если бы Альберт и Барри попали на необитаемый остров и попытались бы обменяться информацией, у них не возникло бы проблем.

Метод ведения дискуссии, при котором обе стороны знают, что хочет сказать оппонент, и одновременно обвиняют друг друга в предательстве общего блага (которое состоит в отказе от «традиционного понимания»), очевидно, не слишком эффективен для коммуникации. А ведь весь смысл одинакового использования одинаковых слов состоит именно в том, чтобы успешно передавать информацию.

Так зачем же спорить о значении слов? Если проблема заключается лишь в конфликте имён, который разросся до невиданных масштабов, если речь только о том, что два разных понятия оказались названы одним словом, то обеим сторонам нужно лишь придумать два новых слова и последовательно их использовать.

Однако, процессу классификации часто сопутствуют скрытые умозаключения и замаскированные вопросыАтеизм — это «религия»? Если кто-то доказывает, что в атеизме используются рассуждения, схожие с теми, что используются в иудаизме, или что атеизм провоцирует насилие в таких же количествах, что и ислам, то у этого человека есть очевидный мотив запихать всё, что ему кажется общим, в размытое понятие «веры».

Или рассмотрим спор о том, должны ли «чёрные» и «белые» принадлежать к одной категории «люди». Здесь нет смысла придумывать два новых слова, ведь обсуждается именно идея, что между ними с точки зрения морали не следует проводить границу.

Однако, когда решается эмпирический или моральный вопрос, апеллировать к традиционному пониманию слова уже нельзя.

Если мы решаем, как объединять схожие объекты, чтобы потом получить некий вывод, то наш итоговый эмпирический ответ будет зависеть от того, как и что мы объединили. А это означает, что определения могут быть неверными. На основании разных определений мы сделаем разные предсказания. И нельзя голосованием решить, какое из них правильное.

Если для какого-то эмпирического вывода вам нужно понять, стоит ли объединять в одну группу атеизм и религии с верой в сверхъестественное, то вы не найдете ответ в словаре.

И если вы хотите понять, являются ли чернокожие людьми, вы не найдете ответ в словаре.

Ведь если все будут верить, что красная точка на ночном небе — это Марс, Бог Войны, словарь будет определять «Марс», как «Бог Войны». Если все будут верить, что огонь — это высвобождение флогистона, то словарь и будет определять «огонь» как «высвобождение флогистона».

Использование слов — это своего рода искусство. Даже когда определения не являются в буквальном смысле истинными или ложными, они могут быть более умными или более дурацкими. Составители словарей всего лишь историки, описывающие, как слова употреблялись в прошлом. Если вы будете смотреть на них, как на верховных судей, определяющих смыслы слов, это привяжет вас к мудрости прошлого и лишит возможности стать лучше.

Однако, отступив от мудрости прошлого, постарайтесь убедиться, что люди смогут догадаться, о чём вы плывёте.

Пустые ярлыки

Элиезер Юдковский

Давайте рассмотрим (да, опять) аристотелевскую идею категорий. Предположим, у нас есть объект со свойствами A, B, C, D, и E (ну или по крайней мере он выглядит похожим на Е).

Фред: Ты имеешь ввиду вон ту штуку синего цвета, круглую, пушистую и…

Я: В рамках аристотелевской логики конкретные свойства или их названия не важны. Поэтому я просто использую буквы.

Далее, я выдумываю аристотелевскую категорию «зава», описывающую все те и только те объекты, у которых есть свойства A, C, и D.

Я: У объекта 1 есть свойства зава, В и Е.

Фред: А еще он синий, то есть А, так ведь?

Я: Когда я говорю, что у него есть свойство зава, это подразумевается.

Фред: Да, но я все же хочу, чтобы ты упомянул это в явной форме.

Я: Хорошо. У объекта 1 есть свойства А, В, зава и Е.

Теперь я ввожу новое слово «юки», которое описывает те и только те объекты, которые обладают свойствами В и Е. И слово «зиппо», описывающее те и только те объекты, которые обладают свойством Е, но не свойством D.

Я: Объект 1 — зава и юки, но не зиппо.

Фред: Подожди, он ведь светится? Я имею ввиду — он же Е?

Я: Да. С учетом имеющейся информации, иначе и быть не может.

Фред: Я бы предпочёл, чтобы ты проговаривал такие вещи.

Я: Ладно. Объект 1 — А, зава, В, юки, C, D, E, но не зиппо.

Фред: Потрясающе! И это все можно понять, просто посмотрев на объект?

Впечатляет, правда? Давайте введем больше слов. «Боло» — А, С и юки. «Мун» — А, С и зиппо. И «мерлакдониан» — боло и мун.

Кажется бессмысленно запутанным? Я тоже так думаю. Давайте заменим ярлыки на определения.

«Зава, В и Е» превращается в [A, C, D], B, E.

«Боло и А» превращается в [A, C, [B, E]], A.

«Мерлакдониан» превращается в [A, C, [B, E]], [A, C, [E, ~D]].

Важно помнить: аристотелевская идея категорий подразумевает, что [A, C, D] — это вся информация о «зава». Я могу не только использовать любой ярлык, но и прекрасно обойдусь совсем без ярлыков — правила, регулирующие аристотелевские классы, замечательно работают и для структур вроде [A, C, D]. Использование ярлыка «зава» или какого-либо другого нужно лишь для нашего удобства (или неудобства), а для правил никакой разницы нет.

Предположим, что «человек» определяется как «двуногое смертное существо без перьев». В таком случае классический силлогизм будет выглядеть так:

Все [смертные, ~оперенные, двуногие] смертны.

Сократ — [смертный, ~оперенный, двуногий].

Следовательно, Сократ смертен.

Теперь этот приём выглядит не так впечатляюще, не правда ли?

Ярлыки здесь скрывают посылки, и благодаря этому создаётся иллюзия, что мы получили какой-то нетривиальный вывод. Если мы заменяем ярлыки определениями, то мы видим эту иллюзию и понимаем эмпирическую бесполезность тавтологии. Нельзя утверждать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

Существует идея (которую, как вы, наверное, заметили, я ненавижу): «вы можете определять слова как вам угодно». Эта идея происходит от аристотелевских категорий. Действительно, если вы будете строго и безошибочно следовать правилам Аристотеля - люди никогда так не делают, Аристотель прекрасно знал, что Сократ был человеком, хотя из его правил это никак не вытекало, - но если какая-то воображаемая нечеловеческая сущность будет строго следовать этим правилам, она никогда не придёт к противоречию. Она вообще ни к чему не придёт, она тоже не сможет сказать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

В рамках аристотелевской системы ярлыки произвольны. Однако, я хочу сказать не столько об этом, сколько о том, что аристотелевская система замечательно работает и вовсе без ярлыков. Она выдаёт точно такой же поток тавтологий, просто эти тавтологии выглядят гораздо менее впечатляюще. Ярлыки нужны лишь для создания иллюзии нетривиального вывода.

Поэтому, если вы желаете ввести какую-то поговорку в аристотелевском духе, то она должна звучать не как «Я могу определять слова как захочу» или «Процесс определения слова не имеет последствий», а скорее как «Определения не нуждаются в словах».

Табуируй свои слова

Элиезер Юдковский

Цель игры «Табу» от Hasbro — помочь партнёру угадать слово, написанное на карточке, при этом не произнося ни этого слова, ни ещё пяти дополнительных слов, написанных на карточке. Например, тебе может понадобиться показать слово «бейсбол», не используя слов «спорт», «бита», «удар», «подача», «база» (и, разумеется, «бейсбол»).

Когда я узнал о существовании этой игры, я удивился. Почему бы просто не сказать ««искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»?

С другой стороны, эти правила были для меня не в новинку. Я развивал соответствующие навыки уже несколько лет. Правда, с другой целью.

Вчера мы видели, как подстановка определений вместо соответствующих слов позволяет выявить эмпирическую непродуктивность классического аристотелевского силлогизма:

Все [смертные, ~пернатые, двуногие] смертны.

Сократ — [смертный, ~пернатый, двуногий].

Следовательно, Сократ смертен.

Однако, этот принцип можно применять более широко:

— Дерево, падающее в пустынном лесу, создаёт звук — заявляет Альберт.

— Дерево, падающее в пустынном лесу, не создаёт звука — заявляет Барри.

Поскольку один говорит «звук», а другой «~звук», то мы явно нашли противоречие, верно? Но представим, что было бы, если бы они разыменовали свои указатели перед тем, как говорить:

— Дерево, падающее в пустынном лесу, удовлетворяет [тест на принадлежность: это событие порождает акустические вибрации] — заявляет Альберт.

— Дерево, падающее в пустынном лесу, не удовлетворяет [тест на принадлежность: это событие порождает слуховые впечатления] — заявляет Барри.

Теперь кажущееся столкновение исчезло, и для этого было достаточно всего лишь запретить использовать слово «звук». В случае, если разногласия возникнут вокруг термина «акустические вибрации», можно сыграть в «табу» ещё раз и сказать «волны давления, передающиеся через физический объект-проводник»; если понадобится, можно пропустить через «табу» слово «волна» и заменить его на волновое уравнение. Если затабуировать «слуховые впечатления», то можно получить «форма обработки сенсорной информации в человеческом мозге, которая получает на вход временной ряд преобразованных частот».

Но представь, с другой стороны, следующий спор:

— Сократ входит в категорию [тест на принадлежность: эта личность погибнет, выпив цикуты] — заявляет Альберт.

— Сократ входит в категорию [тест на принадлежность: эта личность не погибнет, выпив цикуты] — заявляет Барри.

В этот раз произошло существенное столкновение ожиданий Барри и Альберта: они ожидают разных событий после того, как Сократ выпьет чашу цикуты. Однако, если они описали свои категории, используя слово «человек», то оба могут не заметить этого несогласия.

Ответ на вопрос «Совпадают ли мнения Альберта и Барри?» сильно зависит от того, за чем именно наблюдать в диалоге: за ярлыками (Альберт говорит «звук», Барри говорит «не звук»), или за испытаниями (Альберт предложил тест на акустические вибрации, Барри предложил тест на слуховые впечатления).

Собери вместе группу самозваных футурологов и спроси у них, будет ли у нас искусственный интеллект через тридцать лет. Я думаю, что по крайней мере половина из них ответит утвердительно. Если далее ничего не предпринимать, они пожмут друг другу руки и скажут много приятных слов про этот выявленный только что консенсус. Однако стоит лишь наложить табу на термин «искусственный интеллект» (и на слова «компьютеры», «думать» и подобное), а после поинтересоваться, что они ожидают увидеть — и, вполне возможно, ты обнаружишь полноценный конфликт ожиданий, скрывавшийся под бесцветным привычным словом. С другим небезызвестным термином(English) дела обстоят примерно так же.

Иллюзию единства различных религий можно рассеять, наложив табу на слово «Бог» и попросив верующих объяснить, в чём именно состоят их убеждения (или наложив табу на слово «вера» и попросив верующих объяснить, почему они носят свои убеждения). Правда, большинство не сможет что-либо ответить вообще: большая часть их убеждений — всего лишь провозглашения, и невозможно получить разъяснения терминов, увеличивая масштаб аудиозаписи.

Если ты столкнулся с философскими трудностями, то первая линия обороны заключается не в составлении определений спорных терминов, но в попытке мыслить, не используя этих терминов вообще. И не используя их коротких синонимов. И случайно не изобрети при этом какого-нибудь нового слова, в которое будет вложен тот же самый чёрный ящик. Опиши внешние наблюдения и внутренние механизмы; недостаточно просто показать на рукоять, чем бы ни являлась эта рукоять.

Альберт говорит, что у людей есть «свобода воли». Барри утверждает, что у людей нет «свободы воли». Ну что же, это несогласие явно породит заметный спор. Большинство философов дали бы Альберту и Барри совет попробовать в точности определить, что именно они называют «свободой воли»; и оба спорщика, рассуждая на эту тему, явно смогут подготовить объёмный философский трактат в качестве побочного продукта. Я дал бы Альберту и Барри совет описать, что именно за качество имеют (или не имеют) люди, вообще не используя в этом описании фразы «свобода воли» (а также слов «выбирать», «действовать», «решать», «предопределено», «ответственность» или какие-либо их синонимы).

Это один из нестандартных методов в моём наборе инструментов, и, по моему скромному мнению, этот метод работает намного лучше стандартного. Он и более трудоёмок в использовании; как известно, бесплатный сыр бывает только в мышеловке.

Замени символ на суть

Элиезер Юдковский

Что нужно, чтобы (как в предыдущем эссе) воспринимать «бейсбол» как «искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»? Что нужно, чтобы играть в рационалистскую версию «Табу», цель которой не вспомнить синоним, которого нет на карточке, а придумать, как описать явление, не используя привычных концептов в качестве костылей?

Нужно визуализировать. Заставлять свой внутренний взор воспринимать детали так, будто вы их видите впервые. Необходимо смотреть cвежим взглядом.

Это «бита»? Нет, это длинный, округлый, конусообразный, деревянный стержень, сужающийся у одного конца так, чтобы человек мог ухватить его и махнуть им.

Это «мяч»? Нет, это покрытый кожей сфероид, покрытый симметричным узором стежков, твердый, но не как металл. Его можно взять в руку и бросить, или ударить деревянным стрежнем, или поймать.

Это «базы»? Нет, это фиксированные позиции на игровом поле, которые игроки стараются достигнуть как можно быстрей из-за их «безопасности» в рамках искусственных правил игры.

Больше всего свежему взгляду мешает то, что у вашего разума уже есть готовые короткие обобщения в виде удобных простых концептов. Вроде «бейсбола», «биты», «базы». Нужны сознательные усилия, чтобы не дать разуму соскользнуть на привычную дорожку, легкий путь наименьшего сопротивления, где мелкое невыразительное слово врывается и смывает все детали, которые вы стараетесь увидеть. Слово само по себе может нести в себе разрушительную силу ярлыков и яд запасённых мыслей.

Табуирование — способность описывать без использования привычных указателей/ярлыков/инструментов — одна из фундаментальных способностей рационалиста. Она находится на том же базовом уровне, что и привычка постоянно задавать вопросы: «Почему?» или «Какие ожидания порождает это убеждение?».

Это искусство тесно связано с:

Прагматизмом. Табуирование лучше помогает сосредоточить внимание на ожиданиях, чем обычное проговаривание убеждений.

Редукционизмом. Табуирование заставляет вас обращать внимание на то, как устроен рассматриваемый объект или явление на более низком уровне. Вы обращаете внимание на части, а не скользите взглядом по целому.

Умением «ухватить задачу». Слова часто отвлекают от вопроса, который вы хотите задать на самом деле.

Избеганием запасённых мыслей, которые заполняют разум при использовании привычных слов. Табуирование привычных слов позволяет с этим справиться.

С правилом писателей «показывай, а не рассказывай», уважаемому рационалистами.

И умением не терять из виду исходную цель.

Как табуирование помогает не терять из виду цель?

Из «Потерянных целей»:

В то самое время, когда вы читаете этот текст, в каком-нибудь университете за партой сидит студент или студентка, и усердно изучает какой-то материал, который он или она вообще не собираются когда-нибудь применять и который им вовсе не интересен. Они хотят получить высокооплачиваемую работу, а для нее нужна «корочка», а для получения «корочки» надо получить степень магистра, для получения которой сначала надо получить степень бакалавра. А университет, в котором можно получить эту степень, требует пройти курс по узорам вышивания двенадцатого века. Поэтому студенты прилежно изучают эти узоры. Они намерены про них забыть сразу же после экзамена, однако всё равно тратят довольно много усилий, потому что им нужна «корочка».

Зачем вы ходите в «школу»? Чтобы получить «образование» и в конце концов «степень». Забудьте слова в кавычках и их синонимы, представьте все детали из реального мира, и, скорее всего, вы заметите, что «школа», судя по всему, — это совместное сидение в помещении вместе со скучающими подростками и выслушивание материала, который вы и так знаете. «Степень» окажется бумагой с какими-то написанными словами, а «образование» — забыванием материала сразу же после экзамена.

Классификация часто приводит к сомнительным обобщениям. Например, те, кто действительно чему-то учится в классе попадают в категорию «получающие образование», поэтому «получение образования» считается чем-то хорошим. Однако, потом любой, кто оказывается в колледже, оказывается в категории «получающий образование», независимо от того, учится он чему-то или нет.

Ученики, которые понимают математику, прекрасно справятся с тестами. Однако, если поставить школе цель готовить людей, которые получают в тестах высокие баллы, ученики потратят всё своё время на подготовку к тестам. Если ваша цель попадёт в неправильную мысленную категорию, это может привести к появлению такого же неправильного стимула. Вы хотите учиться, поэтому вам нужно «образование», и пока вы занимаетесь чем-то, что попадает в категорию «образование», вы можете не замечать, учитесь вы или нет. Вы также можете заметить, что вы не узнаёте ничего нового, но не осознать, что вы уже забыли про изначальную цель, потому что вы «получаете образование», а ваша цель у вас в голове описана именно так.

Категоризировать — выбрасывать информацию. Если вам скажут, что упавшее дерево издало «звук», вы не узнаете, что это был за звук — вы не слышали, как это дерево падало. Если монета выпала «орлом», вы не знаете, как она оказалась ориентированной на плоскости. Синяя яйцеобразная штука может быть «сияйцом», но какого именно оттенка синего и какой именно формы она? Классификацию используют для отбрасывания не релевантной информации, для отделения золота от песка, но часто получается, что привычная классификация отбрасывает и релевантную информацию тоже. И если вы столкнулись с такой проблемой, первым и лучшим решением будет сыграть в рациональное «табу».

Например, «сыграть в „табу“ » — само по себе скользкое обобщение. Версия Хасбро не то же самое, что и версия рационалистов: для того, чтобы исключить мышление привычными словами недостаточно исключить лишь пять синонимов, написанных на карточке. «Табу» рационалистов оказывается внутри границ концепта «игра в „табу“ », но не все, что находится внутри этих границ, позволяет посмотреть на мир свежим взглядом. Если вы просто будете «играть в „табу“ ради свежего взгляда», то начнёте думать, что все, что считается игрой в «табу», может считаться свежим взглядом.

«Табу» по версии рационалистов — это не игра. Вы не сможете здесь схитрить или обойти правила. Вам придется добровольно ограничить себя: перестать использовать и те синонимы, которых нет на карточке. Вам так же придется останавливать себя, когда вы попытаетесь придумать новое простое слово или фразу, которые будут играть ту же роль умственных костылей, что и старые привычные слова. Вы стараетесь увидеть больше деталей на карте, а не переименовывать города, разыменовать указатель, а не ввести новый, увидеть события такими, какие они есть, а не переписать клише о них другими словами.

Рассмотрев задачу во всех деталях, вы сможете увидеть потерянную цель. Чем вы на самом деле занимаетесь, играя в «табу»? Для чего нужна каждая из частей процесса?

Если вы посмотрите на ваши действия, как будто вы смотрите на них первый раз, то сможете увидеть свежим взглядом и ваши цели. Если вы сможете посмотреть на себя по-новому, то увидите, что вы занимаетесь чем-то, что вас вряд ли привлекло бы, если бы не успело войти в привычку.

Цель теряется из виду, как только суть (обучение, знания, здоровье) заменяется на символ (степень, тестовые баллы, медобслуживание). Чтобы заново найти потерянную цель или избавиться от скользкого обобщения, вам нужно сделать наоборот.

Замените символ на суть. Замените знак на то, что он обозначает. Замените свойство проверкой принадлежности. Замените слово на его смысл. Замените ярлык на концепт. Замените конспект на детали. Замените вспомогательный вопрос на основной. Разыменуйте указатель. Перейдите на нижний уровень организации. Смоделируйте процесс в уме, а не просто произнесите его название. Увеличьте масштаб на вашей карте.

«Простая истина» получилась благодаря табуированию слова «истина». Я описал смысл этого слова на более низком уровне без привлечения слов вроде: «точный», «корректный», «представляет», «отражает», «семантика», «убеждение», «знание», «карта», «настоящий». (Помните, цель не в том, чтобы играть в «табу» — слово «истинный» появлялось в том тексте, но не для того, чтобы определить истину. В игре «Табу» от Хасбро это считалось бы ошибкой, но на самом деле мы не играем в эту игру. Спрашивайте себя, выполнил ли свое назначение документ, а не написали ли его в соответствии с правилами.)

Правило Байеса описывает «свидетельство» с помощью чистой математики, без использования слов вроде «подразумевает», «означает», «поддерживает», «доказывает», или «оправдывает». Если вы попробуете определить подобные философские термины, вы лишь начнёте ходить по кругу.

И есть слово, которое табуировать важнее всего. Я неоднократно предупреждал, что им не стоит злоупотреблять. В некоторых случаях даже следует избегать этого понятия. И теперь вы знаете, почему. Размышлять об этом предмете вполне можно. Но истинное его понимание определяется вашей способностью описать, что вы делаете и почему — без использования этого слова и его синонимов.

Ошибки сжатия

Элиезер Юдковский

Есть известное высказывание: «Карта не есть территория». Единственная точная на 100% карта Калифорнии в натуральную величину с сохранением всех деталей на уровне атомов — это сама Калифорния. Однако в Калифорнии есть некоторые важные повторяющиеся детали — например, шоссе, — которые можно описать, используя значительно меньше информации (не говоря уже о физической материи для хранения этой информации), чем потребовалось бы для описания каждого атома в пределах границ штата. Поэтому есть и другое высказывание: «Карта не есть территория, но территорию нельзя свернуть и положить в бардачок».

На бумажной карте Калифорнии в масштабе 10 километров к 1 сантиметру ( миллион к одному) нет места для того, чтобы показать точное расположение двух опавших листьев, лежащих на тротуаре в сантиметре друг от друга. Даже если карта попытается показать листья, листья будут отображаться одной и той же точкой на карте. Точнее, карте потребуется разрешение в 10 нанометров, что гораздо меньше доступного для подавляющего большинства книжных принтеров, не говоря уже о человеческих глазах.

Реальность очень велика. Даже видимая для нас часть реальности — это миллиарды световых лет. Но ваша карта реальности записана на нескольких фунтах нейронов, упакованных так, чтобы поместиться внутри черепной коробки. Не хочу никого обидеть, но по сравнению с реальностью ваш череп — очень крохотный.

И поэтому совершенно неизбежно некоторые объекты, которые в реальности различны, оказываются на вашей карте сжатыми в одну точку.

Но изнутри это ощущается не как: «Ого, посмотрите-ка, я сжимаю два объекта в одну точку на моей карте». Это ощущается, словно существует лишь один объект и вы непосредственно его и наблюдаете.

Достаточно маленький ребенок или достаточно древний греческий философ не знают про такие штуки, как «акустические вибрации» или «слуховые переживания». И, когда дерево упадет, будет лишь одно — единственное событие, называемое «звуком».

Осознание того, что точка на вашей карте скрывает два различных явления, по сути — научная задача. Огромная сложная научная задача.

Иногда ошибки сжатия случаются из-за путаницы между двумя одинаковыми явлениями, называющихся одним словом. Вы знаете про акустические вибрации и про работу слуховых отделов мозга, но называете их одним словом — «звук», и запутываете себя. Но более опасная ошибка сжатия возникает в тех случаях, когда вы даже не подозреваете, что в вопросе могут быть замешаны две разные сущности. В вашей голове есть только одна папка, обозначенная «звук», и каждая мысль про «звук» попадает в эту единственную папку. Это не то же самое, что иметь две папки с одним и тем же названием. По умолчанию карта сжата — зачем мозгу создавать две ментальные коробки, когда хватает и одной?

Или вообразите себе книгу детективного жанра, в которой главный герой должен догадаться, что у подозреваемой есть сестра-близнец. Обычная детективная работа героя сведётся лишь к тому, что он заметит, что Кэрол носит красное, что у неё чёрные волосы, что у неё кожаные сандалии. Однако, все эти факты будут о Кэрол. Достаточно легко усомниться в отдельных фактах, вроде НоситКрасное(Кэрол) или ТемныеВолосы(Кэрол). Может ТемныеВолосы(Кэрол) — ложно. Может Кэрол красит волосы. Может быть Шатенка(Кэрол). Но детективу потребуется немало смекалки, чтобы догадаться, что НоситКрасное(Кэрол) и ТемныеВолосы(Кэрол) — тот самый файл «Кэрол» в который попадают все наблюдения, связанные с Кэрол, — должен быть разбит на два отдельных файла. Может быть существуют две Кэрол, и та Кэрол, что носит красное, и та, что с темными волосами — две разные женщины.

Именно так выглядит создание двух различных коробок. И это зачастую требует гениального озарения. Легче ставить под сомнение имеющиеся у себя факты, чем определяющую их онтологию.

В отличие от бумажной карты Калифорнии карта реальности, которая содержится в человеческом мозге, способна динамически расширятся, когда мы вводим более детальные описания объектов. Но изнутри это ощущается не столько как увеличение масштаба, сколько как деление невидимого атома — мы берём один предмет (он ощущается как один) и делим его на два разных.

Часто в результате появляются новые слова, например, «акустические вибрации» и «слуховые переживания» вместо просто «звук». По-видимому, где-то при появлении нового названия и создаётся новая ментальная коробка. Детектив, скорее всего, будет называть одну из подозреваемых «Кэрол-2» или «другая Кэрол», когда догадается, что их двое.

Но расширить собственную карту сложней, чем выдумать названия для новых городов. Необходимо озарение научного уровня, чтобы понять, что такие штуки, как акустические вибрации или слуховые переживания, вообще существуют.

В качестве более современных примеров можно взять слова «интеллект» или «сознание». Нередко встречаются новостные заголовки, кричащие, что ученые «объяснили сознание», просто потому что команда неврологов исследовала электрический ритм в сорок герц, который может быть связан с кросс-модальным переносом сенсорной информации, или ретикулярную активирующую систему, ответственную за бодрствование. Это, конечно, крайности — обычно ошибки менее очевидны, но они одного поля ягоды. Наиболее интересные части «сознания» это рефлективность, самосознание, понимание того, что человек, которого я вижу в отражении зеркала это «я». Это и трудная проблема субъективного опыта, выделенная Чалмерсом. Мы так же обозначаем словом «сознание» и разницу между сном и бодрствованием. Но это разные концепты с одинаковым именем, и соответствующие им явления являются отдельными научными загадками. Можно объяснить бодрствование, не объясняя при этом рефлективность или субъективность.

Ошибки сжатия так же лежат в основе философской техники «заманить и подменить» — вы рассуждаете о сознании, определяя его через способность думать о мышлении, а затем применяете выводы для другого свойства сознания, вроде субъективности. Разумеется, эти явления могут быть одним и тем же, но, чтобы это понять по-настоящему, нужно сначала эти понятия разделить и только потом, благодаря какому-то гениальному озарению, объединить снова.

Расширение карты, как уже говорил — научный вызов. Это часть научного искусства, умения расследовать, как устроен мир. И, разумеется, вам не удастся решить научную задачу, обратившись к словарю, и вы не научитесь исследовать мир с помощью техники «я могу определять слова как мне захочется». Если некий единый объект вызывает у вас замешательство своими многообразными и внутренне противоречивыми свойствами, вполне возможно, что проблема в карте, которая сжимает слишком много в одну точку. В таком случае полезно попробовать разделить их и создать новые ментальные коробки. Это не то же самое, что дать определение единому объекту. Скорее этот процесс запускается, когда вы разбираетесь, как говорить об объекте, не используя привычные ментальные костыли-понятия.

Вот и получается, что увеличения детализации собственной карты связано с рационалистской версией игры Табу и с мудрым использованием слов. Ведь слова часто соответствуют точкам на нашей карте: ярлыкам, которыми мы помечаем наши суждения, и ментальным коробкам, куда мы складываем информацию. Отказ от использования некоего слова — или наоборот создание новых слов — зачастую необходим для расширения карты.

У классификации есть последствия

Элиезер Юдковский

Ваш геном содержит множество генетических вариаций и мутаций. Скорее всего, вы знаете лишь о некоторых из них. Возможно, вы знаете про аллели, которые определяют вашу группу крови: присутствие или отсутствие антигенов А, В и резус-фактора. Если вам будут переливать кровь, содержащую антиген, которого у вас нет, это приведет к аллергической реакции. Этот факт открыл Карл Ландштейнер (вместе со способом определять совместимость групп крови), и в результате стало возможным перелить кровь пациенту, не убив его (Нобелевская премия по медицине 1930 года). Кроме того, если женщина с группой крови А будет беременна ребенком с группой А+, то у нее может развиться аллергия на антиген +. И если у нее будет еще один ребенок с А+, то ей придётся принимать противоаллергенные препараты в ходе беременности или этот ребёнок окажется в опасности. Поэтому люди и узнают про группы друг у друга, прежде чем жениться.

О, и чуть не забыл: люди с группой А — серьезные и изобретательные, а с группой В — сумасбродные и веселые. Люди с группой О — кооперативные и дружелюбные, а с группой АВ — спокойные и владеющие собой. (Можно было бы подумать, что О будет обратным А и В, а АВ будет просто А плюс В, но нет…) Вся эта информация взята из японской теории личности, основанной на группе крови.

Судя по всему, группа крови играет в Японии ту же роль, что и астрологические знаки на Западе. Вплоть до «гороскопов по группе крови» в ежедневных газетах.

Всё это особенно странно, поскольку группы крови никогда не считались чем-то загадочным. Ни в Японии, ни где-то в другом месте. Мы и знаем про них только благодаря Карлу Ландштейнеру. Ни таинственный знахарь, ни почтенный чародей не говорили ни слова про группы крови. Никакие древние пыльные свитки не укутывают упомянутую ошибку аурой старины. Если специалисты-медики завтра признаются, что эти группы были лишь грандиозной мистификацией, то у нас, мирян, не будет ни малейшего свидетельства, доступного невооруженному глазу, чтобы опровергнуть их слова.

Между группами крови не было войн. Не было даже политических конфликтов. Должно быть, стереотипы возникли исключительно из-за существования ярлыков.

Разумеется, кто-то неминуемо скажет, что это история о классификации людей. Случается ли что-нибудь подобное при классификации растений, камней или офисной мебели? Я такого эксперимента не припоминаю, что, конечно, не означает, что его не проводили. (Я ожидаю, что самое сложное при проведении такого эксперимента — создать такой протокол опроса, который минимизировал бы шанс наталкивания испытуемого на мысль, что ярлык очень важен просто потому, что об этом ярлыке его и спрашивают.) И хотя я не собираюсь основываться на воображаемом свидетельстве, я бы предсказал, что такой эксперимент показал бы положительный результат: я бы ожидал, что само по себе введение ярлыков влияет на всё — по крайней мере в умах людей.

Здесь можно вспомнить про кластеры подобия: если вы нарисовали границу вокруг некоторой группы объектов, ваш разум пытается найти сходство между объектами группы. И, к сожалению, человеческий детектор закономерностей иногда находит закономерности даже там, где их нет. Немного избирательной памяти, и слабая отрицательная корреляция может быть принята за сильную положительную.

Можно вспомнить про нейронные алгоритмы: создать имя для набора предметов — все равно что выделить некоторую подсеть для поиска закономерностей между ними.

Можно вспомнить про ошибки сжатия: вещи с одинаковым названием вполне могут очутиться в одной ментальной папке и слиться в одну точку на карте.

А можно вспомнить про безграничную человеческую способность высасывать из пальца любую чепуху и в неё верить. Просто потому что никто не может доказать, что это на самом деле чепуха. Как только вы ввели имя для категории — можно начинать выдумывать. Штука с выбранным именем не обязана быть наблюдаемой. Она не обязана существовать. Она даже не обязана быть логичной.

И нет, такое происходит не только в Японии. Здесь, на Западе, книга под названием «Правильная еда для твоей группы крови» [В оригинале «Eat Right 4 Your Type» - Прим.перев.] стала бестселлером.

Проведение границы в пространстве вещей — совсем небезобидное действие. Возможно, какой-нибудь более правильно спроектированный байесовский ИИ будет в состоянии рассматривать произвольный класс и это не будет влиять на его поведение. Но у нас, людей, такого варианта нет. Для человеческого мозга категории не статичны — если вы о них думаете, они влияют на ваш разум. И это еще одна причина, почему не стоит считать, что вы можете определять слова как вам захочется.

Контрабанда характеристик

Элиезер Юдковский

Вчера я рассказал, что в Японии типы крови заняли место астрологии - если твоя кровь 4 группы, например, ты должен быть «спокойным и сдержанным».

Предположим, мы решили ввести новое слово «виггин» для обозначения людей с зелеными глазами и темными волосами…

Зеленоглазый и темноволосый мужчина вошел в ресторан.

«Ха» сказал Дэнни, сидя за столиком неподалеку «Ты это видела? Виггин только что зашел в зал. Чертовы виггины. Все они преступники, если хочешь знать”.

Его сестра Эрда вздохнула «Ты ведь не видел его совершающим преступления, так ведь, Дэнни?»

«Мне и не нужно» ответил Дэнни, достав словарь — «Смотри, в Оксфордском Словаре Английского Языка так и написано «Виггин (1) Человек с зеленым глазами и черными волосами» У него черные волосы и зеленые глаза — он виггин. Ты ведь не станешь спорить в Оксфордским словарем? По определению, черноволосый и зеленоглазый человек — виггин»

«Но ты в открытую назвал его виггином» сказала Эрда. «Нехорошо так говорить о тех, кого ты совсем не знаешь. У тебя недостаточно свидетельств, чтобы утверждать, что он много кетчупа положит в свой бургер или что он в детстве запускал бельчат с помощью резинки»

«Но он же виггин». Терпеливо ответил Дэнни. «У него зеленые глаза и черные волосы, так? Вот увидишь, как только ему принесут заказанный бургер, он потянется за кетчупом”.

Человеческий разум переходит от наблюдаемых характеристик к выводимым посредством слов. В высказывании «Все люди смертны, Сократ человек, следовательно, Сократ смертен» наблюдаемыми характеристиками являются одежда Сократа, речь, используемые им инструменты, человеческая форма тела; классифицируется он как человек; выводимая характеристика — отравляемость болиголовом.

Разумеется, граница между «выводимыми» и «наблюдаемыми» характеристиками размыта. Если вы слышите, как кто-то говорит, то у этого существа, скорее всего, человеческая форма тела, при всех прочих равных. И, если вы видите человеческую фигуру в темноте, ceteris paribus — она может говорить.

И все же, некоторые характеристики в большей мере выводимые, чем наблюдаемые. Вы, скорее всего, сделаете вывод, что наблюдаемый вами объект — человек и поэтому сгорит, если его подвергнуть прямому взаимодействию с огнем, чем станете поджигать разные объекты для того, чтобы понять — горят люди или нет.

Если вы посмотрите определение слова «человек» в словаре, то, возможно, увидите там характеристики вроде «интеллект» или «двуногое без перьев», которые полезны для быстрого отделения того что является человеком от всего остального. При этом, в словаре не будет десятков тысяч других возможных человеческих характеристик вроде уязвимости перед болиголовом или сверхуверенности, которые можно вывести из того, что данный объект — человек. Почему так? Может быть, словари предназначены для указывания соответствия между ярлыком и кластером в пространстве вещей. Или вполне может быть, что крупные, видимые характеристики быстрей приходят на ум составителю словаря в силу своей заметности. Не уверен, насколько составители словарей осознают, что именно они делают.

Но кульминация наступает, когда Дэнни достает словарь и видит лишь бросающиеся в глаза признаки: зеленые глаза и черные волосы. Словарь не содержит список множества характеристик, которые ассоциируются с термином «виггин», вроде криминальных наклонностей, кулинарных пристрастий или досадных активностей в детстве.

Как же эти характеристики стали ассоциироваться с термином? Может был знаменитый виггин, продемонстрировавший их. Или может кто-то просто их выдумал и написал ставшие популярными книги («Виггин», «Беседы с виггином», «Воспитание маленьких виггинов», «Виггины в постели»). Может даже виггины в это верят теперь, и ведут себя соответствующим образом. Стоит лишь назвать группу людей «виггинами» и это слово начнет обрастать ассоциациями.

Однако, давайте вспомним «Притчу о болиголове» : если мы будем использовать определения логических классов, как метод определения слов, то мы не сможем установить, что Сократ — «человек», пока не пронаблюдаем его смерть. Когда кто-то апеллирует к словарю, он это делает, обычно, чтобы тайком привнести какие-то ассоциации, а не реально записанное определение.

В конце концов, если полный смысл слова «виггин» это «зеленоглазый и черноволосый человек», почему бы и не называть этих людей «зеленоглазым и черноволосыми»? И если вы интересуетесь, является ли данный человек любителем кетчупа, то почему бы не спросить об этом прямо «он любитель кетчупа?», вместо того, чтобы спрашивать «он виггин?» (прошу отметить замену символа на суть).

Но ведь для понимания настоящего вопроса придется поработать. Надо будет пронаблюдать, действительно ли виггин потянется за кетчупом. Или найти статистику о том, сколько зеленоглазых и черноволосых людей любят кетчуп. В любом случае, вам придется сделать что-то большее, чем сидение в вашем кресле с закрытыми глазами. Люди ленивы. Он предпочтут использовать аргумент «по определению», особенно если им кажется, что «слова можно определять, как захочется».

Но, разумеется, настоящая причина утверждать, что кто-то это «виггин» — в скрытой ассоциации, не записанной в словаре, и порождаемым ей чувстве.

Только представьте — Денни говорит: «Посмотри, у него черные волосы и зеленые глаза, он — виггин! В словаре так и сказано, следовательно, у него черные волосы. Попробуй поспорь с этим!»

Звучит не слишком впечатляюще, так ведь? Если бы суть аргумента действительно была отражена в словаре, если бы аргумент был логически валидным, то он ощущался бы пустым; не привносил ничего нового и не ставил бы вопросов.

Лишь контрабанда характеристики, которая прямо не записана в словаре, дает чувство победы при использовании аргумента «по определению».

Аргумент «по определению»

Элиезер Юдковский

«У этой ощипанной курицы две ноги и нет перьев, следовательно, по определению, она человек!»

Обычно, когда люди спорят про определения, они начинают с бросающихся в глаза или широко принятых характеристик, затем достают словарь и показывают, что эти характеристики соответствуют написанному в словаре определению; потом они делают вывод: «Следовательно, по определению, атеизм — это религия!»

Но бросающиеся в глаза или широко принятые характеристики редко являются настоящим предметом спора. Один лишь факт того, что кто-то видит наличие двух ног достаточно очевидной основой для вывода «Следовательно, по определению, Сократ — человек», свидетельствует о том, что двуногость не выступает конечной целью спора, ведь в противном случае оппонент бы заявил что-то вроде: «Да че ты говоришь, мы ведь об этом и спорим!»

Разумеется, есть правильный способ перехода от очевидных характеристик к не совсем очевидным. Вы вполне оправданно можете, увидев гуманоидную форму тела Сократа, предположить, что он уязвим для болиголова. Но этот вероятностный вывод не основывается на определении в словаре или традиционном понимании; он основывается на существовании во вселенной эмпирических кластеров подобных друг другу вещей.

Такая кластерная структура не изменится просто потому, что вы дадите слову другое определение. Даже если в словаре понятие «человек» будет определено как «все двуногие без перьев, кроме Сократа», то это не изменит степень подобия между Сократом и остальными двуногими без перьев существами.

Когда вы будете выстраивать аргументацию на основе кластерной структуры, вы скажете что-то вроде: «у Сократа две руки, две ноги, нос и язык, он говорит бегло на греческом, использует инструменты, проявляет все крупные и мелкие характеристики Homo sapiens (в то время, когда я наблюдал за ним); так что я предположу, что у него человеческая ДНК, человеческая биохимия, и что он так же уязвим для болиголова, как и другие Homo sapiens, для которых летальность болиголова была подтверждена клинически».

На что я мог бы ответить: «Но я видел, как Сократ разговаривал со знахарем, и думаю, что они собираются приготовить антидот. Так что я ожидаю, что Сократ, приняв болиголов, копыта не откинет. Он будет исключением для общего правила поведения объектов этого кластера. Они не принимали антидот, а он примет».

Как видите, тут уже нет смысла спорить о том, человек Сократ или нет. Разговор должен перейти на более детальный уровень, следует рассмотреть детали категории «человек», а именно — биохимию, и в данном случае, нейротоксичные эффекты кониина.

Вы, разумеется, можете продолжать настаивать на том, что «Сократ — человек и по определению смертен», но вы, на самом деле, лишь будете смазывать в одну точку все, что вы знаете о Сократе, кроме его человечности, как будто единственное верное предсказание может быть построено только на том, что мы ничего о Сократе не знаем, кроме того, что он человек.

Это все равно что настаивать на том, что вероятность выпадения орла или решки составляет 50%, потому что это «симметричная монета», после того, как вы ее подкинули и выпал орел. Это все равно что настаивать на том, что у Фродо десять пальцев, после того, как вы видели, что у него девять пальцев на руках. И это, естественно, некорректно с точки зрения байесовской эпистемологии — вы не можете отказаться от учета наблюдаемых свидетельств.

И вы не можете останавливаться на первой итерации классифицирования и продолжать делать выводы на ее основе, игнорируя остальную информацию.

Не каждое свидетельство, разумеется, окажет сильное влияние на вывод. Если я увижу, что у Сократа лишь девять пальцев, это не повлияет на мое ожидание наблюдать его смерть после приема болиголова, ведь я ожидаю, что потеря пальца не оказала сильного влияния на его биохимию. И это будет правдой независимо от того, что в словаре написано про количество пальцев. Правильный вывод основан на кластерной структуре окружающей среды и причинной структуре биологических процессов, а не на том, что решит написать составитель словаря. И уж тем более не на «традиционном понимании».

Как правило, если вы делаете вывод правильным, логически допустимым путем, вы просто можете сказать: «Содержащийся в болиголове алкалоид кониин вызывает мышечный паралич у людей, что приводит к смерти от удушья». Или еще проще: «Болиголов опасен для людей». Так выстраивается правильный аргумент.

Так в какой же ситуации может возникнуть желание усилить аргумент фразой «по определению»? (Например — «Люди, по определению, уязвимы для болиголова»). Ну разумеется, в случае высказанных оппонентом сомнений по поводу предполагаемой характеристики (есть свидетели разговора между Сократом и знахарем) — поэтому может возникнуть желание затянуть оковы логики.

И когда вы видите такое использование «по определению», знайте, что на самом деле вам говорят что-то вроде «Забудьте лучше этот момент со знахарем, люди по определению смертны».

Люди чувствуют необходимость укрепить курс развития спора словами «Любое Р, по определению, обладает свойством Х!», именно в том случае, когда они видят и без промедления отбрасывают информацию, которая бросает тень сомнений на оригинальный вывод, основанный на кластерах.

Это же касается и аргументов вроде «Х, по определению, — У». Например, «Атеисты верят, что Бога нет; следовательно, они имеют убеждение о Боге, потому что неверие это тоже убеждение; следовательно, атеизм дает ответы на теологические вопросы; следовательно, атеизм, по определению, — религия».

Вам не нужно было бы убеждать нас, что индуизм — это религия, потому что индуизм это, вроде как, и есть религия. И не просто «религия по определению», а настоящая религия.

Атеизм не похож на центральных представителей кластера «религия», поэтому, если бы он не был религией «по определению», вы могли бы воображать себе, что он религией не является. Поэтому вам и приходится давить оппозицию, указывая на то, что «атеизм — это религия» верно по определению, потому что это неверно в любом другом контексте.

То есть люди настаивают на том, что «Х по определению У!» именно в тех случаях, когда они пытаются протащить не указанную прямо в определении характеристику У, а Х не слишком похож на представителей кластера У.

В течение последних тринадцати лет я старался отмечать случаи корректного использования фразы «по определению», не утруждаясь ведением статистики, разумеется. На основе такого поверхностного взгляда я могу сделать вывод, что использование этой фразы где-либо за пределами математики является одним из ярчайших сигналов дефектного аргумента из тех что я видел. Он стоит рядом с «Гитлер», «Бог», «абсолютно уверен» и «ты не можешь доказать это».

Эта эвристика определения такого режима провала не идеальна — впервые я видел корректное употребление этой фразы за пределами математики — у Ричарда Фейнмана; и с тех пор видел еще. Но вам, скорее всего, стоит просто стереть из своего словарного запаса эту фразу и сохранять бдительность, особенно если вам захочется употребить ее с восклицательным знаком или выделить курсивом. Ведь это, по определению, плохая идея!

Где проводить границу?

Элиезер Юдковский

Представьте, что вам кто-то сказал:

Долго я размышлял о том, что же значит слово «искусство», и, наконец, нашел то определение, которое показалось мне удовлетворительным: «Искусство - это то, что предназначено для создания реакции аудитории».

Из существования слова «искусство» не следует существование его смысла, витающего где-то там в пустоте, которое вы можете открыть, подобрав правильное определение.

Хоть так и кажется, но это не так.

Гадая о том, как какое определение дать слову, вы подходите к решению задачи не с той стороны — ищите таинственную эссенцию того, что на самом деле является коммуникационным сигналом.

Разумеется, тут есть место и для задачи, которую рационалист может обоснованно атаковать, но эта задача не в том, чтобы найти удовлетворяющее определению слово. Настоящую задачу можно решать в одиночку, не проронив ни слова вслух. Задача в том, чтобы найти, какие вещи подобны друг другу, какие вещи принадлежат к одному кластеру, и иногда — какие вещи имеют одну и ту же причину.

Если вы определите «электромагнетизм», включив молнию, компас, исключив свет, но включив «животный магнетизм» Месмера (что мы теперь зовем гипнозом), то столкнетесь с проблемой, отвечая на вопрос «как электромагнетизм работает?». Вы скучили вместе вещи, которые располагаются на удалении, и исключили те, которые действительно принадлежат к набору. (Этот пример вполне вероятен - Месмер был до Фарадея).

Можно сказать, что электромагнетизм — неподходящее слово, граница в пространстве вещей, обтекающая и проникающая в кластеры, разрез реальности не по месту естественного соединения частей.

Придумать, где именно разрезать реальность, так чтобы разрез был по месту соединения частей — достойная рационалиста задача. Это то, что людям бы следовало делать, когда они начинают искать плавающую в пустоте эссенцию слова.

Но не стоит себя обманывать. Эта задача может быть и на уровне научной проблемы, если надо догадаться, что дыхание и огонь описываются одним словом. Так что не стоит обращаться за решением к редакторам словарей — у них есть своя работа.

Что такое «искусство», если не эссенция слова, витающая в пустоте?

Предположим, что вы составили длинный список того, что вы готовы и не готовы назвать «искусством».

Маленькая фуга до минор — искусство.

Удар в нос — не искусство.

«Относительность» Эшера — искусство.

Мука — не искусство.

Программный язык Питон — искусство.

Распятье, плавающее в моче — не искусство.

Новеллы Джека Вэнса «Тщай» — искусство.

Современное Искусство — не искусство.

И вот вы мне говорите: «Мне эта граница кажется интуитивно понятной, но не знаю почему — помоги мне найти интенсионал для этого экстенсионала? Дай мне простое описание этой границы».

Я отвечаю: «Думаю, это связано с восхищением искусной работой. Работа на входе, на выходе — диво. Вещи из списка связаны через похожие эстетические переживания, которые они вдохновляют, и направленный на вызов этих переживаний человеческий труд».

Полезно ли это или это лишь нарушение принципов «табу»? Я бы сказал, что список переживаемых эмоций сильней концентрирует массу вероятности, чем список всего что является/не является искусством. Вы можете наблюдать «вспышки» эмоций на ФМРТ — т.е. эмоции далеко не эфемерны.

Но дело, разумеется, не в определении искусства. Дело в том, что вы можете оспорить экстенсионалы или интенсионалы моего определения.

Вы можете сказать мне: «Эстетические переживания — не то, что объединяет эти вещи. Их объединяет намерение вдохновить любую сложную эмоцию просто ради ее вдохновения». И это будет попыткой оспорить мой интенсионал, мою попытку очертить границу через опорные координаты.

Вы можете сказать: «Твое уравнение примерно эти точки описывает, но не подходит под настоящее общее распределение».

Или вы можете оспорить мой экстенсионал, сказав: «Некоторые их этих вещей действительно близко связаны, я вижу к чему ты ведешь, однако язык Питон тогда не должен быть в списке, а Современное Искусство должно». (Это позволит предположить, что вы — лишь легко внушаемый простак, что тоже можно оспорить.) Важный момент: презумпция кривой, генерирующей этот список подобных и не подобных вещей, — схема и основания, пусть вы и не сказали каковы они, но вы видите, как я потерял нить и включил координаты, сгенерированные другим способом.

Задолго до того, как вы поймете, что объединяет электричество и магнетизм, вы начнете сомневаться, основываясь лишь на поверхностных наблюдениях, в том, что «животный магнетизм» действительно входит в список.

Давным-давно люди думали, что слово «рыба» включает в себя дельфинов. Вы, конечно, можете изобразить хитрого спорщика и сказать мне: «Мой список: {лосось, гуппи, акула, дельфин, форель} — всего лишь список. Ты не можешь сказать, что список неверен. Я, с помощью теории множеств, могу доказать, что такой список существует. Так что мое определение «рыб», являющееся лишь экстенсиональным списком не может быть «неверным», что бы ты мне ни говорил».

Или же вы можете прекратить дурацкие игры и признать, что дельфинам не место в этом списке.

Итак, вы составили список вещей, которые, как вам кажется, подобны друг другу. И попробовали догадаться почему они подобны. Но когда вы обнаружите, что же они действительно имеют общего, может оказаться, что ваши догадки были неверными, как и ваш список.

Вам не спрятаться под щитом «верно-по-определению». И экстенсиональное, и интенсиональное определения могут быть неверными, могут разрезать реальность не по месту соединения частей.

Классификация — занятие без гарантий, в котором вы вполне можете понаделать ошибок. Так что, с чисто теоретической точки зрения, полезно будет признать, что ваши догадки-определения могут быть «ошибочными».

Энтропия и короткие сообщения

Элиезер Юдковский

Предположим, у нас есть система Х, которая с одинаковой вероятностью может находиться в любом из 8 возможных состояний:

X1,X2,X3,X4,X5,X6,X7,X8X1,X2,X3,X4,X5,X6,X7,X8

Есть такая экстраординарно распространенная мера, — в физике, математике и даже биологии — называется она «энтропия». И энтропия Х составляет 3 бита. Это значит, что для выяснения состояния Х нам в среднем понадобиться 3 да/нет вопроса. Например, кто-то может нам рассказать о значении Х с помощью такого кода:

(X1:001)(X2:010)(X3:011)(X4:100)(X1:001)(X2:010)(X3:011)(X4:100)

(X5:101)(X6:110)(X7:111)(X8:000)(X5:101)(X6:110)(X7:111)(X8:000)

Так что если я спросил бы «Первый символ — 1?» и получил бы ответ «Да»; «Второй символ — 1?» и услышал бы «Нет»; «Третий символ — 1?» — «Нет»; то я бы знал, что Х находится в состоянии 4.

Теперь предположим, что у системы Y есть четыре возможных состояния с таким распределением вероятностей:

Y1:1/2(0,5)Y1:1/2(0,5)

Y2:1/4(0,25)Y2:1/4(0,25)

Y3:1/8(0,125)Y3:1/8(0,125)

Y4:1/8(0,125)Y4:1/8(0,125)

Тогда энтропия Y будет равна 1,75 бит, что значит нам понадобится 1,75 вопросов в среднем, чтобы узнать значение Y.

В каком смысле можно задать один и три-четвертых вопроса? Представьте, что мы используем следующий код для описания состояния Y:

(Y1:1)(Y2:01)(Y3:001)(Y4:000)(Y1:1)(Y2:01)(Y3:001)(Y4:000)

Сначала вы спросите «Первый символ — 1?», и если ответ «Да», то задача решена: Y находится в состоянии 1. И такое происходит в половине случаев — состояние Y можно вычислить с помощью одного вопроса.

Предположим, что вы получили ответ «Нет». Тогда вы спрашиваете: «Второй символ — 1?». Если ответ «Да», то вы закончили: Y находится в состоянии 2. И это происходит с вероятностью в 1/4, и каждый раз, когда Y в состоянии 2, мы можем узнать это с помощью двух да/нет вопросов — в 25% случаев понадобится два вопроса для определения состояния Y.

Если же вы получили ответ «нет» два раза подряд, и, спросив «Третий символ — 1?», получили ответ «Да», то задача решена и Y в состоянии 3; если нет, то Y в состоянии 4. В 1/8 случаев Y в состоянии 3 и понадобится три вопроса. И в 1/8 случаев Y в состоянии 4 и понадобится три вопроса.

(1/2⋅1)+(1/4⋅2)+(1/8⋅3)+(1/8⋅3)=0,5+0,5+0,375+0,375=1,75.(1/2⋅1)+(1/4⋅2)+(1/8⋅3)+(1/8⋅3)=0,5+0,5+0,375+0,375=1,75.

Общая формула определения энтропии системы S это сумма всех SiSi: −p(Si)⋅log2p(Si)−p(Si)⋅log2p(Si).

Например, log2log2 числа 1/8 — это −3. Получается −(1/8⋅−3)=0,375−(1/8⋅−3)=0,375 — часть энтропии состояния 4 от всей энтропии системы Y — три вопроса.

Закодировать любую систему идеальным кодом получится не всегда, но если вам потребуется передать кому-то сообщение о состоянии случайного количества копий S за один раз, вы можете приблизиться к идеальному коду на случайную величину. (Гуглите «арифметическое кодирование»).

Конечно, вы можете спросить: «Почему бы не закодировать Y4 с помощью 10 вместо 000? Так ведь будет быстрей?»

Но если вы используете 10 для Y4 и получите ответ «да» на вопрос «первый символ 1?», то у вас все еще останется неопределенность: Y1 (1) или Y4 (10). Даже больше, если вы измените код таким образом, вся система полетит к чертям — услышав «1001» вам останется только гадать — «Y4 и Y2» или «Y1 и Y3».

Мораль в том, что короткие слова — ограниченный ресурс.

Ключевой момент в создании хорошего кода, который позволит передавать сообщения максимально компактно, в использовании коротких слов для того, о чем вы будете говорить часто, а длинных — для того, о чем реже.

На своем пике это искусство позволяет добиться почти идеального соответствия между длиной сообщения и вероятностью. Это так называемая «Сообщение минимальной длины» или «Минимальная длина описания», формализация бритвы Оккама.

Так что даже используемые нами ярлыки для слов не совсем случайны. Звуки, которые мы привлекаем для ссылок на идеи могут быть лучше или хуже, мудрей или глупей. И это независимо от традиционного понимания!

Я говорю это все потому, что идея «Вы можете Х так как вам заблагорассудится» сильно мешает понять, как делать Х с умом. «Это свободная страна, и я имею право на свое мнение» стоит на пути у искусства поиска истины. «Я могу определить слово так, как захочу» — стоит на пути разделения реальности на естественные составные части. И даже кажущееся разумным «Прикрепленные к словам ярлыки случайны» стоит на пути осведомленности о компактности. Стихосложения тоже, если уж говорить об этом, — Толкиен однажды заметил, как красиво звучит фраза «cellar door»; таков уровень осведомленности нужен, чтобы использовать язык как Толкиен.

Длина слов так же играет нетривиальную роль к когнитивной науке языка:

Давайте рассмотрим слова «сиденье», «стул» и «мебель». «Сиденье» — более специфическая категория, чем «стул»; «мебель»— более общая. Но большая часть стульев объединена сходными способами их использования — похожие движения, чтобы сесть или встать, похожие причины для сидения — отдых, принятие пищи, чтение. «Сиденья» в этом отношении тоже не слишком отличаются. «Мебель» же включает в себя вещи вроде кроватей, столов, по-разному использующихся и требующих разных телодвижений.

В терминологии когнитивной психологии «стул» относится к базовым категориям.

У людей есть привычка говорить и, предположительно, думать на базовом уровне категоризации. Проводить границы вокруг «стульев», чем вокруг более конкретной категории «сидений», или же вокруг более общей категории «мебели». Человек скорее предложит присесть на стул, чем сесть на сидение или посидеть на мебели.

Так что тут нет совпадения относительно длины этих слов. Базовые категории обычно имеют более короткие названия, и существительные с короткими названиями обычно относятся к базовым категориям. Это не универсальный лингвистический закон, но такая тенденция определенно присутствует. Частое употребление сопутствует коротким словам, а короткие слова — частому употреблению.

Или же как выразил это Дуглас Хофштадтер, есть причины на то, чтобы в английском языке «the» означало «the», а «antidisestablishmentarianism» использовалось для «antidisestablishmentarianism», а не наоборот.

Общая информация и плотность в пространстве вещей

Элиезер Юдковский

Предположим, у вас есть система ХХ, которая может находиться в одном из 8 состояний и все они равновероятны (относительно того, что вы о них знаете на данный момент), и система YY с 4 равновероятными состояниями.

Энтропия ХХ, как следует из рассказанного вчера — 3 бита; нам потребуется задать 3 да/нет вопроса, чтобы точно узнать состояние ХХ. Энтропия YY, как следует из рассказанного вчера — 2 бита; нам потребуется задать 2 да/нет вопроса. Это может показаться очевидным (с учетом того, что 23=823=8 и 22=422=4 — три вопроса помогут выявить правду между 8 возможными вариантами, а 2 между 4), но хочу напомнить, что если бы вероятности не были бы равными, мы смогли бы использовать более хитрый код для обнаружения, например, состояния YY (1,75 вопросов в среднем). Но раз уж для Х и Y вероятности распределены равномерно, схитрить у нас не получится.

Какова общая энтропия объединенной системы (X,Y)(X,Y)?

Возможно вам придет в голову ответ: «Для XX потребует 3 вопроса, для YY — 2, так что нам потребуется задать всего 5 вопросов, чтобы узнать (X,Y)(X,Y)».

Но что если эти две переменные связаны и, узнав что-то о YY, мы узнаем кое-то и о XX?

В данном случае предположим, что обе переменные либо четные либо нечетные.

И если мы получим сообщение в 3 бита (получим 3 ответа), узнаем, что ХХ находится в состоянии 5, то будем знать, что YY либо в состоянии 1 либо в 3, но не в 2 или 4. Так что лишь один вопрос «YY в состоянии 3?» и ответ «нет» понадобится нам, что бы знать состояние объединенной системы

(X,Y):X=X5,Y=Y1(X,Y):X=X5,Y=Y1

И обнаружили мы это с помощью 4 вопросов.

Точно так же, если мы узнаем, что YY в 4 состоянии, с помощью 2 вопросов, то нам понадобится лишь два вопроса, чтобы узнать, в каком из состояний (2,4,6,8)(2,4,6,8) находится ХХ. Опять же, лишь 4 вопроса, чтобы узнать состояние связанной системы.

Общая энтропия двух переменных определяется как разность между энтропией независимых систем и энтропией связанной системы :

I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)

В данном случае между системами есть 1 бит общей информации. Узнав ХХ, мы получаем 1 бит информации о YY (что сокращает пространство возможностей с 4 до 2, снижает размер в два раза). А информация о состоянии YY сокращает пространство возможностей с 8 до 4.

Но как насчет случаев, где масса вероятности распределена не равномерно? Вчера, например, мы обсуждали случай YY, где вероятности были распределены как 1/21/2, 1/41/4, 1/81/8, 1/81/8 для 4 возможных состояний. Давайте условимся, что так будет выглядеть распределение вероятностей для YY, если мы будем рассматривать YY независимо. Как если бы мы знали YY и больше ничего. И введем еще переменную ZZ с 2 возможными состояниями, с вероятностями 3/83/8 и 5/85/8.

В таком случае, только в том случае, когда объединенное распределение между этими переменными выглядим как описано ниже, — между ними нет общей информации:

(Z1Y1:3/16)(Z1Y2:3/32)(Z1Y3:3/64)(Z1Y3:3/64)(Z1Y1:3/16)(Z1Y2:3/32)(Z1Y3:3/64)(Z1Y3:3/64)

(Z2Y1:5/16)(Z2Y2:5/32)(Z2Y3:5/64)(Z2Y3:5/64)(Z2Y1:5/16)(Z2Y2:5/32)(Z2Y3:5/64)(Z2Y3:5/64)

Это распределение подчиняется закону:

P(Y,Z)=P(Y)P(Z)P(Y,Z)=P(Y)P(Z)

Например,

P(Z1Y2)=P(Z1)P(Y2)=3/8∗1/4=3/32P(Z1Y2)=P(Z1)P(Y2)=3/8∗1/4=3/32

Заметьте, что мы можем узнать маргинальные (независимые) вероятности YY и ZZ просто посмотрев на объединенное распределение:

P(Y1)P(Y1) — полная вероятность всех возможных состояний Y1Y1 в общем распределении:

P(Y1)=P(Z1Y1)+P(Z2Y1)=3/16+5/16=1/2P(Y1)=P(Z1Y1)+P(Z2Y1)=3/16+5/16=1/2

Так что просто проанализировав общее распределение, мы можем определить являются ли маргинальные переменные YY и ZZ независимыми; т.е. когда объединенное распределение разлагается на маргинальные распределение — когда для всех YY и ZZ P(Y,Z)=P(Y)P(Z)P(Y,Z)=P(Y)P(Z).

И это важно, ведь в соответствии с теоремой Байеса:

P(Yi,Zj)=P(Yi)P(Zj)P(Yi,Zj)=P(Yi)P(Zj)

P(Yi,Zj)/P(Zj)=P(Yi)P(Yi,Zj)/P(Zj)=P(Yi)

P(Yi|Zj)=P(Yi)P(Yi|Zj)=P(Yi)

Что можно выразить словами: после того, как мы узнали состояние ZjZj, наше знание о YiYiникак не изменилось.

Так что когда распределение разлагается, когда P(Y,Z)=P(Y)P(Z)P(Y,Z)=P(Y)P(Z), то это равноценно тому, что мы, узнав о YY, не получим никакой информации о ZZ, и наоборот.

И зная это, вы можете, совершенно справедливо, начать подозревать, что между YY и ZZ нет общей информации. А там где нет общей информации, нет и байесианских свидетельств и наоборот.

Предположим, что в вышепоказанном распределении YZYZ мы будем рассматривать каждое возможное сочетание YY и ZZ, как отдельное событие — так что это распределение будет иметь всего 8 возможных вариантов с уже известными вероятностями, тогда мы сможем вычислить энтропию YZYZ точно так же, как и в прошлый раз:

3/16∗log2(3/16)+3/32∗log2(3/32)+3/64∗log2(3/64)+…+5/64∗log2(5/64))3/16∗log2(3/16)+3/32∗log2(3/32)+3/64∗log2(3/64)+…+5/64∗log2(5/64))

У вас получится тот же ответ, как если бы вы отдельно посчитали энтропии систем, а затем сложили бы их. Поскольку между системами нет общей информации, наша неопределенность относительно состояния совмещенных систем точно такая же, как и относительно суммы взятых отдельно. (Вычисления я тут показывать не стану — вы и сами можете это сделать, что касается доказательства — ищите «энтропию Шеннона» («Shannon entropy») или «общую информацию» («mutual information»).)

Но что если объединенное распределение не разлагается? Например:

(Z1Y1:12/64)(Z1Y2:8/64)(Z1Y3:1/64)(Z1Y4:3/64)(Z1Y1:12/64)(Z1Y2:8/64)(Z1Y3:1/64)(Z1Y4:3/64)

(Z2Y1:20/64)(Z2Y2:8/64)(Z2Y3:7/64)(Z2Y4:5/64)(Z2Y1:20/64)(Z2Y2:8/64)(Z2Y3:7/64)(Z2Y4:5/64)

Если вы сложите объединенные вероятности, чтобы получить маргинальные, вы обнаружите, что P(Y1)=1/2,P(Z1)=3/8P(Y1)=1/2,P(Z1)=3/8, и так далее — маргинальные вероятности такие же, как и раньше.

Но объединенные вероятности не всегда равны сумме маргинальных. Например, вероятность P(Z1Y2)=8/64P(Z1Y2)=8/64, где P(Z1)P(Y2)P(Z1)P(Y2) будут 3/8∗1/4=6/643/8∗1/4=6/64. Т.е. вероятность встретить Z1Y2Z1Y2 выше, чем мы бы ожидали, просто учитывая вероятности Z1Z1 и Y2Y2 отдельно.

Что в свою очередь подразумевает:

P(Z1Y2)>P(Z1)P(Y2)P(Z1Y2)>P(Z1)P(Y2)

P(Z1Y2)/P(Y2)>P(Z1)P(Z1Y2)/P(Y2)>P(Z1)

P(Z1|Y2)>P(Z1)P(Z1|Y2)>P(Z1)

И раз тут «необычайно высокая» вероятность P(Z1Y2)P(Z1Y2) определена как более высокая, чем можно предположить, отдельно рассмотрев маргинальные, можно сделать вывод, что наблюдение Y2Y2 увеличит вероятность наблюдать Z1Z1 и наоборот.

Поскольку есть какие-то состояния YY, дающие нам информацию и о ZZ (и наоборот), между ними должна быть общая информация, что вы и обнаружите — я уверен, хоть и не проверял — в результате вычисления энтропии YZYZ вы получите меньше неопределенности, чем в результате вычисления отдельно YY и ZZ. H(Y,Z)=H(Y)+H(Z)−I(Y;Z)H(Y,Z)=H(Y)+H(Z)−I(Y;Z) будут все больше нуля с логической необходимостью.

(Отступлю немного от темы для небольшого замечания. Симметрия общей информации показывает, что YY сообщает нам столько же о ZZ, в среднем, сколько ZZ об YY. В качестве упражнения для читателей я оставлю сопоставление этого и того, что рассказывают на курсах по логике. Что из того, что все вороны черные, следует что все вороны черные, но не следует, что все черные штуки — вороны. Насколько отличается симметричное движение вероятностей байесианства от угловатой логики, даже несмотря на то, что последняя — лишь дегенеративная версия первой?)

И тут вы спросите: «Какое все это имеет отношение к правильному использованию слов?»

В «Пустых ярлыках» и «Замени символ на суть», вы видели пример замены слова его определением с примером:

Все [смертные, ~без перьев, двуногие] смертны

Сократ [смертен, ~без перьев, двуногий]

Следовательно, Сократ смертен

Так зачем же нам нужно слово «человек»? Почему бы просто не сказать «Сократ смертный, без перьев и двуногий»?

Потому что полезно иметь короткие слова для часто встречающихся штук. Если ваш код для отдельных характеристик уже эффективен, то вы не получите никакого преимущества от введения специального слова для конъюнкции: например, «человек» для «смертный, без перьев, двуногий», разве что смертные штуки, штуки без перьев и двуногие штуки встречаются в реальности чаще, чем стоило бы ожидать лишь на основе маргинальных вероятностей.

В эффективных кодах длина сообщения соответствует вероятности, т.е. код для Z1Y2Z1Y2будет такой же длины, как и сумма кодов Z1Z1 и Y2Y2, разве что P(Z1Y2)>P(Z1)P(Y2)P(Z1Y2)>P(Z1)P(Y2), тогда код для Z1Y2Z1Y2 будет короче, чем сумма отдельно взятых кодов.

Это как раз соответствует ситуации, где мы можем сделать вывод об одних характеристиках вещи, пронаблюдав наличие у нее других. Для этого вероятность, что двуногие без перьев окажутся смертными, должна быть более дефолтной.

Разумеется, слово «человек» описывает очень много свойств. Когда вы видите сущность человеческой формы, которая говорит и носит одежду, то можете предположить множество биохимических, анатомических и когнитивных фактов о ней. Чтобы заменить «человек» на описание всего, что мы можем сказать о людях, нам потребуется запредельно много времени. Но это так лишь потому, что говорящие штуки с двумя ногами и без перьев более вероятны, чем маргинальные вероятности позволят предположить, уязвимы для болиголова, или имеют плоские ногти, или сверхуверенны.

Наличие одного слова для вещи вместо перечисления ее свойств позволяет сделать код компактней именно в тех случаях, когда можно предположить наличие одних свойств, основываясь на наблюдении других. (За исключением таких базовых слов как «красный», которое может быть использовано для передачи несжатого описания нашего сенсорного переживания. Но уже в случае с жуком или камнем, мы будем иметь дело со сложными совокупностями свойств, намного превышающими базовый уровень.)

Поэтому наличие слова «виггин» для зеленоглазых черноволосых людей полезней, чем просто «зеленоглазые черноволосые люди», именно тогда:

Когда зеленоглазые люди, в среднем, более вероятно являются еще и черноволосыми (и наоборот), т.е. мы можем сделать вероятностный вывод о «зеленоглазости», после наблюдения «черноволосости» и наоборот.

Или же когда виггины имеют другие свойства, о которых можно сделать вероятностное предположение с большей, чем сумма маргинальных, вероятностью. В данном случае нам потребуется независимо проследить за наличием черных волос и зеленых глаз, а затем можно сделать вероятностный вывод о других свойствах (вроде пристрастия к кетчупу).

Можно даже рассматривать наличие слова как своего рода обещание. Сказать кому-то «Я определяю слово «виггин» как человека с черными волосами и зеленым глазами», в соответствии с импликатурой Грайса, значит пообещать, что слово «виггин» каким-то образом поможет предположить зависимость между черными волосами и зелеными глазами и укоротить код.

Если зеленые глаза и черные волосы не встречаются с большей, чем сумма маргинальных, вероятностью, или же никакое другое свойство не встречается чаще в сочетании с этим цветом волос и цветом глаз, то слово «виггин» является ложью. Оно утверждает, что определенных людей стоит выделять в группу, а они группой не являются.

В данном случае слово «виггин» не помогает более компактно описывать реальность, ведь оно не предназначалось как помогающее сократить длину сообщения. Тогда ему не место в массиве простых объяснений. Точно так же «виггин» не поможет сделать байесианский вывод. Даже если вам неудобно называть слово «ложью», оно, как минимум, — ошибка.

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей в пространстве вещей.

Слова как мысленные кисти

Элиезер Юдковский

Представьте, что я скажу вам: «Удивительно — у светильников в этом отеле треугольные лампочки».

Может быть, вы это уже представили, может быть, нет. Если нет, сделайте это сейчас. Какими именно представляет ваш внутренний взор треугольные лампочки?

В частности, у них острые края или закруглённые?

Насколько мне позволяет судить интроспекция, когда у меня в голове впервые появилось словосочетание «треугольные лампочки» (нет, в отеле их не было), я сразу же увидел лампочку в виде пирамидки с острыми краями. Затем (практически мгновенно) грани сгладились, после чего мой мозг, в качестве альтернативы, выдал замкнутую трубку люминесцентной лампы в форме треугольника со скруглёнными краями.

Кажется, ни одной сформулированной/словесной мысли при этом задействовано не было. Лишь быстрая безмолвная реакция в ответ на воображаемый образ острого стекла, изъяны в форме которого были исправлены до того, как на ум пришло первое слово.

Можете не верить, но люди несколько десятилетий всерьёз спорили о том, можем ли мы создавать визуальные образы в своей голове на самом деле — например, можем ли мы по-настоящему мысленно увидеть изображение стула в каком-нибудь окружении, — или мы лишь наивно думаем, что можем (будучи обмануты этим «самонаблюдением», ужасной и запрещенной деятельностью), а на самом деле в нашем мозге просто активируется маленький ярлычок «стул», что-то вроде указателя в программном коде1.

Сейчас мне очень сложно удержаться от восклицаний вроде «Какая потрясающая нелепость». Такие восклицания — следствия ошибки знания задним числом. Но всё же: какая потрясающая нелепость.

Я думаю, подобная точка зрения в академической среде в значительной степени была безумным наследием бихевиоризма. Бихевиоризм отрицал существование мышления у людей и пытался объяснить все аспекты человеческого поведения (включая речь) «рефлексами». Скорее всего, о бихевиоризме стоит написать отдельно, как о своеобразном извращении рационализма. Но сейчас я пишу о другом.

«Ты называешь это предположение нелепым, — скажете вы, — но откуда ты можешь узнать, что твой мозг производит эти визуальные образы? Тебе достаточно того, что ты просто закрываешь глаза и видишь их?»

Сейчас ответить на этот вопрос проще, чем в те времена. Если вас не устраивает простое самонаблюдение и вы намерены проверить реальность мысленных образов «научно», вам понадобится вывести это из эксперимента. Например, покажите людям два предмета и спросите, можно ли один из них повернуть так, чтобы получить второй. Время ответа линейно зависит от необходимого угла поворота. Такой результат сложно объяснить, если вы только сверяете какие-то особенности изображений. Но если вы действительно представляете предмет в уме и непрерывно вращаете его с постоянной скоростью, то все сходится.

Сегодня мы можем увидеть настоящие нейрообразы небольших картинок из зрительной коры. Так что, да, ваш мозг реально воспроизводит детализированные визуальные образы того, что он видит или представляет. Советую книгу Стивена Косслина «Мозг и Образы: итоги споров о воображении»2.

Людям сложно использовать слова в том числе и потому, что они не понимают всю сложность, что таится за ними.

Вы можете представить «зелёную собаку»? Вы можете представить «сырное яблоко»?

«Яблоко» — это не просто последовательность из трёх слогов или шести букв. Последовательность из шести букв всего лишь тень. Лишь кончик от тигриного хвоста.

Слова, точнее понятия, скрывающиеся за ними, подобны кистям художника. Вы можете писать ими картины в вашем собственном воображении. Писать в буквальном смысле, если вы используете кисти идей, чтобы создать картину на холсте своей зрительной коры. Используя общие ярлыки, вы также можете схватить кисти в головах других людей и написать картины там. Например, набросать маленькую зелёную собачку на чьей-то зрительной коре.

Но, распространяя звуки через воздух или буквы через Интернет, не заблуждайтесь, будто именно звуки и буквы пишут картины в зрительной коре. Эта задача требует более сложных инструкций, чем могла бы вместить последовательность букв. «Яблоко» — это шесть байт, но написание натюрморта с яблоком с нуля потребовало бы гораздо больше данных.

«Яблоко» — это всего навсего ярлык, скреплённый с настоящей и невыразимой словами идеей яблока. Идеей, что может написать картину в вашей зрительной коре, или столкнуться с «сырностью», или распознать яблоко, когда оно будет перед вашими глазами, или почувствовать его образец в яблочном пироге, или даже запустить движение челюсти, привычное при поедании яблока…

И это не просто воспроизведение картинок из памяти. Иначе как вы могли бы визуализировать нечто вроде «треугольной лампочки», наложить треугольность на лампочку и совместить обе сущности, если никогда в своей жизни не видели ничего похожего?

Не совершайте той же ошибки, что и бихевиористы. Речь гораздо сложнее, чем просто звуки в воздухе. Ярлыки служат лишь указателями: «Ищите в сегменте памяти №1387540». Если у вас есть указатель, рано или поздно настанет время перейти по нему и действительно заглянуть в сегмент памяти №1387540.

На что слово указывает?

1.В оригинале «LISP token». — Прим.перев.

2.Stephen M. Kosslyn, Image and Brain: The Resolution of the Imagery Debate (Cambridge, MA: MIT Press, 1994).

Когда слова ошибочны

Элиезер Юдковский

Некоторые читатели утверждают, что было бы лучше назвать эту заметку «37 случаев, в которых слова можно использовать неразумно» или «37 случаев, когда недостаточно оптимальное использование категорий может вызвать негативные эффекты в вашем восприятии». Но одна из основных идей, которым учит этот немаленький список, заключается в том, что утверждение «Не может быть, чтобы мой выбор Х был неверным» практически всегда ошибочно, независимо от теории. Люди могут заблуждаться в любом конкретном случае. Даже если теоретически возможно быть всегда правым, на деле вы будете ошибаться. Не бывает универсального счастливого билета на любой случай, такова жизнь.

Кроме того, я могу определить слово «ошибочен» любым способом, каким захочу — но это не значит, что само слово становится ошибочным. Впрочем, лично я считаю, что в следующих случаях использование понятия «ошибочный» вполне оправдано:

1. Слово потеряло всякую связь с реальностью.

Является ли Сократ асботниктором? Да или нет? (

Притча о кинжале

.)

2. Ваши слова, если бы такое было возможно, принудили бы реальность измениться при изменении словесного определения.

Сократ — человек, а люди по определению смертны. Если вы определите людей как бессмертных существ, будет ли Сократ жить вечно? (

Притча о болиголове

.)

3. Вы пытаетесь установить эмпирические взаимоотношения, как будто бы они верны «по определению».

Сократ — человек, а все люди по определению смертны. В таком случае будет ли логически верным, если мы предскажем результат опыта, в котором Сократ пьёт настойку болиголова и теряет сознание? Ведь является логически возможным и непротиворечивым существование миров, в которых Сократ не потеряет сознание. В которых он будет иметь иммунитет к болиголову, в результате, например, странного сбоя в его биохимических процессах. Логические истины истинны во всех возможных мирах, но эти истины не сообщают, в каком из возможных миров вы находитесь. Поэтому всё, что вы задаёте «по определению» является логически верным. (

Притча о болиголове

.)

4. Вы неосознанно навешиваете условные ярлыки на что-либо, в реальности не используя словесные определения, которые вы только что дали.

Вы точно знаете, что Боб — человек. Хотя, в вашем определении вы не будете называть Боба человеком, не удостоверившись сначала в том, что он смертен. (

Притча о болиголове

.)

5. Факт навешивания словесного ярлыка скрывает спорный индуктивный вывод, который вы делаете.

Если последние 11 извлечённых вами яйцевидных объектов были синими, а последние 8 кубических объектов были красные, то применив индукцию вы можете предположить, что это соотношение сохранится и будущем. Но если вы назовёте синие яйца «сияйцами», а красные кубы «крубами», то вы можете засунуть руку в бочку, нащупать что-то круглое и подумать «Ага, сияйцо». (

Слова как скрытые умозаключения

.)

6. Вы пытаетесь определить одни слова с использованием других, более сложных и формальных понятий, без возможности указать на конкретный образец.

— Что такое «красный»?

— «Красный» это цвет.

— Что такое «цвет»?

— Цвет это свойство вещей.

— Что такое «свойство»? Что такое «вещь»?

Такого не случится, если вы укажете на красный сигнал светофора и на красное яблоко. (

Экстенсионалы и интенсионалы

.)

7. Фактическое определение не совпадает со словесным определением.

Мы не осознаём, что определяем красную точку на небе как «Марс», и это может происходить независимо от того, что мы определим «Марс» как бога войны. (

Экстенсионалы и интенсионалы

.)

8. Ваше словесное определение охватывает всего лишь небольшую часть общих характеристик категории, но вы пытаетесь рассуждать, будто определение полное.

Когда философы в платоновской академии решили, что лучшим определением человека является «двуногое без перьев», киник Диоген предъявил им ощипанного петуха и провозгласил, что это и есть «человек Платона». Тогда ученики Платона просто исправили определение на «двуногое без перьев и с плоскими когтями». (

Кластеры подобия

.)

9. Вы пытаетесь рассматривать членство в определённой категории по принципу всё или ничего, не обращая внимания на то, что могут существовать подгруппы более или менее типичных членов.

Утки и пингвины являются менее типичными птицами по сравнению с малиновками и голубями. Интересно, что межгрупповые эксперименты показали, что люди думают, будто болезни легче передаются от малиновок к уткам на островах, чем от уток к малиновкам. (

Типичность и асимметричное подобие

.)

10. Словесное определение хорошо работает, чтобы на практике указывать на группы сходны объектов, но вы придираетесь к исключениям.

Не каждый человек имеет десять пальцев, или носит одежду, или использует язык. Однако, если посмотреть на реальные группы объектов, которые разделяют эти характеристики, вы получите достаточно информации, чтобы попадающиеся время от времени люди с девятью пальцами не ввели вас в заблуждение. (

Кластерная структура пространства вещей

.)

11. Вы спрашиваете, принадлежит ли объект некоторой категории, но не называете вопрос, ответ на который вы на самом деле хотите получить.

Что есть «человек»? Является ли младенец Барни человеком? Правильный ответ на этот вопрос может сильно зависеть от того, что вы действительно хотите выяснить: «Хорошо ли кормить Барни болиголовом?» или «Будет ли Барни хорошим мужем?». (

Замаскированые вопросы

.)

12. Вы рассматриваете интуитивно воспринимаемые иерархические категории, как единственно верный способ анализа мира, не осознавая, что возможны и другие способы делать статистически выводы, даже если вы их не используете.

Для человека значительно проще определить, является ли предмет сияйцом или крубом, чем обратить внимание на то, что красные предметы никогда не светятся в темноте, но красные мохнатые предметы обладают всеми прочими характеристиками сияиц. Прочие статические алгоритмы работают иначе. (

Нейронные категории

.)

13. Вы рассуждаете о категориях, будто они как манна упали из мира идей Платона, хотя это всего лишь ярлыки в вашем сознании, связанные с определённой концепцией.

Древние философы говорили «Сократ человек», а не «Мой мозг посредством ощущений определяет Сократа, как попадающего в концепцию «человек». (

Как алгоритм ощущается изнутри

.)

14. Вы продолжаете спорить о принадлежности к категории после отсеивания всех вопросов, которые могут зависеть от выводов, основанных на категориях.

После того, как вы определили, что предмет синий, яйцеобразный, мохнатый, гибкий, непрозрачный, светящийся в темноте и содержащий палладий, что является всеми признаками сияиц, какой смысл спрашивать «Сияйцо ли это?» Однако, если распределяющая нейронная сеть вашего мозга содержит условный центр, связанный с выведением понятия сияйцности, то может показаться, что такой вопрос всё-таки существует. (

Как алгоритм ощущается изнутри

.)

15. Вы позволяете дискуссии сместиться в область обсуждения определений, несмотря на то, что вы изначально не планировали об этом спорить.

Если перед началом спора о том, производит ли «шум» падающее дерево в лесу, когда звук падения никто не слышит, вы спросите двух будущих спорщиков о том, что они будут подразумевать под «шумом», звуковые волны или слуховые переживания, они, возможно, предложат вам бросить монетку. Но после начала дискуссии определение всё равно станет обсуждаться. (

Споры об определениях

.)

16. Вы считаете, что слово имеет смысл само по себе, а не потому, что оно является меткой, связанной с некоторыми понятиями в вашем мозгу.

Когда кто-то кричит «А-а-а! Тигр!», эволюция не предпочтёт организмы, которые подумают: «Ммм… Я только что услышал слоги «ти» и «игр», которые члены моего племени связывают со своей внутренней моделью, соответствующей моему личному понятию «тигр», и которое А-А-А! ХРУМ ХРУМ ХРУМ». Поэтому мозг сокращает цепочку рассуждений, и кажется, что смысл тигриности несёт само слово. Люди спорят о правильном значении слов, например слова «шум». (

Ощути смысл

.)

17. Вы спорите о значении слов даже в том случае, когда все стороны прекрасно понимают, что остальные имеют в виду под этим словом.

Свойство человека связывать ярлыки с определёнными понятиями является средством общения. Когда люди хотят общаться, их тяжело остановить. Если у людей нет общего языка, они общаются рисуя картинки на песке. Когда каждый поймёт, что находится в разуме у остальных, дело будет сделано. (

Аргумент к традиционному пониманию

.)

18. Вы обращаетесь к словарю в разгаре спора о практических вещах или о морали.

Редакторы словарей скорее историки языка, нежели его законодатели. Если обычное определение содержит сложность, например, Марс определён, как бог войны, дельфин как вид рыб, или негры как нелюди, то словарь отражает распространённое заблуждение. (

Аргумент к традиционному пониманию

.)

19. Вы обращаетесь к словарю в разгаре любого спора.

Вы и вправду считаете, что редакторы словарей являются авторитетными специалистами в области определения атеизма как религии, или в любой другой? Даже если ставки в вашем споре крайне высоки, неужели вы считаете, что редакторы словарей достигли просветления, которое поможет им разрешить любой ваш диспут? (

Аргумент к традиционному пониманию

.)

20. Вы игнорируете распространённое определение без повода, лишая окружающих всякой возможности вас понять.

Быстро встаёт плутоний с бочками без ручек. (

Аргумент к традиционному пониманию

.)

21. Вы используете сложные термины взамен простых чтобы создать иллюзию получения выводов.

Если «человек» определить как «смертное двуногое без перьев», то можно написать: Все смертные двуногие без перьев смертны. Сократ — смертное двуногое без перьев, поэтому Сократ смертен. Выглядит не так впечатляюще в данном случае, не так ли? (

Пустые ярлыки

.)

22. Вы вступаете в спор, которого могли бы избежать, если бы не использовали конкретное слово.

Если Альберт и Барри не смогут использовать слово «шум», то Альберту придётся сказать: «Дерево, падающее в лесу, в котором никого нет, производит звуковые волны. А Барри скажет: «Дерево, падающее в лесу, в котором никого нет, не вызывает слуховых переживаний». Если слово создаёт проблему, то простейшим решением будет исключение этого слова из употребления, как и его синонимов. (

Табуируй свои слова

.)

23. Ваше внимание отвлекается на короткое изящное слово, и вы не можете обдумать данное понятие во всех подробностях.

Что происходит в школах, если перестать это называть образованием? Что такое степень, если не называть это «степенью»? Если монета упала «орлом», то какова её радиальная ориентация? Как может быть нечто «истинно», если нельзя употребить «точный», «правильный», «представлять», «отражать», «семантический», «убеждение», «знание», «карта», «реальный» или любые другие простые термины? (

Замени символ на суть

.)

24. У вас есть только одно слово, которому соответствуют два или более реальных объектов. И из-за этого все связанные с этими объектами факты собираются в одну кучу у вас в голове.

Частью обычной работы детектива является наблюдение за тем, носила ли Кэрол красное платье прошлым вечером, или что у неё чёрные волосы. Также детектив может поинтересоваться, красит ли Кэрол волосы. Но более сообразительный детектив может также задуматься, а может Кэрол было двое, одна носила красное платье, вторая была с чёрными волосами. (

Ошибки сжатия

.)

25. Вы устанавливаете зависимости там, где их не существует, извлекая некие свойства их ваших определений, даже в случаях, когда нет сходства между данными областями.

В Японии считается, что люди с первой группой крови серьёзные и творческие, со второй — импульсивные и жизнерадостные, с третьей — хорошо социализированные и приятные, с четвёртой — сдержанные и с хорошим самообладанием. (

У классификации есть последствия

.)

26. Вы добавляете побочные смысл к слову, основываясь на определении, которое не включает в себя побочные смыслы.

«Виггин» определён в словаре как человек с чёрными волосами и зелёными глазами. Но это слово также имеет побочный смысл, обозначая людей, совершающих преступления и издевающихся над животными, но этого нет в словаре. И вы показывается не кого-то пальцем и сообщаете: «Чёрные волосы и зелёные глаза? Ага, он Виггин! Смотрите, сейчас он будет красть серебряные ложки». (

Контрабанда характеристик

.)

27. Вы утверждаете, что X суть Y по определению. В таких случаях вы почти наверняка добавите дополнительные смыслы к Y, чего не было в исходном определении.

Вы определяете человека как двуногое без перьев, и, показывая на Сократа, сообщаете: «Нет перьев, две ноги, должно быть, это человек!» Но на самом деле вы думаете о чём-то ином, например о смертности человека. Если подобное случится во время дискуссии о количестве ног у Сократа, ваш оппонент может возразить: «Как же так, у Сократа две ноги? Это же как раз то, с чего мы начали спорить!» (

Аргумент «по определению»

.)

28. Вы утверждаете, что объекты P по определению являются объектами типа Q.

Если вы видите, как Сократ в компании биологов собирает травы, которые могут вызвать сопротивляемость к болиголову, то нет смысла оспаривать утверждение «Люди по определению смертны». В большей части случаев, когда вам кажется, что надо сильнее надавить и настоять на некоем утверждении «по определению», в реальности существуют иные факты, ставящие ваш вывод под сомнение. (

Аргумент «по определению»

.)

29. Вы пытаетесь установить принадлежность к реально существующей группе «по определению».

Не требуется утверждать, что «Индуизм, по определению, является религией», потому что индуизм действительно является религией. Это не религия «по определению», а, можно сказать, реальная религия. Атеизм же не похож на основных членов группы «религии», так что, если бы внезапно не оказалось, что атеизм является религией по определению, то вы бы пришли к выводу, что это всё-таки не религия. По этой причине вы можете подавить любых противников, сообщая, что утверждение «Атеизм является религией» верно по определению, хотя во всех остальных случаях это всё же не верно. (

Аргумент «по определению»

.)

30. Ваше определение ограничивает группу неких объектов, которые не связаны друг с другом.

Вы можете, если захотите, утверждать, что слово «рыба» относится к лососям, гуппи, акулам, дельфинам и форели, но не к медузам или водорослям. Вы можете утверждать, что это всего лишь список, и не может быть, чтобы список был ошибочным. Или вы можете перестать валять дурака и признать, что вы допустили ошибку и дельфины не принадлежат к списку, в которых входят рыбы. (

Где проводить границу?

)

31. Вы используете короткое слово для того, что не нужно часто упоминать, или длинное слово для того, что упоминается часто. Это может приводить к неэффективном рассуждениям, или даже к некорректному применению Бритвы Оккама — если ваш разум будет считать, что короткие предложение звучат «проще».

Что звучит правдоподобнее: «Бог сотворил чудо» или «Сверхъестественная сущность, создавшая вселенную, временно изменила законы физики»? (

Энтропия и короткие сообщения

.)

32. Вы ограничиваете определённое пространство идей, которое не содержит какое-то отличное от окружающего пространства количество понятий. В результате слово, обозначающее группу объединённых понятий не связано с хоть сколь-нибудь производительным Байесовским выводом.

Раз уж зеленоглазые люди не имеют чёрные волосы чаще, чем волосы другого цвета, и чёрные волосы также не связаны с зеленоглазостью, и кроме того людей с зелёными глазами и чёрными волосами не объединяют какие-либо иные значимые черты, то зачем вообще нужно слово «уиггин»? (

Mutual Information, and Density in Thingspace

.)

33. Вы ограничиваете множество вещей без значимой причины для такого действия.

Придумывание слова для всех людей, кроме негров, выглядит несколько подозрительным. Если вы не сообщаете причины такого разграничения, создавая произвольные термины, это может выглядеть примерно следующим образом, как если бы детектив сказал: «Знаете, у меня нет не единого повода предпочесть одного или другого человека, кто бы мог убить тех сирот. Однако, может рассмотрим Джона Вифлхайма, как подозреваемого?» ([Superexponential Conceptspace, and Simple Words.(

http://lesswrong.com/lw/o3/superexponential_conceptspace_and_simple_words/

).)

34. Вы используете классификации, чтобы делать выводы о свойствах, не имеющих реальных структур, а именно, условная независимость данных групп в случае хорошего приближения при использовании простой интерпретации теоремы Байеса.

Я ни за что не буду пытаться это резюмировать, просто прочитайте соответствующую заметку. (Которая пока не переведена,

прим. пер.

) (

Conditional Independence, and Naive Bayes

.)

35. Вы полагаете, что слова больше похожи на маленькие символы языка ЛИСП, нежели на на ярлыки, действующие как манипуляторы, которые управляют сложными ментальными кистями, рисующими подробные картины на мысленном холсте.

Представьте «треугольную электролампу». Что вы видите? (

Words as Mental Paintbrush Handles

.)

36. Вы используете слово, имеющее разные значения в различных ситуациях, будто оно имеет всегда один и тот же смысл, создавая иллюзию чего-то непостоянного и изменчивого.

«Мартин сказал Бобу свернуть налево». Но «налево» является функциональным словом, принимающим во внимание расположение говорящего относительно его окружения. Какое же «налево» имеется в виду, Боба или Мартина? (

Variable Question Fallacies

.)

37. Вы считаете, что определения не могут быть ошибочны, или что «Я могу определить любое слово так, как пожелаю!»

Такое отношение заставляет вас яростно отстаивать ваши прошлые поступки, вместо того, чтобы учесть их последствия или признать свои ошибки. (

Когда слова могут быть ошибочны

.)

Всё, что происходит в вашем разуме, имеет какой-либо результат, и ваш мозг движется вперёд без вашего руководства, не осознавая происходящее.

Утверждать «Слова можно использовать как угодно, я могу определить любое слово, как пожелаю» столь же осмысленно, как и вести автомобиль по тонком льду с выжатой до отказа педалью газа, рассуждая: «Посмотрите на руль, я не считаю, что любой его угол поворота чем-то выделяется на фоне других, поэтому я могу рулить так, как захочу».

Если вы хотите куда-то добраться или просто попробовать выжить, вам стоит начать уделять внимание трём или шести десяткам оптимальных критериев, контролирующих ваше использование слов, определений, категорий, классов, разграничений, ярлыков и концепций.

Просто реальность

Правда закономерна

Единый огонь

Элиезер Юдковский

В фэнтезийной книге Л. Спрэг де Кампа «Дипломированный чародей» [Э. Юдковский почему-то не упоминает второго автора, Флетчера Прэтта - Прим.перев.] (которая породила множество последующих подражаний) главный герой, Гарольд Ши, переместился из своей вселенной во вселенную скандинавских мифов. Вселенная скандинавских мифов основана скорее на магии, нежели на технологии, поэтому естественно, что, когда Наш Герой попробовал зажечь огонь спичкой, принесенной с Земли, та его подвела.

Я понимаю, что это всего лишь фентези, но… как бы изложить…

Нет, не так.

В конце 18 века Антуан Лоран Лавуазье открыл огонь. «Что?» — воскликнете вы. Разве к тому времени огонь не использовали уже несколько сотен тысяч лет? Да, действительно, люди использовали огонь — обжигающий, яркий, примерно оранжевого цвета и очень удобный для приготовления пищи. Но никто не знал, как он работает. Греки и средневековые алхимики полагали, что Огонь является одним из четырех базовых элементов. К временам Лавуазье алхимическая парадигма включала в себя множество поправок и стала чрезвычайно сложной, но огонь по-прежнему оставался основополагающей сущностью — уже в виде «флогистона», некоего загадочного вещества, которое, как утверждалось, объясняло огонь, а также все остальные алхимические явления.

Важнейшая новая идея Лавуазье заключалась в том, чтобы взвесить абсолютно все части химической головоломки, как до химической реакции, так и после. До него считалось, что некоторые химические процессы способны изменять вес используемого материала. Например, если мелко протёртую сурьму подвергнуть воздействию направленного через увеличительное стекло солнечного света, то через час сурьма обратится в пепел, а сам пепел будет весить на одну десятую больше, чем исходный объем сурьмы — даже несмотря на то, что при горении от сурьмы исходит густой белый дым. Лавуазье взвесил совершенно все компоненты таких реакций, включая воздух, в котором они протекали, и обнаружил, что материя не создаётся и не разрушается. Увеличение массы сгоревшего пепла взаимосвязано с уменьшением массы воздуха.

Лавуазье также было известно, как разделять газы, и он обнаружил, что горящая свеча уменьшает количество одного вида газа — «жизненного воздуха» и создает иной газ — «связанный воздух». Сегодня мы бы их назвали кислородом и углекислым газом. Когда жизненный воздух заканчивается, пламя угасает. Можно было предположить, что горение преобразует жизненный воздух в связанный, а топливо — в пепел, причём длительность преобразования ограничена количеством доступного жизненного воздуха.

Идея Лавуазье полностью противоречили существующей теории флогистона. Одного этого хватило бы, чтобы потрясти всех, но после этого выяснилось…

Чтобы оценить дальнейшие события, нужно представить себя человеком XVIII века с его ограниченными познаниями. Забудьте об открытии ДНК, которое случилось лишь в 1953. Забудьте всё, что вам известно о клеточной теории в биологии, сформулированной в 1839. Представьте, как вы смотрите на свои руки, сгибаете пальцы… и абсолютно не понимаете, почему они сгибаются. Анатомия мышц и костей была известна, но никто не имел ни малейшего представления «как они работают» — почему мышцы сгибаются и сокращаются, хотя слепок из глины похожей формы остается неподвижен. Представьте, что ваше собственное тело состоит из загадочной, непостижимой субстанции. А теперь представьте открытие…

…что люди в процессе дыхания потребляют жизненный воздух и выдыхают связанный. В людях тоже происходит горение! Лавуазье измерил количество тепла, которое животные (и помощник Лавуазье, Сеген) производят при упражнениях, объем потребленного жизненного воздуха и объём выдыхаемого связанного воздуха. Когда животные производят больше тепла, они потребляют больше жизненного воздуха и выдыхают больше связанного. Люди, подобно пламени, потребляют топливо и кислород, люди, подобно пламени, вырабатывают тепло и углекислый газ. Лиши человека кислорода или топлива, и огонь исчезнет.

Спички загораются из-за фосфора — у «безопасных спичек» есть фосфор на зажигательной ленте, у сесквисульфидных спичек фосфор нанесен на головку. Фосфор очень быстро вступает в химические реакции — чистый фосфор светится в темноте и может спонтанно воспламениться. (Хенниг Бранд, выделивший чистый фосфор в 1669, утверждал, что обнаружил Элемент Огня.) К тому же фосфор вполне соответствует своему назначению в аденозинтрифосфате, АТФ, — веществе, благодаря которому в организме накапливается энергия химических реакций. АТФ порой называют «молекулярной валютой». Она дает силы мышцам и заряжает нейроны. Практически все метаболические реакции зависят от АТФ, и, следовательно, от химических свойств фосфора.

Если спичка перестает функционировать, то и вы тоже. Невозможно поменять что-то одно.

Нет очевидной связи между утверждениями поверхностного уровня «Спичка зажигается от чирканья» и «Людям нужен воздух, чтобы дышать». Потребовались столетия, чтобы обнаружить эту связь, и даже сейчас, судя по всему, это какой-то несущественный факт, которому учат в школе и который важен лишь для небольшого круга специалистов. Нам слишком легко вообразить мир, где одно из этих правил работает, а второе — нет, перестать верить в одно, но не в другое. Но это лишь воображение, а не реальность. Если вы разделили карту на четыре части, чтобы её было проще хранить, это не значит, что сама территория также разделена на четыре обособленные части. Наш разум хранит отдельные правила поверхностного уровня в обособленных отсеках, но это не отражает никакой обособленности законов, управляющих Природой.

Мы можем извлечь из всего этого урок. Поведение фосфора проистекает из ещё более глубоких законов: законов электродинамики и хромодинамики. «Фосфор» — это лишь наше слово для обозначения электронов и кварков, организованных определенным образом. Нельзя изменить химические свойства фосфора, не изменив законы, которым подчиняются электроны и кварки.

Если вы окажетесь в мире, где спички не зажигаются, вы перестанете быть организованной материей.

Реальность сплетена гораздо плотнее, чем люди предпочитают верить.

Единый закон

Элиезер Юдковский

Антуан Лоран Лавуазье обнаружил, что дыхание и огонь (горение) работают по одному принципу. Это было одно из наиболее поразительных объединений в истории науки, оно слило вместе мирскую сферу материи и священное таинство жизни, которые люди делили на отдельные мистерии.

Первое великое объединение было сделано Исааком Ньютоном, который сказал, что движение планет подчиняется тем же законам что и падающее яблоко. Шок от этого открытия был больше, чем от открытия Лавуазье. Дело было не только в том, что Ньютон осмелился объединить земное царство материи с явно отличной и священной небесной сферой, когда-то считавшейся обителью богов. Открытие Ньютона породило понятие универсального закона, который одинаков везде и всегда, буквально не имея исключений.

Люди живут в мире поверхностных явлений, которые делятся на категории, из которых вытекает большое количество исключений. Тигр ведет себя не так, как буйвол. Большинство буйволов имеют четыре ноги, но, возможно, у этого есть три. Зачем кому-то думать что есть законы, которые верны везде? Это, очевидно, не так.

Только в одном случае, похоже, мы хотим закон, который бы выполнялся везде — это когда мы говорим о моральных законах — социальных правилах поведения. Некоторые члены племени могут попробовать взять больше, чем их доля от буйвола, возможно с каким-либо умным оправданием, так что в случае моральных законов мы, кажется, в самом деле имеем инстинкт универсальности. Да, правило о разделе мяса применяется и к вам, нравится ли вам это или нет. Но даже тут есть исключения. Если по некоторой аномальной причине более сильное племя угрожает перебить вас, если Боб не получит в два раза больше мяса, нежели все остальные, вы дадите Бобу двойную порцию. Идея правила, которое вообще не имеет исключений, кажется слишком жесткой, продуктом ограниченного мышления фанатиков, поскольку, находясь в тисках своей идеи, они не могут осознать богатства и сложности реального мира.

Это обычное обвинение в адрес ученых — профессиональных знатоков богатства и сложности реальной Вселенной. Потому что когда вы на самом деле смотрите на вселенную, оказывается, что она является, по человеческим меркам, безумно жесткой в применении своих правил. Насколько мы знаем, не было ни одного нарушения сохранения импульса с незапамятных времен до наших дней.

Иногда, очень редко, мы наблюдаем явное нарушение наших моделей фундаментальных законов. Хотя наши научные модели могут существовать в течение одного или двух поколений, они не являются стабильными на протяжении веков. Но не думайте, что это делает саму Вселенную капризной. Это смешение карты с территорией. Ибо, когда пыль уляжется, и старая теория будет заменена, то получается, что Вселенная всегда действовала в соответствии с новым обобщением, которое мы обнаружили, которое опять будет абсолютно универсальным в свете текущих человеческих знаний. Когда было обнаружено, что ньютоновская гравитация была частным случаем общей теории относительности, было видно, что общая теория относительности формировала орбиты Меркурия за десятилетия до того, как человек узнал об этом, и позже стало очевидным, что общая теория относительности управляла коллапсом звезд в течение миллиардов лет, прежде чем появилось человечество. Ошибаются только наши модели — сам Закон был всегда абсолютно постоянным или так наша новая модель говорит нам.

Я могу утверждать, что уверен только на 80 %, что предел скорости света в следующую сотню тысяч лет останется таким же, однако это не значит что предел является таковым только 80 % времени, а в остальное время меняется. Предположение, в котором я обозначил вероятность в 80 % это то, что действительное положение дел (скорость света) останется таким на всем протяжении пространства-времени.

Одна из причин, по которой древние греки не занимались наукой, это то, что они не представляли, как можно обобщать эксперименты. Греческие философы были заинтересованы в «обычных» явлениях. Если вы проводите выдуманный эксперимент, то вы скорее всего получите аномальный результат, который не будет иметь ничего общего с тем, как на самом деле работают вещи.

Вот как люди пытаются мечтать, прежде чем начинают учиться; но о чем мечтала Вселенная сама по себе, прежде чем начала мечтать о людях? Если вы действительно хотите научиться думать в соответствии с реальностью — для этого здесь приводится это дао:

С самого начала

Ни одна необычная вещь

Не случалась

Реальность безобразна?

Элиезер Юдковский

Читать после: О красоте математикиПредполагая красоту

Вчера я говорил о последовательности кубов {1, 8, 27, 64, 125, …} и как поначалу последовательность из их разностей первого порядка {7, 19, 37, 61, …} не содержит очевидного паттерна, но если взять последовательность разностей второго порядка {12, 18, 24, …}, то закономерность становится простой. Вычисление разностей третьего порядка {6, 6, …} приводит нас к идеально стабильному уровню, где хаос разрешается в порядок.

Но это (как я заметил) довольно искусственный пример. Может быть, «беспорядочному реальному миру» не достает красоты подобных абстрактных математических объектов? Может быть, будет более правильно поговорить здесь о нейронауке или сети экспресии генов?

Абстрактная математика, созданная одним только воображением, строится на простых основаниях – небольшом наборе первоначальных аксиом — и является закрытой системой; условия, которые могут выглядеть как не особенно природные и невероятноспособствующие аккуратности.

Другими словами: в чистой математике вам не надо беспокоиться о тигре, которые может выпрыгнуть из кустов и съесть треугольник Паскаля.

Так что же, реальный мир безобразнее, чем математика?

Странно, что люди спрашивают об этом. В смысле, этот вопрос мог бы быть разумным две с половиной тысячи лет назад…

Еще когда греческие философы спорили о том, из чего может состоять эта штуковина под названием «реальность», было много мнений. Гераклит сказал: «Всё есть огонь». Фалес сказал: «Всё есть вода». Пифагор сказал: «Всё есть число».

Счет: Гераклит 0 Фалес 0 Пифагор 1

Под сложными формами и конструкциями на поверхности реальности существует простой уровень, точный и стабильный уровень, законы которого мы называем «физика». Это удивительное открытие уже случилось к моменту нашего появления, но это не значит, что мы забыли, каким оно было неожиданным. Однажды давным давно люди вышли на поиски основополагающей красоты, не имея никаких гарантий, что найдут её. И случилось так, что они нашли её; и сейчас о ней знают все; и она принимается как должное.

Так почему мы не можем узнать местоположение каждого тигра в кустах так же просто, как мы можем узнать шестой куб?

Я вижу три источника неопределенности даже в мире чистой математики — два очевидных и один не очень.

Первый источник неопределенности заключается в том, что даже создание чистой математики, живущее внутри мира чистой математики, может не знать её. Люди ходили по Земле задолго до того как Галилей/Ньютон/Эйнштейн открыли законы гравитации, которые не дают нам упасть в космос. Вами могут управлять фундаментальные законы, о которых вы ничего не знаете. Нет такого физического закона, который говорит, что мозг, управляемый физическими законами, должен явным образом знать о них.

У нас всё ещё нет Теории Всего. Наши лучшие на данный момент теории состоят из математики, но они не идеально стыкуются друг с другом. Наиболее вероятное объяснение — как уже случалось раньше — мы видим поверхностные проявления более глубокой математики. Так что пока мы думаем, что, скорее всего, реальность сделана из математики, но мы еще не знаем, из какой именно.

Но физикам приходится строить огромные ускорители частиц, чтобы отличить теории между собой — чтобы зафиксировать оставшуюся неопределенность хоть в какой-нибудь видимой форме. То, что физики доходят до такого и остаются неуверенными, подсказывает, что это не источник неопределенности цен на акции.

Второй очевидный источник неопределенности заключается в том, что даже если вы знаете все релевантные законы физики, у вас может не хватать вычислительных мощностей, чтобы делать выводы на их основе. Мы знаем все фундаментальные законы физики, относящиеся к тому, как цепочки аминокислот сворачиваются в белок. Но мы всё ещё не в состоянии предсказать форму белка по аминокислотам. Одна крошечная 5-нанометровая молекула, сворачивающаяся за микросекунду, это слишком много информации, чтобы современные компьютеры смогли с ней справиться (не говоря уже о тиграх или ценах на акции). Наши перспективные разработки в свертывании белков чаще используют хитроумные приближения, а не фундаментальное уравнение Шрёдингера. Когда дело доходит до описания 5-нанометрового объекта с помощью действительно базовой физики, на уровне кварков - что ж, можно даже не пытаться.

Мы должны использовать инструменты вроде рентгеновской кристаллографии и ядерно-магнитного резонанса, чтобы узнавать формы белков, которые полностью заданы физикой, которую мы знаем, и цепочкой ДНК, которую мы знаем. Мы не обладаем логическим всеведением. Мы не можем видеть всех последствий наших мыслей. Мы не знаем, во что мы верим.

Третий источник сомнения наиболее сложен для понимания, и Ник Бостром даже написал о нём книгу. Предположим, что последовательность {1, 8, 27, 64, 125, …} существует, примем это за факт. Далее, допустим, что на каждом кубе сидит маленький человечек, один человечек на куб, также примем это за факт.

Если вы стоите снаружи и видите глобальную перспективу – глядя сверху вниз на последовательность кубов и маленьких человечков на них – эти два факта говорят всё, что можно знать о последовательности и о человечках.

Но если вы – один из маленьких человечков, стоящих на кубе, и знаете эти два факта, существует еще третий кусочек информации, который нужен чтобы делать предсказания: «На каком кубе я стою?».

Вы ожидаете, что стоите на кубе; вы не ожидаете, что можете быть на числе 7. Ваши ожидания определённо ограничены вашим знанием базовых законов физики; ваши убеждения фальсифицируемы. Но вам всё ещё нужно посмотреть вниз, чтобы узнать стоите вы на 1728 или на 517717. Если вы можете быстро считать в уме, то достаточно увидеть первые две цифры четырехзначного куба 17__ , чтобы догадаться, что последние цифры 2 и 8. Иначе вам придется посмотреть и на них тоже.

Чтобы узнать, как выглядит ночное небо, недостаточно знать законы физики. Недостаточно даже обладать логическим всеведением про их последствия. Нужно еще знать, где вы во вселенной. Нужно знать, что вы смотрите на ночное небо с Земли. Необходима не только информация, достаточная для определения положения Земли в видимой вселенной, но во всей вселенной, включая все те части, которые наши телескопы не могут увидеть, потому что они слишком далеко, и другие инфляционные вселенные, а также альтернативные ветви Эверетта.

Предположение, что «неопределенность в исходных данных на границе» на самом деле относится к указанию на некоторое место (мы будем называть ее индексной неопределенностью), — хорошее. Но если нет, то это эмпирическая неопределенность, неопределенность в вопросе, как выглядит вселенная в глобальной перспективе, то есть неопределенность того же класса, что и неопределенность в фундаментальных законах.

Как бы то ни было, идея в том, что «реальность» включает в себя безнадежнобеспорядочный компонент из-за второго или третьего источника неопределенности: логической неопределенности и индексной неопределенности.

Незнание фундаментальных законов не говорит, что то, что выглядит беспорядочным, действительно беспорядочно. Возможно, мы просто еще не уловили закономерность.

Но когда речь идет о беспорядочной сети экспрессии генов, мы уже нашли скрытую красоту — стабильный уровень, уровень физики, которая лежит в основе всего этого. И из того, что мы уже нашли основной порядок, мы можем сделать вывод, что мы уже не найдем больше никакого секрета, который бы сделал биологию простой, как последовательность кубов. Мы знаем правила игры, и поэтому знаем, что игра сложная. У нас не хватает вычислительных мощностей, чтобы заниматься химией белков на основе фундаментальной физики (второй источник неопределенности) и эволюция могла пойти разными путями на разных планетах (третий источник неопределенности). Новые открытия в фундаментальной физике нам здесь не помогут.

Если вы — древний грек, и смотрите на сырые данные из эксперимента по биологии, будет очень мудро поискать какое-нибудь скрытое пифагорейское изящество, когда все протеины складываются в идеальный икосаэдер. Но в биологии мы уже нашли пифагорейское изящество, и его, как мы знаем, недостаточно, чтобы преодолеть индексную и логическую неопределенность.

Точно так же мы можем быть уверены, что никто никогда не сможет предсказать результаты какого-нибудь квантового эксперимента, только потому, что наша фундаментальная теория ясно говорит нам, что разные версии нас будут видеть разные результаты. Если знание фундаментальных законов говорит, что существует последовательность кубов, и что маленький человечек стоит на каждом из них, и что все эти человечки одинаковые, за исключением того, что стоят на разных кубах, и что вы — один из этих человечков, то вы знаете, что у вас нет способа узнать, на каком вы кубе, кроме как посмотреть.

Современное знание говорит, что «реальность» — это идеально постоянный, детерминированный и очень большой математический объект, который очень дорого и трудно моделируется. Так что «реальная жизнь» не особенно похожа на предсказание следующего куба в цепочке кубов, а больше похожа на знание, что очень много маленьких человечков стоят на кубах, не зная, кто они и на каких именно кубах они стоят. А, и еще они не очень быстро считают в уме. Наше знание правил слегка ограничивает наши предсказания, но не полностью.

Вот. Теперь это похоже на реальность?

Но неопределенность существует в карте, а не в территории. Если мы не знаем о феномене, это говорит что-то о нашем состоянии сознания, а не о самом феномене. Эмпирическая неопределенность, логическая неопределенность и индексная неопределенность – просто имена для нашей неразберихи. Пока мы все равно думаем, что мир состоит из математики, а математика совершенно стабильна и определена. Беспорядок только в глазах смотрящего.

Даже самые жуткие трясины блогосферы определены той же самой совершенной физикой, что и {1, 8, 27, 64, 125, …}

Так что интернет — не огромная помойка… это серии кубов.

Прекрасная вероятность

Элиезер Юдковский

Должны ли мы ожидать, что на определенном уровне рациональность будет простой? Должны ли мы надеяться и искать красоту в искусстве убеждения и выбора?

Позвольте мне привести цитату покойного мастера Байесианства Джейнса (1990):

«Два медика-исследователя используют одинаковую методику лечения независимо друг от друга в разных больницах. Ни один из них не фальсифицирует данные, однако один решил заранее, что из-за ограниченности ресурсов он остановится после лечения N=100 пациентов, сколько бы вылечившихся ни было. Другой поставил на кон свою репутацию и решил, что он не остановится, пока данные не покажут, что процент вылеченных больше 60%, сколько бы пациентов ни потребовалось. На деле, оба остановились на почти одинаковых данных: n=100 [пациентов], r=70 [вылеченных]. Должны ли мы сделать разные выводы из их экспериментов?» (по-видимому, две контрольные группы также дали равные результаты).

В соответствии со статистической процедурой старой школы — которой, я верю, все еще обучают сегодня — два исследователя выполнили разные эксперименты с разными условиями прекращения. Два эксперимента могли быть прекращены с разными данными и таким образом представлять разные тесты гипотезы, требуя различных методов статистического анализа. Поэтому весьма возможно, что первый эксперимент будет «статистически значимым», а второй нет.

То, волнует ли вас это или нет, говорит о том, волнует ли вас теория вероятности и рациональность сама по себе.

Статистики-небайесианцы могут пожимать плечами, говоря «ну, не все статистические инструменты имеют одни и те же сильные и слабые стороны, вы же знаете, молоток не похож на отвертку, и если вы применяете разные статистические инструменты, вы можете получить разные результаты, в зависимости от того, обрабатываем мы данные вычисляя линейную регрессию или тренируя нейронную сеть. Вы должны использовать правильный инструмент для каждого отдельного случая. Жизнь запутанна».

И тогда Байесианцы отвечают: «Извините? Очевидное влияние фиксированного экспериментального метода, продуцирующего одинаковые данные, зависит от частных мыслей исследователя? И вы еще умудряетесь обвинять нас в «чрезмерной субъективности?»

Если Природа устроена одним образом, то так же данные, пришедшие путем, который мы видели, должны представлять одно явление. Если Природа устроена другим образом, то данные должны отражать что-то еще. Однако состояние Природы, которое отражено в данных, никак не зависит от намерений исследователя. Так что каковы бы не были наши гипотезы о Природе, отношение правдоподобия остается одним и тем же, и доказательное влияние то же самое, и апостериорное убеждение должно быть тем же самым между двумя экспериментами. По меньшей мере один из двух методов старой школы должен учитывать не всю информацию, или просто вычисляться с ошибкой, чтобы два метода дали разные ответы.

Древняя война между байесианцами и сторонниками частотного подхода тянется уже десятилетия, и я не собираюсь рассматривать всю эту историю в данном посте.

Но один из центральных конфликтов в том, что байесианцы ожидают, что теория вероятности будет… как же это сказать? Стройной? Ясной? Самосогласующейся?

Как говорит Джейнс, теоремы байесианской вероятности — это просто теоремы когерентной системы доказательств. Не имеет значения, как вы обрабатываете данные в этом случае, результаты байесианской теории вероятности должны быть всегда одни и те же — каждая теорема совместима с любой другой теоремой.

Если вы хотите узнать сумму 10+10, вы можете вычислять это как (2 × 5) + (7 + 3) или как (2 × (4 + 6)) или использовать любой другой метод который вам нравится, но результат должен быть всегда один и то же, в данном случае 20. Если же в одном случае получается 20, а в другом 19, тогда вы можете заключить, что вы сделали что-то неправильно по крайней мере в одном из вычислений. (В математике недопустимой операцией обычно является деление на ноль; в теории вероятности это обычно бесконечность, что нельзя использовать как предел конечного процесса.)

Если вы принимаете результат 19=20, внимательно рассмотрите ошибку, которую вы сделали, поскольку не может быть, чтобы вы могли математически обмануть себя. Если бы кто-то преуспел в получении реального противоречия в байесианской теории вероятности — такого, скажем, как два различных доказательных воздействия от одного и того же экспериментального метода, принимающего на вход одинаковые результаты, тогда вся конструкция была бы дымом. Вместе с теорией множеств, поскольку я считаю, что теория множеств обеспечивает модель для теории вероятности.

Математическая! Вот слово которое я искал. Байесианцы ожидают что теория вероятности будет математической. Вот почему мы заинтересованы в теореме Кокса и ее расширениях, показывающих, что любое представление неопределенности, которое подчиняется определенным ограничениям, должно отображаться посредством теории вероятности. Когерентная математика это великолепно, но уникальная математика еще лучше.

И еще, должна ли рациональность быть «математична»? Не является предопределенным то, что вероятность должна быть красивой. Реальный мир сложен — так, возможно, вам нужно будет сложное мышление, чтобы с этим справиться? Возможно, что статистики-небайесианцы с их большой коллекцией специальных методов и обоснований более компетентны, поскольку у них строго больший инструментарий. Хорошо, когда проблемы ясны, но обычно это не так, и вам придется с этим жить.

В конце концов, хорошо известно, что вы не можете использовать байесовские методы на множестве проблем из-за того, что байесовские вычисления сложны для подсчетов. Так почему бы не позволить цвести многим цветам? Почему бы не иметь больше одного инструмента в вашем наборе?

Это фундаментальное различие в сознании. Статистики старой школы думают в терминах инструментов и трюков, применяемых для определенных проблем. Байесианцы, по крайней мере этот байесианец, хотя я не думаю, что говорю только за себя, — мы думаем в терминах законов.

Поиск законов — это не то же самое, что поиск особенно чистых и красивых инструментов. Второй закон термодинамики — это не одно и то же, что и чистый и красивый холодильник.

Цикл Карно это идеальный двигатель — на самом деле идеальный. Нет двигателя, который бы питался от двух накопителей тепла и был бы эффективней, чем двигатель Карно. Как следствие, все термодинамически обратимые двигатели, которые функционируют между одинаковыми накопителями тепла, имеют одинаковую эффективность.

Но, конечно, вы не можете использовать двигатель Карно для питания реальной машины. Двигатель машины имеет такое же сходство с двигателем Карно, что и шины автомобиля с идеальными катящимися цилиндрами.

Тогда ясно, что двигатель Карно — бесполезный инструмент для постройки настоящей машины. Второй закон термодинамики, очевидно, неприменим здесь. Чересчур сложно сделать двигатель, который будет отвечать таким условиям, в реальности. Просто игнорируйте термодинамику — используйте все, что работает.

Это определенный род путаницы, который, как я думаю, управляет теми, кто все еще цепляется за старые методы.

Нет, вы не можете всегда делать точные байесовские вычисления для проблемы. Иногда вам надо искать аппроксимацию; на самом деле, часто. Это не значит, что теорию вероятности нужно прекратить применять, так же как ваша неспособность вычислить аэродинамику самолета из атомных взаимодействий не означает, что самолет не сделан из атомов. Какую бы аппроксимацию вы не использовали, она будет работать, если является аппроксимацией идеального байесовского вычисления — и не будет работать в любом другом случае.

Доказательства когерентности и уникальности байесианства отметают оба пути. Также, как любой расчет, который подчиняется аксиомам когерентности Кокса (или любой из его переформулировок или обобщений), должен отображаться в вероятностях, любой не байесовский расчет должен провалить какой-либо из тестов на когерентность. Что, в свою очередь, приводит к наказаниям, таким как голландское бронирование (прием комбинаций ставок, которые приводят к точным убыткам или отказу от комбинаций, которые дают точные выгоды).

Вы можете быть не способны вычислить оптимальный ответ. Но любая аппроксимация которую вы используете, с ее достоинствами и недостатками, должна быть объяснима с позиции байесовской теории вероятности. Вы можете не знать объяснения: но это не значит, что его не существует.

Так вы хотите использовать линейную регрессию вместо байесовских обновлений? Но посмотрите на структуру, лежащую в основе линейной регрессии, и вы увидите, что она выбирает лучшую точку с позиции оценки, данной гауссовской функцией правдоподобия, и ставит исходное над параметрами.

Вы хотите использовать регуляризованную линейную регрессию, потому что она работает на практике лучше? Ну, она соответствует (говорит байесианец) тому, чтобы ставить гауссову априорную информацию над весами.

Иногда вы не можете использовать байесовские методы так, как это описано в литературе; на самом деле это бывает довольно часто. Но когда вы можете использовать точное байесовское вычисление, которое использует каждый кусочек доступной вам информации, делайте это. Вы никогда не найдете статистический метод, который даст вам лучший ответ. Вы можете найти простую аппроксимацию, которая работает отлично почти все время, и так будет проще, но не точнее. Не будет, пока другие методы используют знания, возможно, в форме неявной априорной информации, что не позволяется при байесовских вычислениях; и тогда, когда вы применяете априорную информацию для байесовского вычисления, оно будет либо равно по результатам, либо будет лучше.

Когда вы используете специальный статистический инструмент старой школы с каким-либо (часто достаточно интересным) обоснованием, вы никогда не знаете, если у кого-то завтра появиться более продвинутый инструмент. Но когда вы напрямую можете использовать вычисление, которое отражает байесовский закон, вы делаете что-то наподобие помещения двигателя Карно в свою машину. Это, как говорится, по-байесовски оптимально.

Мне кажется, что те, кто пользуется множеством инструментов, смотрят на последовательность кубов {1, 8, 27, 64, 125, …}, указывают на разности {7, 19, 37, 61, …} и говорят «смотрите, жизнь не всегда проста — вам нужно адаптироваться к обстоятельствам». И байесианцы, которые указывают на лежащий в основе стабильный уровень {6, 6, 6, 6, 6, …}. И критики говорят: «Что за чушь вы несете? Это 7, 19, 37, а не 6, 6, 6. Вы упрощаете проблему, вы слишком привязаны к простоте».

Бесполезно быть простым на поверхностном уровне. Вы должны погрузиться глубже, чтобы найти стабильность.

Мыслите законами, а не инструментами. Необходимость вычислять приближения (аппроксимации) к закону не меняет закон. Самолеты по-прежнему состоят из атомов, они не станут исключением только из-за аэродинамических вычислений. Аппроксимация существует на карте, не на территории. Вы можете знать второй закон термодинамики и все еще пробовать себя как инженера, строя несовершенный двигатель машины. Второй закон не станет неприменим; ваше знание этого закона и цикла Карно помогает вам приблизиться к наибольшей эффективности, которую вы только можете достигнуть.

Мы не очаровываемся байесовскими методами только потому, что они красивы. Красота всего лишь побочный эффект. Теоремы Байеса изящны, когерентны, оптимальны и доказуемо однозначны потому, что они относятся к законам.

Приложение: Cyan отсылает нас к главе 37 книги о статистике Маккая, где данная проблема рассматривается более подробно.

Jaynes, E. T. (1990.) Probability Theory as Logic. In: P. F. Fougere (Ed.), Maximum Entropy and Bayesian Methods. Kluwer Academic Publishers.

MacKay, D. (2003.) Information Theory, Inference, and Learning Algorithms. Cambridge: Cambridge University Press.

Вне лаборатории

Элиезер Юдковский

«Вне лаборатории ученые не мудрее, чем кто-либо еще». Иногда эта пословица говорится учеными, чтобы с сожалением напомнить себе о своей ошибочности. Иногда эта пословица говорится по менее похвальным причинам, чтобы девальвировать нежелательные экспертные рекомендации. Правдива ли пословица? Наверное, нет, в абсолютном смысле. Это кажется слишком пессимистичным — говорить, что ученые буквально не выше среднего уровня.

Но поговорка кажется в какой-то степени верной, и мы должны быть обеспокоены этим фактом. Мы не должны грустно вздыхать и мотать головой. Скорее, мы должны встревоженно подобраться. Почему? Предположим, пастушонок обучен считать овец, каждый раз, как овца проходит. Он знает, когда все овцы ушли и когда вернулись. Тогда ты даешь пастуху яблоки и спрашиваешь: «Сколько яблок?» Но он тупо на тебя смотрит. Он не обучен считать яблоки. Только овец. Вы, вероятно, заподозрите, что пастух плохо понимает счет. Теперь предположим, что мы видим, что кандидат экономических наук покупает каждую неделю лотерейный билет. Мы должны спросить себя — этот человек действительно понимает ожидаемую полезность на инстинктивном уровне? Или просто обучен выполнению различных алгебраических трюков?

Один пример мыслей Ричарда Фейнмана об ошибках в системе обучения физике:

«После длительного расследования я, наконец, понял, что студенты все запоминали, но ничего не понимали. Когда они слышали: «свет, отраженный от преломляющей среды», они не понимали, что под средой имеется в виду, например, вода. Они не понимали, что «направление распространения света» — это направление, в котором видишь что-то, когда смотришь на него, и т.д. Все только запоминалось, и ничего не переводилось в осмысленные понятия. Так что, если я спрашивал: «Что такое угол Брюстера?», я обращался к компьютеру с правильными ключевыми словами. Hо, если я говорил: «Посмотрите на воду», — ничего не срабатывало. У них ничего не было закодировано под этими словами».

Предположим, у нас есть компетентный ученый, который знает, как поставить эксперимент на N предметов. N субъектов получат одинаковый препарат. Судьи слепым методом будут классифицировать результаты. И тогда мы обработаем результаты на компьютере и увидим, будут ли они значимы на 0.05 доверительной вероятности.

И это не просто ритуал. Как, например, «салат следует есть вилкой». Это ритуал для проверки гипотез экспериментально. Почему вы должны экспериментально проверить гипотезу? Потому что знаете, что это требование журнала для публикации? Потому что в колледже научились? Потому что все вокруг будут в унисон говорить, что эксперимент важен, и будут смеяться над вами, если вы говорите иначе?

Нет. Потому что для построения карты территории вы должны пойти и посмотреть на территорию. Невозможно сидеть с закрытыми глазами и строить точную карту города, просто медитируя на то, каким вы хотите видеть город. Вы должны пойти, погулять и нарисовать на бумаге линии, которые вы увидите. Это происходит каждый раз, когда вы смотрите на развязанные шнурки. Фотоны летят от солнца, отскакивают от шнурков, попадают в сетчатку, активируют нейроны и активируют в зрительной коре шаблон, сильно коррелирующий с формой ваших шнурков. Чтобы нарисовать карту — пройдись по территории. Взаимодействие мозга с окружением — реальный физический процесс. Процессы мышления — не магия. Вы можете описать, как это работает. Чтобы найти эти вещи вы должны пойти и посмотреть.

Так что нам теперь думать про ученого, компетентного в лаборатории, но за её пределами верящего в духовный мир? Мы спросим: «Почему?», и ученый ответит что-то вроде: «Ну, никто ведь на самом деле не знает. Это религия, и она не может быть опровергнута тем или иным наблюдением». Я не могу не прийти к выводу, что человек буквально не знает, почему мы должны смотреть на вещи.

Вероятно, они выучили определенный ритуал проведения эксперимента, но они не понимают причин необходимости этого — чтобы нарисовать карту территории, вы должны её увидеть — чтобы получить информацию об окружающей среде, вы должны создать процесс причинно-следственной связи, в котором вы взаимодействуете с окружающей средой и корректируете карту. Это верно как в отношении двойного слепого метода сбора информации о лекарствах, так и в отношении сбора информации вашим глазом о шнурках.

Может быть, наш верящий в духов ученый скажет «Но это не задача для эксперимента. Духи говорят со мной в моём сердце». Что ж. Если мы предположим, что духи действительно могут говорить каким-либо образом с нами, то тут может быть причинно-следственное взаимодействие и необходимы наблюдения. Теория вероятностей всё ещё работает. Если у вас есть предположение, что некий «голос духов» может быть свидетельством реальных духов, то вы должны предположить, что есть рациональная вероятность для того, чтобы «голос духов» вызывался духами, относительно других объяснений «голоса духов», являющаяся достаточно сильной для преодоления предварительной невероятности факта сложного убеждения со многими частями. В противном случае объяснение «духи говорят со мной в моём сердце» является примером «причинного взаимодействия», по аналогии с которым студент не видит за определением «среда с индексом преломления» воду.

Легко быть одураченным, возможно, потому, что люди в лабораторных халатах используют фразы вроде «причинного взаимодействия», а люди в бусах — фразы вроде «духи говорят». Участники дискуссии в разных одеждах, как мы все знаем, разграничены разными сферами существования — «непересекающимися магистериями», согласно известной чуши от Стивена Гулда. 1

На самом деле «причинно-следственная связь» — просто ещё один способ сказать: «Что-то происходит по причине того, что что-то сделано». И теорию вероятностей не волнует одежда, которую вы носите.

В современном обществе имеется распространенное убеждение о том, что духовные вопросы не могут быть решены с помощью логики и наблюдений, поэтому вы можете иметь любые религиозные убеждения, какие вам нравится. Если ученый попадается на это и решает жить своей «внелабораторной» жизнью таким образом, то это говорит мне, что он понимает экспериментальный принцип как «общественный договор». Они знают, когда должны проводить эксперименты и проверять результаты ради статистической значимости. Но переведем это в контекст, где социальный обычай — следовать дурацким верованиям без проверки, и они будут счастливы так это и делать.

Ученик-пастушок скажет, что если вышли семь овец и потом вышли восемь овец, то лучше бы вернулись пятнадцать овец. Почему пятнадцать, а не «четырнадцать» или «три»? Потому что в противном случае останешься без ужина, вот почему! И это своего рода то, как работает профессиональная подготовка, но если социальный договор — единственная причина, по которой восемь овец и семь овец составляют пятнадцать овец, — то может семь яблок и восемь яблок будет три яблока? Кто сказал, что правила для яблок не должны быть другими?

Но если вы понимаете, почему работают правила — вы знаете, что сложение одинаково и для овец, и для яблок. Исаак Ньютон справедливо почитается — не только за его устаревшую теорию гравитации, но за обнаружение — удивительное и неожиданное — того, что небесные тела следуют тем же правилам, что и падающие яблоки. В макромире — в окружающей нас повседневной среде — на разных деревьях растут разные фрукты, разные люди в разное время следуют разным обычаям. Действительно, единая вселенная со стационарными универсальными законами — весьма нелогичное понятие для человека. Только ученые действительно в это верят, хотя некоторые религии хорошо играют словами относительно «единства всех вещей».

Как сказал Ричард Фейнман:

Если мы смотрим на стакан достаточно близко — мы видим всю вселенную. Это означает «думать, как физик»: скрученная жидкость, которая испаряется в зависимости от ветра и непогоды, отражение в стекле, а наша фантазия добавляет атомы. Стекло — продукт дистилляции земных пород, и в его составе мы видим тайны возраста вселенной и эволюции звезд. Что за странный массив химических элементов есть в вине? Как они получились? Это ферменты, энзимы, субстраты и продукты. В вине находится большое обобщение — вся жизнь, ферментация (брожение). Никто не смог бы обнаружить химию вина без обнаружения, как это сделал Луи Пастер, причины множества болезней. Яркость красного вина определяется в сознании того, кто на него смотрит. Если наш маленький ум, для некоторого комфорта, делит эту вселенную на части — физика, биология, геология, астрономия, психология, и так далее — помните, что природа этого не знает! Итак, давайте сложим всё это вместе, не забывая в итоге для чего это. Пусть это даст нам ещё одно заключительное удовольствие — пить и забыть всё это.

Некоторые религии, особенно созданные или подправленные после Исаака Ньютона, могут исповедовать, что «всё связано со всем остальным». (Поскольку существует тривиальный изоморфизм между графами и их дополнениями, эта Глубокая Мудрость передает такую же полезную информацию, как граф без ребер.)

Но когда дело доходит до фактической сути религии, пророки и священники следуют древней человеческой традиции принятия всего вместе. И они создают одно правило для девушек до двенадцати, ещё одно для мужчин за тридцать, одно правило для шаббата и другие для будней, одни правила для науки и другие — для колдовства. Реальность, как мы выучили к нашему шоку — не набор отдельных магистериев, но единый процесс, регулируемый математически простыми правилами низкого уровня. Различные здания на территории института не принадлежат к разным вселенным, хотя иногда так и может показаться. Вселенная не делится на разум и материю, на живое и неживое, атомы в наших головах легко взаимодействуют с атомами окружающего воздуха. Теорема Байеса не меняется от места к месту.

Если за пределами своей сферы деятельности ученый восприимчив к дурацким идеям так же, как кто-либо ещё, он, вероятно, так и не понял, почему научные правила работают. Может, они могут, как попугаи, повторять положения критического рационализма. Но они не понимают, на глубинном уровне, на алгебраическом уровне теории вероятностей, причинно-следственный уровень «мышления-как-машины». Они были обучены вести себя определенным образом в лаборатории, но они не любят быть ограничены данными. Когда они приходят домой и снимают халат — они расслабляются в некоторой комфортной глупости. И да, вот что мне интересно — могу ли я доверять ученым, даже в их области, особенно когда дело доходит до любого спорного вопроса, любого открытого вопроса, всё, что ещё не прибито гвоздями массовых доказательств и социальных конвенций. Может, мы можем победить поговорку — быть рациональными в нашей личной жизни, не только в профессиональной жизни. Мы не должны позволить поговорке остановить нас. «Остроумная поговорка ничего не доказывает» — как сказал Вольтер. Может быть, мы сможем делать лучше, если достаточно изучим теорию вероятностей, чтобы понять, почему правила работают, и экспериментальную психологию, чтобы увидеть, как они применяются в реальных случаях, если мы сможем научиться «смотреть на воду». Амбиции не должны мешать возможности признать, что за пределами своей специализации ты не лучше кого-либо другого. Но если наши теории рациональности не применимы в обычной жизни — мы делаем что-то неправильно. Нет разницы между вселенной внутри и снаружи лаборатории.

1.От себя позволю скопировать фрагмент текста из статьи о Гулде, чтобы внести немного ясности в термин «магистерий»: «Двойственность, если не двусмысленность эволюционной позиции Гулда, привела к такой же двойственности его точки зрения на соотношение науки и религии. Кратко эта точка зрения может быть выражена в принципе равноценности и непересекаемости науки и религии, означающем по Гулду, что наука и религия принадлежат к „непересекающимся магистериям“ (сокращенно — NOMA), то есть к разным областям, и имеют дело с разными вопросами человеческого бытия. Таким образом, между ними не может быть никакого конфликта: наука имеет дело с фактами, а религия касается вопросов этики, ценностей и целей. Свой тезис „непересекающихся магистерий“ Гулд обстоятельно развил в двух книгах, получивших многочисленные отклики. В первой он поставил перед собой честолюбивую цель — „определить идеальные отношения между наукой и религией таким способом, чтобы максимизировать выгоду от каждой для общества“, выявить „принципиальное средство ухода от ненужного конфликта между теологами и учеными“. Он выступал против представления, что наука и религия несовместимы и противоречат друг другу. Таковыми они становятся в том случае, если религия трактуется в узком смысле вероучения, которое требует удивительных вмешательств Бога в историю и природу и которое отказывается признавать доказательства эволюции. Если же религия понимается в более широком смысле — как философский теизм, свободный от суеверия или как светский гуманизм, основанный на этических нормах, то Гулд не видит никакого конфликта между двумя магистериями. Тогда наука и религии как две самостоятельные области не только могут быть объединены в единой концептуальной схеме, но и „процветать рядом подобно двум независимым нациям в мире друг с другом“».

Второй закон термодинамики и двигатели познания

Элиезер Юдковский

Первый закон термодинамики, более известный как закон сохранения энергии, утверждает, что нельзя создать энергию из ничего. Первый закон запрещает вечный двигатель первого рода — устройство, способное работать бесконечно долго без затрат топлива или других энергетических ресурсов. Согласно современной физике, энергия сохраняется при абсолютно каждом взаимодействии частиц. Применяя математическую индукцию, мы получаем, что, каким бы большим ни было множество частиц, оно не сможет произвести энергию из ничего — во всяком случае, без нарушения известных нам законов физики.

Именно поэтому, если вы попробуете запатентовать гениальное изобретение, состоящее из колёс и шестерёнок, в которой одна пружина разжимается, а другая сжимается и так далее, и которая, по вашим расчётам будет работать вечно, Патентное ведомство США без раздумий отклонит вашу заявку. Полностью доказано, что для работы такой машины хотя бы одна её деталь должна нарушать законы физики (в стандартной модели). Поэтому, если вы не можете объяснить, как одна деталь нарушает законы физики, вы не сможете объяснить, как их нарушает вся машина.

Подобный довод применим и к инерциоиду — двигательной установке, нарушающей закон сохранения импульса. В стандартной модели импульс сохраняется для всех частиц и их взаимодействий. По математической индукции, импульс будет сохраняться для систем любого размера. Если вы можете представить две сталкивающиеся частицы, которые разлетаются с таким же суммарным импульсом, то вы поймёте, что увеличение системы до огромной машины из кучи шестерёнок ничего не изменит. Даже если составить систему из триллионов квадриллионов атомов, 0 + 0 + … + 0 = 0.

Но закон сохранения энергии сам по себе не может запретить преобразовывать тепло в работу. Вы можете сделать закрытую коробку, которая превращает кубики льда и запасённое электричество в тёплую воду. Это даже совсем не сложно. Нельзя создать или уничтожить энергию: изменение количества энергии при трансформации кубиков льда и электричества в тёплую воду должно равняться нулю. Поэтому, если бы вы провели обратную трансформацию, закон сохранения энергии тоже бы не нарушился.

Вечные двигатели второго рода, превращающие тёплую воду в электрический ток и кубики льда, запрещены вторым законом термодинамики.

Понять второй закон немного труднее, поскольку по своей природе он байесовский.

Я не шучу.

Второй закон термодинамики вытекает из теоремы, которую можно доказать в стандартной физической модели: при изменении любой замкнутой системы во времени объём её фазового пространства сохраняется.

Допустим, вы держите мяч высоко над землёй. Это состояние можно описать как точку в многомерном пространстве, в котором по крайней мере одно из измерений — высота мяча над землёй. Затем, когда вы отпускаете мяч, он начинает двигаться. Одновременно начинает двигаться и безразмерная точка в фазовом пространстве, которая описывает всю систему, состоящую из вас и мяча. Термин «фазовое пространство» в физике обозначает, что в нём есть измерения не только для координат частиц, но ещё и для импульсов. Например, система из двух частиц будет иметь 12 измерений: 3 измерения на координату частицы, и 3 измерения на импульс.

Если у вас есть многомерное пространство, в котором каждое измерение описывает положение соответствующей шестерёнки в огромном механизме, то, когда вы будете поворачивать шестерёнки, в многомерном фазовом пространстве будет метаться туда-сюда единственная точка. И раз мы можем представить большой сложный механизм в виде одной точки в многомерном пространстве, то законы физики, описывающие поведение механизма с течением времени, мы можем представить, как описывающие траекторию этой точки в фазовом пространстве.

Второй закон термодинамики — следствие теоремы, доказываемой в стандартной модели физики: если рассмотреть некоторый объём фазового пространства, который преобразуется во времени в стандартной модели, то его суммарный объём сохраняется.

Например:

Возьмём две системы, XX и YY, где XX имеет 8 возможных состояний, YY — 4 возможных состояния, а объединённая система (X,Y)(X,Y) — 32 состояния.

Преобразование объединённой системы с течением времени можно описать правилом, которое отображает начальные точки в будущие точки. Например, система может начать в состоянии X7Y2X7Y2, и за минуту перейти (под действием каких-то законов физики) в состояние X3Y3X3Y3. То есть, если XX находится в состоянии 7, Y — в состоянии 2, и мы проследим за ними одну минуту, то мы увидим переход XX в состояние 3 и YY в состояние 3. Таковы законы физики.

Далее, давайте выделим в объединённой системе подпространство SS. Пусть в SS ХХ всегда находится в состоянии 1, а YY — в состояниях 1-4 . Таким образом, общий объём SS будет равен 4 состояниям.

И давайте допустим, что состояния, изначально входящие в SS, под действиями управляющих системой (X,Y)(X,Y) законов физики, ведут себя следующим образом:

X1Y1→X2Y1X1Y1→X2Y1

X1Y2→X4Y1X1Y2→X4Y1

X1Y3→X6Y1X1Y3→X6Y1

X1Y4→X8Y1X1Y4→X8Y1

Это, в двух словах, описание работы холодильника.

Подсистема XX стартовала из узкой области пространства состояний (единственного состояния 1), а YY — из более широкой области, состояний 1-4. После взаимодействия систем друг с другом, система YY оказалась в узкой области, а XX — в широкой, но общий фазовый объём не изменился. 4 начальных состояния перешли в 4 конечных.

Очевидно, что пока физика не позволяет фазовому объёму изменяться с течением времени, невозможно сжать YY сильнее, чем расширить XX, и наоборот. Для каждой подсистемы, сжимаемой в пространстве состояний, какая-то другая подсистема должна расширяться в пространстве состояний.

Теперь допустим, что мы не уверены насчёт состояния системы (X,Y)(X,Y), и наша неопределённость описывается равновероятным распределением по SS. То есть, мы уверены, что XX находится в состоянии 1, но YY может находиться в любом из состояний 1-4. Через минуту мы ожидаем увидеть YY в состоянии 1, а XX — в любом из состояний 2-8. Фактически, XX может быть только в одном из состояний среди 2-8, но узнать конкретное состояние было бы слишком затратно, так что мы просто будем говорить 2-8.

Если рассмотреть энтропию Шэннона от нашей неуверенности о состояниях XX и YY, как о независимых системах, то XX начнёт с 0 бит энтропии, потому что имеет только одно определённое состояние, YY начнёт с 2 бит, потому что она с равной вероятностью может оказаться в любом из четырёх состояний. (Между XX и YY нет общей информации). Немного физики, и вот, энтропия YY стала 0, но энтропия XX стала равна log27=2,8битlog27=2,8бит. Таким образом, энтропия перешла из одной системы в другую и уменьшилась в подсистеме YY. Однако из-за каких-то сложностей мы не потрудились отследить часть информации, и, следовательно (с нашей точки зрения), общая энтропия увеличилась.

Предположим, существовал бы физический процесс, который преобразовывал бы прошлые состояния в будущие состояния следующим образом:

X2Y1→X2Y1X2Y1→X2Y1

X2Y2→X2Y1X2Y2→X2Y1

X2Y3→X2Y1X2Y3→X2Y1

X2Y4→X2Y1X2Y4→X2Y1

Такой физический процесс на самом деле уменьшал бы энтропию, потому что независимо от того, где бы вы начинали, вы оказывались бы в одном и том же месте. Законы физики с течением времени могли бы сжать фазовое пространство.

Однако существует теорема — она называется теоремой Лиувилля и её можно доказать для наших законов физики, — которая утверждает, что такого не может быть: фазовый объём сохраняется.

Второй закон термодинамики — это следствие теоремы Лиувилля. Не важно, насколько хитроумна ваша машина из колёс и шестерёнок. Всё равно вы никогда не сможете уменьшить энтропию в одной подсистеме, не увеличивая её где-то в другом месте. Когда фазовое пространство одной подсистемы сужается, фазовое пространство другой подсистемы должно расширяться, и совместное пространство будет иметь тот же объем.

Однако, изначально компактное фазовое пространство может со временем расползтись и рассредоточиться. Поэтому для того, чтобы нарисовать простую границу вокруг этого беспорядка, придётся описать гораздо большую область, чем в начале. Именно это создаёт впечатление, что энтропия увеличивается. (А в квантовых системах, где развитие разных вселенных идёт разными путями, энтропия действительно возрастает в любой локальной вселенной. Но пока что пропустим это усложнение.)

Второй закон термодинамики вероятностный по своей природе — если вы спросите насчёт вероятности того, что горячая вода спонтанно перейдёт в состояние «холодная вода и электричество», то ответ — такая вероятность действительно существует, просто она очень мала. Это не означает, что теорема Лиувилля с малой вероятностью нарушается, теорема — это теорема, в конце концов. Это означает, что если вы вначале находитесь в большом фазовом пространстве, но не знаете, где именно, вы можете оценить небольшую вероятность оказаться в каком-то конкретном объёме фазового пространства. Поэтому, с бесконечно малой вероятностью этот конкретный стакан горячей воды может быть таким, который самопроизвольно превратится в электрический ток и кубики льда. (Пренебрегая, как обычно, квантовыми эффектами).

Таким образом, второй закон термодинамики по своей природе действительно является байесовским. Когда мы рассуждаем о реальной термодинамической системе, второй закон термодинамики — абсолютно строгое утверждение о ваших убеждениях, касающихся этой системы, но вероятностное утверждение о самой системе.

«Постойте, — говорите вы. — На уроках физики меня учили по-другому. На лекциях нам рассказывали, что термодинамика — это вроде как о температурах. Неопределённость — это субъективное ощущение! Температура воды в стакане — объективное свойство воды! Какое отношение имеет тепло к вероятности?»

О, у вас маловато доверия.

С одной стороны, связь между теплотой и вероятностью относительно проста: если вы не знаете про стакан воды ничего, кроме его температуры, то у вас гораздо больше неопределённости насчёт стакана горячей воды, чем насчёт стакана холодной.

Тепло — хаотичное движение множества молекул, и чем горячее, тем быстрее движутся молекулы. Не все молекулы в горячей воде движутся с одинаковой скоростью: «температура» — это не равномерная скорость всех молекул, а средняя скорость, которая, в свою очередь, соответствует прогнозируемому статистическому распределению скоростей. Дело в том, что чем горячее вода, тем быстрее могут быть молекулы воды, и, следовательно, у вас больше неопределённости о скорости любой отдельной молекулы (и не забудьте о том, что скорость — это вектор) . Когда вы умножите свои неопределённости относительно всех отдельных молекул, вы получите экспоненциально большую неопределённость относительно всего стакана воды.

Теперь возьмём логарифм этого экспоненциального объёма неопределённости и назовём его энтропией. Как вы видите, всё сходится.

Если посмотреть с другой стороны, связь менее очевидна. Предположим, что о некотором стакане воды вы изначально знали только то, что его температура составляла 72 градуса. Затем, внезапно, Святой Лаплас раскрывает вам точные координаты и скорости всех атомов в воде. Теперь вы прекрасно знаете состояние воды, поэтому, по определению информационной энтропии, её энтропия равна нулю. Делает ли это его термодинамическую энтропию нулевой? Будет ли вода холоднее из-за нашего знания?

Игнорируя квантовые эффекты, ответ: да! Вода будет холоднее!

Максвелл однажды спросил: «Почему мы не можем взять сосуд с равномерно распределённым горячим газом, разделить его перегородкой на две части — A и B, и сделать так, чтобы из В в А переходили только быстрые молекулы, а из А в В — только медленные? Если построить такой разделитель, то на стороне А мы получим горячий газ, а на стороне В — холодный. Мы тогда смогли бы дёшево охлаждать продукты, верно?»

Агент, который проверяет каждую молекулу газа и решает, пропускать ли её, известен под именем «демон Максвелла». И причина, по которой вы не можете построить эффективный холодильник таким образом, заключается в том, что демон Максвелла генерирует энтропию, когда проверяет скорости молекул газа и решает, пропускать молекулу или нет.

Но предположим, что вы уже знаете, где находятся все молекулы газа.

Тогда вы действительно можете запустить демона Максвелла и извлечь из этого полезную работу.

Поэтому (опять же игнорируя квантовые эффекты на данный момент), если вы знаете состояния всех молекул в стакане горячей воды, в истинно термодинамическом смысле он холодный: вы можете забрать электричество из воды и оставить кубик льда.

Это не нарушает теорему Лиувилля, потому что если YY — это вода, и вы — демон Максвелла (обозначим как MM), физический процесс ведёт себя так:

M1Y1→M1Y1M1Y1→M1Y1

M2Y2→M2Y1M2Y2→M2Y1

M3Y3→M3Y1M3Y3→M3Y1

M4Y4→M4Y1M4Y4→M4Y1

Поскольку демон Максвелла знает точное состояние YY, это общая информация между MM и YY. Общая информация уменьшает энтропию связанной системы (M,Y)(M,Y): H(M,Y)=H(M)+H(Y)−I(M;Y)H(M,Y)=H(M)+H(Y)−I(M;Y). MM имеет 2 бита энтропии, YY тоже имеет 2 бита энтропии, и общая информация - 2 бита, поэтому (M,Y)(M,Y) имеет в сумме 2 + 2 - 2 = 2 бита энтропии. Физический процесс просто преобразует «холодность» (негэнтропию) общей информации, чтобы сделать холодной настоящую воду. После этого MM имеет 2 бита энтропии, YY имеет 0 бит энтропии, а общая информация равна 0. Как видите, всё в порядке!

И не говорите мне, что знание «субъективно». Знание представлено в мозге, и это делает его таким же физическим, как и всё остальное. Для того чтобы MM физически представлял точную картину состояния YY, физическое состояние MM должно коррелировать с состоянием YY. Вы можете воспользоваться этим термодинамическим преимуществом - оно называется двигателем Сцилларда.

Или как заметил Эдвин Томпсон Джейнс: «Старая поговорка „Знание - сила“ очень правдива, причём как в человеческих отношениях, так и в термодинамике».

И наоборот, одна подсистема не может увеличить общую информацию с другой подсистемой, без 1) взаимодействия с ней и без 2) выполнения термодинамической работы.

В противном случае, вы могли бы создать демона Максвелла и нарушить второй закон термодинамики, что, в свою очередь, нарушило бы теорему Лиувилля, а это невозможно в стандартной модели физики.

Таким образом, чтобы сформировать точные убеждения о чём-то, вам совершенно необходимо за этим наблюдать. Это очень физический, очень реальный процесс: любой рациональный разум «работает» в термодинамическом смысле, а не только в смысле умственных усилий.

(Иногда говорят, что термодинамическая работа требуется для стирания битов при подготовке к новому наблюдению, но это различие — всего лишь вопрос терминов, математика процесса однозначна.)

(Здесь я пока не буду рассматривать вопрос открытия логических «истин» — в некоторой степени потому, что я пока размышляю, как это точно формализовать. В термодинамике знание логических истин не считается негэнтропией, как можно было бы ожидать, поскольку компьютер, способный выполнять обратимые вычисления, смог бы вычислять логические истины с любыми произвольно низкими затратами. Вышенаписанное относится к разуму, который знает о логике всё. Любой более простой ум обязательно будет менее эффективным.)

«Для формирования точных убеждений требуется соответствующее количество доказательств» — это очень убедительная истина как в человеческих отношениях, так и в термодинамике. Если бы слепая вера действительно работала как метод исследования, вы могли бы превратить тёплую воду в электричество и кубики льда. Просто создайте Демона Максвелла, который слепо верит в точные значения скоростей молекул.

Двигатели познания не так сильно отличаются от тепловых двигателей, хоть они и манипулируют энтропией более тонким образом, чем сжигание бензина. Например, они схожи тем, что двигатели познания не являются абсолютно эффективными, они должны излучать лишнее тепло, как его излучает двигатель автомобиля или холодильник.

Фраза «холодная рациональность» правдива в таком смысле, о котором голливудские сценаристы даже не могли и подумать (и неверна в том смысле, который они имели ввиду).

Поэтому, если вы не можете сказать мне, какой именно шаг в вашем рассуждении нарушает законы физики, давая вам истинное знание незримого, то не ожидайте, что я поверю в то, что всё сложное умное рассуждение способно их нарушить.

Основы редукционизма

Как разобрать реальность на составные части? И как жить в такой вселенной, где мы всегда жили, но без разочарования из-за того, что сложные вещи состоят из простых вещей.

Эта цепочка продолжает цепочку «Таинственные ответы на таинственные вопросы»

Распутывание вопроса

Элиезер Юдковский

«Если никто не услышит, как в лесу упадёт дерево, будет ли звук?»

Я не отвечал на этот вопрос. Я не выбирал позицию «да» или «нет» и не защищал её. Вместо этого, я разобрался с тем, как человек обрабатывает слова, даже нарисовал схематическую иллюстрацию(english) нейронной сети. В конечном итоге, я надеюсь, не осталось не только вопроса, но даже чувства вопроса.

Множество философов, особенно философов-любителей и философов древнего мира, имеют опасный инстинкт: когда они слышат вопрос, они пытаются ответить на него.

Например: «Имеем ли мы свободу воли?»

Опасный инстинкт философии состоит в том, чтобы выдвинуть аргументы «в пользу» и «против», взвесить их, опубликовать их в престижном философском журнале и, в заключение, заявить: «да, мы должны иметь свободу воли» или «нет, мы не можем иметь свободы воли».

Некоторые философы достаточно мудры, чтобы вспомнить, что большинство философских диспутов в действительности являются спорами о смысле слова или вокруг путаницы, возникшей в результате использования разных смыслов одного слова в разных местах. Такие философы пытаются наиболее точно определить то, что они подразумевают под «свободой воли», и затем возвращаются к вопросу «Имеем ли мы свободу воли? Да или нет?».

Ещё более мудрый философ может заподозрить, что замешательство, вызванное словами «свобода воли» показывает, что понятие ущербно само по себе. И тогда он начинает следовать путём Традиционного Рационалиста: он начинает рассуждать о том, что понятию «свобода воли» присущи самопротиворечивость или бессмысленность, потому что она не имеет никаких проверяемых последствий. И затем он публикует эти разрушительные замечания в престижном философском журнале.

Но, доказывая, что вы в замешательстве, вы не устраните причину проблемы и не снимете замешательство. Доказательство бессмысленности вопроса поможет не более, чем ответ на него.

Инстинкт философа — найти и занять такую позицию в диспуте, которую проще всего защищать, опубликовать её и пойти дальше. Но «наивный», инстинктивный взгляд — это свойство человеческой психологии. Можно доказывать, что свобода воли невозможна, пока не погаснет Солнце, но это не объяснит того, что происходит в голове человека, который считает, что обладает свободой воли, если при этом свободы воли не существует. А это уже вопрос когнитивистики, и это уже не риторический вопрос!

Люди думают, что они обладают свободой воли — это факт человеческой психологии. Поиски позиции в диспуте, которую проще всего защищать, не изменят и не объяснят этот психологический факт. Философия может привести вас к отказу от концепции, но отказ от концепции — это не то же самое, что и понимание когнитивных алгоритмов, порождающих эту концепцию.

Если мы взглянем на Стандартный Диспут на тему «Если никто не услышит звук падающего в лесу дерева, будет ли звук?», то мы можем поступить в стиле Традиционного Рационалиста, то есть отметить факт, что спорщики не ожидают каких-либо расхождений в наблюдениях, и триумфально объявить, что спор бессмыслен. В данном случае это действительно так, но когнитивистика ставит другой вопрос: почему спорщики вообще сделали эту ошибку, откуда взялось несогласие?

Ключевая идея программы изучения эвристик и предвзятостей в том, что ошибки, которые мы делаем, чаще говорят гораздо больше о наших когнитивных алгоритмах, нежели о правильных ответах. Так (я однажды задал себе вопрос) каким должно быть устройство разума(english), чтобы впадать в ошибку спора о деревьях, падающих в заброшенных лесах?

Когнитивные алгоритмы, которые мы используем, являют собой наш способ воспринимать мир(english). И эти когнитивные алгоритмы могут не соответствовать реальности один в один. Они могут не соответствовать даже макроскопический реальности, не говоря уж об истинных кварках. Эти когнитивные алгоритмы могут порождать искажённое восприятие мира.

Например, может существовать обособленная часть(english) нейронной сети(english), которая не соответствует ни реальному явлению, ни какому-либо свойству реального явления, встречающемуся в реальном мире. Подобные обособленные части часто оказываются полезными как способ «срезать угол» на длинном пути вычислений. (Метафорически говоря. На самом деле, человеческая нейробиология гораздо сложнее(english).)

Эта обособленная часть порождает чувство нерешённого вопроса, даже после того, как были найдены ответы для всех запросов(english), для которых можно найти ответ. Не важно, насколько кто-то старается доказать вам, что ответ на вопрос никак не влияет на ожидаемый опыт — всё равно продолжаете задаваться вопросом «И всё же, падающее дерево производит звук или нет?».

Но все вопросы будут сняты, как только вы поймёте в деталях, почему и как ваш мозг создаёт это чувство вопроса, как только вы осознаете, что чувство неотвеченного вопроса соответствует иллюзорной центральной части нейронной сети, которая не знает, возбуждаться ей или нет, несмотря на то, что все окружающие её части уже выбрали для себя определённые состояния. Или ещё лучше, если вы поймёте принципы работы наивного байесовского метода(english). Не останется ни тянущегося чувства замешательства, ни неясного ощущения неудовлетворённости.

Если же тянущееся чувство наличия неотвеченного вопроса остаётся, или кажется, что вы заговариваете зубы сами себе, то это знак, что вы не разложили вопрос. Неясное ощущение неудовлетворённости тоже должно быть предупреждающим знаком сродни окрику. От вопроса, который действительно был распутан и разложен на составляющие, не остаётся ничего. Такой вопрос растворяется, как будто его и не было.

Триумфально-громогласное отрицание свободы воли, абсолютно неоспоримое доказательство того, что свобода воли не может существовать, кажется вполне удовлетворяющим — «гип-гип-ура»домашней команде(english). И в таком случае вы можете не заметить, что с точки зрения когнитивистики вы не имеете полного и удовлетворительного объяснения, описывающего по шагам как возникает каждое интуитивное ощущение.

Вы можете даже не хотеть признавать своё непонимание, потому что это будет восприниматься как очки не в пользу Вашей Команды. В процессе избавления ото всех глупых верований в свободу воли, признание того, что вы всё же что-то не объяснили, может выглядеть как уступка противоположной стороне.

И, таким образом, возможно, вы придёте к какому-нибудь «just-so»(english) объяснению из области эволюционной психологии. Например, к такому: охотники-собиратели, верившие в свободу воли, были более склонны иметь позитивные взгляды на мир и, таким образом, иметь большее потомство, чем другие охотники собиратели. Говоря это, вы будете доказывать, что мозг создаёт иллюзию свободы воли, не давая объяснения этой иллюзии. Таким образом можно попытаться победить оппозицию, дав объяснение причинам, породившим оппозицию, но это объяснение будет использовать иллюзию свободы воли как свершившийся факт. Вы не отбросили иллюзию, чтобы заглянуть внутрь и увидеть те пружины и шестерёнки, которые приводят её в действие.

Представьте, что в Стандартном Диспуте о дереве, падающем в заброшенном лесу, вы для начала доказали, что нет никакой разницы в ожиданиях, и затем начали выдвигать гипотезы: «Но, возможно, люди, говорящие о том, что аргументы не имели смысла, чувствовали, что им придётся согласиться с правотой оппонента, и таким образом снижать свой социальный статус. То есть мы наблюдаем рефлекторное поведение, выражающееся в доказывании того, что слова не имеют смысла». Это довод в пользу того, что возникает замешательство, и это попытка объяснить, почему оно возникает. Гляньте теперь на структуру нейронной сети в Почувствуй значение(english). Она объясняет, как возникает замешательство, разбирая замешательство на более мелкие части, каждая из которых не вызывает замешательства сама по себе. Видите разницу?

Нахождение хорошей гипотезы о когнитивных алгоритмах (или хотя бы гипотезы, которая не развалится за полсекунды) — гораздо более сложно, чем просто опровергнуть философское замешательство. В действительности, это совершенно иное искусство. Держите это в уме, и вы будете чувствовать меньшее смущение, когда вам придётся говорить «Я знаю, что то, что вы говорите, не может быть истиной, и я могу доказать это. Но я не могу написать блок-схему, которая покажет, как ваш мозг совершает ошибку — я ещё не закончил и продолжу исследования».

Я говорю это, потому что иногда мне кажется, что как минимум 20% реальной эффективности тренированного рационалиста проистекает из того, что он не останавливается слишком рано(english). Если вы продолжите задавать вопросы, то рано или поздно вы доберётесь до пункта назначения. И наоборот, вы не доберётесь, если слишком рано решите, что ответ найден.

Проблема прежде всего в том, чтобы заметить своё замешательство, даже если оно еле заметно, и даже если кто-то рядом с вами настаивает, что люди имеют свободу воли, ухмыляется, и то, что вы не знаете в точности, как работают когнитивные алгоритмы, не имеет ничего общего с раскрытием всей глупости его мнения.

Но, когда вы разобрали когнитивный алгоритм на детали в достаточной мере для того, чтобы проследить весь процесс мысли шаг за шагом и описать, как возникает каждое интуитивное восприятие, разобрать замешательство на более мелкие части, которые сами по себе не вызывают замешательства — если вы проделали всё это, то вы справились с вопросом.

Будьте готовы к тому, что вы можете поверить в то, что вы справились, когда всё, что вы имеете — это триумфальное отрицание ошибки.

Но когда вы действительно справитесь, вы узнаете об этом. Распутывание вопроса вызывает чувство, которое вы ни с чем не спутаете, после того как столкнётесь с ним впервые, и столкнувшись с ним, решите не попадать впросак снова. Спящие не знают, что они спят, но когда вы проснётесь, вы поймёте, что не спите(english).

То есть: когда вы справились с задачей, вы узнаете, что вы с ней справились, но, к сожалению, не наоборот.

И вот проблема в качестве домашнего задания: какой тип когнитивного алгоритма, как он чувствуется изнутри, породит рассмотренный спор о «свободе воли»?

Ваша задача не спорить о том, имеют ли люди свободу воли или нет.

Ваша задача не рассуждать о том, совместима ли свобода воли с детерминизмом или нет.

Ваша задача не доказывать, что вопрос плохо поставлен, или что концепция противоречива, или что нет проверяемых следствий.

Я не прошу вас изобрести эволюционное объяснение тому, как размножались люди, верившие в свободу воли, или рассуждать о том, что концепция свободы воли выглядит подозрительно совпадающей с искажением X. Всё это будет не более чем попыткой объяснить, почему люди верят в «свободу воли», а не то, как они это делают.

Ваше домашнее задание — выписать содержимое стека внутренних алгоритмов человеческого ума, когда они порождают интуицию, питающую весь этот чёртов философский спор.

Это одна из первых реальных проблем, с которой я, как целеустремлённый рационалист, когда-то столкнулся. Одна из более простых головоломок, относительно говоря. Она может точно так же послужить и вам.

Неверные вопросы

Элиезер Юдковский

Когда мозг вгрызается в проблему под неверным углом, он начинает задавать «неверные вопросы» — вопросы, на которые невозможно дать ответ в терминах вопроса. Такие вопросы можно лишь распутать, разложить на составляющие, выяснив какой когнитивный алгоритм порождает «ощущение» вопроса, и каким образом он это делает.

Отличным намёком на то, что вы столкнулись с «неверным вопросом» является то, что вы не можете даже представить какое-нибудь определённое специфическое устройство мира, которое бы дало ответ на этот вопрос. Когда такое случается, не видно самой возможности найти ответ.

Возьмите, например, Стандартный Спор об Определениях о дереве, падающем в заброшенном лесу. Можно ли представить себе какое-нибудь устройство этого мира, какое-нибудь положение дел, при котором слово «звук» действительно означает только акустические вибрации или действительно означает только пережитый опыт восприятия звука?

(Кто-то может сказать: «Да, это такое положение дел, при котором слово «звук» означает акустические вибрации». В таком случае, табуируйте слова «означает», «представляет» и все похожие синонимы, и попробуйте описать заново: каким должен быть мир, чтобы одна из сторон была бы права, а другая ошибалась?)

Или, если это кажется слишком просто, рассмотрите свободу воли: какое конкретное положение дел — в детерминированной физике или в физике со случайным компонентом — может соответствовать наличию свободы воли?

Если же и это выглядит слишком просто, то рассмотрите вопрос «Почему всё существует?» и расскажите мне, как может выглядеть удовлетворительный ответ на этот вопрос.

На всякий случай отмечу: я не знаю ответа на последний вопрос. Но (основываясь на моём предыдущем опыте столкновений с вопросами без ответов) я могу предположить. Ответ не включает в себя великую и триумфальную Первопричину. Вопрос растворится в результате какого-то озарения о том, как алгоритмы мышления проскочили мимо реальности, после чего я пойму, почему вопрос был ошибочным с самого начала; я увижу, как ошибка алгоритмов отразилась в вопросе.

Загадка существует в голове, вовсе не в реальности. Если я не знаю о каком-либо явлении, то это говорит о состоянии моего ума, не о самом явлении. И более того, если невозможно представить себе существование ответа, то это означает, что замешательство существует на карте, не на территории. Вопросы без ответов не отмечают те места, где магия проникает во вселенную. Они помечают места, где ваш разум «промахивается» мимо реальности, где он искажает её.

Некоторые вопросы должны быть распутаны. Плохие вещи случатся, когда вы пытаетесь ответить на них. Такие попытки неизбежно порождают наихудший сорт таинственных ответов на таинственные вопросы, тот, который даёт выглядящие сильными аргументы для вашего Таинственного Вопроса, но «ответ» не позволяет вам делать каких-либо новых предсказаний даже задним числом, и явление продолжает носить ту же священную необъяснимость, которую оно имело с самого начала.

Я могу предположить, как мог бы выглядеть ответ на загадку Первопричины: ничто не существует, сама концепция существования ошибочна. Но если вы искренне поверите в это, то уменьшит ли это ваше замешательство? Вряд ли. И мне тоже это не помогает.

Но у вопросов без ответа есть одно замечательное свойство: они всегда разрешимы (по-крайней мере все, с которыми я сталкивался, имели это свойство). Какая мысль первой пришла в голову Королеве Елизавете I, первая её мысль с утра, когда она проснулась в её сороковой день рождения? В то время, как я могу представить себе возможные ответы на этот вопрос, я с готовностью вижу, что я, быть может, никогда не смогу фактически на него ответить — истина была утеряна во времени.

С другой стороны, вопрос «Почему всё существует?» выглядит настолько невозможным, что я могу сделать вывод, что я в замешательстве, а значит, вероятно, истина далеко не столь переусложнена в абсолютном смысле, и я смогу её увидеть, как только озадаченность уйдёт.

Это может выглядеть контринтуитивным, если вам не доводилось решать вопрос без ответа, но я заверяю вас, что именно так всё и есть.

Ждите завтра: простой трюк для работы с «ошибочными вопросами».

Исправление неверного вопроса

Элиезер Юдковский

Когда вы сталкиваетесь с безответным вопросом — с вопросом, на который кажется невозможным даже представить ответ — существует простой приём, который может сделать вопрос решаемым.

Сравните:

Почему у меня есть свобода воли?

Почему я думаю, что у меня есть свобода воли?

У второго вопроса есть очень приятное свойство: он гарантированно имеет самый настоящий ответ, вне зависимости от того, существует ли свобода воли или нет. Задавая себе вопрос «почему у меня есть свобода воли?» или «есть ли у меня свобода воли», вы начинаете искать ответ в деталях физических законов, которые настолько удалены от макроскопического уровня, что вы даже не можете их увидеть невооружённым взглядом. То есть, вы спрашиваете «почему существует X», в то время как X может вообще не иметь отношения к делу, не говоря уж о том, что он может не иметь места.

В то же время, вопрос «почему я думаю, что у меня есть свобода воли» гарантированно имеет ответ. Вы в действительности верите в свободу воли. Эта вера выглядит гораздо более цельной и понятной, чем эфемерность свободы воли. И в действительностисуществует некая цельная цепочка когнитивных причин и следствий, ведущих к этой вере.

Если вы уже переросли вопросы свободы воли, то выберите что-нибудь на замену:

«почему время движется вперёд, а не назад» против «почему я думаю, что время движется вперёд, а не назад»

«почему я родился собой, а не кем-нибудь ещё» против «почему я думаю, что я родился собой, а не кем-нибудь ещё»

«почему я обладаю сознанием» против «почему я думаю, что обладаю сознанием»

«почему реальность существует» против «почему я думаю, что реальность существует?»

Прелесть метода в том, что он работает вне зависимости от того, содержит ли вопрос в себе замешательство или нет. Я набираю эти слова, и на моих ногах одеты носки. Я могу спросить «почему на моих ногах надеты носки» или «почему я думаю, что на моих ногах надеты носки». Допустим, я задал второй вопрос. Отслеживая назад причинно-следственную цепочку я выясню, что:

я думаю, что на моих ногах надеты носки, потому что я вижу носки на ногах;

я вижу носки, потому что моя сетчатка посылает сигналы о носках зрительной коре моего головного мозга;

моя сетчатка посылает сигналы о носках, потому что свет проецируется на сетчатку в форме носков;

свет проецируется на сетчатку в форме носков, потому что он отражается от носков, которые надеты на мои ноги;

он отражается от носков, потому что надеты носки;

носки надеты, потому что я их надел;

я надел носки, потому что полагал, что иначе моим ногам будет холодно;

и так далее.

Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки. Это правильно, так и должно быть, потому что вы не можете получить информацию о чём либо, не взаимодействуя с ним(english).

С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае, моя вера в существование озера не просто объясняется, но разобъясняется.

Но в любом случае вера оказывается реальным явлением, имеющим место в реальном мире: психологические события — тоже события, и их причинно-следственная история может быть отслежена назад к исходной причине, вызвавшей их.

Вопрос «откуда взялось озеро посреди пустыни» может остаться без ответа, если на самом деле нет никакого озера, которое нужно объяснять. Но «почему я ощущаю озеро посреди пустыни» всегда можно объяснить тем или иным образом.

Возможно кто-нибудь увидит возможность показаться умным и скажет «Хорошо. Я верю в свободу воли потому, что у меня есть свобода воли». Конечно же, всё не столь просто.

Моё восприятие носков на моих ногах — это событие в зрительной коре головного мозга. Работа зрительной коры может быть исследована когнитивистикой и не должна вызывать замешательства.

Моя сетчатка воспринимает свет, и это не какой-то мистический процесс возникновения ощущения, не магический детектор носков, который срабатывает в присутствии носков необъяснимым образом. Это работа механизмов, которые могут быть объяснены в рамках биологии. Фотоны падают на сетчатку, и это можно объяснить в рамках оптики. Отражение света носками можно объяснить в рамках электромагнетизма и химии. Охлаждение моих ног можно объяснить в рамках термодинамики.

Таким образом, всё несколько сложнее, чем заявить «я верю в свободу воли потому, что она у меня есть». Вам придётся разбить причинно-следственную цепочку на отдельные звенья, и объяснить каждое в терминах, которые сами по себе не вызывают замешательства.

Взаимодействие сетчатки с носками вполне понятно и может быть объяснено в терминах компонентов, типа фотонов и электронов, которые не вызывают замешательства. Где в мозге находится детектор свободы воли, и как он определяет наличие или отсутствие свободы воли? Как детектор взаимодействует с детектируемым событием и какова механика этого взаимодействия?

Если ваша вера не проистекает из действительных наблюдений реального явления, мы рано или поздно выясним этот факт, если начнём отслеживать причинно-следственную цепочку, ведущую к вашей вере.

Если вы действительно замечаете своё замешательство, то отслеживание причинно-следственной цепочки найдёт тот алгоритм, который искажает реальность.

В любом случае, вопрос гарантированно имеет ответ. Более того, есть отличное и вполне определённое место, с которого можно начать отслеживать свои убеждения, место, находящееся непосредственно в вашей голове.

Когнитивистика, быть может, не выглядит настолько возвышенно, как метафизика. Но, по-крайней мере, вопросы когнитивистики решаемы. Поиск ответа может не быть простым, но, по-крайней мере, ответ существует.

А, и да: мысль о том, что когнитивистика не столь возвышенна и восхитительна как метафизика элементарно не верна. Я надеюсь, что некоторые читатели начинают замечать это.

Ошибка проецирования ума

Элиезер Юдковский

В дни зарождения научной фантастики, инопланетные захватчики могли при случае похитить девушку в порванном платье и утащить её, с намерением изнасиловать, что было с любовью изображено на многих старых обложках журнала. Несколько странно, что при этом инопланетяне никогда не охотились за мужчинами в порванных рубахах.

Будет ли негуманоидный пришелец с совершенно иной эволюционной историей и эволюционной психологией(English) воспринимать человеческую самку сексуально привлекательной? Это выглядит, как минимум, весьма маловероятным.

Люди не совершают подобных ошибок когда делают выводы обдуманно. «Все возможные разумы скорее всего устроены в общем похожим образом, поэтому монстр с фасеточными глазами сочтёт человеческую самку привлекательной». Вероятно художник даже не задумался о вопросе, будет ли пришелец воспринимать человеческих самок привлекательными. Вместо этого: «человеческая самка в порванном платье сексуальна» — это им свойственно, это их существенное, неотъемлемое и врождённое свойство.

Тот, кто совершил ошибку, не думал об эволюционной истории пришельцев, они фокусировались на порванном платье женщины. Если бы платье не было бы порвано, то женщина была бы менее сексуальна, монстр-пришелец не заинтересовался бы ею.

Очевидно, что мы инстинктивно представляем Сексуальность как прямой атрибут объекта Женщина, типа Женщина.сексуальность, так же как и Женщина.высота, Женщина.вес.

Если мозг использует эту структуру данных или какую-то метафорически схожую, то внутри(English) он чувствует, будто сексуальность — это врождённое свойство женщины, а не свойство пришельца, который разглядывает женщину. Женщина привлекательна, а значит монстр будет испытывать влечение к ней — логично, не так ли?

Э. Т. Джейнс использовал термин ошибка проецирования ума, чтобы обозначить ошибку проецирования свойств ума наблюдателя на внешний мир. Джейнса — ныне покойного гроссмейстера Байесианского Заговора, — больше всего заботило неверное обращение с вероятностями как врождёнными свойствами объектов, нежели с состоянием частичного знания в некоем конкретном уме.

Но ошибка проецирования ума проявляет себя не только по отношению к вероятностям. Это аргумент против спора о настоящем значении слова «звук», против изображения на обложке журнала монстра несущего женщину в порванном платье, против заявления Канта о том, что пространство плоское по своей природе (space by its very nature is flat — в философии я нуль, если кто знает что имелось в виду, поправьте пожалуйста, прим. перев.), против определения, которое дал Юм априорным(English) идеям, которые «порождаются исключительно работой ума, вне зависимости от существания чего-либо во вселенной».

(Как-то раз я читал в научной фантастике рассказ про самца человека, который имел сексуальные отношения с разумным инопланетным растением, имеющим соответствующе мягкие листья, и впоследствии внезапно обнаружившем, что это был мужской экземпляр растения. Некоторое время мужчина переживал из-за этого, но в конечном итоге решил, что это уже не имеет никакого значения. И у Фоглио с Полоттой во «Внезапном вторжении» люди высаживаются на планету, населённую разумными насекомыми, и видят трейлер показывающий человека, который утаскивает жука в пикантном шёлковом платье. Просто вдруг вспомнилось.)

Вероятность находится в голове

Элиезер Юдковский

Вчера я говорил об ошибке проецирования ума, рассматривая пример монстра-пришельца, который уносил девушку в порванном платье, об ошибке, которую я приписал тому, что художник думал о сексуальности женщины как о свойстве самой женщины, женщина.сексуальность, а не о чём-то, что существует исключительно в голове наблюдателя и, вероятно, не существует в голове пришельца.

Термин «ошибка проецирования ума» был введён великим покойным мастером байесианства Э. Т. Джейнсом. Джейнс полагал, что вероятности существуют в уме — не в окружении, — что вероятности выражают незнание, состояние частичной информации, и если я не знаю что-либо о явлении, то это говорит о состоянии моего ума, и ничего не говорит о явлении.

Я не могу отдать должное этому древнему спору, оставаясь при этом кратким, но я приведу классический пример.

У вас есть монета.

Монета несимметрична.

Вы не знаете, какая именно сторона выпадает чаще и насколько чаще. Кто-то сказал вам о том, что монета несимметрична и ничего больше.

Больше никакой информации у вас нет.

Вы вытаскиваете монету, подкидываете её, ловите.

А теперь, прежде чем убрать руку и взглянуть на результат, можете ли вы сказать, что вы приписываете вероятность 0,5 тому, что монета упала орлом?

Частотник (сторонник частотного определения вероятности — прим. перев.) скажет: «Нет. Сказать, что вероятность равна 0,5, значит подразумевать, что монета имеет неотъемлемое свойство падать орлом так же часто, как и решкой, а значит, если мы подкинем монету бесконечное число раз, то отношение орлов и решек будет стремиться к 1:1. Но мы знаем, что монета несимметрична, поэтому она может иметь любую вероятность выпадения орла кроме 0,5».

Байесианец же скажет: «Неопределённость существует на карте, не на территории. В реальном мире монета выпадет либо орлом, либо решкой. Любой разговор о вероятности должен отражать ту информацию, которую я имею о монете — моё состояние частичного незнания и частичного знания, — а не какую-то там информацию о монете. Более того, у меня есть теоремы на любой вкус, показывающие, что если я не буду рассматривать моё частичное знание определённым образом(English), то я буду делать глупые ставки. Если мне придётся учитывать результат броска монеты при составлении плана, то я буду планировать исходя из состояния неопределённости 50:50, в котором я не могу сказать, что исходы, при которых выпадают орлы, имеют больший вес, чем исходы, при которых выпадают решки. Вы можете называть это число как угодно, но я не намерен подчиняться законам теории вероятностей из страха показаться глупым. Таким образом, я не испытываю ни малейшей нерешительности, когда называю такое взвешивание исходов вероятностью».

Я на стороне байесианцев. Вы могли это уже заметить.

Ещё до того, как симметричная монета подброшена в воздух, мнение о том, что она имеет неотъемлемую вероятность 50% упасть орлом может быть элементарно ошибочно. Может быть вы держите монету таким образом, что она гарантированно упадёт орлом или решкой, при данной силе, с которой вы подбрасываете её, и при данных движениях воздуха вокруг вас. Но если вы не знаете каким образом смещены вероятности монеты в данном конкретном случае, то что?

Если я не ошибаюсь, было судебное разбирательство, в котором истец предъявлял претензии организаторам лотереи: карточки с именами участников не были перемешаны достаточно тщательно и поэтому шансы были не равны. Судья выслушал и спросил: «Кто именно имел больше шансов?»

Чтобы сделать эксперимент с монеткой повторяемым, как того имеют обыкновение требовать частотники, мы можем создать автоматический подбрасыватель монет и убедиться, что результаты 50% орлов и 50% решек. Но, быть может, робот с особо чувствительными глазами и хорошим пониманием физики сможет, наблюдая за приготовлениями автоподбрасывателя, предсказать падение монеты заранее — пускай и не совершенно определённо, но, допустим, с точностью 90%. И чем тогда будет настоящая вероятность в этом случае?

Не существует «настоящей вероятности». Робот имеет какую-то частичную информацию. Вы имеете другую частичную информацию. Монета не имеет ума и не владеет никакой информацией, она не назначает никаких вероятностей, она просто взлетает в воздух, переворачивается несколько раз, сталкиваясь с каким-то количеством молекул воздуха, а затем приземляется либо орлом, либо решкой.

Это байесианская точка зрения, и я, пожалуй, покажу несколько классических головоломок, которые обретают свою головоломность из-за склонности думать о вероятностях как о неотъемлемых свойствах объектов.

Начнём со старой классики: вы встретили на улице математика и она случайно упомянула, что у неё два ребёнка. Вы спросили: «Хотя бы один из них мальчик?» Она ответила: «Да».

Какова вероятность того, что она родила двоих мальчиков? Если вы предположите, что вероятность того, что ребёнок — мальчик, равна 1/2, то вероятность того, что она имеет двух мальчиков равна 1/3. Априорные вероятности такие: 1/4 для двух мальчиков, 1/2 для мальчика и девочки, 1/4 для двух девочек. Ответ математика «да» имеет вероятность ~1 в первых двух случаях и ~0 в третьем. Перенормируя вероятности мы получаем 1/3 вероятности двух мальчиков, и 2/3 вероятности мальчика с девочкой.

Предположим теперь, что вы задали другой вопрос: «Старший ребёнок — мальчик?», и математик ответила: «Да». Тогда вероятность того, что у математика два мальчика будет равна 1/2. Поскольку старший ребёнок — мальчик, а младший может быть кем ему нравится.

То же самое, если бы вы спросили: «Младший ребёнок — мальчик?». Вероятность двоих мальчиков опять же 1/2.

В этом случае, если хотя бы один ребёнок — мальчик, то он должен быть либо старшим, либо младшим. Так каким образом ответ в первом случае отличается от ответа в двух других?

Есть другой похожий пример: допустим, у меня есть четыре карты — туз червей, туз пик, двойка червей и двойка пик. Я беру из них в руку две карты случайным образом. Вы спрашиваете меня: «Держишь ли ты хотя бы одного туза?» и я отвечаю: «Да». Какова вероятность того, что я держу пару тузов? Ответ: 1/5. Существует шесть различных комбинаций из двух карт с равной априорной вероятностью, и вы исключили возможность, что я держу пару двоек. Из пяти оставшихся комбинаций только одна является парой тузов. Таким образом ответ: 1/5.

Теперь предположим, что вы спросили меня: «Держишь ли ты туза пик?» Если я отвечу «да», то вероятность того, что другая карта — туз червей равна 1/3. (Вы знаете, что я держу туза пик, и существует три возможных варианта для другой карты, туз червей — ровно один из них.) Точно так же, если вы спросите меня «Держишь ли ты туза червей?» и я отвечу «да», то вероятность того, что я держу пару тузов равна 1/3.

Но как такое может быть, если в случае вопроса «Держишь ли ты по крайней мере одного туза?» и ответа «Да», вероятность того, что я имею пару была 1/5? Я должен был держать либо туза пик, либо туза червей, как вы знали; и в любом случае вероятность того, что я держу пару тузов равна 1/3.

Как такое может быть? Может я вычитал какие-то вероятности неверно?

Если вы хотите выяснить это самостоятельно, то сделайте это сейчас, потому что я собираюсь раскрыть…

Все указанные расчёты верны.

Что же до парадокса, то его нет. Видимость парадокса возникает из-за того, что вероятности рассматриваются как свойства карт. Туз, которого я держу, может иметь масть либо червей, либо пик; но это не означает, что ваше знание о моих карт должно быть одинаковым, если вы знаете, что я держу червей, или вы знаете, что я держу пики.

Тут может помочь теорема Байеса:

P(H|E) = P(E|H)P(H) / P(E)

Последняя часть, где вы делите на P(E) — это часть, где вы отбрасываете все остальные возможности, которые были исключены и перенормируете ваши вероятности к тому, что осталось.

Давайте рассмотрим вопрос «Держишь ли ты по крайней мере одного туза?». Прежде чем я ответил, ваша вероятность того, что я скажу «да» должна была быть 5/6.

Но если вы спросили меня «держишь ли ты туза пик?», то ваши априорная вероятность того, что я скажу «да», всего лишь 1/2.

То есть, как вы видите, вы узнаёте весьма разные вещи в этих двух разных случаях. Вам придётся исключать и перенормировать какие-то различные возможности, используя разную P(E). Если вы узнаете разные свидетельства, то вам не следует удивляться, если в результате вы приходите к разной частичной информации.

Точно так же, если я спросил математика: «Есть ли среди твоих детей мальчик?», то я ожидал услышать «Да» с вероятностью 3/4, но если бы я спросил: «Старший ребёнок — мальчик?», то я бы ожидал услышать «да» с вероятностью 1/2. Таким образом, совершенно неудивительно, что я пришёл к разному частичному знанию, зависящему от того, какой именно из этих двух вопросов я задал.

Единственная причина того, почему видится парадокс, в том, что вероятность пары тузов рассматривается как свойство карт которые имеют, по крайней мере, одного туза, или как свойство карт, которые, как выясняется, содержат туза пик. В этом случае, для набора карт, имеющего по крайней мере одного туза, было бы парадоксальным иметь прирождённую вероятность пары равную 1/5, в то время как наборы карт, имеющие одного туза пик, имеют прирождённую вероятность пары равную 1/3, и наборы карт, имеющие туза червей, имеют прирождённую вероятность пары 1/3.

Точно так же, если вы считаете о вероятности 1/3 того, что оба ребёнка мальчики, что это прирождённое свойство наборов детей, которые включают хотя бы одного мальчика, то это не совместимо с наборами детей, из которых старший — мальчик, имеющими прирождённую вероятность 1/2 того, что оба мальчики, также как и наборы детей, имеющие младшего мальчика, имеют врождённую вероятность того, что оба — мальчики. Это было бы тоже самое, что и сказать: «Все зелёные яблоки весят по фунту, все красные яблоки весят по фунту, и все яблоки, которые зелёные или красные, весят по полфунта».

Это то, что случается, когда вы начинаете думать о вероятностях как о чём-то, что содержится в вещи, вместо того, чтобы рассматривать вероятности как отражение частичной информации о вещи.

Вероятности описывают неопределённость. Но неопределённость существует лишь для агентов. Пустая карта не соответствует пустой территории. Незнание существует в голове.

Цитата — не референт

Элиезер Юдковский

В классической логике операциональное определение тождества означает, что если 'A=B' — теорема, то вы можете заменить 'B' на 'A' в любой теореме, где используется 'B'. Например, если (2 + 2) = 4 — теорема, и ((2 + 2) + 3) = 7 — теорема, то (4 + 3) = 7 — тоже теорема.

Это приводит к проблеме, которую обычно выражают словами: утренняя звезда и вечерняя звезда оказываются одним и тем же объектом, планетой Венера. Предположим, что Джон знает, что утренняя звезда и вечерняя звезда — это один и тот же объект. Мэри же полагает, что утренняя звезда — это бог Люцифер, а вечерняя звезда — это богиня Венера. Джон знает, что Мэри считает, что утренняя звезда — Люцифер. Должен ли Джон поэтому (по правилу подстановки) считать, что Мэри верит в то, что вечерняя звезда — это Люцифер?

Или даже более простая версия этой проблемы. 2 + 2 = 4 — это истина, то есть (((2 + 2) = 4) = ИСТИНА) — это теорема. Последняя теорема Ферма — тоже истина. Таким образом: я верю в то, что 2 + 2 = 4 => я верю в ИСТИНУ => я верю в последнюю теорему Ферма.

Да, я знаю, это выглядит очевидно неверным. Но представьте себе, что кто-то пишет программу логического вывода, использующую принцип «равные термины можно подставлять», и программа выдаёт такой результат. Теперь представьте, что программист пишет статью о том, как избежать этого. Теперь представьте, что кто-то ещё не соглашается с предложенным решением… Спор до сих пор продолжается.

Я лично сказал бы, что Джон совершает ошибку типизации, вроде попытки вычесть 5 граммов из 20 метров. «Утренняя звезда» — не то же самое, что утренняя звезда, хотя и одна и та же вещь. Убеждение — не планета.

утренняя звезда = вечерняя звезда

«утренняя звезда» ≠ «вечерняя звезда»

На мой взгляд, проблема проистекает из-за того, что не удалось корректно провести разницу между убеждениями и вещами. Исходная ошибка была в том, что ИИ хранит свои убеждения об убеждениях Мэри об «утренней звезде», используя то же представление, как и для убеждений об утренней звезде.

Если Мэри верит, что «утренняя звезда» — это Люцифер, это не означает, что Мэри верит в то, что «вечерняя звезда» — это Люцифер, потому что «утренняя звезда» ≠ «вечерняя звезда». Весь парадокс возникает из-за того, что в нужных местах не поставлены кавычки.

Вы, быть может, помните, что я не впервые говорю о введении дисциплины использования типизации — последний раз я об этом говорил, когда рассуждал об ошибке, к которой приводит неразличение выгоды и ожидаемой выгоды. При изучении физики безмерно полезно отслеживать единицы измерений — может выглядеть утомительным писать «см» и «кг», но только до тех пор, пока вы не заметите, что (а) ваш ответ выглядит ошибочным на порядок и (б) он выражен в секундах на квадратный грамм.

Точно так же, убеждения — это не то же самое, что и планеты. Если мы говорим о человеческих убеждений, то, как минимум, определённым является то, что убеждения находятся в голове, а планеты в космосе. Убеждения весят несколько микрограмм, планеты же весят гораздо больше. Планеты больше, чем убеждения… ну, вы поняли идею.

Кажется недостаточным заключить в кавычки «утреннюю звезду», чтобы предотвратить путаницу, потому что для людей текст будет выглядеть похожим. Поэтому, быть может, лучшим способом ввести типизационную дисциплину будет использование визуально различных способов кодирования:

утренняя звезда = вечерняя звезда

21.20.18.06.15.15.33.33.00.09.03.06.09.05.01 ≠ 03.06.25.06.18.15.33.33.00.09.03.06.09.05.01

Изучение математической логики также может помочь научиться различать цитату и референт. В математической логике |- P (P — теорема) и |- []'P' (доказуемо, что существует кодированное доказательство кодированного утверждения P в какой-то кодированной системе доказательств) — это очень разные утверждения. Если вы снизите уровень «цитирования» в математической логике, то это примерно то же, что и опустить единицу измерения — в результате вы можете получить нелепые результаты, типа «скорость света равна 299 792 458 метрам».

Альфред Тарский однажды попытался определить значение «истины», используя бесконечную последовательность предложений:

(«Снег — белый» — это истина) тогда и только тогда, когда (снег — белый)

(«Хорьки зелёные» — это истина) тогда и только тогда, когда (хорьки зелёные)

Когда предложения типа этих начнут выглядеть в ваших глазах осмысленными, вы начнёте различать закодированные утверждения и состояния окружающего мира.

Похожим образом, понятие истины весьма отличается от понятия реальности. Говоря «истина» мы сравниваем убеждение с реальностью. Но реальность не станет реальнее от того, что её сравнили с убеждением, ей вовсе не нужны никакие сравнения для того, чтобы быть реальной. Помните об этом, когда вам в следующий раз придётся услышать утверждение, что ничто не является истинным.

Качественное замешательство

Элиезер Юдковский

Я полагаю, что основной причиной путаницы между «убеждением», «истиной» и «реальностью» является качественное мышление об убеждениях.

Давайте рассмотрим типичную постмодернистскую попытку поумничать:

«Солнце вращается вокруг Земли» — истина для Ханги Охотника-собирателя, но «Земля вращается вокруг Солнца» — истина для Эмары Астронома! Разные общества имеют разные истины!

Нет. Разные общества имеют разные убеждения. Убеждения имеют другой тип, нежели истина, это как сравнивать яблоки с вероятностями.

Ах, но ведь нет никакой разницы между тем, как ты используешь слово «убеждение» и как ты используешь слово «истина»! Вне зависимости от того, говоришь ли ты «я убеждён, что снег белый» или «снег белый — это истина», ты выражаешь одно и то же мнение.

Нет. Эти предложения означают довольно-таки разные вещи, они передают разницу в том, как я ”ощущаю” вероятность того, что мои убеждения — ложь.

О… Ты утверждаешь, что ты ощущаешь, но ты не веришь в это. Как сказал Витгенштейн, «если бы существовал глагол, означающий „ошибочно верить“, то он бы не имел никакого значащего первого лица, настоящего времени изъявительного наклонения».

И вот как раз то, что я имею в виду, разговаривая о качественном рассуждении как об источнике проблемы. Дихотомия между верой и неверием, будучи двоичной, похожа на дихотомию между истиной и неистиной, и это приводит к путанице.

Но давайте попробуем использовать количественное рассуждение. Предположим, что я присваиваю 70% вероятности утверждению, что снег — белый. Это означает, что я думаю, что есть около 70% вероятности того, что предложение «снег белый» окажется истиной. Если это предложение — истина, является ли истиной моё присвоение 70% вероятности этому предложению? Оно более истинно, чем было бы, если бы я присвоил 60% вероятности, но не столь истинно, как если бы я присвоил 80%.

Говоря о соответствии между присвоением вероятности и реальностью, будет лучше использовать слово «точность» вместо слова «истина». «Точность» звучит более количественно, как стреляющий лучник: как близко к центру цели попадёт присвоение вероятности.

Короче говоря(English), существует весьма натуральный способ оценить точность присвоения вероятности при сравнении с реальностью: достаточно взять логарифм вероятности, которая была присвоена действительному положению дел.

Таким образом, если снег — белый, то моё убеждение «70%: снег белый» будет оцененокак −0,51 бит: log2(0,7) = −0,51.

Но что, если снег не белый, если я присвоил действительному положению дел 30% вероятности? Если «снег белый» — ложь, моё убеждение «30%: снег не белый» даст −1,73 бита. Отметьте: -0,51 > −1,73, то есть в этом случае моё предсказание хуже.

Как оценить точность моих убеждений? Мои ожидания можно оценить как 70% * −0,51 + 30% * −1,73 = −0,88 бит. Если снег белый, то мои убеждения окажутся более точными, чем я ожидал. Если снег не белый, то мои убеждения окажутся менее точными, но, в любом случае, мои убеждения не будут иметь такую же точность, как я ожидал в среднем.

И это ни в коем случае не стоит путать с выражением «я назначаю 70% убеждённости утверждению, что снег белый». Я могу быть убеждён, что это утверждение верно с вероятностью ~1, то есть я не сомневаюсь в этом, это факт о моей вере. И, таким образом, я буду ожидать, что моё мета-убеждение «~1: «я назначаю 70% убеждённости, что снег белый» получит ~0 бит точности, что фактически так и есть.

То, что я не уверен в цвете снега, не означает, что я не уверен в моих цитированных вероятностных убеждениях. Снег где-то там, а мои убеждения в моей голове. Я могу быть заметно менее не уверен в том, насколько я не уверен в цвете снега, чем я не уверен в цвете снега. (В то же время убеждения об убеждениях не всегда точны.)

Сравните эту вероятностную ситуацию с качественным рассуждением, в котором я просто верил, что снег белый, и верил, что я верю, что снег белый, и верил, что «снег белый — истина», и верил, что «моё убеждение, что „снег белый — истина“ — верно», и т.д. Поскольку все вовлечённые величины равны 1, их легко перепутать.

В то же время, вы можете легко упустить эти различия в качественном выводе, если начнёте думать «снег белый с вероятностью 70%» — истина», что является ошибкой типизации. Это истинный факт о вас, о том что вы верите в «70%: снег белый»; но это не означает, что присвоение вероятности является истинным. Вера наберёт либо −0,51, либо −1,73 бита точности, в зависимости от действительного положения дел в реальности.

Знатоки увидят в утверждении «снег белый с вероятностью 70%» — истина» ошибку мышления, выражающуюся в том, что вероятность находится в голове.

Изнутри наши убеждения о мире выглядят как мир, и наши убеждения о наших убеждениях — как наши убеждения. Когда вы смотрите на мир, вы ощущаете убеждение изнутри. Когда вы замечаете, что вы верите во что-то, вы ощущаете убеждение об убеждении. Таким образом, если ваши внутренние представления об убеждениях, и об убеждениях об убеждениях отличаются, то вы с меньшей вероятностью перепутаете их и ввалитесь в ошибку проецирования ума. Я надеюсь.

Когда вы думаете вероятностями, можно надеяться, что ваши убеждения и ваши убеждения о ваших убеждениях будут представляться достаточно различно, чтобы вы не путали убеждение и точность, или точность и реальность. Когда вы думаете вероятностями о мире, ваши убеждения будут представлены вероятностями ∈ (0, 1). В отличие от булевских значений утверждений, которые могут принимать значения {истина, ложь}. Точность же ваших вероятностных убеждений вы можете представлять числом из (−∞, 0). Ваши вероятности о ваших убеждениях будут, как правило, «впадать в крайности». А вещи при этом будут просто красными или синими, или весящими 20 фунтов, или ещё какими-нибудь.

Таким образом, у нас будет меньше возможности перепутать карту с территорией.

Различение типов может так же помочь нам помнить, что неопределённость — это состояние ума. Монетка не имеет врождённой неопределённости того, каким образом она приземлится. Монета — не процессор убеждений и не имеет частичной информации о себе. Мысля качественно, вы можете создать убеждение, которое прямо соответствует монетке, типа «монета всегда приземляется орлом». Это убеждение будет истиной или ложью в зависимости от монеты, и будет прозрачное соответствие от истинности или ложности убеждения к выпавшей стороне монеты.

Но, даже при качественном мышлении, сказать, что монета сама по себе является «истиной» или «ложью», будет серьёзной ошибкой типизации. Монета — не убеждение, она — монета. Территория — не карта.

Если монета не может быть истиной или ложью, может ли она присвоить себе 50% вероятности?

Думай как реальность

Элиезер Юдковский

Всякий раз, когда я слышу, как кто-то описывает квантовую физику как «странную» — всякий раз, когда я слышу, как кто-то сетует на таинственное действие наблюдения на наблюдаемое, или дикое существование нелокальных корреляций, или неимоверную невозможность одновременного знания координат и импульса — я думаю про себя: «Этот человек никогда не поймет физику, независимо от того, сколько книг он прочтет».

Реальность была вокруг задолго до того, как ты появился. Не следует называть ее отвратительными именами вроде «дикая» или «неимоверная». Вселенная распространяла комплексные амплитуды сквозь пространство конфигураций за десять миллиардов лет до того, как жизнь вообще появилась на Земле. Квантовая физика не «странная». Это ты странный. Это у тебя появилась абсолютно дикая идея, что реальность должна состоять из маленьких, танцующих вокруг бильярдных шариков, когда по факту реальность — это совершенно нормальное облако комплексных амплитуд в конфигурационном пространстве. Это твоя проблема, а не реальности, и именно ты должен измениться.

Человеческая интуиция была выработана эволюцией, а эволюция это хак. Тот же оптимизационный процесс, который создал твою сетчатку задом наперед и затем подвел оптический кабель через твое поле зрения, спроектировал твою видеосистему для обработки скачущих вокруг персистентных объектов в 3-х мерном пространстве, потому что это то, чем можно выслеживать тигров. Но «тигры» — протекающие поверхностные обобщения — появились постепенно в процессе эволюции, и они не абсолютно похожи один на другого. Когда ты опускаешься до фундаментального уровня, уровня, законы которого стабильны, глобальны и не имеют исключений, на нем нет никаких тигров. Фактически там нет никаких персистентных объектов, скачущих в трехмерном пространстве. Смирись с этим.

Называние реальности «странной» держит тебя внутри точки зрения, ошибочность которой уже доказана. Теория вероятности говорит нам, что удивление — мера некачественности гипотезы; если модель стабильно глупая(English) — стабильно натыкается на события, которым присваивает крошечные вероятности — тогда пришло время выкинуть эту модель. Хорошая модель делает реальность выглядящей совершенно нормально, а не странно; хорошая модель присваивает высокие вероятности тому, что на самом деле имеет место быть. Интуиция — это еще одна модель с другим именем: плохая интуиция будет шокирована реальностью, хорошая интуиция делает реальность выглядящей нормально. Ты хочешь перестроить свою интуицию так, чтобы реальность выглядела нормальной. Ты хочешь думать, как реальность.

Это конечное состояние нельзя утвердить насильно. Бесполезно делать вид, что квантовая физика естественна для тебя, когда на самом деле ты чувствуешь, что она странная. Так ты лишь откажешься признавать, что ты запутался. Это не поможет тебе распутаться. Но это также помешает тебе думать: «Как дико!» Трата эмоциональных сил на недоверчивость расходует зря время, которое можно было бы употребить на обновление. Оно опять и опять отбрасывает тебя в объятия старой, неверной точки зрения. Оно кормит твое чувство справедливого негодования на реальность, осмелившуюся противоречить тебе.

Этот принцип применим и за границами квантовой физики. Ловил ли ты когда-нибудь себя на том, что говорил что-то вроде «Я не понимаю, как дипломированный физик может верить в астрологию?» Ну, если ты действительно не понимаешь, это показатель проблем в твоей модели человеческой психологии. А может, ты просто возмущён — и хочешь выразить сильное моральное неприятие. Но если ты действительно не понимаешь, тогда твое возмущение не дает тебе придти к согласию с реальностью. Не должно быть трудно вообразить, как получается так, что дипломированный физик верит в астрологию. Люди разграничивают, вот и всё.

Теперь я стараюсь не использовать выражение «Я совершенно не понимаю, как …» для выражения возмущения. Если я искренне не понимаю, как, то моя модель удивлена фактами, и я должен выкинуть ее и найти лучшую модель.

Удивление существует на карте, а не на территории. Не бывает удивляющих фактов, бывают только модели, удивляющиеся фактам. Как и фактов, называемых такими отвратительными эпитетами, как «дикий», «невероятный», «невообразимый», «неожиданный», «странный», «аномальный», «чудной». Когда ты обнаруживаешь искушение воспользоваться такими эпитетами, может быть мудрее проверить, на самом ли деле предполагаемые факты реальны. Но если факты проверены, тогда проблема не в фактах, проблема в тебе.

Редукционизм

Элиезер Юдковский

Почти год назад, в апреле 2007, Мэттью C предложил следующую тему на Overcoming Bias:

«Как и почему царствующий в настоящее время философский гегемон (редукционный материализм) считается очевидно верным […], в то время как царствовавшие философские взгляды всех прошлых обществ и цивилизаций выглядят подозрительными…»

Я помню это, потому что взглянув на запрос и сочтя его уместным, я знал, что не смогу справиться с этой темой, до тех пор пока не начну цепочку Ошибка проецирования ума, но начинать её тогда было ещё рано…

Но теперь пришло время для этого вопроса. И хоть я ещё и не готов к «материализму», но мы можем начать с «редукционизма».

Во-первых, отмечу, что я действительно считаю, что редукционизм (в значении, которое я даю этому слову) действительно корректен; и пускай горят в аду все предыдущие цивилизации, которые несогласны.

Довольно сильное утверждение, не так ли? По-крайней мере первая его часть. Общая теория относительности хорошо поддерживается, и всё же, кто знает, но может быть физики будущего ниспровергнут её?

С другой стороны, мы никогда не вернёмся обратно к ньютоновской механике. Храповик науки вращается, но только в одном направлении. Бывали случаи в истории науки, когда теория получала удар или два, а затем возвращалась. Но когда теория получила столько стрел в грудь, сколько получила ньютоновская механика, то она останется мёртвой.

Вторая часть — «чёрт с тем, что думали прошлые цивилизации,» — тоже выглядит достаточно безопасной. Прошлые цивилизации верили во что-то, что было фальсифицировано и выкинуто на историческую свалку.

И редукционизм не столько позитивная гипотеза, сколько отсутствие веры — в частности, в форме ошибки проецирования ума.

Однажды мне пришлось столкнуться с человеком, который утверждал, что он служил артиллеристом ВМФ, и он говорил «Когда вы ведёте артиллерийский огонь, вам приходится высчитывать траектории согласно ньютоновской механике. Если вы высчитаете траектории используя теорию относительности, то вы получите неверный ответ».

И мы с ещё одним присутствующим человеком решительно ответили «Нет». Я добавил: «Быть может невозможно достаточно быстро рассчитать траектории согласно теории относительности — вы это имели в виду? Но релятивистский ответ всегда будет более точен, нежели ньютоновский».

«Нет,» — сказал он — «Я имею в виду, что теория относительности даст неверный ответ, потому что вещи, двигающиеся со скоростями артиллерийских снарядов, подчиняются ньютоновской механике, а не теории относительности».

«Если бы это было истиной,» — я ответил, — «вы могли бы опубликовать это в физическом журнале и получить Нобелевскую премию».

Стандартная физика использует одну и ту же фундаментальную теорию, чтобы описывать и полёт Боинга 747, и столкновения частиц в релятивистком коллайдере тяжёлых ионов (RHIC). Ядра атомов и самолёты похожи, согласно нашему пониманию, и подчиняются специальной теории относительности, квантовой механике и хромодинамике.

Но мы используем совершенно иные модели, чтобы понимать аэродинамику Боинга и столкновение ядер золота в RHIC. Компьютерное моделирование аэродинамики Боинга может не содержать ни единого символа, ни единого бита ОЗУ, который бы представлял кварк.

Так что же: Боинг сделан не из кварков? Нет, это мы моделируем его, используя такие элементы представления, которые никак не могут быть сопоставлены с кварками Боинга один к одному. Карта — это не территория.

Почему бы не промоделировать Боинг, используя хромодинамическое представление? Потому что получение ответа из такой модели потребует тьмаллион лет. Кроме того, эта модель не поместится в память всех компьютеров мира вместе взятых (на 2008 год).

Как говорится «Карта — это не территория, но невозможно сложить территорию и положить её в бардачок». Иногда приходится использовать меньшую карту, чтобы она помещалась в меньший бардачок. Но это никак не меняет территорию. Масштаб карты — это не свойство территории, это свойство карты.

Если было бы возможно построить и запустить хромодинамическую модель Боинга, то она бы давала точные предсказания. Более точные, чем аэродинамическая, на самом деле.

От точной модели Боинга, в принципе, не требуется, чтобы она содержала явные описания потока воздуха или высоты. Вовсе не обязательно выделять хотя бы один бит ОЗУ под положение крыльев. Возможно, в принципе, построить такую модель, которая не будет содержать ничего, кроме полей элементарных частиц и фундаментальных сил.

«Что?» — кричит антиредукционист, — «Вы говорите мне, что Боинг в действительности не имеет крыльев? Но я вижу крылья у Боинга!».

И вот тут есть некая едва уловимая тонкость. Объект может иметь разные описания на разных уровнях, но дело не только в этом.

Дело в том, что фраза «имеет разные описания на разных уровнях» произносится в Разговоре о Картах, а не в Разговоре о Территории.

Ни аэроплан, ни законы физики сами по себе не используют разные описания на разных уровнях, как думал тот артиллерист. Это мы, для нашего удобства, используем разные упрощённые модели на разных уровнях.

Чисто хромодинамическая модель, содержащая исключительно элементарные частицы и фундаментальные силы, будет содержать и все факты и о потоке воздуха, и о высоте, и о положении крыльев, но она будет содержать их неявно.

Вы, глядя на эту модель и думая о модели, сможете определить, где находятся крылья. Таким образом вы получите явное представление о положении крыльев, вы получите явный вычислительный объект в вашем нейронном ОЗУ. В вашем уме.

Вы действительно можете вывести все типы явных описаний самолёта на различных уровнях и даже явные правила того, как модели разных уровней взаимодействуют друг с другом, чтобы выдавать совместные предсказания…

И алгоритм изнутри чувствует, что самолёт как будто сделан из многих взаимодействующих между собой уровней.

Убеждение чувствуется изнутри таким образом, что вам кажется, что вы смотрите прямо на реальность. Когда же вам кажется, что вы смотрите на убеждение, в действительности вы ощущаете убеждение об убеждении.

Таким образом, когда ваш мозг одновременно верит явным описаниям со многих разных уровней и верит в явные правила перехода с одного уровня на другой, как в часть эффективной комбинированной модели, это ощущается как будто вы видите систему, которая сделана из разных уровней описания и их правил для взаимосвязи.

Но это просто попытка вашего мозга сжать объект, который он не может промоделировать на фундаментальном уровне. Самолёт слишком большой. Даже атом водорода будет слишком большим. Взаимодействия между кварками безумно взаимодействующие. Вы не можете справиться с истиной.

Но физика работает так, что, насколько мы видим, существует только один самый-самый базовый уровень — поля элементарных частиц и фундаментальные силы. Вы не можете справиться с сырой истиной, но реальность справляется с ней без всяких упрощений. (Я хотел бы знать, откуда Реальность взяла свою вычислительную мощь.)

Законы физики не содержат различных дополнительных временных сущностей, которые соответствуют высоте или крыльям самолёта, но мозг инженера содержит различные дополнительные когнитивные сущности, которые соответствуют высоте и крыльям самолёта.

Это, в моём понимании — тезис редукционизма. Редукционизм — не позитивная вера, а скорее неверие в то, что более высокие уровни упрощённой многоуровневой модели находятся снаружи, на территории. Понимая это на внутреннем уровне легко можно распутать вопрос «Как вы можете говорить, что самолёт в действительности не имеет крыльев, если я их вижу?». Достаточно обратить внимание на слова «в действительности» и «вижу.»

Объяснение против разобъяснения

Элиезер Юдковский

Поэма Ламия (Lamia) Джона Китса определённо заслуживает награды как Наиболее Знаменитая Раздражающая Поэзия:

…От прикосновенья

Холодной философии — виденья

Волшебные не распадутся ль в прах?

Дивились радуге на небесах

Когда-то все, а ныне — что нам в ней,

Разложенной на тысячу частей?

Подрезал разум ангела крыла,

Над тайнами линейка верх взяла,

Не стало гномов в копи заповедной —

И тенью Ламия растаяла бесследной.

пер. Сергей Сухарев

Мой обычный ответ на подобное заканчивается фразой: «Если мы не можем наслажаться просто реальностью, то наши жизни действительно пусты». Но это я объясню завтра.

Сегодня же я хочу поговорить о другом. Взглянем на эти строки:

гномы в копи

радуги, разложенные на тысячи частей

Что вызывает из памяти несколько другие стихи:

Одна из этих вещей

Отличается от остальных,

Одна из этих вещей

Не к месту

Наука избавила рудники от гномов, но радуга всё ещё здесь.

Я писал ранее:

«Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки… С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае моя вера в существование озера не просто объясняется, но разобъясняется».

Радуга была объяснена. Гномы же были разобъяснены.

Я думаю, что в этом как раз кроется тонкость, которую антиредукционисты не улавливают в редукционизме.

Вы можете наблюдать эту ошибку в классическом возражении против редукционизма:

Если редукционизм верен, то даже ваша вера в редукционизм — в сущности, результат движения молекул. И зачем тогда я буду слушать, что вы говорите?

Ключевое слово — «в сущности». Оно подразумевает, что если я принимаю редукционизм, то он разобъяснит все процессы рассуждения, которые ведут к моему принятию редукционизма, тем же способом, каким разобъясняются оптические иллюзии.

Но, тем не менее, возможно объяснить, как работает когнитивный процесс, не являющийся «сущностью»! Моя вера в то, что на мне одеты носки — это, в сущности, результат того, что моя зрительная кора получает нервные импульсы от моей сетчатки, которая получает фотоны, отражённые от моих носков… Короче говоря, в соответствии с научным редукционизмом, моя вера в то, что на мне одеты носки — это сущий результат того факта, что на мне надеты носки.

Что должно происходить в голове антиредукциониста, чтобы он помещал бы радуги и веру-в-редукционизм в одну категорию с гномами?

Одновременно происходит несколько вещей. Но сейчас давайте рассмотрим мысль, изложенную вчера: ошибку проецирования ума — многоуровневой карты на одноуровневую территорию.

(То есть: вы не можете промоделировать Боинг 747 покварково, поэтому вы вынужденыиспользовать многоуровневую карту с явными когнитивными представлениями крыльев, потока воздуха и всего прочего.)

Я думаю, что когда физики говорят: «На фундаментальном уровне радуги не существует», — антиредукционисты слышат: «Радуги не существует».

Если вы не видите разницы между многоуровневой картой и одноуровневой территорией, и кто-то пытается объяснить вам, что радуга не является фундаментальным понятием физики, то принятие этого утверждение воспринимается как стирание радуги из вашей многоуровневой карты, что воспринимается как стирание радуг из мира.

Когда наука говорит: «Тигры — не элементарные частицы, они сделаны из кварков», — антиредукционист слышит это, как отрицание типа такого: «Мы заглянули в ваш гараж и не нашли там никакого дракона, только пустой воздух».

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Чтобы поддержать этот подтезис, я намеренно использовал в обсуждении поэмы Китса несколько фраз, которые подвержены ошибке проецирования ума. Если вы не заметили, то это неплохая иллюстрация тому, что подобные ошибки легко проходят незамеченными.

Например:

Наука избавила рудники от гномов, но радуга всё ещё здесь.

В действительности, Наука избавила модель от веры в гномов. Наука в действительности не трогала реальных крыльев Ангела и не уничтожала их холодным прикосновением истины. В действительности никогда не было никаких гномов.

Другой пример:

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Учёные ничего не делали с гномами, только с «гномами». Цитата — не референт.

Но если вы допускаете ошибку проецирования ума (и, по умолчанию, наши убеждения ощущаются как способ существования мира), то во время T=0 рудники (видимо) содержат гномов, во время T=1 учёные пляшут на сцене, а во время T=2 рудники (видимо) становятся пустыми. Ясно, что гномы когда-то были, но учёные их всех убили.

Плохой учёный! Никаких поэм для тебя, убийца гномов!

Этот процесс ощущается таким образом, если вы эмоционально привязаны к гномам, а учёный говорит, что не существует никаких гномов. Требуется сильный разум, глубокая честность и сознательное усилие, чтобы сказать в этот момент: «То, что может быть разрушено истиной, должно быть разрушено», и «Учёные не забрали гномов от меня, они забрали моё заблуждение», и «У меня не было исключительного права на мою веру в гномов, я не лишился ничего, чем я бы владел по праву», и «Если гномы существуют, то я хочу верить, что гномы существуют, если гномы не существуют, то я хочу верить, что гномы не существуют, я не буду цепляться за веру, которой не хочу» и все остальные вещи, которые рационалисты должны говорить себе в подобных случаях.

Но с радугами нет никакой необходимости для всего этого. Радуги всё ещё здесь!

Лжередукционизм

Элиезер Юдковский

Дивились радуге на небесах

Когда-то все, а ныне — что нам в ней,

Разложенной на тысячу частей?

– Джон Китс, «Ламия»

пер. Сергей Сухарев

Я предполагаю – хоть это лишь предположение – что сам Китс не понимал принципов разложения радуги. Во всяком случае, понимал их не так, как Ньютон. Возможно, даже вообще не знал. Может быть, Китс просто прочитал где-то, что Ньютон объяснил радугу, сказав, что это «свет, отражённый от капель воды»…

…что на самом деле было известно ещё в XIII веке. Ньютон только уточнил объяснение, показав, что свет разбивается на цветные части, а не изменяет цвет. Радуга оказалась в заголовках новостей. И Китс с Чарльзом Лэмом, и Вильямом Вордсвордом, и Бэнджамином Хейдоном поднимали тост «За путаницу в память о Ньютоне», потому что «он разрушил поэзию радуги, редуцировав её в призму». Это одна из причин подозревать, что Китс не слишком глубоко понимал предмет.

Я предполагаю (хоть это лишь предположение), что Китс не мог показать на бумаге, как получается так, что радуга появляется только тогда, когда Солнце находится сзади, или почему радуга — дуга окружности.

Если так, то Китс имел лжеобъяснение. В данном случае — лжередукцию. Ему сказали, что радуга была редуцирована, но в модели мира Китса она не была редуцирована.

И это вторая тонкость, которую не улавливают антиредукционисты — разница между тем, чтобы озвучивать факт, что что-то редицируемо, и тем, чтобы понять это.

В этой ошибке антиредукционистов не стоит осуждать, поскольку это часть более общей проблемы.

Раннее я писал о том, что выглядит знанием, но им не является, и убеждениях, которые не о том, что в них говорится, но которые – записи для воспроизведения в классе, и словах, которые работают как семантические стоп-сигналы для любопытства, а не как ответы, и техноболтологии, которая лишь показывает принадлежность к литературному жанру «наука»

Можно понять, откуда взялась радуга, или ставить эксперименты с призмами, чтобы подтвердить свойства радуги, или разбрызгивать воду, чтобы создать искусственную радугу.

И это сильно отличается от философа со строгим видом говорящего вам: «Нет, нет ничего особого в радугах. Вы не слышали? Учёные её разобъяснили. Что-то там происходит с дождевыми каплями или как-то так. Ничего удивительного».

Я думаю, что это отличие и приводит к тому, что за редукционизмом, как бы, тянется дьявольская смертельная экзистенциональная пустота.

Надо понимать, что «редукционизм» для антиредукционистов, вовсе не в том, что они на самом деле понимают как работает радуга, не в том, что они критично восклицают «Ага!», а в том, что им просто говорят, что загаданное слово — «наука». Эффект редукционизма для них сводится к тому, что радуга переходит в другой литературный жанр, в жанр, который их научили воспринимать как скучный.

Для них услышать слова «Наука объяснила радугу!» – повесить на радуге знак «Этот феномен помечен как СКУЧНЫЙ по приказу Совета Изощрённых Литературных Критиков. Не толпитесь. Проходите мимо».

И это всё, что говорит знак. Только это и ничего больше.

Таким образом, литературные критики были лишены гномов силой. Гномы не исчезли, благодаря озарению, но удалены по прямому приказу авторитета. Им не дано никакой красоты, которая могла бы заменить призраков или гномов, никакого подлинного понимания, которое могло бы быть интересно по-своему. Просто надпись, говорящая «Ха! Ты думал, что радуга красивая? Дурачок. Это часть литературного жанра науки, сухих и формальных непонятных слов».

Таким образом антиредукционисты воспринимают «редукционизм».

И… Не ругайте Китса, бедный парень, вероятно, не получил правильного воспитания.

Но он осмелился поднять тост «За путаницу в память о Ньютоне»?

Я предлагаю рационалистам тост «В память о путанице Китса». Аплодисменты.

Поэты саванны

Элиезер Юдковский

Поэты говорят, что наука лишает звёзды красоты, что звёзды — просто газообразные шары из атомов. Ничто не «просто». Я тоже могу видеть звёзды в ночи и чувствовать их, но вижу ли я меньше или больше?

Необъятность небес простирается в моём воображении, мой маленький глаз теряется в этой карусели и не может оторваться от света, которому миллионы лет. Безбрежное зрелище безбрежной Вселенной, частью которой я являюсь… Возможно, вещество моего тела было извергнуто из недр какой-то забытой звезды, так же как звёзды в небе сейчас извергают из себя вещество. Если взглянуть на них большим глазом Паломарской обсерватории, взглянуть как они разбегаются из какой-то общей стартовой точки в которой они, возможно, когда-то были вместе. Как это работает, в чём смысл всего этого. И почему? Мы знаем очень мало. Зная так мало, мы не можем причинить никакого ущерба таинству Вселенной.

Это гораздо более изумительно, чем истина, которую могли изобразить художники прошлого! Почему поэты современности не говорят об этом?

Что поэты за люди, если они говорят о Юпитере, если он как человек, но молчат, если он необъятный вращающийся шар из метана и аммиака?

  - Ричард Фейнман, «Фейнмановские лекции по физике», Том I.

Задавал ли Фейнман этот вопрос риторически или нет, но это не риторический вопрос: что за поэт может писать о Юпитере как о боге, но не о Юпитере как о необъятном шаре?

Если Юпитер — как мы, он может влюбиться и потерять любовь, а затем обрести её вновь.

Если Юпитер — как мы, он может бороться, придти к власти и быть свергнутым.

Если Юпитер — как мы, он может смеяться, или плакать, или плясать.

Если же Юпитер — необъятный вращающийся шар из метана и аммиака, то поэту гораздо сложнее заставить нас чувствовать.

Существуют поэты и рассказчики, которые говорят, что Великие Сюжеты не подвержены влиянию времени и никогда не меняются, только пересказываются. Они с гордостью говорят, что Шекспир и Софокл повязаны узами искусства более сильными, чем просто столетия, что двух создателей пьес можно было бы поменять местами во времени без серьёзных потрясений.

Дональд Браун когда-то создал список более чем двух сотен «универсальных человеческих понятий», которые можно найти во всех (или практически во всех) изученных человеческих культурах, от Сан-Франциско до бушменов, живущих в пустыне Калахари. В списке есть супружество, и табу на инцест, и материнская любовь, и соперничество братьев и сестёр, и музыка, и зависть, и танцы, и истории, и эстетика, и ритуальная лечебная магия, и поэзия, читаемая вслух с театральными паузами…

Любой, кто знаком с эволюционной психологией, вряд ли будет отрицать это: наши самые сильные эмоции глубоко заложены в нас, в наши кровь и кости, в мозг и ДНК.

Можно ожидать, что история Гамлета (с небольшими изменениями) могла быть рассказана в обществе первобытных людей сидящих возле костра в саванне.

Таким образом, можно понять, почему Джон «Расплети радугу» Китс мог чувствовать, что что-то было потеряно, когда выяснилось, что радуга — это солнечный свет, разлетающийся из капель воды. Капли воды не танцуют танцы.

В Ветхом Завете написано, что Бог как-то разрушил весь мир потопом, который покрыл водой всю землю и утопил всех ужасно виновных мужчин и женщин мира, вместе с их ужасно виновными детьми, но Ной построил гигантский деревянный ковчег, и т.д. И после того, как большинство людей было уничтожено, Бог поместил на небо радугу, как знак того, что он не будет делать подобного снова. По крайней мере, не с помощью воды.

Вы можете понять, как Китс был шокирован, когда этот прекрасный рассказ вступил в противоречие с современной наукой. Особенно если (как я описывал вчера) Китс не понимал в действительности физику радуги, если не было никакого «Ага!», никакого озарения, которое было бы по-своему потрясающим и могло бы заменить потерянную драму…

Но, возможно, Китс был бы прав в своём разочаровании, даже если он знал бы математику. Библейская история радуги — это рассказ о кровожадном убийстве и об улыбающемся безумии. Неужели что-то там о каплях и преломлении может достойно заменить это? Капли не кричат, когда умирают.

Таким образом, наука убивает романтику (сказал поэт романтизма), и то, что она даёт взамен, никоим образом не соответствует драме оригинала…

(то есть, оригинальному заблуждению)

…даже если вы знаете уравнения, потому что уравнения не о сильных эмоциях.

И это самый сильный ответ, который я могу придумать для поэта Романтизма, отвечающего Фейнману. Хоть я и не могу вспомнить, чтобы кто-нибудь так ответил.

Вы, наверное, полагаете, что я не согласен с поэтами Романтизма. Моя собственная позиция такова:

Юпитеру вовсе не необходимо быть как человек, потому что есть достаточно людей, которые как люди. Если Юпитер — необъятный вращающийся шар из метана и аммиака, то это не значит, что любовь и ненависть исчезли из мира. Несмотря ни на что, в мире по-прежнему существуют любящие и ненавидящие умы. Мы.

Когда нас более чем шесть миллиардов по последним подсчётам, неужели Юпитеру действительно необходимо быть в списке потенциальных действующих лиц?

Нет никакой необходимости рассказывать Великие Сюжеты о планетах и радугах. Эти сюжеты ежедневно разыгрываются повсюду среди нас. Каждый день кто-нибудь убивает из мести, каждый день кто-нибудь убивает друга по ошибке, каждый день свыше сотни тысяч людей влюбляются. И даже если бы это было не так, вы всё равно могли бы написать рассказ о людях, а не о Юпитере.

Земля стара, она множество раз разыгрывала под Солнцем одни и те же сценарии. И думается мне, что быть может пришло время некоторым из этих Великих Сюжетов измениться. Во всяком случае для меня рассказ, называемый «Прощай», потерял привлекательность.

Великие сюжеты не неизменны, потому что человеческий вид не неизменен. Если вернуться достаточно далеко назад в эволюции человека, то никто не поймёт Гамлета.Если вернуться достаточно далеко назад во времени, то не удастся найти ни одного мозга вообще.

Великие Сюжеты не вечны, потому что человеческий вид, Homo sapiens sapiens, не вечен. Я искренне сомневаюсь, что у нас есть ещё одна тысяча лет на жизнь в нашей современной форме. И я не грущу об этом: я думаю, мы можем быть лучше.

Я бы не хотел, чтобы все Великие Сюжеты были бы окончательно утеряны в будущем. По-моему, этот исход слабо отличается от Солнца, падающего в чёрную дыру.

Но Великие Сюжеты в их современной форме уже были рассказаны, причём многократно. Я не думаю, что есть что-то плохое в том, чтобы некоторые из них изменили бы свою форму или обрели бы более разнообразные финалы.

«И с тех пор они жили счастливо» выглядит достойным, чтобы попытаться хотя бы раз.

Человечество развивается, и Великие Сюжеты могут и должны разнообразиться. Частью этой этики является идея, что когда мы находим странности, мы должны уважать их достаточно для того, чтобы рассказать их историю честно. Даже если это делает создание поэзии сложнее.

Если вы достаточно хороший поэт, чтобы написать оду необъятному вращающемуся шару из метана и аммиака, то вы можете написать что-то новое о новой открытой части настоящей Вселенной. Это может быть не столь драматично, не столь захватывающе, как Гамлет. Но легенда о Гамлете уже была рассказана. Если вы пишете о Юпитере как о человеке, то вы обедняете сложность карты нашего мира, вы впихиваете Юпитер в привычный шаблон историй, которые уже были рассказаны на Земле.

«Поэма, посвящённая памяти сэра Исаака Ньютона» Джеймса Томсона восхваляет радугу за то, что она такая, какая она есть. Можно спорить о том, захватывает ли поэма Томсона так же, как Ламия Джона Китса, кто любил и потерял. Но легенды о любви, и о потере, и о цинизме уже были рассказаны ещё в Древней Греции, и, без сомнения, ещё и раньше, и множество раз. До тех пор, пока мы не поймём радугу как явление, отличающееся от легенд о придуманной человеком магии, истинная история радуги не может быть поэтизирована.

Граница между научной фантастикой и космической оперой была обозначена следующим образом: если вы можете взять сюжет и перенести его на Дикий Запад или в Средние Века без изменений, то это не настоящая научная фантастика. В настоящей наука — неотделимая часть сюжета: вам не удастся без потерь перенести действие из космоса в саванну.

Ричард Фейнман спросил: «Что поэты за люди, которые могут говорить о Юпитере, если он как человек, но молчат если он необъятный вращающийся шар из метана и аммиака?».

Они поэты саванны, они могут рассказывать только те истории, которые могли бы иметь смысл возле костра десять тысяч лет назад. Поэты саванны, которые могут рассказывать только Великие Сюжеты в их классических формах, и ничего больше.

Наслаждение обыденностью

Обыденная магия

Элиезер Юдковский

Я считаю, что рационалисту следует эмоционально привязываться к редукционистскойвселенной — вселенной, которой полностью управляют строгие законы и в которой нет таких сверхъестественных сущностей, как душа или магия. Рационалисту стоит вкладывать всю свою надежду и всё своё внимание в эту обычную вселенную и её возможности, принимая её такой, какая она есть.

У буддистов есть старый трюк для борьбы с дуккха: надо составить список вещей, за которые ты благодарен, вроде крыши над головой.

Так почему бы не составить список способностей, которые есть у нас и которые были бы супер крутыми, если были бы магией или если бы ими обладали лишь избранные?

Например, предположим, что вместо одного глаза у нас во лбу был бы ещё магический второй глаз. И этот второй глаз позволял бы нам заглядывать в третье измерение — то есть, можно было бы легко сказать, насколько далеко находится тот или иной предмет, — в то время как один глаз позволял бы видеть только двумерную тень настоящего мира. Лишь те, у кого был бы такой второй глаз, могли бы точно целиться из легендарного оружия, убивающего на расстоянии, гораздо большем досягаемости меча. Или на полную мощь использовать сверхбыстрые механизмы, именуемые «автомобилями».

«Бинокулярное зрение» — не слишком интересное название для такой крутой способности. Она нас впечатлит, лишь если получит достойное, внушающее уважение имя. Например: «Мистический Глаз Глубокого Восприятия».

Вот вам список моих любимых магических способностей:

Вибрационная телепатия. Обладатели этой способности способны передавать невидимые вибрации через сам воздух, и это позволяет им делиться мыслями. Благодаря этому вибрационные телепаты создают друг с другом очень глубокие эмоциональные связи, недоступные другим приматам.

Психометрическое узорничество. Психометрический узорник оставляет на поверхностях небольшие аккуратные узоры и благодаря этому может оставлять впечатления об эмоциях, истории, знаниях, даже о структуре других заклинаний. Эта способность гораздо сильнее, чем вибрационная телепатия, так как узорник способен делиться мыслями давно умерших узорников, живших тысячи лет назад. Смотря на один узор и одновременно рисуя другой, узорник способен множить узоры, а эти узоры могут содержать подробное описание другой магии. Поэтому как маги-узорники владеют практически невообразимыми силами. Но если узорник попробует использовать сложный узор, который не в состоянии нарисовать сам, у него могут появиться проблемы.

Многомерный кинез. Простейшим, практически неосознаваемым волевым усилием кинетики направляют экстраординарно сложные силы сквозь крохотные щупальца в любой физический объект в пределах досягаемости. Кинетики способны не просто толкнуть объект, а произвести несколько разных толчков с различных направлений, что позволяет создавать вращающие моменты и искривления. Эта способность не так проста, как кажется. Кинетики используют ее не только для управления уже существующими объектами с потрясающей точностью, они ещё и заставляют силы изменять объекты так, что ими становится ещё проще управлять. Кинетики даже создают инструменты, увеличивающие силу их кинеза, которые, в свою очередь, позволяют создавать еще более точные и сложные инструменты. Надеюсь, вы понимаете, насколько впечатляющей является такая цепь положительной обратной связи.

Око. Владеющий этой способностью способен замечать мельчайшие движущиеся возмущения в Силе, что скрепляет материю — крохотные колебания, подобные дарящим жизнь силам Солнца, падающим на листву, но гораздо менее заметные. Носитель Ока может ощущать объекты, находящиеся на расстоянии, намного превышающем расстояние касания, благодаря мелким возмущениям в Силе, которые создают эти объекты. Носители Ока способны постичь горы, до которых нужно идти много дней, с той же лёгкостью, как если бы до них можно было достать рукой. Согласно носителям Ока, когда опускается ночь и гаснет свет солнца, они могут ощущать огромные пылающие огни на немыслимом расстоянии. Впрочем, никто не способен это проверить. Говорят, обладание Оком делает его носителя равным королям.

И наконец,

Абсолютная Сила. Обладающий этой способностью вмещает в себе крохотную, несовершенную копию всей вселенной, что позволяет ему выискивать пути в вероятностях к любому желаемому будущему. Если вам кажется, что эта способность могущественна до абсурда, вы правы. Если она появляется в какой-то игре, она рушит весь игровой баланс. Среди жизненных форм она встречается невероятно редко. Это воистину «тайная техника мира».

Ничто не может противостоять Абсолютной Силе, кроме другой Абсолютной Силы. Любая сила, не дотягивающая до абсолютной окажется просто «осмыслена» Абсолютной и рассеяна каким-нибудь непостижимым образом. Возможно, Абсолютная Сила даже поглотит её и она станет частью её могущества. Поэтому, Абсолютная Сила иногда зовется «Главной техникой техник» или «Козырем, который бьёт все другие козыри». «Осмысление» самых могущественных Абсолютов распространяется на галактические расстояния и целые временные эпохи. Такие Абсолюты способны постигнуть даже странные законы тайного «мира за миром».

Абсолюты погибают от крупных природных катастроф или от невероятно быстрых внезапных атак, которые не дают им возможности использовать свою силу. Но такие победы над Абсолютами, в сущности, вопрос удачи. Они не ставят под сомнения способность Абсолюта подчинять вероятности своей воле, и, если он переживет атаку, то начнёт подчинять само Время, чтобы избежать атак в будущем.

Однако Абсолютная Сила опасна сама по себе, и множество Абсолютов пали жертвой собственных сил – ошибки в их несовершенных внутренних копиях мира уничтожили их.

Абсолют остаётся одной из опаснейших жизненных форм на планете, даже если его лишить оружия и брони и запереть в клетке. Можно сломать меч, можно отрубить конечность, но Абсолютную Силу невозможно отобрать, не убив её носителя.

Возможно из-за того, что связь Абсолютов со своей Силой очень сильна, Абсолюты относятся к тем, кто утратил Абсолютную Силу без надежды на восстановление, как к «мёртвым, пусть и дышащим». Абсолюты утверждают, что именно Абсолютная Сила делает существо самим собой, что это не просто средство. Абсолюты даже настаивают на том, что те, кто не обладает Абсолютной Силой, не в состоянии по-настоящему её осмыслить, и, следовательно, не могут понять, почему она настолько необходима – подозрительно удобный аргумент, кстати.

Власть Абсолютов неоспорима, и другие формы жизни для них не более чем пешки.

Красота устоявшейся науки

Элиезер Юдковский

Фактам не нужно быть(english) необъяснимыми, чтобы быть красивыми; истина не становится менее достойна изучения(english) если кто-то другой ее уже знает; убеждения не становятся менее стоящими(english), если их разделяют другие…

…к тому же, если тебя волнуют только спорные научные вопросы, твоя голова в конце-концов окажется забита мусором.

СМИ считают, что только самые сенсационные научные открытия достойны репортажей. Как часто ты видишь заголовки наподобие «Общая теория относительности всё ещё управляет орбитами планет» или «Теория Флогистона остаётся ложной»? То есть, как только сенсационное открытие становится устоявшейся наукой, оно уже перестаёт быть горячей новостью. А «достойная репортажа» наука часто основана на мельчайшем количестве доказательств и в половине случаев ложна – если бы она не была спорой и не находилась на краю научного знания – она бы не была горячей новостью.

Научные споры - это проблемы настолько сложные, что даже люди, потратившие годы на изучение конкретно этой области, легко могут запутаться. Это и является причиной горячих обсуждений, которые привлекают всё внимание СМИ.

Что ещё хуже, если ты не являешься учёным этой области и не участвуешь в игре, эти споры даже не приносят тебе удовольствия.

Ну, конечно, ты можешь повеселиться, выбрав сторону в споре. Но то же самое ты можешь сделать и на футбольном матче(english). Это не то, в чём заключается удовольствие от науки.

Читая хорошо написанный учебник, ты получишь: Аккуратно сформулированные объяснения для начинающих учеников, шаг за шагом выведенную математику (где она используется), большое количество экспериментов процитированных в качестве наглядного материала (где они применяются), тестовые задания на которых ты можешь продемонстрировать только что полученные знания, а ещё достаточно хорошую гарантию того, что то, что ты учишь - на самом деле верно.

Читая пресс релизы, ты обычно получаешь: ложные объяснения, которые не дают тебе ничего кроме заблуждения об обсуждаемом результате, который к тому же вероятно никто ещё и не сможет повторить.

Современная наука построена на открытиях, построенных на открытиях, построенных на открытиях, и так далее, вплоть до людей вроде Архимеда, которые открыли факты, наподобие причины плавания кораблей. Вплоть до открытий, которые ты сможешь понять, даже ничего не зная о других открытиях. Самое лучшее место, с которого стоит начинать путешествие - это начало.

Не надо стесняться читать научные книги для начинающих. Если ты хочешь притвориться утончённым знатоком, пойди и почитай детектив. Если ты просто хочешь получить удовольствие - помни, что простота находится в самом центре научной красоты.

Думать, что ты можешь сразу же отправиться на границу существующих знаний, когда ты не знаком с устоявшейся наукой - это примерно как…

…как пытаться взобраться по верхней половине Эвереста (а это единственная его часть, которая тебе интересна) встав у подножия горы, приседая, и подпрыгивая очень старательно (чтобы пропустить все неинтересные части)

Я, на самом деле, не пытаюсь сказать, что на научные разногласия вовсе не надо обращать внимания. Если 40% онкологов считают, что белые носки вызывают рак, а другие 60% яростно с ними спорят - это важный факт и о нём стоит знать.

Просто не надо жить, думая, что наука должна быть спорной (controversial) для того, чтобы быть интересной.

Или, более того, что наука должна быть современной, для того, чтобы быть интересной. Стабильная подпитка научными новостями тебе вредит: ты - то, что ты ешь. И если ты потребляешь только новостные доклады о ненадёжных ситуациях, без добротных учебников время от времени, то мало того, что ты ничего особенно знать не будешь, тебе ещё и будет с каждым днём всё сложнее и сложнее что-нибудь настоящее узнать.

Часть подцепочки Удовольствие во «всего лишь» реальном, цепочки Редукционизм.

Священная обыденность

Элиезер Юдковский

Я читал (перевалив уже примерно за половину) книгу Адама Франка «Постоянный огонь» в подготовке к диалогу с ним на Bloggingheads. Его книга о восприятии священного. Я обычно не упоминаю об этом, но конечно же мне знаком опыт, о котором говорит Франк. Это то, что я ощущаю, когда смотрю видео о запуске космического шаттла; или то чувство — в меньшей степени, поскольку этом мире это слишком распространено — когда я смотрю на звезды в ночи и думаю, что они значат. Или о рождении ребенка, скажем. О том, что важно для Развертывающейся Истории.

Адам Франк считает, что такой опыт является тем, что является общим для науки и религии. В отличие от достоинства быть человеком, которое религия портит.

«Постоянный огонь» цитирует Уильяма Джеймса, Вариации Религиозного Опыта:

Религия…должна означать для нас ощущения, действия и опыт отдельных людей в их уединении; насколько они ощущают себя едиными с тем, что полагают как священное.

И эта тема развивается далее в мысль о том, что святость есть нечто личное и отдельное.

Что совершенно ошеломило меня. Предполагается, что у меня нет какого-либо чувства святости, если я один из множества людей, смотрящих о том, как космический корабль успешной стартует? Почему нет? Предполагается думать, что мой опыт святости должен как-то отличаться ото всех смотрящих это людей? Почему, когда у нас у всех мозги одной и той же модели? В самом деле, почему бы мне нужно верить, что я уникален? (но «уникален» это другое слово, которое использует Адам Франк; так-то «уникальный опыт святости».) Это ощущение личное в том же смысле, в каком мы испытываем трудности, передавая любой опыт? Тогда почему делать акцент на святости, а скажем не на насморке?

Озарение пришло ко мне, когда я понял что вижу трюк Эпистемологии Темной Стороны — если вы сделаете нечто личным, это защитит его от критики. Вы сможете говорить «Вы не можете критиковать меня, поскольку это личное для меня, внутренний опыт, к которому у вас никогда не будет доступа, чтобы вы могли поставить его под вопрос».

Но ценой такой защиты себя от критики является то, что вы впадаете в одиночество — то самое, которым Уильям Джеймс так восхищался в качестве ядра религиозного опыта, словно бы одиночество это хорошая штука.

Такие реликвии Эпистемологии Темной стороны — ключ к пониманию множества путей, которыми религия выворачивает опыт святости:

Загадочность — почему священное должно быть загадочным? Запуск космического шаттла обходится без этого. Насколько меньше бы я ценил звезды, если бы не знал что они такое на самом деле, если бы они были для меня всего лишь точками в ночном небе? Но если ваши религиозные убеждения ставятся под вопрос — если кто-то спрашивает «Почему Бог не вылечивает людей, которые потеряли конечности?» — тогда вы отступаете и говорите глубокомысленным тоном «Это священная тайна!». Есть вопросы, которые не стоит спрашивать, и ответы, которые не должны быть подтверждены, чтобы защитить ложь. Таким образом невозможность получить ответ начинает ассоциироваться со святостью. И цена защиты себя от критики здесь — отказ от подлинного любопытства, которое искренне желает найти ответы. Вы поклоняетесь собственному невежеству вопросов вашего поколения, на которые временно нет ответов — возможно включая те, ответы на которые уже есть.

Вера — в ранние дни религии, когда люди были более наивны, когда даже самые умные парни на самом деле верили во все это, религия основывала свою репутацию на доказательствах чудес в своих священных писаниях. Христианские археологи искренне ожидали найти остатки Ноева Ковчега. Но когда таковых не оказалось, религия сделала то, что Уильям Бартли называл убежищем в долге, «Верю, потому что верю!». Таким образом убеждение без хороших свидетельств стало ассоциироваться с опытом священного. И цена за защиту себя от критики здесь то, что вы принесли в жертву свою способность думать ясно о том, что является священным, и развиваться в своем понимании священного, отказываться от ошибок.

Эмпиризм — если раньше вы думали, что радуга это священный мост между Богом и человечеством, а потом начали понимать, что Бога не существует, тогда вы можете сделать отступление к чистому опыту — хвалить себя за переживание таких чудесных ощущений, когда вы думаете о Боге, в независимости от того, существует он или нет. Здесь ценой является солипсизм: ваш опыт лишен связей с чем-либо. Каким ужасным чувством пустоты должно быть наблюдать подъема космического шаттла на струе пламени и говорить себе «Но на самом деле не имеет значения, существуют ли шаттлы, пока я ощущаю, что да».

Отделение — если область священного не подпадает под обычные правила свидетельств или возможность исследования обычными средствами, тогда она должны быть различной по природе с обычной материей; и тогда мы менее склонны думать о космическом шаттле как о кандидате на священность, поскольку это работа обычных человеческих рук. Китс потерял свое восхищение радугой и низвел ее до «скучного перечисления обычных вещей» за преступление, что ее состав и стурктура известны. Цена этого способа защищать себя от критики — потеря священности всех более-менее обычных вещей.

Личный опыт — об этом я уже говорил.

Такие искажения это причина тому, что мы даже не должны пытаться спасать религию. Нет, даже в форме «духовности». Отбросить общественные институты и фактические ошибки, отказаться от церквей и писаний — и вы окажетесь с…со всей этой чепухой про загадочность, веру, солиптический опыт, личное одиночество и неоднородностью.

Изначальная ложь — только начало проблемы. Дальше у вас есть все плохие привычки мышления, которые эволюционировали для защиты этой лжи. Религия это кубок с ядом, из которого мы должны постараться не испить. Духовность — это тот же кубок, из которого вытащили остатки яда, и в котором остался только растворившийся яд — намного менее летально, но все еще лучше бы не пробовать.

Когда ложь защищается веками, подлинное происхождение болезненных привычек теряется в тумане, под множеством слоев недокументированной болезни; и тогда, думаю, мудрее будет начать с нуля, а не пытаться избирательно отказываться от исходной лжи и сохранять привычки мышления, что защищали ее. Просто признайте, что вы неправы, сдайтесь полностью, прекратите защищать ошибку, хватит пытаться говорить, что вы «чуть-чуть правы», не пытайтесь сохранить лицо, просто скажите «Ой!», отбросьте все это и начните заново.

Эта возможность — подлинно, по-настоящему, без защиты, признать что ты полностью неправ — то, почему религиозный опыт никогда не будет похож на научный. Нет религии, что смогла бы вместить ее без того, чтобы не потерять себя полностью, став просто человечностью…

…с возможностью смотреть на звезды. Правдоподобной без напряжения, без постоянной борьбы по отвлечению внимания от контрсвидетельств. По-настоящему существующей в мире, опытом, соединенным с реальностью, единой с развертывающейся историей. Познаваемой без угроз, предлагающей подлинную пищу для любопытства. Разделенной со всеми теми, кто тоже смотрит на звезды, не имеющей нужды в бегстве в личный опыт. Сделанной из того же материала, что и вы сами и все остальное. Самой святой и прекрасной, священной обыденностью.

Физикализм для продвинутых

Рука или пальцы

Элиезер Юдковский

Вернёмся к нашей изначальной теме: Редукционизму и ошибке проецирования ума. Иногда люди считают, что классными могут быть лишь фундаментальные штуки, и тогда им сложно принять редукционизм на эмоциональном уровне. Но такая позиция лишит нас возможности наслаждаться чем-либо сложнее кварка, так что я предпочитаю отбросить её.

Напоминаю, что основной тезис редукционизма состоит в том, что хотя мы и используем многоуровневые модели для упрощения вычислений, физическая реальность состоит лишь из одного уровня.

Сегодня же я бы хотел предложить вам следующую загадку: Когда вы берёте стакан воды, его берёт ваша рука?

Большинство людей, конечно же, наивно ответят: «Да».

Однако недавно учёные совершили невероятное открытие. Оказывается, стакан держит вовсе не рука. На самом деле, его держат ваши пальцы и ладонь.

Да, я знаю, меня это тоже потрясло. Но оказалось, что когда учёные измерили силы, приложенные к стакану каждым из ваших пальцев и ладонью, то они не обнаружили никакой дополнительной силы. Таким образом, сила, прикладываемая вашей рукой, должна быть равна нулю.

Идея здесь в том, что когда вы можете увидеть (а не просто знать), как более высокий уровень редуцируется к более низкому, они не будут казаться вам отдельными местами на вашей карте. Вы сможете увидеть, насколько глупо думать, что пальцы могут быть отдельно от вашей руки. Вы сможете увидеть, насколько глупо спорить о том, берёт ли стакан ваша рука или же ваши пальцы.

Ключевое слово: «увидеть». Важна непосредственная визуализация. Когда вы представляете руку, вы также представляете и пальцы, и ладонь. И наоборот, представив ладонь и пальцы, вы поймёте, что это рука. Таким образом, высокий и низкий уровни вашей карты внутри вашего разума окажутся тесно связаны.

В реальности, конечно же, эти уровни связаны ещё теснее — самым тесным из возможных способов: физической идентичностью. Это можно увидеть. Вы можете увидеть, что слова (1) «рука» или же (2) «пальцы и ладонь» относятся не к различным объектам, а всего лишь к различным точкам зрения.

Но представим, что вам не хватает знаний, чтобы настолько тесно связать уровни вашей карты. Например, предположим, у вас был бы «детектор руки», который отображал бы «руку» как точку на карте (как на старых дисплеях радаров), и аналогичные детекторы для пальцев и ладони. Тогда бы вы видели множество точек вокруг руки, но вы могли бы представить, как точка-рука передвигается отдельно от остальных. Таким образом, несмотря на то, что физическая реальность руки (того, чему соответствует точка) идентична/строго состоит из физических реальностей пальцев и ладони, вы бы не смогли увидеть этот факт. Даже если бы кто-то сказал вам, или же если бы вы сами догадались, глядя на совпадение в расположении точек, вы бы только знали о факте редукции, но не могли бы его увидеть. Вы все ещё могли бы представить как точка-рука двигается отдельно, хотя это было бы физически невозможным, при условии, что физическое устройство детекторов остаётся неизменным.

Или же, на ещё более низком уровне связности, люди могли бы просто сказать вам «Вон там рука, а вон там пальцы». И у вас было бы информации не больше, чем у старомодного ИИ, воспринимающего ситуацию, используя Лисп-токены с говорящими названиями. Не было бы никакого очевидного противоречия в допущении:

|—Внутри(Комната,Рука)

|—~Внутри(Комната,Пальцы)

Потому что вы бы не обладали знанием, что:

|—Внутри(x, Рука)—> Внутри(x,Пальцы)

Из этого не следует, что рука на самом деле может отсоединиться от пальцев и подобно призраку красться по комнате. Просто у старомодного ИИ с таким устройством нет возможности это понять. Карта — это не территория

В частности, не следует делать слишком много выводов из того, что выглядит умозрительно возможным, ведь разум отдельного воспринимающего субъекта может отделить руку от составляющих её элементов: пальцев и ладони. Умозрительная возможность это не то же самое, что логическая и уж тем более физическая возможность. Вероятно, вы считаете умозрительно возможным, что 235757 — простое число, потому что вы не знаете наверняка. Но логически невозможно, чтобы 235757 было простым числом. Будь вы логически всеведущими, то для вас было бы очевидным, что 235757 составное (и вы бы знали его множители). Вот почему мы используем понятие «невозможных возможных миров»: чтобы рассуждать о вероятностных распределениях по высказываниям, которые на самом деле могут быть или не быть логически возможными.

И легко вообразить философов, критикующих «элиминативных пальцеристов», которые противоречат непосредственному факту личного опыта. Мы ведь можем чувствовать, что наша рука держит стакан. Таким образом, допущение, что «руки» на самом деле не существуют, должно очевидно привести к тому, что стакан упадёт и разобьётся. Также легко вообразить философов, предполагающих существование «межпальцевых связывающих законов», чтобы объяснить, как специфическая конфигурация пальцев порождает существование руки — с дополнением, разумеется, что хотя наш мир и включает в себя эти конкретные «связывающие законы», умозрительно они могли бы быть другими и, таким образом, не являются ни в коем смысле обязательными фактами, и так далее.

Всё это случаи ошибки проецирования ума, и то, что я называю «наивным философским реализмом» — озадаченность философской интуиции касательно прямой, проверяемой информации о реальности. Ваша неспособность представить что-то — всего лишь вычислительный факт о том, что ваш мозг может и не может представить. Другой мозг может работать иначе.

Злые атомы

Элиезер Юдковский

Фундаментальная физика — кварки и всё такое — очень далека от тех уровней, который мы можем увидеть, вроде рук и пальцев. В лучшем случае, вы знаете, как повторить эксперименты, показывающие, что ваша рука (как и всё остальное) состоит из кварков, и знаете, как вывести несколько уравнений, описывающих атомы, электронные облака, молекулы и прочие подобные штуки.

В худшем случае, существование кварков внутри вашей руки — это какое-то утверждение, которое вам сказали. В таком случае встаёт вопрос, в каком смысле вы вообще можете сказать, что «знаете» об этом, пусть даже вы используете то же слово «кварк», которое использовал бы физик, чтобы передать знание другому физику.

В любом случае, вы не можете действительно увидеть общность между уровнями — ни у кого нет настолько большого мозга, чтобы представить несколько чисел Авогадро кварков и заметить, как они складываются в руку.

Но мы, по крайней мере, понимаем, что руки делают. Руки могут давить на объекты, прикладывая к ним силу. Когда нам рассказывают об атомах, мы представляем маленькие бильярдные шары, стукающиеся друг о друга. Кажется очевидным, что «атомы» тоже могут толкать объекты, врезаясь в них.

Подобное представление об атомах не вполне корректно. Однако человеческое воображение позволяет относительно просто представить, что наша рука сделана из маленькой галактики кружащих бильярдных шариков, давящих на вещи, когда наши «пальцы» касаются их. Демокрит представил это 2400 лет назад, и какое-то время (примерно в 1803-1922 годах)Наука считала, что он был прав.

Но как насчёт, например, злости?

Как маленькие бильярдные шарики могут злиться? На бильярдных шарах появляются маленькие хмурые лица?

Представьте себя на месте охотника-собирателя — кого-то, кто даже не имеет представления о письме, не говоря уже о том, чтобы использовать материю для вычислений, кого-то, кто не имеет не малейшего понятия, что существует такая штука, как нейроны. Тогда вы сможете представить функциональный разрыв, который ваши предки могли видеть между маленькими бильярдными шарами и «Гррр! Аргхх!»

Забудьте на минуту о субъективном опыте и подумайте о разрыве между злостью и бильярдными шарами на уровне поведения. О разнице между тем, что делают бильярдные шарики и что заставляет делать людей злость. Злость может заставить человека поднять кулак и ударить кого-то, или говорить подлости за спиной, или подкинуть ночью скорпионов в чью-то палатку. А бильярдные шарики просто толкают предметы.

Попробуйте поставить себя на место охотника-собирателя, который никогда не испытывал «Ага!» от обработки информации. Постарайтесь избегать предвзятости послезнания насчёт таких вещей как нейроны и компьютеры. Только тогда вы сможете увидеть эту непреодолимую для объяснений пропасть.

Как можно объяснить злое поведение при помощи бильярдных шаров?

Ну, очевидное материалистическое предположение заключается в том, что маленькие бильярдные шарики толкают вашу руку и заставляют ударить кого-то, или же толкают ваш язык, чтобы получилось оскорбление.

Но откуда бильярдные шарики знают, как это делать — в смысле, как заставить ваш язык или пальцы следовать длительному плану, — если сами они не злятся?

И к тому же, если вы не увлеклись — о, боже! — сциентизмом, вы и сами благодаря своим ощущениям поймёте, что это объяснение очевидно ложно. Атомы могут толкать вашу руку, но они не могут заставить вас чего бы то ни было хотеть.

Кто-нибудь заметит, что вас может разозлить употребление вина. Но кто сказал, что вино состоит исключительно из бильярдных шариков? Может быть, в вине просто содержится эссенция злости?

Очевидно, что редукционизм — это ошибочная концепция.

(Ученик в отчаянии восклицает: «Искусство подвело меня». Мастер в отчаянии восклицает: «Я подвёл своё искусство».)

Что нужно, чтобы преодолеть этот разрыв? Не достаточно просто идеи «нейронов», «обрабатывающих информацию». Если вы скажете лишь эти слова и ничего более, в вашей модели лишь появится магическое, необъяснимым образом соединяющее уровни правило, благодаря которому вы переходите от шариков к мыслям.

Однако настоящий шаг по преодолению этого разрыва проделал разработчик искусственного интеллекта, который знает, как создать программу, играющую в шахматы. Если вы понимаете такие концепции как консеквенциализм, обратная цепочка рассуждений, функции полезности и деревья поиска, вы можете заставить планировать механическую (основанную исключительно на причинно-следственных связях) систему.

Делается это так. Для каждого возможного хода в шахматах, вычислите возможные ходы своего противника, затем свой ответ на эти ходы и так далее. Оцените позицию, получившуюся в результате самого далёкого хода, до которого вы в состоянии досчитать, с помощью какого-нибудь простого алгоритма (можно просто подсчитать материал [Общую стоимость фигур и пешек каждой стороны. — Прим.перев.]). Затем вернитесь назад и с помощью минимакса найдите лучший возможный ход для текущей позиции. Сделайте этот ход.

В более общем случае: если у вас в разуме есть цепочки причинно-следственной связи, в какой-то степени являющиеся отображением — зеркалом, эхом — действительности, то вы можете посчитать функцию полезности от исходов, которые предоставляет вам ваше воображение, выбрать действие, которое приведёт к исходу, полезность которого высока, и совершить это действие. Цепочки причинно-следственной связи в вашем разуме, соответствующие внешнему миру, не обязаны быть сделаны из бильярдных шариков, вокруг которых есть маленькие ауры намерений. Deep Blue будет работать и без изображений маленьких шахматных фигурок на его транзисторах. Также читайте эссе «Простая истина».

Эти рассуждения всё равно являются очень сильными упрощениями, но по крайней мере они должны сократить разрыв. Если вы всё это понимаете, вы видите, как состоящий из материи планировщик под воздействием алкоголя может выдавать более злое поведение. Бильярдные шарики алкоголя толкают бильярдные шарики, составляющие функцию полезности.

Но даже если вы знаете, как написать небольшие ИИ, вы не можете представить общность уровней между транзисторами и шахматами. Транзисторов слишком много, возможных ходов в шахматах — тоже.

Аналогично, даже если бы вы знали всё о неврологии, вы не смогли бы представить переход от уровня нейронов к уровню злости — не говоря уже о переходе от атомов к злости. Нельзя это увидеть в той же степени, в какой вы способны увидеть руку, состоящую из пальцев и ладони.

Представьте, что учёный-когнитивист заявляет: «Злость — это гормоны». Даже если вы повторите эти же слова, это не значит, что вы преодолели разрыв между уровнями. Вы можете верить в то, что вы в это верите, но это не то же самое, что понять, какое отношение бильярдные шарики имеют к тому, чтобы хотеть кого-то ударить.

В результате, вы приходите к таким интерпретациям как: «Злость это всего лишь гормоны, она вызывается маленькими молекулами, поэтому её нельзя оправдать в каком-либо моральном смысле. И поэтому нужно учиться контролировать свою злость».

Или же: «На самом деле не существует такой вещи как злость — это иллюзия, цитата без референта, вроде миража воды в пустыне или поисков дракона в гараже, которого там нет».

Эти интерпретации — горькие пилюли (впрочем, вы не обязаны их глотать), и поэтому куда легче их провозглашать, чем верить в них по-настоящему.

Мне кажется, это то, что не-редукционисты/не-материалисты думают, что критикуют, когда критикуют материалистов-редукционистов.

Но материализм не настолько прост. Он не сводится к заявлению: «Злость состоит из атомов, вот и всё, вопрос решён». Такое заявление не объяснит, как дойти от бильярдных шариков до драки между людьми. Чтобы начать преодолевать разрыв между уровнями, нужно вникнуть в теорию вычислений, консеквенциализм и деревья поиска.

А по современным стандартам это был ещё довольно простой пример, потому что я специально ограничился вопросом лишь злого поведения. Разговор о поведении не требует понимания того, как алгоритм выглядит изнутри (не нужно преодолеть разрыв между взглядом от первого и от третьего лица) или же умения разрешать неверные вопросы (не нужно распутать места, где ваш собственный разум неверно отражает реальность).

Переход от материальных сущностей, которые гнут и ломают, жгут и роняют, толкают и пихаются, к злому поведению — всего лишь практическая задача для современной философии. Но это очень важная практическая задача. Её можно всецело оценить, лишь когда вы поймёте, насколько сложно её было решить до того, как была изобретена письменность. Когда-то и здесь был разрыв в понимании — хотя сейчас, когда этот разрыв давно и успешно закрыт, в ретроспективе он может быть и незаметен.

Преодолеть разрыв в понимании можно, если принять помощь от науки и не доверять взгляду изнутри, порождённому вашим разумом.

Тепло или движение

Элиезер Юдковский

Завершив предыдущее эссе, я понял, что существует куда более простой пример, как редукционизм преодолевает разрыв между двумя вроде бы разными сущностями: редукция тепла к движению.

Сегодня, задним числом, эквивалентность тепла и движения многим кажется совершенно очевидной. Раз уж все говорят, что «тепло — это движение», то это убеждение не может быть «странным».

Но когда-то кинетическая теория тепла была крайне спорной научной гипотезой. В научном мире господствовали убеждения о теплороде, невесомом веществе, перетекающем из горячих объектов в холодные. А до того основной теорией тепла было: «потому что флогистон

Представьте, что вы изучили кинетическую теорию и теорию теплорода совершенно независимо. Теперь вы знаете кое-что о движении: столкновение, упругий отскок, импульс, кинетическая энергия, гравитация, инерция, траектория свободного движения. Также, без какой-либо связи с предыдущим, вы знаете кое-что о тепле: температура, давление, горение, тепловые потоки, двигатели, таяние, испарение.

Такое состояние знаний не просто возможно. Примерно такие знания были у Сади Карно, который, исходя исключительно из теории теплорода, придумал идею цикла Карно — тепловой машины максимально возможной эффективности, из существования которой следует второй закон термодинамики. И это в 1824 году, когда кинетика была уже высокоразвитой наукой.

Представьте, что, как и Карно, вы знаете многое о движении и знаете многое о тепле, но для вас это разные сущности. Для вас это разные части знания — в вашем мозге есть отдельные корзины для убеждений о движении и для убеждений о тепле. Но изнутри при таком состоянии кажется, будто в окружающем мире есть движущиеся объекты и горячие объекты, будто в окружающем мире движение и тепло — независимые свойства материи.

И вдруг к вам является физик из будущего и говорит: «Где тепло, там и движение, и наоборот. Вот почему, например, два предмета нагреваются при трении друг о друга».

Есть (как минимум) две возможные интерпретации утверждения: «Где тепло, там и движение, и наоборот».

Во-первых, вы можете предположить, что движение и тепло существуют отдельно друг от друга. Что теория теплорода верна, однако среди законов нашей вселенной существует «связывающий закон», согласно которому, когда объекты быстро двигаются, возникает теплород. И наоборот, другой связывающий закон утверждает, что теплород может давить на объекты и заставлять их двигаться, и именно поэтому горячий газ оказывает больше давления на своё окружение (таким образом, позволяя паровой машине использовать пар, чтобы двигать поршень).

Во-вторых, вы можете предположить, что тепло и движение в некотором, хотя и пока ещё таинственном смысле, — это буквально одно и то же.

«Бессмыслица», — скажет Первый Мыслитель, — «у слов „тепло“ и „движение“ — разные значения. Поэтому мы и используем два разных слова. Мы знаем, как определить, стоит ли рассуждать о наблюдаемом явлении как о «тепле»: тепло может плавить объекты или воспламенять их. Мы знаем, как определить, что объект „быстро двигается“: он меняет своё положение в пространстве, и когда он столкнётся с препятствием, он может треснуть или деформироваться. Тепло имеет отношение к изменению вещества, движение же — к изменению местоположения и формы. Утверждать, что эти два слова имеют одно и то же значение, значит, банально вводить себя в заблуждение».

«Невозможно», — скажет Второй Мыслитель. — «Не исключено, что в нашем мире тепло и движение связывают какие-то законы, в смысле, существуют законы физики, согласно которым движение создаёт тепло и наоборот. Но я легко могу вообразить мир, где трение не нагревает предметы, а газы при высоких температурах не создают больше давления. И раз существуют возможные миры, где тепло и движение не связаны, то тепло и движение должны быть разными свойствами — это истинно априори».

Первый Мыслитель путает цитату и референт. 2 + 2 = 4, но «2 + 2» ≠ «4». Строка «2 + 2» содержит пять символов (включая пробелы), а строка «4» содержит лишь один. Если ввести обе строки в интерпретатор питона, они выведут один и тот же результат >>> 4. Таким образом, если вы видите строки «2 + 2» и «4», нельзя заключить, что из различия этих строк следует, что они должны иметь различное «значение» согласно интерпретатору питона.

Можно сказать, что слова «тепло» и «кинетическая энергия» «указывают на» одно и то же явление, даже если мы пока не знаем, как именно тепло сводится к движению. В смысле, пусть мы не знаем, какие именно объекты находятся по ссылкам, но это совпадающие объекты. Можете вообразить идеальный всеведущий интерпретатор науки, который выведет один и тот же результат, когда мы вводим в командную строку «тепло» и «кинетическая энергия».

Я использую метафору интерпретатора науки, чтобы акцентировать внимание на том, что для разыменовывания указателя приходится выйти за пределы мышления. Конечным результатом разыменовывания является нечто, находящееся в реальности, не в чьём-либо уме. Так можно сказать «настоящий референт», но нельзя непосредственно вычислить значение этих слов изнутри собственной головы. Нельзя мыслить, используя настоящий референт тепла. Если бы вы размышляли, используя настоящее тепло, то мысль «один миллион Кельвинов» тут же испарила бы ваш мозг. Однако, формируя убеждение о своём убеждении о тепле, вы можете рассуждать о вашем убеждении о тепле, и делать утверждения вида: «Возможно, что мое убеждение о тепле не слишком соответствует настоящему теплу». Вы не можете по-настоящему сравнить своё убеждение о тепле и настоящее тепло внутри своего разума, но вы можете рассуждать об этом сравнении.

Таким образом, вы можете сказать: «Мои убеждения о тепле и движении — это разные убеждения, но, возможно, что настоящие тепло и движение — это одно и то же явление». Приведу аналогию: можно додуматься до идеи, что «утренняя звезда» и «вечерняя звезда», вероятно, одна и та же планета, и при этом понимать, что нельзя это определить точно, лишь анализируя свои убеждения, — вам потребуется найти телескоп.

Аналогично можно разобрать ошибку Второго Мыслителя. Физик сказал ему: «Где тепло, там и движение», и мыслитель воспринял это утверждение как физический закон: «наличие теплорода порождает движение». Физик же на самом деле подразумевал что-то похожее на дедуктивное правило: «если вам говорят, что где-то есть „тепло“, автоматически выводите наличие там „движения“ ».

Из подобной проекции многоуровневой модели на многоуровневую реальность вытекает ещё одна, отдельная ошибка: неспособность отделить умозрительную возможность от логической. Сади Карно мог допустить существование другого мира, где тепло и движение не связаны друг с другом. Для Ричарда Фейнмана, точно знающего, как из уравнений движения выводятся уравнения тепла, такая идея не просто невообразима, но и настолько внутренне противоречива, что попытка её представить может взорвать мозг.

Отдам должное философам — некоторые из них упоминали подобные проблемы. Например, Хилари Патнэм, автор мысленного эксперимента «Земля-Близнец», писал12:

Как только мы открыли, что вода (в действительном мире) есть H2O, ни один мир, где вода не есть H2O, не может рассматриваться как возможный. В частности, если «логически возможное» утверждение — это утверждение, истинное в некотором «логически возможном мире», то утверждение «вода не есть H2O» не является логически возможным.

С другой стороны, вполне можно представить себе, что опыт убедит нас (и придаст рациональный характер нашей вере в то), что вода не есть H2O. В этом смысле мыслимо, что вода не есть H2O. Мыслимо, но не логически возможно! Быть мыслимым не значит быть логически возможным.

Мне кажется, что слово «вода» в этих двух параграфах используется в разных смыслах — в одном случае «вода» относится к данным, которые мы вводим в интерпретатор науки, а в другом «вода» относится к тому, что мы получим из интерпретатора науки, введя туда слово «вода». В первом параграфе, Хилари, как я понимаю, утверждает, что после того, как были произведены эксперименты и обнаружено, что вода это H2O, вода немедленно переопределяется так, чтобы и означать буквально H2O. Но вы могли бы непротиворечиво поддерживаться иной позиции касательно того, означает ли слово «вода» «H2O» или же «то, что на самом деле находится в этой бутылке», до тех пор пока вы используете свои определения последовательно.

Полагаю, вышенаписанное тоже уже неоднократно повторялось? Так или иначе…

Вполне вероятно, что если в мире существует некая единая сущность, которая принимает достаточно различные формы, а вы при этом недостаточно разбираетесь в редукции, то вам будет казаться, что в мире присутствуют две разных сущности. Знания, относящиеся к этим двум разным явлениям, вероятно, отнесут к разным учебным дисциплинам и их будут изучать два разных научных направления, расположенные в разных зданиях вашего университета.

Чтобы вспомнить, насколько разными когда-то казались тепло и движение, приходится настраиваться на соответствующий исторический контекст. Не исключено, что есть способ легче — в зависимости от того, сколько вы уже знаете, — если вы в состоянии игнорировать давление привычного (например, фраза «тепло — это движение» сейчас звучит не странно, а «тепло — это не движение» — странно). В смысле предположим, что завтра физики объявят: «В популярных книгах о науке всегда было одно ложное утверждение. На самом деле тепло не имеет ничего общего с движением». Смогли бы вы доказать, что они неправы?

Сказать: «Возможно, тепло и движение — это одно и то же!» — легко. Сложно — объяснить, как это. Нужно очень много знаний, чтобы дойти до того уровня, когда вы уже не сможете представить мир, в котором эти два явления могут существовать по отдельности. Редукция не дёшева, и потому она даёт столь многое.

Или, возможно, стоит переформулировать так: «Редукционизм — это легко, редукция — вот что сложно». Но весьма помогает быть редукционистом, когда дело доходит до поиска редукции.

1.Hilary Putnam, “The Meaning of Meaning,” in The Twin Earth Chronicles, ed. Andrew Pessin and Sanford Goldberg (M. E. Sharpe, Inc., 1996), 3–52.

2.Русский перевод цитируется по изданию Патнэм Х. «Философия сознания» — М.: Дом интеллектуальной книги, 1999, перевод Макеевой Л. Б., Назаровой О. А., Никифорова А. Л. — Прим.перев.

Когда антропоморфизм стал глупым

Элиезер Юдковский

Оказывается, большинство вещей во вселенной неразумны.

Это утверждение вызвало бы недоверие во множестве ранних культур. В те времена был распространён анимизм: вера в то, что деревья, камни, реки и холмы — всё имеет души, потому что, а почему бы собственно и нет?

Если эти куски плоти, называемые людьми, способны мыслить, то почему то же самое не могут делать и куски дерева?

Мои мышцы двигаются согласно моей воле, а вода течет по реке. Кто может утверждать, что река не повелевает движением воды? Река вытекает из берегов и затапливает место стоянки моего племени. Почему бы не предположить, что река разозлилась, раз она направила часть себя, чтобы навредить нам? Ведь именно это мы подумаем, когда чей-то кулак ударит в наш нос.

Нет никакой очевидной (для охотника-собирателя) причины, почему это невозможно. Это может показаться глупой ошибкой, только если путать глупость со странностью. Естественно, убеждение, что у рек есть духи, кажется нам «странным», ведь в нашем племени нет таких убеждений. Но нет ничего очевидно глупого в том, чтобы считать, что в движущейся воде есть духи, как и в движущихся кусках плоти.

Если бы эта идея была очевидно глупой, никто бы в неё и не поверил. Как, например, долгое время никто не верил в очевидно глупую идею, будто бы Земля движется, хотя всё выглядит так, будто она совершенно неподвижна.

Разве это так уж очевидно, что деревья не могут мыслить? Не будем забывать, что деревья вообще-то наши дальние родственники. У нас есть общий предок с папоротником, надо просто отойти подальше в прошлое, чтобы его найти. Если куски плоти могут мыслить, то почему не могут куски дерева?

Чтобы было очевидным, что древесина не может мыслить, нужно принадлежать к культуре, у которой есть микроскопы. Причём хорошие микроскопы.

Аристотель считал, что мозг — это орган для охлаждения крови. (Хорошо, что наши убеждения о работе нашего мозга практически не влияют на его работу).

Египтяне выкидывали мозг в процессе мумификации.

Вместилищем интеллекта мозг назвал Алкмеон Кротонский, пифагореец пятого века до нашей эры. Он отследил путь оптического нерва от глаза к мозгу. Но при тех свидетельствах, которыми он располагал, это была всего лишь догадка.

Когда центральная роль мозга перестала быть лишь догадкой? Я не знаю историюдостаточно хорошо, чтобы ответить на этот вопрос. Вероятно, даже нельзя выделить какую-то ключевую точку. Быть может, стоит объявить ей тот миг, когда кто-то проследил анатомию нервов и заметил, что отделение их от мозга приводит к потере способности двигаться и чувствовать?

Но даже в этом случае причиной остаётся лишь таинственный дух, движущийся по нервам. Кто может утверждать, что древесина и вода, пусть даже они и не содержат этих маленьких нитей, которые есть в человеческом теле, не способны переносить этот мистический дух каким-то другим способом?

Я потратил некоторое время на поиски в Сети, чтобы выяснить точно, когда кто-то обратил внимание на очень запутанную внутреннюю структуру нейронов мозга и воскликнул: «Эй, спорим, этот гигантский клубок занимается обработкой сложной информации!» Я не преуспел в своих поисках. (Это не Камилло Гольджи — связность нейронов была известна и до него). Возможно, здесь также не было единственного переломного момента.

Однако я бы сказал, что антропоморфизм постепенно начал становиться ошибочным именно с открытия этой связности, а также с появлением теории естественного отбора Чарльза Дарвина и идеи, что мышление — это вычисление.

Именно в это время стало возможным посмотреть на дерево и сказать: «Я не вижу в биологии дерева органа, который занимался бы обработкой сложной информации. По поведению дерева тоже не заметно, что у него есть подобный орган. А если он спрятан настолько, что не влияет на поведение дерева, как естественный отбор мог бы привести к его появлению?»

Именно в это время стало возможным посмотреть на реку и сказать: «В воде нет элементов, которые воспроизводились бы на протяжении множества поколений с некоторыми отличиями, которые могли бы обеспечить естественный отбор. Откуда у реки может появиться структура, сравнимая с мозгом по сложности и функциям?»

Именно в это время стало возможным посмотреть на атом и сказать: «Злость кажется очень простым явлением, но на самом деле она устроена сложно. В таком простом объекте как атом для неё нет места, разве что внутри кварков существует целая неизведанная вселенная субчастиц. Но даже в таком случае, раз мы никогда не наблюдали каких-либо признаков атомной злости, эта вселенная никак не влияла бы на известные нам высокоуровневые явления».

Именно в это время стало возможным посмотреть на щенка и сказать: «Родители щенка могут прижать его к земле, когда тот совершит что-то неправильное, но это не значит, что щенок способен на размышления о морали. Согласно нашим нынешним теориям эволюционной психологии, способность к моральным рассуждениям возникает, как ответ на более сложные социальные испытания. Развитая мораль, которая появилась у нас, — это результат естественного отбора в результате словесных споров о политике племени».

Именно в это время стало возможным посмотреть на камень и сказать: «Тут нет даже простейших поисковых деревьев, какие есть в шахматной программе. Откуда у камня может появиться намерение катиться вниз, как когда-то считал Аристотель?»

Есть известная притча:

Чжуан-цзы и Хуэй-цзы прогуливались по мосту через реку Хао. Чжуан-цзы сказал:

— Как весело играют рыбки в воде! Вот радость рыб!

— Ты ведь не рыба, — возразил Хуэй-цзы. — Откуда тебе знать, в чём радость рыб?

— Но ведь ты не я, — ответил Чжуан-цзы. — Откуда же ты знаешь, что я не знаю, в чём заключается радость рыб?1

Теперь мы знаем.

1.Цитируется перевод с китайского В. В. Малявина по книге Чжуан-Цзы, «Даосские каноны». — Прим.перев.

Априори

Элиезер Юдковский

Традиционная Рациональность сформулирована на языке социальных норм. Нарушение норм трактуется как жульничество: если ты нарушаешь правила, и никто другой этого не делает, значит, ты предаёшь первым, что делает тебя плохим, очень плохим человеком. Для байесианцев, мозг –– это машина для достижения точности: если нарушать принципы рациональности, машина просто не работает — независимо от того, нарушает ли правила кто-то ещё.

Предположим, что Традиционные философы столкнулись с проблемой бритвы Оккама. Если две гипотезы одинаково хорошо удовлетворяют одним и тем же наблюдениям, почему мы должны считать, что с большей вероятностью истинной окажется более простая из них? Наверное, кто-нибудь скажет, что бритва Оккама работала в прошлом и, таким образом, скорее всего, продолжит работать и в будущем. Но, судя по всему, такой аргумент сам является предсказанием на основании бритвы Оккама: предположение «бритва Оккама работает вплоть до 8 октября 2027 года, а затем перестаёт работать» –– более сложная гипотеза, но она также удовлетворяет всем наблюдаемым свидетельствам.

Кто-нибудь скажет, что бритва Оккама — это разумное распределение априорных вероятностей. Но какое распределение оказывается «разумным»? Почему бы не назвать «разумным» очень сложное априорное распределение, при котором бритва Оккама работает во всех предыдущих случаях, но выдаёт ошибки в будущем?

Итак, похоже, не существует способов оправдать использование бритвы Оккама иначе как путём апелляции к бритве Оккама. То есть вряд ли этот аргумент убедит какого-либо судью, который изначально не признает бритву Оккама. (Что общего в словах, выделенных курсивом?)

Если вы философ, который ежедневно лишь пишет статьи, критикует статьи других людей и отвечает на их критику своих статей, вы можете просто взглянуть на бритву Оккама и пожать плечами. Оправдания, споры и риторика здесь заканчиваются. В своём написании статей вы заключаете перемирие: пока ваши приятели-философы не требуют от вас обоснований для ваших не подкреплённых аргументами убеждений, вы не требуете от них обоснований для их не подкреплённых аргументами убеждений. И в качестве символа вашего перемирия — вашего белого флага — вы используете фразу «истинно априори».

Но для байесианца, живущего в нашу эпоху когнитивных наук, эволюционной биологии и Искусственного Интеллекта, слово «априори» совершенно не объясняет, почему мозг-машина работает. Если мозг содержит в себе удивительную «фабрику априорных истин», которая действительно работает, производя точные убеждения, становится любопытно, почему мучимый жаждой охотник-собиратель не может использовать «фабрику априорных истин», чтобы обнаружить источник питьевой воды. Становится любопытно, почему вообще эволюция привела к появлению глаз, если уж существует способ производить точные убеждения без необходимости смотреть на что-либо.

Джеймс Ньюман сказал: «Факт, что яблоко, добавленное к ещё одному яблоку, всегда даёт два яблока, помогает обучать арифметике, однако никак не связан с истинностью равенства 1 + 1 = 2». Согласно Интернет Энциклопедии Философии, априорными называются утверждения, познаваемые независимо от опыта. Википедия цитируетЮма1: к отношениям между идеями «можно прийти благодаря одной только мыслительной деятельности, независимо от того, что существует где бы то ни было во вселенной»2. Можно увидеть, что 1 + 1 = 2, всего лишь подумав об этом и безо всяких яблок.

Но в нашу эру нейронаук следует понимать, что мысли объективно существуют во вселенной. Мысли — это деятельность мозга. Материальные мозги — реальные объекты вселенной — состоят из кварков согласно единой математической физике, законы которой внутри и вне вашего черепа одинаковы.

Когда вы мысленно складываете 1 + 1 и получаете 2, эти мысли представляют собой активацию нейронов. В принципе, мы могли бы экспериментально наблюдать те же самые материальные явления в чужом мозгу. Такой эксперимент потребует некоторого прогресса в вычислительной нейробиологии и нейрокомпьютерных интерфейсах, но, теоретически, он реализуем. Вы могли бы увидеть, как чья-то чужая машина работает в рамках цепочек материальных причин и следствий, чтобы «чисто умозрительно» вычислить, что 1 + 1 = 2. Чем же наблюдение за принципом работы чужого мозга как способ познания отличается от наблюдения за собственным мозгом, решающим ту же задачу? Когда «чистый разум» говорит вам, что 1 + 1 = 2, «независимо от опыта или наблюдений», вы на самом деле наблюдаете за работой вашего мозга в качестве свидетельства.

Если это кажется контринтуитивным, попробуйте рассмотреть разум/мозг как машину, сталкивающую нейронный шаблон единицы с нейронным шаблоном единицы и получающую нейронный шаблон двойки. Если двигатель работает правильно, то он должен производить абсолютно те же самые выходные данные, как если бы он наблюдал (при помощи глаз и сетчатки) за таким же мозгом-машиной, производящей такое же столкновение и копировал себе итоговый шаблон. Проще говоря, для любого априорного знания, полученного силой «чистого разума», вы узнали бы то же самое, если бы пронаблюдали активацию нейронов чужого мозга, в котором нейроны активируются таким же образом. Машины эквивалентны, результаты их работы эквивалентны, убеждения сцеплены с реальностью в той же степени.

Нет ничего, что вы могли бы знать «априори», и при этом не могли бы узнать с тем же уровнем правдоподобия, наблюдая за выбросом нейротрансмиттеров в чьём-то мозгу. Сами-то вы кто, дорогой читатель?

Именно поэтому вы можете предсказать результат сложения 1 яблока и 1 яблока, мысленно представив сначала такое сложение, или же ввести «3 х 4» в калькулятор, чтобы предсказать результат воображения 4 рядов с 3 яблоками в каждом из них. Вы и яблоки существуете в рамках единого универсального физического процесса, и одна его часть может отражать состояние другой.

Являются ли все активации нейронов, которые философы называют «априорными убеждениями», произвольными? Многие алгоритмы ИИ работают лучше с «регуляризацией», сдвигающей пространство решений в пользу более простых решений. Но регуляризованные алгоритмы сложнее сами по себе. Они содержат лишнюю строчку кода (а может и 1000 строчек), по сравнению с нерегуляризованными алгоритмами. Человеческий мозг предвзят в пользу простоты и таким образом мы мыслим более эффективно. Если на данном этапе нажать кнопку «Пренебречь», мы получим сложноустроенный мозг, существующий и работающий без каких-либо причин. Так что не следует называть априорные убеждения произвольными –– они формируются явно не путём генерации случайных чисел. (Что вообще означает слово «произвольный»?)

Даже если другие философы затрудняются с тем, чтобы обосновать свои утверждения, это не позволяет вам называть свои утверждения «истинными априори». Факт, что философ не в состоянии что-то объяснить, не может как обеспечить холодильник электроэнергией, так и создать волшебную фабрику по производству точных убеждений. Пока вы не поймёте, почему машина работает, не может быть ни перемирий, ни белых флагов.

Если выкинуть из головы «обоснования» и «аргументы», становится очевидным, почему бритва Оккама работает на практике: мы живём в простом мире, во вселенной с низкой энтропией, и в ней можно найти простые объяснения. «Но» - воскликнете вы, - «почему сама вселенная устроена таким образом?» Этого я не знаю, но своё незнание я воспринимаю, как следующую тайну, которую необходимо понять. Этот вопрос отличается от: «Как я могу обосновать бритву Оккама для гипотетического собеседника, который её ещё не принял?»

Возможно, вы не сможете убедить в чём бы то ни было гипотетического собеседника, не принимающего бритву Оккама, как не сможете убедить в чём-нибудь камень. Разуму необходимо некоторое количество динамической структуры, чтобы быть способным воспринимать аргументы. Если разум не поддерживает modus ponens, он может целый день принимать «A» и «A → B», но так и не вывести из этого «B». Как можно обосновать modus ponens для разума, который его не поддерживает? Как можно убедить камень стать мозгом?

Мозги эволюционировали из не-мозговой материи путём естественного отбора. Их существование не было оправданно в процессе спора с идеальным студентом философии абсолютной пустоты. Это не делает наши заключения бессмысленными. Мозг-машина может корректно работать, производя точные убеждения, даже если он был всего лишь собран, — не важно, человеческими руками или же совокупным стохастическим естественным отбором — а не появился во вселенной как результат дискуссии. Но чтобы удовлетвориться этим ответом, необходимо воспринимать рациональность на языке машин, а не аргументов.

1.Юдковский ссылается на англоязычную статью, но в настоящее время она тоже не содержит упомянутой цитаты. — Прим.перев.

2.Цитируется перевод С. И. Церетели. — Прим.перев.

Редуктивная отсылка

Элизер Юдковский

Основной тезис редукционизма (в моей формулировке) состоит в том, что человеческий разум ради эффективности использует многоуровневую карту, в рамках которой мы думаем об «атомах» и «кварках», «руках» и «пальцах», «тепле» и «кинетической энергии», как об отдельных сущностях. В то же время, реальность является одноуровневой. Атомы не являются некой дополнительной сущностью, чье влияние на цепочку причин и следствий выходит за рамки кварков.

Сади Карно сформулировал предшественника Второго Закона Термодинамики, используя теорию теплорода, в которой тепло считалось жидкостью, перетекающей из горячих тел в холодные, производимой огнем и заставляющей газы расширяться – свойства тепла изучались отдельно от кинетики задолго до того, как была произведена редукция. Если вам нужно спроектировать паровой двигатель, суммарный эффект всех этих крошечный вибраций и столкновений, что мы называем «теплом», может быть представлен значительно проще, чем при помощи полного квантово-механического описания каждого отдельного кварка. Люди вычисляют эффективно, стремясь к достижению своих целей, мы думаем лишь о том, что в значительной мере влияет на них.

Но сама реальность действительно использует всю квантовую механику кварков. Однажды я встретил человека, считавшего, будто использование Общей Теории Относительности для решения задачи с малыми скоростями, подобным скорости артиллерийского снаряда, даст неверный ответ – он не просто потребует больше вычислений, но будет экспериментально ошибочен – потому что при низких скоростях, артиллерийские снаряды подчиняются Ньютоновской Механике, а не ОТО. Это отличный пример того как физика не работает. Реальность продолжает пользоваться Теорией Относительности, даже когда разница заключена лишь в четырнадцатом знаке после запятой, что человек бы воспринял как бессмысленную трату вычислительных ресурсов. Физика делает все при помощи грубой силы. Еще никто никогда не замечал, чтобы физика упрощала свои вычисления, либо же Властелины Матрицы стирали всем свидетелям память.

В таком случае наша карта очень сильно отличается от территории. Наши карты – многоуровневые, а территория – одноуровневая. И раз представление столь отлично от референта, в каком смысле убеждения вида: «Я ношу носки» может быть истинным, в то время как сама реальность состоит лишь из кварков?

В случае если вы забыли что значит слово «истинный», классическое определение было дано Альфредом Тарским:

Утверждение «снег белый» истинно тогда и только тогда, когда снег белый.

В случае если вы забыли, в чем разница между утверждениями «Я верю в то, что снег белый» и «”Снег белый” – истина», перечитайте Качественное замешательство. Истина не может быть получена лишь путем размышлений – если вы хотите знать, например, является ли истинным утверждение: «утренняя звезда = вечерняя звезда», вам потребуется телескоп, недостаточно лишь изучить сами убеждения.

Вот что упускают постмодернисты, вопрошающие: «Но откуда вы можете знать, что ваши убеждения истинны?» Когда вы проводите эксперимент, вы на самом деле выходите за пределы собственной головы. Вы вступаете в сложное взаимодействие, чей результат причинностно определен предметом рассуждения, а не одними только вашими убеждениями о нем. Я определил «реальность» следующим образом:

В некоторых случаях, когда у меня есть простая гипотеза, которая прекрасно согласуется со всеми известными мне данными, даже и тогда случаются сюрпризы. Так что мне нужно по-разному называть те штуки, которые определяют предсказанные мной результаты, и ту штуку, которая определяет опытный результат. Первое я называю «верой», а второе — «реальностью».

Интерпретация вашего эксперимента по-прежнему зависит от ваших исходных убеждений. Я не собираюсь сейчас рассматривать вопрос о том, Откуда Берутся Исходные Убеждения, так как это было бы отступлением от темы эссе. Суть в том, что истина определяется как идеальное сопоставление между убеждением и реальностью. Если мы понимаем, что планеты отличны от убеждений о планетах, мы можем провести такой эксперимент, что позволит проверить, является ли убеждение «утренняя звезда и вечерняя звезда – это одна и та же планета» истинным. Этот эксперимент будет включать в себя использование телескопов, а не одну только рефлексию, так как мы понимаем, что «истина» подразумевает сравнение внутреннего убеждения и внешнего факта. Поэтому мы используем инструмент – телескоп, – наблюдения через который, насколько нам известно, зависят от внешней действительности – планеты.

Убеждение, что телескоп способен помочь нам узнать «истинность» убеждения «утренняя звезда = вечерняя звезда» основывается на нашем предшествующем убеждении о том, как телескоп взаимодействует с планетой. Повторюсь, я не собираюсь рассматривать проблему исходных убеждений в данном эссе, разве что процитирую одну из моих любимых строчек Рэймонда Смаллиана: «Если более умудренный читатель возразит, что данное утверждение является всего лишь тавтологией, то пусть хотя бы отдаст ему должное за внутреннюю непротиворечивость». Аналогично, я нахожу использование телескопа примером не порочного логического круга, а самосогласованности: для любого систематического способа получения истинных убеждений должно существовать рациональное объяснение того, как он работает.

Вопрос, интересующий нас сейчас: Что значит для утверждения «снег белый» являться истинным, когда в реальности существуют лишь кварки.

Хотя сейчас мы и не можем узнать наверняка, непосредственно рассмотрев необходимые нейронные связи, считается, что существует их особый шаблон, объединяющий ваши убеждения о «снеге» и «белизне». Подобные шаблоны нейронных связей в свою очередь представляют собой еще менее известные нам шаблоны кварков. В это же время во внешнем мире молекулы воды, чья температура достаточно низка, формируют повторяющиеся шаблоны кристаллической решетки. Они совершенно не похоже на нейронные узлы. В каком же смысле, сравнение одного (еще и непостоянного) шаблона кварков с другим, может считаться истинностью убеждения «снег белый»?

Очевидно, ни я, ни кто-либо другой не может предложить Функцию Идеального Кваркового Сопоставления, принимающую на вход кварковые описания заключенного в нейронах убеждения (а также всего остального мозга) и снежинки (а также законов оптики), а в качестве результата возвращающей «истинно» или «ложно». Да и не факт что фундаментальный уровень действительно представлен полями частиц.

С другой стороны, выкидывать на помойку все наши убеждения из-за того, что они не представлены в виде огромного набора трудных для восприятия характеристик кварков, которых мы даже не можем увидеть… не кажется такой уж разумной мыслью. Не лучший способ оптимизации ради наших целей.

Мне кажется, что такие слова как «снег» или «белый» могут быть приняты вроде долговой расписки. Это не известное описание того, какие физические конфигурации кварков считаются «снегом», но, тем не менее, есть те вещи, что вы зовете снегом и те, что нет. И, даже если вы пару раз ошибетесь (например, касательно синтетического снега), Идеальный Всезнающий Интерпретатор Науки увидел бы сконцентрированный кластер в центре и переобозначил границы так, чтобы иметь более простые определения.

В одноуровневой вселенной, чей нижний уровень неизвестен наверняка или же слишком обширен для описания, концепции в многоуровневом разуме можно воспринимать как подобные долговые расписки – мы не знаем, к чему именно они относятся. Но, похоже, что мы способны отличить положительные и отрицательные примеры в предсказуемо продуктивной манере, так что мы полагаем: возможно, в некотором общем смысле существует некие отличия в кварках, некие отличия в конфигурациях на фундаментальном уровне, объясняющие отличия в наших ощущениях и, в конце концов, приводящие к тому, что мы говорим «снег» или «не снег».

Я вижу эту белую штуку, одну и ту же в нескольких случаях, так что я предполагаю, существование стабильной скрытой причины в окружающей среде. И я называю эту белую штуку «снег». Таким образом «снег» – это долговая расписка, соответствующая тому, что мы считаем простой границей, проведя которую, удастся очертить незримые причины моего опыта.

Мысленный эксперимент Хилари Патнема (в котором вода это не H2O, а некая иная субстанция, обозначаемая XYZ, со всеми известными нам свойствами, характерными для воды) и последующий за ним философский спор, помогает более явно рассмотреть данную проблему. «Снег» не имеет логического определения, известного нам – он скорее является эмпирически определенным указателем на логическое определение. Это остается истинным, даже если вы считаете, что снег это кристаллы льда, которые в свою очередь являются низкотемпературными молекулами воды. Молекулы воды состоят из кварков. Что если окажется, что кварки состоят из чего-то еще? Тогда, что же такое снежинка? Вы не знаете, но это по-прежнему снежинка, а не пожарный гидрант.

И, конечно же, эти абзацы, что я только что написал, находятся куда выше уровня кварков. «Чувствовать белую штуку, визуально категорировать ее и думать “снег” или “не снег”» – это также говорить о чем-то значительно выше кварков.

Таким образом, мои мета-убеждения также являются долговыми расписками, и Идеальный Всезнающий Интерпретатор Науки знал бы какая конфигурация кварков (или чего бы там ни было), делает мой мозг соответствующим состоянию «верить в то, что снег белый».

Но тогда вся доступная нам реальность состоит из векселей подобного рода. Кто-то мог бы назвать это порочным кругом, я же предпочитаю называть это самосогласованностью.

Это может немного беспокоить – балансировать на шатком эпистемологическом шесте, как в отношении убеждений о реальности, так и рефлексии, высоко над глубокой пропастью неизвестности, лежащей в основе фундаментальной реальности и надеяться не свалиться.

Хотя, если подумать, то разве могло быть иначе?

Таким образом, утверждение «реальность не содержит руки как фундаментальные, дополнительные сущности сверх кварков» совершенно не то же самое что «рук не существует» или «У меня нет рук». Нет никаких фундаментальных рук: руки состоят из ладони и пальцев, которые в свою очередь состоят из мышц и костей, и так далее вплоть до полей элементарных частиц, что являются фундаментальными причинностными сущностями, насколько нам известно.

Это не то же самое, что утверждение «рук не существует». Не то же самое, что «слово “руки” – это долговое обязательство, что никогда не будет оплачено, так как не существует эмпирического кластера, соответствующего ему». Или же «обязательство “руки” никогда не будет оплачено, потому что логически невозможно согласовать все необходимые характеристики». Или «утверждение “люди имеют руки” логически непротиворечиво, но это не то состояние, в котором находится реальность»

Нет. На место того, что мы воспринимаем, как руки, находятся шаблоны, существующие вреальности, у этих шаблонов есть нечто общее, но они не фундаментальны.

Если бы я действительно не имел бы рук – если бы реальность внезапно перешла в то состояние, что мы описали бы как «У Элизера нет рук» – вскоре бы реальность соответствовала состоянию, которое мы бы описали как «Элизер кричит, а кровь хлещет из обрубков его кистей»

И это истинно, даже несмотря на то, что в предложении выше не были указаны какие-либо положения кварков.

Соответственно, предыдущее предложение мета-истинно.

Карта содержит множество уровней, территория – лишь один. Это не значит, что более высоких уровней «не существует», аналогично дракону в гараже или миражу в пустыне. Высшие уровни вашей карты не ложны, не лишены референта: их референты находятся в единственном уровне физики. Если бы «крылья самолета» не существовали – самолет бы упал. «Крылья самолета» явно существуют в многоуровневой модели самолета в голове инженера, а также не явно в квантовой физике реального самолета. Неявное существование не то же самое что несуществование. Точное описание этой неявности не известно нам – оно не является явно представленным на карте. Но это не мешает нашей карте работать или даже быть истинной.

Хотя это и может немного беспокоить. Понимание, что каждое убеждение и концепция в вашем мозгу, включая мета-концепции о том, как работает ваш мозг и почему вы можете формировать корректные убеждения, взгромождены на множество и множество порядков вверх над реальностью…

Зомби! Зомби?

Элиезер Юдковский

«Зомби» в философском значении этого слова – предположительно, существо в точности подобное нам в любом отношении: одинаковое поведение, речь, мозг; каждый атом и кварк находится точно в том же месте и движется согласно тем же законам механики – отличие лишь в том, что зомби не имеет сознания.

Более того, утверждается, что если зомби «возможны» (понятие, остающееся предметом баталий), то, исходя исключительно из нашего знания об этой «возможности», мы можем a priori сделать вывод о вне-физической природе сознания – в значении, описанном далее; стандартное определение для такой точки зрения – «эпифеноменализм».

(Для тех, кто не знаком с зомби, обращаю внимание, что это не «чучело»1. См., например, статью в Стэнфордской философской энциклопедии о зомби. «Возможность» зомби признана существенной частью – вероятно, большинством – академических представителей философии сознания.)

Я где-то прочитал: «Вы не тот, кто произносит свои мысли – вы тот, кто слышит их». В иврите величайшая душа – та, которую Бог вдохнул в Адама – называется Н’шама, «слышащий».

Если вы представляете себе «сознание» как исключительно пассивное слушание, понятие «зомби» изначально кажется легко представимым. Это некто, лишенный «слышащего».

(Предупреждение: впереди много букв. Очень длинная статья из 6600 слов, затрагивающая Дэвида Чалмерса. Ее можно считать моим наглядным контрпримером к Спору с Элиезером, часть 2, где Ричард Чапелл обвиняет меня в том, что я не связываюсь со сложными аргументами настоящих философов.)

Когда вы открываете холодильник и видите, что апельсиновый сок закончился, вы думаете: «Черт, я остался без сока». Звучание этих слов, вероятно, воспроизводится в слуховом отделе коры вашего головного мозга, как будто вы слышите, как кто-то еще сказал это. (Почему я так думаю? Потому что носители китайского языка способны запоминать более длинные последовательности цифр, чем носители английского. Китайские числительные все односложные, и говорящие на китайском могут помнить до 10 цифр, в отличие от известного «7±2» для англоговорящих. Кажется, в «оперативной памяти» слухового отдела коры головного мозга существует самозамкнутая петля из повторяющихся звуков, ограничение по длине которой исчисляется в фонемах.)

Предположим, что сказанное верно; в качестве начального условия это не должно составлять трудности для сторонников зомби. Даже если в отношении людей это неверно, кажется нетрудным вообразить ИИ, разработанный на такой основе (а «возможность вообразить» - это суть спора о зомби). Сказанное не только осознаваемо в принципе – в ближайшую пару десятилетий вполне возможно, что хирурги смогут подключить сеть рецепторов нервных сигналов к слуховой коре и прочитать разворачивающееся в ней повествование. (Исследователи уже подключились к боковому коленчатому ядру2 мозга кошки и воспроизвели узнаваемые визуальные образы на входе.)

Итак, наш зомби, физически идентичный нам до последнего атома, откроет холодильник и сформирует в слуховой коре образы для фонем «Черт, я остался без сока». До этого момента эпифеноменалисты охотно с нами соглашаются.

Но, говорит эпифеноменалист, внутри зомби некому слышать; отсутствует внутренний слушатель. Внутреннее повествование произнесено, но не услышано. Вы не тот, кто высказывает ваши мысли, а тот, кто их слышит.

Они бы сказали, что, кажется, куда проще создать ИИ, который выводит на печать некое внутреннее повествование, чем показывать, что внутренний слушатель слышит его.

Спор о зомби состоит в том, что если Мир Зомби возможен – не обязательно физически возможен в нашей вселенной, лишь «возможен в теории», или «может быть представлен», или что-то в этом роде – тогда сознание должно быть вне-физическим явлением, чем-то вне и сверх обычных атомов. Почему? Потому что даже если вы каким-то образом узнаете положение всех атомов во вселенной, вам все еще предстоит услышать, как отдельный и дополнительный факт, что люди обладают сознанием – что у них есть внутренний слушатель – что мы, вероятно, не в Мире Зомби.

«Зомбизм» не то же самое, что дуализм. Декарт считал, что существует телесная субстанция и совершенно отличная от нее разумная субстанция, но Декарт также полагал, что эта разумная субстанция есть источник активной причинности, взаимодействующий с телесной субстанцией и управляющий нашей речью и действиями. Лишение человека разумной субстанции породило бы традиционного, шатающегося и завывающего, зомби.

И хотя в иврите самая сокровенная душа названа Н’шама, тот-кто-слышит, я не слышал о рабби, отстаивающем возможность зомби. Большинство рабби, вероятно, почувствовали бы отвращение к идее, что божественная частица, которую Бог вдохнул в Адама, на самом деле бездействует.

Технический термин, обозначающий веру, что сознание присутствует, но не воздействует на физический мир, - эпифеноменализм.

Хотя в споре о зомби есть и другие составляющие (я разберусь с ними далее), думаю, первое, что прельщает в «зомбизме» - это интуитивно понятный тезис о пассивном слушателе. В особенности он прельщает непрофессиональную аудиторию. Ключевое понятие просто и доступно: свет горит, вот только дома никого нет.

Философы обращаются к интуитивно понятному тезису о пассивном слушателе, когда говорят: «Конечно, мир зомби можно представить; вы в точности знаете, на что он будет похож».

Одно из величайших сражений Войны зомби происходит на почве того, что, в точности, имеют в виду, говоря, что зомби «возможны». Ранние философы-зомбисты в 1970-е просто считали, что зомби «возможны» и не трудились определить, какого рода возможность они имели в виду.

Поскольку я поднаторел в математической логике, первое, что приходит мне на ум – это логическая возможность. Если у вас есть подборка утверждений вроде (A->B), (B->C), (C>~A), то сложное убеждение логически возможно, если для него есть модель – которая, в вышеприведенном простом случае, сводится к поиску таких значений для А, В, С, что все утверждения (A->B), (B->C), (C->~A) – истинны. Тогда ответом будет A=B=C=0, а также A=0, B=C=1 или A=B=0, C=1.

Нечто будет казаться возможным – «концептуально возможным» или «представимым» - если вы рассматриваете подборку утверждений, не замечая противоречий. Но, как правило, наибольшая трудность – именно обнаружить противоречия или*, с другой стороны*, разработать полную и точную модель! Если вы ограничиваетесь простыми Булевыми утверждениями вида((А или В или С) и (В или ~С или D) и (D или ~A или ~C) …), конъюнкциями или дизъюнкциями трех переменных, тогда это очень известная задача под названием 3-SAT, одна из первых задач, для которой была доказана NP-полнота3.

Итак, то, что вы не видите противоречий в Мире зомби с первого взгляда, не означает, что противоречий не существует. Это как не видеть с первого взгляда противоречий в гипотезе Римана. От концептуальной возможности («не вижу трудности») к строгой логической возможности – огромный скачок. Легко сделать так, что это будет скачок к NP-полноте, а с использованием теорий первого порядка4, даже для ограниченных задач вычисление можно сделать сколь угодно трудным. И именно логическая, а не концептуальная возможность Мира зомби необходима, чтобы предположить, что логически всезнающий разум может знать положение всех атомов во вселенной - и все же ему нужно сообщить как дополнительный, не вытекающий [из его знания] факт то, что у нас есть внутренний слушатель.

Само по себе то, что вы пока не видите противоречие, не дает гарантии, что вы не увидите противоречие в следующие 30 секунд. «Все нечетные числа – простые. Доказательство: 3 – простое, 5 – простое, 7 – простое…»

Поэтому давайте еще немного поразмыслим над Спором о зомби. Можем ли мы придумать контрпример к утверждению «Сознание не имеет причинного воздействия на мир, которое может быть обнаружено извне»?

Если вы закроете глаза и сконцентрируетесь на вашей внутренней осведомленности, в вашем внутреннем повествовании будут появляться мысли из ряда «Я сознаю…», «Мое осознание отдельно от моих мыслей», «Я не тот, кто высказывает мои мысли, но тот, кто их слышит», «Поток моего сознания не есть мое сознание» и «Кажется, существует часть меня, которую я могу представить уничтоженной без перемен в моем внешнем поведении».

Вы даже можете произнести эти фразы вслух в то время как вы размышляете. В принципе, некто со сверхчувствительным томографом5 мог бы прочитать фонемы в вашей слуховой коре; но произнести вслух означает устранить все сомнения насчет того, вошли ли вы в мир проверяемости и физических следствий.

Определенно кажется, что внутренний слушатель ловится в акте слушания той вашей частью, что создает внутреннее повествование и приводит в движение язык.

Представьте, что таинственная инопланетная раса посетила вас и оставила в подарок таинственный черный ящик. Вы тыкаете и пинаете ящик, но (насколько можете сказать) не вызываете никакой реакции. Вы не можете вынудить ящик отсыпать вам золотых монет или ответить на вопросы, и делаете вывод, что ящик причинно неактивен. «Для всех Х, черный ящик не делает Х». Черный ящик – результат, но не причина; он эпифеноменален, не имеет причинной способности. Размышляя, вы проверяете эту общую гипотезу, чтобы понять, истинна ли она в некоторых пробных случаях, и она кажется истинной – «Превращает ли ящик свинец в золото? Нет. Кипятит ли ящик воду? Нет.»

Но вы можете видеть черный ящик; он поглощает свет и веско оттягивает вашу руку. Это также часть танца причинности. Если бы черный ящик был всецело за пределами причинной вселенной, вы бы не могли его видеть; вы никак не могли бы узнать о его существовании; вы не могли бы сказать: «Спасибо за ящик!» Вы бы не думали об этом контрпримере, формулируя общее правило. «Все Х: Черный ящик не делает Х». Но он все время был здесь.

(На самом деле, инопланетяне оставили вами другой черный ящик, на этот раз совершенно эпифеноменальный, и у вас нет ни малейшего намека, что он здесь, в вашей комнате. Они так пошутили.)

Если вы можете закрыть глаза и ощутить, что вы ощущаете – если вы можете осознавать себя сознающего, и думаете «Я сознаю, что я сознаю» - и говорите это вслух – то ваше сознание не бездействует в отношении вашего внутреннего повествования или ваших шевелящихся губ. Вы можете видеть себя видящим, и ваше внутреннее повествование отражает это, так же, как ваши губы – если вы решите сказать об этом вслух.

Я не встречал приведенный выше аргумент – «слушатель, пойманный в акте слушания» - сформулированным именно так, хотя это, конечно, может быть кем-то уже высказано.

Но общепринятым моментом является то – и философы-зомбисты это признают! – что философы Мира зомби, до последнего атома идентичные нашим философам, пишут те же труды по философии сознания.

С этого момента Мир зомби перестает быть интуитивно понятным следствием идеи пассивного слушателя.

Философы, пишущие о сознании, окажутся хотя бы одним воздействием сознания на мир. Вы можете придумать изощренные причины, почему это не так, но вам придется постараться.

Интуитивно вы предположите, что если бы ваша внутренняя осведомленность исчезла, мир бы изменился так, что ваше внутреннее повествование более не включало бы фразы вроде «Внутри меня есть таинственный слушатель», потому что таинственный слушатель исчез. Но обычно ваше внутреннее повествование может сказать «Я осознаю свою осведомленность» лишь после того, как вы сфокусируете свое сознание на собственной осведомленности – из этого следует, что если первое так и не произошло, не будет и второго. Вы можете придумать изощренные причины, почему это не так, но вам придется постараться.

Вы можете внушить себе веру в то, что «Сознание не воздействует» и не увидите противоречия, пока не поймете, что разговор о сознании – следствие того, что вы сознаете. Но как только вы поймете связь между общим правилом, что «сознание не воздействует», и его частным приложением, что сознание не воздействует на то, как философы пишут труды про сознание – «зомбизм» перестает быть интуитивно понятным и начинает требовать, чтобы вы приняли как должное странные вещи.

Первая странность, которую вы должны принять – существование Повелителя зомби, бога Мира зомби, который тайно управляет зомби-философами и заставляет их говорить и писать о сознании.

Повелитель зомби не кажется невозможным. Люди часто не вполне последовательны, говоря о сознании. Наверное, нетрудно исказить их рассуждения до уровня, скажем, обывателя, разглагольствующего в баре. Можно взять за основу болтовню тысячи обывателей на тему сознания, скормить ее не сознающему, но хитроумному ИИ – продвинутому, но не самообучающемуся – и получить на выходе рассуждения о «сознании», звучащие так же здраво, как рассуждения большинства людей – то есть, вполне бредово.

Но эти рассуждения о «сознании» не будут произвольными. Они не созданы внутри ИИ – это будет записанная имитация речей кого-то еще, всего лишь симуляция6 с главным ИИ, озвучивающим персонажей. Это не то, что имеется в виду, когда говорят о Мире зомби.

Предположим, Мир зомби до последнего атома совпадает с нашим миром, за исключением того, что его обитатели лишены сознания. Далее, атомы в Мире зомби движутся по тем же физическим законам, что и в нашем мире. Если есть «законы сопряжения», определяющие, какие соединения атомов пробуждают сознание, то эти законы неизвестны. Но, гипотетически, различие и не может быть установлено экспериментально. Когда речь идет о кварке, движущемся так или этак или воздействующем на соседние кварки – о том, что можно измерить в рамках эксперимента –действуют те же законы физики.

В Мире зомби нет места для Повелителя зомби, потому что последнему придется управлять движением зомбьих губ, а такое управление, в принципе, можно обнаружить экспериментально. Повелитель зомби движет губами – следовательно, у него есть наблюдаемые следствия. Это может быть точка, в которой электрон по знаку Повелителя движется туда, а не сюда. (Если не принимать, что Повелитель на самом деле находится внутри мира, понимаемого как структура из кварков – но тогда Мир зомби не совпадает с нашим до последнего атома, если вы не думаете, что Повелитель зомби присутствует и в нашем мире.)

Когда философ в нашем мире пишет: «Я думаю, что Мир зомби возможен», его пальцы последовательно нажимают клавиши З-О-М-Б-И. В этих нажатиях можно отследить цепь причинности: сокращение мышц, возбуждение нервов, команды, посылаемые через спинной мозг двигательной областью коры головного мозга – и далее в менее известные области мозга, где внутреннее повествование философа впервые заговорило о «сознании».

И зомби-двойник философа нажимает те же клавиши, вследствие тех же факторов с точки зрения причинности. В цепи объяснений того, почему философ пишет именно так, нет причины, которой бы отсутствовала в отношении его зомби-двойника. У двойника также есть внутреннее повествование о «сознании», которое продвинутый томограф мог бы считать из его слуховой коры. И какие бы другие мысли, или иные подобные мотивы, ни вели к такому внутреннему повествованию, они в точности те же как в нашей вселенной, так и в Мире зомби.

Итак, вы не можете сказать, что философ пишет о сознании вследствие сознания, в то время как зомби-двойник пишет о сознании по знакуПовелителя зомби или ИИ. Когда вы отслеживаете цепь причинности от клавиатуры к внутреннему повествованию, отзывающемуся в слуховой коре, и к причине повествования, вы должны найти такое жефизическое объяснение в нашем мире, как и в мире зомби.

Как пишет самый убежденный защитник зомбизма Дэвид Чалмерс:

«Подумайте о моем зомби-двойнике в соседней вселенной. Он все время говорит о сознательном опыте – по сути, он кажется одержимым. Он тратит абсурдное количество времени, сгорбившись за компьютером и строча главу за главой о тайнах сознания. Он часто говорит об удовольствии, которое он получает от неких свойств чувственного опыта7, питая особую любовь к темно-зеленому и багровому. Он часто ввязывается в споры с зомби-материалистами, заявляя, что их позиция несправедлива к реалиям сознательного опыта.

И в то же время у него нет сознательного опыта вообще! В его вселенной материалисты правы, а он ошибается. Большая часть его утверждений о сознательном опыте – попросту ложь. Но, несомненно, есть физическое или физиологическое объяснение, почему он утверждает то, что утверждает. В конце концов, его вселенная всецело подчиняется законам, в ней нет чудес – следовательно, должно быть какое-то объяснение и его утверждениям.

…Любое объяснение поведения моего двойника равно будет считаться объяснением моего поведения, так как процессы внутри его тела в точности соответствуют процессам внутри моего. Основание под его утверждениями, очевидно, не зависит от существования сознания, ведь в его мире сознания не существует. Следовательно, объяснение моих утверждений также не зависит от существования сознания».

Чалмерс не выдвигает аргументы против зомби; таковы его подлинные убеждения!

Эта парадоксальная ситуация одновременно радует и пугает. Она не обязательно станет приговором убеждениям не-редукционизма, но, по крайней мере, с ней нам придется сцепиться.

Я на самом деле полагаю, что эта пилюля горчайшая из всех, что нам вовеки пришлось проглотить. Таков мой сомнительный комплимент Дэвиду Чалмерсу. Менее горькая не помогла бы прояснить все следствия, позволила бы уйти от столкновения с ними или рационализировать причину, почему все не так страшно.

Почему кто бы то ни было решил проглотить такую пилюлю? Почему кто-то выдвинул утверждение о бессознательных зомби, которые пишут труды о сознании точно по той же причине, что и наши, несомненно наделенные сознанием, философы?

Я писал не об интуитивно ясном понятии пассивного слушателя. Интуиция в этом случае может подсказать, что зомби могут водить машину, заниматься математикой или даже влюбиться – но она не говорит, что зомби пишут философские труды о своем пассивном слушателе.

Спор о зомби покоится не только на понятии пассивного слушателя. Если б дело было только в нем, думаю, спор бы уже затих. Интуитивное представление, что «слушателя» можно устранить без последствий, исчезло бы, как только вы осознаете, что ваше внутреннее повествование, по-видимому, связывается со слушателем в каждом акте слушания.

Нет, побуждение проглотить эту пилюлю исходит из совершенно иного интуитивного представления – состоящего в том, что, сколько бы атомов вы ни добавили, сколько бы масс и электрических зарядов ни взаимодействовали, они с необходимостью никогда не вызовут субъективного ощущения таинственной красноты красного. То, что расположение таких-то атомов в таком-то порядке вызывает ощущение красноты, (по Чалмерсу) может быть фактом нашей физической вселенной – но если это верно, то без данного факта можно обойтись и объяснить [это явление], не вовлекая движение атомов.

Но если вы рассмотрите второе интуитивное представление само по себе, без понятия пассивного слушателя, трудно понять, почему оно предполагает зомбизм. Возможно это всего лишь иной род вещества, отличный от атомов и дополняющий их, который не является причинно пассивным – душа, которая на самом деле порождает вещество и на самом деле играет роль причинности, когда мы пишем о «таинственной красноте красного». Уберите душу и…хм, предполагая, что вы не впадете в кому, вы точно не напишете новых трудов о сознании.

Это точка зрения Декарта и большинства других древних мыслителей. Душа имеет иную природу, но она взаимодействует с телом. Точка зрения Декарта известна как вещественный дуализм – существуют вещество-мысль, вещество-разум, отличные от атомов; но они причинно действенны, взаимодействуют с нашей вселенной и оставляют на ней различимый отпечаток.

Зомбисты же привержены дуализму свойств – они верят не в обособленную душу, а в то, что материя в нашей вселенной имеет дополнительные свойства, не относящиеся к физическим.

«Не относящиеся к физическим?» Что это значит? А то, что дополнительные свойства здесь, но они не влияют на движение атомов, в отличие от параметров электрического заряда или массы. Дополнительные свойства не обнаруживаются стороннимэкспериментом; вы осознаете, что наделены сознанием, изнутри ваших дополнительных свойств, но ни один ученый не может непосредственно обнаружить это извне.

Итак, дополнительные свойства здесь, но они не являются причинно активными. Они не перемещают атомы и поэтому не могут быть обнаружены извне.

И поэтому мы (якобы) можем представить вселенную в точности, как эта, где все атомы на тех же местах, но дополнительные свойства отсутствуют, и все происходит так же, как раньше, только никто не наделен сознанием.

Мир зомби может быть физически невозможным, - скажут зомбисты, - так как установлено, что вся материя в нашей вселенной имеет дополнительные свойства, либо подчиняется «законам сопряжения», пробуждающим сознание – но Мир зомби возможен логически: законы сопряжения могли бы оказаться иными.

Но если вы осознаете, что «возможность вообразить» и логическая возможность не одно и то же, и что Мир зомби не так уж интуитивно понятен – почему вы говорите, что Мир зомби логически возможен?

Почему, почему вы говорите, что дополнительные свойства эпифеноменальны и не могут быть обнаружены?

Мы можем сделать эту дилемму еще жестче. Чалмерс верит, что существует нечто, называемое сознанием, и что это сознание воплощает подлинную и неописуемую сущность таинственной красноты красного. Это может быть свойство, не связанное с массой и зарядом, но оно есть, и это – сознание. Сказав все это, Чалмерс далее определяет, что сущность сознания эпифеноменальна и не является причинно действенной – но почему он так решил?

Как можно сказать, что возможно устранить самую суть сознания и оставить все атомы на своих местах и в том же состоянии? Если это верно, нам нужно отдельное физическое объяснение для всего того, что Чалмерс говорит о «таинственной красноте красного». То есть, одновременно существуют вне-физическая«таинственная краснота красного» и совершенно отдельная физическая причина того, что Чалмерс способен говорить о «таинственной красноте красного».

Чалмерс признает, что эти две вещи, по-видимому, должны быть связаны, но послушайте, зачем нам сразу обе? Почему бы не выбрать ту или другую?

Если вы утверждаете, что существует таинственная краснота красного, почему бы не сказать, что она взаимодействует с вашим внутренним повествованием и побуждает вас говорить о ней?

Не проще ли подход, выбранный Декартом – в строгом смысле?

Зачем заявлять о вне-материальной душе – и тут же о том, что эта душа не воздействует на физический мир – а затем вводить ужасно таинственный материальный процесс, который побуждает ваше внутреннее повествование говорить о сознательном опыте?

Почему бы не заявить об истинной материи сознания, к которой простые бездушные атомы в любом количестве не смогут ничего добавить – и только потом, зайдя так далеко, позволить этой материи сознания обладать свойствами причинности вроде тех, что позволяют философам говорить о сознании?

Я не одобряю подход Декарта. Но я хотя бы понимаю, из чего исходил Декарт. Сознание кажется таинственным, и вы заявляете о таинственной материи сознания. Прекрасно!

Но теперь зомбисты заявляют, что эта таинственная материя ничего не делает, так что вам необходимо абсолютно новое объяснение того, почему вы можете сказать, что наделены сознанием.

Это не витализм. Это нечто столь причудливое, что виталисты подавились бы кофе. «Когда огонь горит, он высвобождает флогистон. Но флогистон не оказывает экспериментально подтвержденного воздействия на нашу вселенную, так что вам придется искать отдельное объяснение, почему огонь плавит снег». Вы шутите?

Полагают ли приверженцы «дуализма свойств», что, если они заявят о новой действующей силе, которая оказывает причинное воздействие на наблюдаемые объекты, они высунут голову слишком далеко?

Что до меня, я бы сказал, что если вы заявляете о таинственном, дополнительном, отдельном, сугубо умозрительном свойстве сознания, не связанном с положениями и скоростями в пространстве, вы уже высунули голову дальше некуда. Сначала заявить о материи сознания, а потом о том, что она ни на что не влияет – во имя няшных котят, за что?

Это даже не является очевидным карьерным мотивом. «Привет, я философ сознания. Мой предмет исследования – самая важная штука во вселенной, и мне нужна наилучшая финансовая поддержка, понимаете? Хм, мило, что вы это сказали, но на самом деле явление, которое я изучаю, вообще ни на что не влияет». (Аргумент от карьеры несостоятелен, но я его привел, чтобы оставить место для отступления).

Чалмерс критикует вещественный дуализм на том основании, что не видно новой физической теории или нового вещественного взаимодействия, которые могли бы объяснить сознание. Но у дуализма свойств те же проблемы. Неважно, о каком роде двойных свойств вы говорите – как именно он объясняет природу сознания?

Когда Чалмерс заявляет о дополнительном свойстве, которым является сознание, он перепрыгивает необъяснимое. Как это поможет его теории определить далее, что это дополнительное свойство ни на что не влияет? Почему бы просто не придать ему причинность?

Если б я разозлился, именно сейчас я бы вытащил на свет дракона – притчу Карла Сагана о драконе в гараже. «У меня в гараже дракон!» Отлично! Пойдем посмотрим! «Ты его не увидишь – это невидимый дракон». Тогда я бы хотел его услышать! «Извини, дракон не слышен». Тогда я измерю прирост концентрации углекислоты! «Он не дышит». Я распылю в воздухе мешок муки, чтобы обрисовать его форму. «Дракон проницаем для муки».

Один из мотивов для попытки сделать свою теорию принципиально неопровергаемой8 – то, что в глубине души вы боитесь подвергнуть ее проверке. Сэр Роджер Пенроуз (физик) и Стюарт Хэмерофф (невролог) – вещественные дуалисты, полагающие, что в квантах протекает нечто таинственное, что Эверетт неправ и что «коллапс волновой функции» физически реален – что именно там обитает сознание, и таким образом оно оказывает причинное воздействие на ваши губы, когда вы произносите «Я мыслю, следовательно, я существую». Поверив в это, они предсказывают, что нейроны сопротивляются декогеренции достаточно долго, чтобы поддерживать макроскопические квантовые состояния.

Это процедура проверки, и до сих пор ее перспективы для Пенроуза выглядели не блестяще – но основная деятельность Пенроуза с научной точки зрения вполне респектабельна. Может, не соответствует Байесовым критериям – но все же имеет здоровые корни. Он выступил с бредовой гипотезой – указал, как ее проверить – вышел и действительно попытался проверить ее.

Как я сказал Стюарту Хэмероффу, «Думаю, гипотеза, которую вы проверяете, совершенно безнадежна, и ваши эксперименты определенно заслуживают финансирования. Даже если вы не найдете в точности то, что ищете, вы ищете там, где до вас никто не искал – и можете обнаружить что-нибудь интересное».

Итак, устранение эпифеноменализма будет неприятно тем, что зомбисты побоятся говорить о действующем веществе-сознании, ведь ученые могут отправиться искать эти дополнительные свойства – и не найти их.

Хотя я не думаю, что это справедливо в отношении Чалмерса. Если бы Чалмерсу недоставало честности к себе, он мог бы многое сделать намного проще.

(На случай, если Чалмерс читает это и действительно боится фальсификации, я укажу, что, если эпифеноменализм ложен, то существует другое объяснение так называемому сознанию, и оно будет в итоге найдено – тогда теория Чалмерса обрушится; так что, если Чалмерса заботит его место в истории, у него нет мотивов поддерживать эпифеноменализм, если он действительно не считает его истинным).

Чалмерс – один из самых неуспешных философов, кого я знаю. Иногда мне интересно, не готовит ли он нечто вроде «Побежденного атеизма». Чалмерс проводит действительно тонкий анализ… и в последний миг сворачивает в тупик. Он показывает все неувязки сценария с Миром зомби – и тут же, выбросив все свои доводы на свалку, смиренно принимает этот сценарий.

Чалмерс делает то же самое, когда подробно объясняет, почему нельзя оправдать нашу собственную веру в сознание тем, что наш зомби-двойник ошибается, говоря те же вещи по тем же причинам.

По поводу теории Чалмерса – его слова о вере в сознание не имеют причинногообоснования; вера не может быть вызвана фактом как таковым. В отсутствие сознания Чалмерс писал бы те же труды по тем же причинам.

Насчет эпифеноменализма – высказывание Чалмерса о вере в сознание не обосновано тем, что это результат процесса, систематически выдающего верные убеждения, поскольку зомби-двойник пишет те же труды в результате того же систематического процесса – и ошибается.

Чалмерс признает это и, на самом деле, объясняет в своей книге каждый довод очень подробно. Значит, Чалмерс прочно доказал, что его вера в эпифеноменальное сознание не обоснована, так? Нет, он пишет:

«Опыт сознания находится в центре нашей эпистемологической вселенной; у нас есть прямой доступ к нему. Отсюда вопрос: что, как не причинная связь с этим опытом и не механизмы формирования убеждений, обосновывает наше доверие к этому опыту? Думаю, ответ ясен: обладание опытом обосновывает доверие к нему. Например, сам факт, что у меня есть опыт красного, обосновывает мое убеждение, что у меня есть опыт красного…

Поскольку мой зомби-двойник лишен опыта, его эпистемологическая ситуация сильно отличается от моей, и его суждения лишены соответствующего обоснования. Тянет возразить, что, если мое убеждение относится к области физического, его обоснование также должно относиться к этой области – но это non sequitur (нелогично). Из отсутствия обоснований в области физического можно сделать вывод, что не обосновано убеждение моей физической части (скажем, мозга). Но вопрос в том, обосновано ли мое убеждение, а не убеждение моего мозга –ведь, если дуализм свойств верен, то я – нечто большее, чем мой мозг».

Итак – если я верно понял этот тезис – есть «подлинный я», где-то за пределами моего мозга, который верит, что он не зомби, и непосредственно ощущает опыт зомби-небытия – и это обосновывает его веру.

Но Чалмерс лишь написал все это в своей очень даже физической книге, и то же сделал Чалмерс-зомби.

Чалмерс-зомби не смог бы написать книгу благодаря тому, что за пределами мозга есть «подлинное зомби-я» – должна быть совершенно иная причина в рамках законов физики.

Следовательно, даже если существует скрытая часть Чалмерса, сознающая и верящая в сознание прямо и непосредственно, также существует отделимое подпространство Чалмерса – закрытая для причинности познающая подсистема, действующая всецело в рамках физики – именно это «внешнее я» проговаривает чалмерсово внутреннее повествование и пишет труды о сознании.

Не вижу способа избежать обвинения, что, исходя из его же собственной теории, этот отделимый внешний Чалмерс сошел с ума. Это часть Чалмерса, которая одинакова в этом мире и в Мире зомби, и в каждом из миров она пишет философские труды о сознании без веских причин. Его философские труды не исходят из внутреннего ядра осведомленности и убеждения в осведомленности, они исходят из обычной физики внутреннего повествования, которое заставляет пальцы Чалмерса нажимать на клавиши компьютера.

И этот безумный внешний Чалмерс пишет философские труды, которые вдруг оказываются совершенно правильными, по отдельной и дополнительной чудесной причине. Чудо не является логически необходимым (тогда был бы логически возможен и Мир зомби). Это физически возможное чудо, которое оказывается верным в том, что мы полагаем нашей вселенной, даже несмотря на то, что наука не может различить нашу вселенную и Мир зомби.

Или по меньшей мере так покажется исходя из того, что говорит нам безумный, по его собственному признанию, внешний Чалмерс.

Думаю, я говорю за всех редукционистов, когда произношу «Эээ…?»

Это не эпициклы. То есть, «Движение планет следует этим эпициклам – но эпициклы на самом деле ничего не делают – что-то еще, что я не могу объяснить, движет планеты так, как это описывают эпициклы – и, я бы сказал, даже если б не было никаких эпициклов».

У меня нестандартный взгляд на философию, поскольку я смотрю на всё глазами разработчика ИИ; конкретнее – самосовершенствующегося ИИ общего характера со стабильной структурой мотивации.

Когда я думаю о разработке ИИ, я рассматриваю такие принципы, как теория вероятности, Байесовы представления о свидетельстве как дифференциальной диагностике и, прежде всего, согласованность [связность] мышления. Любой самосовершенствующийся ИИ, начинающий работу в состоянии несогласованного мышления, долго не протянет.

Если самосовершенствующийся ИИ обратится к той своей части, что делает заключение Б исходя из условия А – части, что записывает Б в память, когда истинно условие А – исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большой вселенной, и решает, что эта часть систематически записывает в память ложные данные – тогда ИИ вносит в себя изменение: не записывать Б в область убеждений при условии А.

Любая эпистемологическая теория, не принимающая во внимание согласованность [связность] мышления – не лучшая теория, чтобы строить на ее основе самосовершенствующийся ИИ. С моей точки зрения, это сокрушительный аргумент, принимая во внимание, для чего я на самом деле собираюсь применять философию. Так что, в любом случае мне придется разработать теорию, предусматривающую согласованность мышления. И когда я это сделаю – ей-богу, согласованность мышления обретет интуитивно понятный смысл.

Таков необычный аспект, в котором я предполагаю рассматривать все эти вопросы. А теперь вернемся к Чалмерсу.

Причинно замкнутый «внешний Чалмерс» (на которого никак не влияет «внутренний Чалмерс» со своими отдельными, дополнительными знаниями и убеждениями) должен осуществлять некое систематически ненадежное, недозволенное действие, которое необъяснимым образом побуждает внутреннее повествование порождать убеждения о «внутреннем Чалмерсе» - правильные без какой-либо на то причины, логичной в нашей вселенной.

Но у внешнего Чалмерса или любого ИИ с последовательным мышлением и самодиагностикойнет возможных оснований, чтобы верить в эту чудесную правильность. Хорошо спроектированный ИИ, думаю, выглядит как последовательно мыслящий разум, воплощенный в системе причинности, с проверяемой теорией того, как эта система причинности систематически порождает точные убеждения, решая при этом поставленные перед ней задачи.

Итак, ИИ вглядится в Чалмерса и увидит познавательную систему с замкнутыми причинными связями, выдающую бессмысленное внутреннее повествование. Бессмыслица, по-видимому, существенно влияет на то, что, по мысли Чалмерса, должно считаться морально целостной личностью.

Эту проблему не нужно решать теоретикам Дружественного ИИ – сложность возникает, лишь если вы эпифеноменалист. Если верить редукционистам (сознание возникает в пределах атомарной структуры, или вещественным дуалистам (сознание представляет собой причинно действенную нематериальную сущность), говорящий о сознании говорит о чем-то реально существующем, и последовательно мыслящий байесианский ИИ может понять это, отследив цепь причин, побуждающих человека говорить о «сознании».

По Чалмерсу, познавательная система с замкнутыми причинными связями, порождающая чалмерсово внутреннее повествование, работает с (таинственными) искажениями, поскольку чудесным образом – не с необходимостью, а случайно и только в нашейвселенной – выдает верные ответы. Более того, внутреннее повествование утверждает, что «внутреннее повествование, работает с (таинственными) искажениями, но чудесным образом верно отражает обоснованные представления эпифеноменального внутреннего ядра»

Да неужели!

Не пора ли вам уже отбросить эту идею? Не пора ли, на самом грубом интуитивном уровне, прийти к мысли: «О чем я только думал?»

Человечество накопило обширный опыт того, как выглядят верные представления о мире. Они выглядят совсем не так.

«Аргумент от недоверия», - вы говорите. Отлично, вы хотите, чтобы я это сказал? Указанная чалмерсианская теория заявляет о множественных необъяснимых сложных чудесах. Это обрушивает ее изначальную вероятность, согласно вероятностному правилу конъюнкции и Бритве Оккама. Следовательно, над ней берут верх, самое малое, две теории, которые предусматривают меньше чудесного, а именно:

вещественный дуализм:

«существует еще не понятая материя сознания, необычайная сверх-физическая материя, которая оказывает видимое воздействие на наш мир; именно эта материя побуждает нас говорить о сознании».

Не-вполне-основанный-на-вере редукционизм:

так называемое «сознание» возникает в рамках физики не понятым пока образом, в точности как последние три тысячи раз, когда человечество сталкивалось с чем-то таинственным.

интуитивное представление, что вещество не может, теоретически, быть частью сознания, - неверно. Точное знание причин, почему вы можете рассуждать о сознании, могло бы подтолкнуть вас к пониманию вещей, о которых вы не имеете пока никакого представления; и впоследствии вы бы осознали, что ваши доводы о том, что в физике нет места сознанию, имели изъян.

Сравните с эпифеноменальным дуализмом свойств:

У вещества есть дополнительные свойства, обусловленные сознанием, которые мы пока не понимаем. Эти свойства эпифеноменальны по отношению к экспериментальной физике – они не воздействуют на движение частиц.

Отдельносуществует еще не понятая физическая причина, по которой философы могут говорить о сознании и выдумывать теории двойных свойств.

Чудесным образом, когда философы говорят о сознании, законы сопряжения с нашим миром в точности таковы, что рассуждения о сознании оказываются верными, хотя они и возникают вследствие неисправности (логически не допустимых выводов) в познавательной системе с замкнутыми причинными связями, которая строчит философские труды.

Знаю, что мои слова основаны на ограниченном опыте. Но исходя из моего ограниченного опыта Спор о зомби может быть кандидатом на самую безумную идею в философии.

Временами вы как рационалист вынуждены верить в вещи, кажущиеся вам странными. Странными кажутся относительность, квантовая механика, естественный отбор.

Но эти странности закреплены солидными свидетельствами. Есть разница между верой в что-то странное, но в полной мере подтвержденное наукой –

и верой в утверждение, которое кажется совершенно безумным, поскольку большой сложный философский спор крутится вокруг неопределенных чудес и громадных слепых пятен, даже не претендующих на постижимость -

и даже после того, как вы примете на веру все, что вам говорят, явление все еще будет казаться тайной и останется таким же удивительно непроницаемым, каким было изначально.

Если бы все аргументы Дэвида Чалмерса по отдельности казались правдоподобными – а они таковыми мне не кажутся – то рационалисту уместно было бы сказать:

«Ладно… Признаю, что не знаю, как работает сознание… может, я неверно подхожу к проблеме как таковой или задаю неверные вопросы…но эта тема с зомби не может быть здравой. Аргументы недостаточно хорошо стыкуются, чтобы вынудить меня во все это поверить – особенно когда я понимаю, что не стану оттого менее озадаченным. На уровне чутья, она просто не похожа на то, как действительность могла бы работать на самом-самом деле.

Обратите внимание, я не говорю, что это заменит аккуратное аналитическое опровержение тезиса Чалмерса. Система 1 не заменит Систему 2, хотя она может направить к цели. Вам все же придется найти, в чем именно загвоздка.

Чалмерс написал толстую книгу, не полностью доступную в бесплатном анонсе Гугла. Я не воспроизвел длинные цепи аргументов, которые Чалмерс обстоятельно выдвигает против себя. Я лишь взялся за окончательное опровержение последних доводов Чалмерса в свою защиту, которые он еще не противопоставил моим знаниям – чтобы загнать мяч на его поле, где он и был.

Но на глубинном уровне – да, при виде аргументов в пользу зомби разумно сказать: «Это не может быть верно», - и начать поиск ошибки.

1.Понятие «чемпион» (steel man) используется, когда обращаются к наиболее сильной форме позиции или аргумента противника. «Чучело» (straw man)- это искажение позиции или аргумента оппонента с тем, чтобы их было легко опровергнуть.

2.*Боковое коленчатое ядро -**одно из двух клеточных ядер таламуса, расположенных на концах каждого из оптических трактов, из которых зрительные пути идут к полосатой области затылочной коры.*

3.NP - класс задач, решения для которых можно быстро проверить. NP-полная задача - задача, умея решать которую, можно решить любую NP-задачу

4.Теория первого порядка – теория, в которой можно формулировать утверждения про объекты ее модели, но не про множества объектов.

5.fMRI – functional magnetic resonance imaging, функциональная магнитно-резонансная томография.

6.Holodeck - Holographic Environment Simulator (Голографический симулятор окружающей среды) - система виртуальной реальности для экипажей космических кораблей вселенной Star trek.

7.Термин, используемый в аналитической философии сознания для обозначения сенсорных, чувствительных явлений любого рода. В более точных философских терминах квалиа — это свойствачувственного опыта.

8.Unfalsifiable, нефальсифицируемой (согласно критерию Поппера).

Зомби: теперь в кино!

Элиезер Юдковский

Военный штаб. За столом сидят несколько человек в офицерской форме. Во главе стола — командир базы генерал Фред, грузный мужчина с резкими чертами лица.

Генерал Фред

: Сообщения подтвердились. Нью-Йорк заполонён… зомби.

Полковник Тодд

: Опять?! Но у нас уже были зомби, всего месяц назад!

Генерал Фред

: Эти зомби… они другие. Это философские зомби.

Капитан Мадд

: Они агрессивные? Бросаются на людей, кусаются?

Полковник Тодд

: Они полностью теряют мыслительные способности?

Генерал Фред

: Нет. Внешне они ничем не отличаются от людей… Но они лишены сознания.

Гнетущая тишина.

Полковник Тодд

: О, боже.

Генерал Фред встал и подошёл к большому экрану на стене.

Генерал Фред

: Это — Нью-Йорк две недели назад.

На экране сменяются кадры: шумная многолюдная улица, ресторан с обедающими посетителями, работники, загружающие мусорный контейнер в грузовик.

Генерал Фред

: А это — Нью-Йорк… сегодня.

На экране — станция метро в час пик, шумная компания студентов в парке, парочка, гуляющая по набережной.

Полковник Тодд

: Это гораздо хуже, чем я мог себе представить.

Капитан Мадд

: Почему?

Полковник Тодд

: Никогда в жизни не видел такой зловещей обыденности.

К столу подошёл учёный в лабораторном халате.

Учёный

: Заболевание лишает человека сознания, никоим образом не влияя на мозг. Мы пытаемся определить пути распространения. Заболевание поражает дуальные свойства материи, поэтому мы пришли к выводу, что оно действует за пределами нашей Вселенной. Мы имеем дело с эпифеноменальным вирусом.

Генерал Фред

: Вы уверены?

Учёный

: Настолько, насколько можем быть уверены при отсутствии каких-либо свидетельств.

Генерал Фред

: Так. Составьте отчёт по каждому случившемуся эпифеномену. Где, как и с кем. Мне нужен полный список всего ненаблюдаемого за последние 50 лет.

Капитан Мадд

: Если вирус эпифеноменальный, как мы узнали, что он существует?

Учёный

: Так же, как мы узнали, что обладаем сознанием.

Капитан Мадд

: М-м… окей.

Генерал Фред

: Какие успехи с эпифеноменальным лекарством?

Учёный

: Мы перепробовали каждое известное плацебо. Всё бестолку. Они все обладают эффектами.

Генерал Фред

: Пробовали подключить к работе гомеопатов?

Учёный

: Мы пытались, сэр! Нам не удалось их найти!

Генерал Фред

: Отлично. А даосов?

Учёный

: Они отказываются что-либо делать!

Генерал Фред

: Значит, у нас ещё есть шанс.

Полковник Тодд

: А что на счёт Дэвида Чалмерса? Разве он не должен быть здесь?

Генерал Фред

: Чалмерс… он заразился одним из первых.

Полковник Тодд

: Чёрт…

===========================================================================

Медицинский изолятор со стенами из пуленепробиваемого стекла. Дэвид Чалмерс бесцельно бродит из угла в угол. К изолятору подходит доктор.

Доктор

: Дэвид! Давид Чалмерс! Вы меня слышите?

Чалмерс

: Слышу.

Медсестра

: Всё бестолку…

Чалмерс

: Я в полном порядке. Я наблюдал за своими мыслями и чувствами, и не заметил никаких изменений. Знаю, именно это вы и ожидаете от меня услышать, но…

Доктор отвернулся от стекла.

Доктор

: Его слова больше ничего не значат.

Чалмерс

: Это какое-то безумное извращение моих философских идей. То, о чём вы говорите — просто бред!

Доктор

: Почему это?

Чалмерс

: Потому что…

===========================================================================

Двое военных в камуфляже, офицер и сержант, охраняют просёлочную дорогу, ведущую к большим металлическим воротам огромного бетонного строения. На их форме — нашивка с надписью «КАРАНТИН».

Офицер

: Хрен опознаешь этих ублюдков. Выглядят как люди, разговаривают как люди, до последней молекулы не отличаются от людей. Но они — не люди.

Сержант

: Уроды…

Вдалеке раздался рёв двигателя. Показался человек на белом мотоцикле. Он был в чёрных очках, в строгом чёрном кожаном костюме с чёрным кожаным галстуком, и в серебристых ботинках. Седая борода развевалась на ветру. Человек в костюме резко остановился у ворот. Двое военных подбежали к нему.

Офицер

: Стоять! Вы к кому?

Человек в костюме

: Здесь содержится Дэвид Чалмерс?

Сержант

: Вам-то что, он ваш друг?

Человек в костюме

: Не совсем. Но даже у зомби есть права.

Офицер

: Предъявите ваши квалиа.

Человек в костюме

: У меня их нет.

Сержант выхватил пистолет.

Сержант

: Допрыгался, зомби!

Офицер

: Стой. Зомби всегда говорят, что у них есть квалиа.

Сержант

: Значит, он нормальный человек?

Офицер

: Нет, они говорят то же самое.

Охранники замерли в замешательстве.

Сержант

: Эм-м…

Офицер

: Кто вы?

Человек в костюме

: Я Дэниел Деннет, твари!

Словно из ниоткуда Деннет выхватил меч и со звонким лязгом разрубил пистолет сержанта. Офицер потянулся за своим, но Деннет внезапно оказался у него за спиной и ребром ладони ударил его в основание шеи. Офицер тут же упал без сознания. Сержант в панике попятился назад.

Сержант

: Это невозможно! Что это было?!

Деннет

: Я един со своим телом.

Следующим ударом Деннет отправил сержанта к своему командиру. После этого он повернулся к огромному строению и крепче сжал в руке свой меч.

Деннет

 (тихо, сам себе): Ложка существует.

===========================================================================

Генерал Фред

: Только что получили рапорт. Мы потеряли Детройт.

Капитан Мадд

: Не то чтобы я был рад этому, но…

Генерал Фред

: Население Австралии стало простой материей.

Полковник Тодд

: Эпифеноменальный вирус распространяется всё быстрее. Мы можем потерять человеческую цивилизацию, какой мы её знаем. Судьба всего человечества зависит от нас.

Капитан Мадд

: Мы можем попытаться договориться с ними…

Генерал Фред

: Мы пытались связаться с ними несколько раз, и получили только один ответ.

Капитан Мадд

: Какой же?

Генерал Фред

: Скоро узнаем.

Вошёл секретарь с конвертом в руках и передал его генералу. Тот распечатал конверт, достал листок бумаги и молча уставился на него.

Капитан Мадд

: Что они пишут?

Генерал Фред

: Они написали… «Это

у вас

 вирус».

Гробовая тишина. Полковник Тодд медленно поднял руки к глазам.

Полковник Тодд

: О боже, это правда. Это правда. Я… — Слеза скатилась по его щеке. — Я ничего не чувствую.

Исключая сверхъестественное

Элиезер Юдковский

Порой кто-нибудь заявляет, что креационизм нельзя преподавать в школе, — особенно как гипотезу, конкурирующую с теорией эволюции, — поскольку креационизм апеллирует к «сверхъестественному» и потому его априори автоматически следует исключить из сферы научного рассмотрения.

То есть… эти люди утверждают, что, возможно, креационисты правы, но даже будь креационизм правдой, его всё равно следовало бы запретить в научно-образовательных учреждениях, поскольку наука имеет дело только с «естественным»?

Очевидно, такое представление родилось из стремления избежать конфронтации между наукой и религией. Нельзя же просто так взять и заявить, что наука не учит Религиозному Убеждению X, потому что X протестировали научным методом, и оно оказалось ложным. Так что вместо этого можно… скажем… заявить, что наука исключает гипотезу X априори. В этом случае не приходится обсуждать, как эксперимент показал ложность X апостериори.

Разумеется, подобная аргументация играет на руку креационистам. Они получают возможность утверждать, что наука предвзята в пользу атеизма и несправедливо относится к теории Разумного Замысла, не обращая внимания на свидетельства. Если бы наука априорно отвергала гипотезу Разумного Замысла, такое негодование было бы вполне справедливым!

Но давайте вернёмся немного назад. Вот кто-то приходит и говорит: «Разумный Замысел отвергается наукой априори, потому что он „сверхъестественнен“, а наука имеет дело только с „естественными“ объяснениями».

Что конкретно подразумевается под «сверхъестественным»? Является ли любое объяснение, придуманное кем-то по фамилии Коэн, сверхъестественным? Короче, если мы хотим выкинуть некоторое множество гипотез из области научного, то какие именно гипотезы предполагается исключать?

Пока что лучшее услышанное мной определение «сверхъестественному» принадлежит Ричарду Кэрриеру: «сверхъестественное» объяснение прибегает к онтологически базовым разумным сущностям, то есть таким разумным сущностям, которые не могут быть сведены к неразумным.

Именно в этом, например, заключается разница между утверждением «Вода течёт вниз, потому что хочет быть внизу» и дифференциальными уравнениями, которые описывают только движение, но не желания. В этом разница между утверждением, что дерево отращивает листья благодаря духу дерева, и изучением биохимии растений. Когнитивная наука переносит битву со сверхъестественностью на поле разума.

Чем замечательно это определение сверхъестественного? За полной аргументацией я отсылаю вас к Ричарду Кэрриеру. Однако, для примера: допустим, вы обнаружили что-то похожее на духа, живущего в дереве — дриаду, которая материализуется внутри и снаружи дерева, на чистом английском говорит, что ей нужно защищать её дерево, и так далее. А затем, предположим, мы навели микроскоп на эту дриаду, и оказалось, что она состоит из частиц — не из особых неизъяснимых спиритических частиц типа материи желаний или полотна верований, а из обыкновенных частиц типа кварков и электронов, частиц, поведение которых определяется движением, а не сознанием. Разве это тут же не низвело бы дриаду в разряд обычных скучных вещей?

Но если мы принимаем определение сверхъестественного, которое предложил Ричард Кэрриер, то у нас возникает дилемма: мы хотим объективно оценивать религиозные утверждения, но у нас, кажется, есть серьёзные основания исключить сверхъестественные объяснения априори.

Ведь как выглядела бы вселенная, если бы редукционизм был ложной идеей?

Ранее я определил тезис редукционистов так: человеческое сознание создаёт многоуровневые модели реальности, причём разные уровни этих моделей разделяются явным образом. Физику знакомо и уравнение гравитации Ньютона, и уравнение гравитации Эйнштейна, и то, как первое выводится из второго, будучи его приближением для низких скоростей. Но все эти три отдельных представления существуют лишь для удобства человеческого познания. Нельзя сказать, что в реальности существует закон тяготения Ньютона, который правит на низких скоростях, закон гравитации Эйнштейна, который правит на высоких скоростях, и «закон-перемычка», сглаживающий интерфейс. Сама по себе реальность имеет только один уровень — Эйнштейновскую гравитацию. Лишь ошибка проецирования ума заставляет некоторых людей говорить так, словно высокоуровневые представления существуют сами по себе. Разные уровни структуры могут быть по разному представлены на картах людей, но территория — это единый низкоуровневый математический объект.

Теперь представим, что всё это неверно.

Представим, что ошибка проецирования ума ведёт не к ошибочным, а к верным выводам.

Представим, что Боинг 747 имеет собственное фундаментальное физическое существование, независимое от кварков, которые его составляют.

Какие экспериментальные наблюдения вы ожидали бы получить, окажись вы в такой вселенной?

Если вы не можете придумать хороший ответ, то это не наблюдение, опровергающее «нередукционистские» убеждения, а логическая несостыковка. Если вы не знаете, какие предсказания делает «нередукционистская» модель, как вы поймёте, что экспериментальные данные её опровергают?

Мой тезис таков: нередукционизм — это лишь путаница в головах у людей. Но когда ты считаешь некоторую идею лишь следствием путаницы, становится сложно представить, как выглядела бы вселенная, если на самом деле никакой путаницы нет. Возможно, моя многоуровневая модель мира состоит во взаимно-однозначном соответствии с порождающими её физическими элементами. Но почему, при заданных правилах, модель не могла бы оказаться отображением ещё и какого-нибудь другого списка фундаментальных штук и их взаимосвязей? Должно ли всё, что я вижу в модели (вроде Боинга 747 или человеческого разума), оказаться отдельной настоящей сущностью? Однако, что если я вижу шаблон в этой новой суперсистеме?

Вера в сверхъестественное — это частный случай нередукционизма. Только в этом случае оказывается несводимым к первоэлементом не Боинг, а лишь (некоторые) вымышленные объекты. Религия — это частный случай веры в сверхъестественное, где нередуцируемыми объектами являются Бог(и) и души. А также грехи, ангелы, карма и так далее.

Рассмотрим идею могущественной сущности, способной наблюдать и изменять любой элемент нашей наблюдаемой вселенной, однако сводимой к неразумным частицам, которые взаимодействуют с элементами нашей вселенной по общим законам. Если я предположу, что эта сущность чего-то хочет, однако это «хотение» обусловлено мозгом, состоящим из частиц и полей, то это окажется не религией, а лишь натуралистической гипотезой о натуралистической Матрице. Если завтра разверзнутся небеса, явится огромная светящаяся бесформенная фигура и провозгласит вышеприведённое описание мира, это не будет значить, что фигура непременно говорит правду. Впрочем, я бы показал видеозапись этого явления на уроке естествознания и попытался вывести проверяемые следствия из провозглашённой теории.

С другой стороны, религии проигнорировали открытие древней бестелесной сущности — присутствующей в каждом творении природы и в каждом падающем листе, не созданной разумным замыслом, а возникшей из физических законов. Она огромна как поверхность планеты, и ей миллиарды лет. Не имея мозга, она создала всю жизнь на Земле и человеческий разум. Естественный отбор, открытый Дарвином, так никто и не провозгласил долгожданным Создателем — он не был фундаментально разумным.

И теперь мы столкнулись с дилеммой: если стандартное, нормальное, общепринятое, скучное понимание физики и мозга верно, то человек в принципе не может ни помыслить, ни сделать экспериментально проверяемые предсказания об альтернативной вселенной, в которой нематериальные сущности несводимы к материальным. Ведь если старая добрая скучная, нормальная модель верна, значит наши мозги сделаны из кварков, и поэтому мы можем породить только такие представления и гипотезы, какие могут породить кварки. То есть любая модель, которую вы способны вообразить, заведомо порождена взаимодействием простых частиц.

Люди, живущие в редукционистской вселенной не могут вообразить в деталях нередукционисткие вселенные. Они могут произнести по слогам «не-ре-дук-ци-о-нист-ский», но не могут это представить.

Люди часто склонны к антропоморфизму. Сверхъестественные объяснения им кажутся более простыми, чем они есть на самом деле. Это вызвано тем, что ваш мозг использует себя как непрозрачный черный ящик, чтобы предсказывать поведение других объектов, помеченных как «сознательные». Поскольку у вас уже есть большая сложная нейронная сеть, которая осуществляет вашу способность «хотеть», мы с лёгкостью описываем воду как нечто «желающее» течь вниз. Самих только слов «хотеть/желать» уже достаточно, чтобы привести в действие всю сложную механику вашего мозга, которая за это отвечает.

Или же вы представляете, что Богу нравятся красивые вещи, и поэтому он создал цветы. Ваше собственное чувство прекрасного определяет, что прекрасно, а что нет. Но у вас нет диаграммы ваших собственных синапсов. Вы не можете описать неразумную систему, которая решит, что «красиво», а что «некрасиво», также как вы. Не можете написать компьютерную программу, которая спрогнозирует ваши собственные оценки. Но это лишь изъян в вашем собственном знании. Из этого не следует, что мозг непознаваем.

Если «скучный» взгляд на реальность верен, то вы никогда не сможете предсказать что-либо нередуцируемое, поскольку вы сами редуцируемы. Вы никогда не сможете получить Байесовское подтверждение гипотезе о нередуцируемости, поскольку абсолютно любое ваше предположение окажется предположением редуцируемой штуки — вашего мозга.

У нашего мышления есть пределы, за которые действительно нельзя выйти. Если наша вселенная и в самом деле вычислима машиной Тьюринга, то мы никогда не сможем представить себе что-либо, невычислимое машиной Тьюринга. Наши математики могут описывать машины с оракулом любого класса сложности для разрешения проблемы останова, однако мы всё равно не сможем предположить такой результат работы этой машины, который был бы достоверно отличим от результата, вычислимого обычной машиной Тьюринга.

Конечно, всё это верно, только если верна «скучная» точка зрения. Насколько вы верите, что теория эволюция верна, настолько же вы должны ожидать, что сильного свидетельства против эволюции не найдётся. Насколько вы убеждены в том, что теория редукционизма верна, настолько же вы должны ожидать, что нередукционистские гипотезы окажутся непоследовательными и ложными. Насколько вы убеждены в ложности сверхъестественного, настолько же вы должны ожидать, что оно окажется невообразимым.

С другой стороны, если обнаружится, что гипотеза о сверхъестественном верна, то, предположительно, также обнаружится, что сверхъестественное не является невообразимым.

Итак, вернёмся теперь снова к проблеме разумного замысла (далее РЗ).

Следует ли признать, что теория РЗ априори является нефальсифицируемой, и вычеркнуть её из круга научных вопросов на основании того, что эта теория апеллирует к сверхъестественному и, таким образом, ставит себя вне натурфилософии?

Мой ответ: «Конечно же, нет». Нередуцируемость разумного создателя не является необходимой частью гипотезы РЗ.

И поскольку сами сторонники гипотезы РЗ редуцируемы, то для каждого предполагаемого нередуцируемого бога найдётся предполагаемый редуцируемый инопланетянин с абсолютно таким же поведением. Насколько я уверен (а я весьма и весьма уверен) в том, что теория редукционизма и вправду верна, настолько же я должен ожидать, что для любой мыслимой гипотезы о сверхъестественном найдётся соответствующая ей редукционистская формулировка.

Если мы обратимся к археологическим данным, чтобы проверить, действительно ли воды Красного моря расступились только из-за желания Иеговы продемонстрировать свои сверхъестественные способности, то нам не важно, был ли Иегова базовой онтологической сущностью, или инопланетянином с нанотехнологиями, или Тёмным Повелителем Матрицы. Вы проводите какое-то количество раскопок, не находите на дне Красного моря ни скелетов, ни оружия, зато находите записи, что Египет управлял большей частью территории Ханаана. Так что вы помечаете соответствующую историческую запись в Библии как «опровергнуто» и продолжаете жить дальше. Эта гипотеза непротиворечива, фальсифицируема и неверна.

Аналогично биологические свидетельства показывают, что лисы сконструированы так, чтобы ловить кроликов, кролики — чтобы убегать от лис, но ни те, ни другие не сконструированы, чтобы «сохранять свой вид» или «сохранять гармонию в природе». Можно вспомнить и о сетчатке глаза, которая устроена шиворот-навыворот: её светочувствительные клетки расположены с противоположной стороны от глаза. И так далее. Есть тысячи примеров случайного, безнравственного, непродуманного устройства. Библейская модель нашего чуждого бога непротиворечива, фальсифицируема и неверна — непротиворечива до тех пор, покуда вас не заботит, является ли Бог базовой онтологической сущностью или просто пришельцем.

Просто преобразуйте сверхъестественные гипотезы в соответствующие естественные. Просто делайте такие же предсказания таким же образом, но без привлечения каких-либо нематериальных базовых онтологических сущностей. Консультируйтесь с «чёрным ящиком» в своей голове, чтобы строить предположения. Допустим, вы рассуждаете о «разгневанном боге», и у вас нет полноценного «разгневанного ИИ», чтобы отличить «разгневанное» поведение от «не разгневанного». Делайте предсказание самостоятельно или сверяйтесь с предсказаниями древних теологов, у которых не было доступа к результатам экспериментов. Если эксперимент противоречит вашим предсказаниям, то справедливо будет заявить, что данное религиозное утверждение было научно опровергнуто. Утверждению был дан шанс на выживание, но оно было отвергнуто. Апостериори. Не априори.

В конечном счёте, редукционизм — это всего лишь неверие в сложные базовые штуки. Если словосочетание «сложные базовые штуки» звучит для вас как оксюморон… ну, вот поэтому я и считаю доктрину о нередуцируемости скорее путаницей в головах, чем одним из возможных вариантов мироустройства. Если вы обнаруживаете, что допускаете существование сложных базовых сущностей, лучше будьте осторожней.

Самое главное правило науки — смотреть и видеть. Даже если бы Бог оказался громом в горах, все равно было бы что-то, что можно найти и увидеть.

Вывод: любой кандидат в разработчики Сильного Искусственного Интеллекта, который уважительно отзывается о религиозных убеждениях, определённо не является экспертомв редуцировании ментальных объектов до нементальных. Совершенно точно он очень мало знает о самых основах, и крайне маловероятно, что такой человек окажется стоящим специалистом в искусстве разработки ИИ. Разве что мы имеем дело со случаем крайнего савантизма. Или разве что он явно лжёт. В общем, небольшое заблуждение тут точно исключено.

Просто доброта

Теория ценности

Раскладывание камней в правильные кучи

Элиезер Юдковский

Давным-давно жили странные существа (может быть они были биологическими, или может быть они были синтетическими, а может это был просто сон), и они увлекались укладыванием камней в правильные кучи.

Они не могли сказать, почему некоторые кучи правильны, а некоторые неправильны. Но все они соглашались, что наиболее важная вещь в мире — это создание правильных куч и раскидывание неправильных.

Причина, по которой этих Камнераскладывающих Людей так заботило раскладывание камней, была давно утеряна в истории — может быть фишеровское убегание, начавшееся миллион лет назад по какому-то совершенно случайному стечению обстоятельств? Или может быть это результат разумного творения, которое было заброшено?

Но, как бы там не было, раскладывание камней так много значило для них, что Камнераскладывающие философы в унисон говорили, что раскладывание камней по кучам было смыслом их жизней, что единственная оправданная причина кушать — это раскладывание камней; единственная причина размножаться — это раскладывание камней, единственная оправданная причина участвовать в экономической жизни их мира — это эффективное раскладывание камней.

Все Камнераскладывающие Люди соглашались с этим, но они не всегда соглашались с тем, какие кучи правильные, а какие нет.

На заре Камнераскладывающей цивилизации, кучи, создаваемые людьми, были по преимуществу маленькими, из 23 или 29 камней, и никто не знал, были бы более большие кучи правильными или нет. Три тысячелетия назад Великий Лидер Бико сделал кучу из 91 камня и объявил её правильной, и легионы его восторгающихся последователей создали множество других подобных куч. Но через несколько столетий, когда сила Биконианцев увяла, среди умнейших и наиболее просвещённых стало укрепляться чувство, что кучи из 91 камня неправильные. В конечном итоге, они пришли к пониманию того, что было сделано, и они раскидали все кучи из 91 камня. Не без некоторого сожаления, поскольку некоторые из этих куч были великими произведениями искусства, но неправильными. Они даже разбросали исходную кучу Бико, сделанную из 91 драгоценного камня, каждый своего типа и цвета.

И с тех пор ни одна цивилизация не сомневалась серьёзно в том, что куча из 91 камня неправильна.

Сегодня, в эти более умудрённые времена, размер куч, которые Камнераскладыватели осмеливаются создавать, вырос гораздо больше — и все согласны с тем, что это было бы великолепно и превосходно, если бы они могли убедиться в том, что кучи были действительно правильными. Иногда государства не соглашались о том, какие кучи правильные, и тогда случались войны: Камнераскладыватели никогда не забудут Великую Войну 1957 между И’ха-нтхей и И’не’ха-итлей из-за куч из 1957 камней. Та война, в которой впервые на Камнераслкдывающей планете было применено ядерное оружие, в конечном итоге закончилась, когда философ Эт’гра’лен’лей из И’не’ха-итлейев, расположил кучу из 103 камней рядом с кучей из 19 камней. Это аргумент оказался настолько убедительным, что даже И’не’ха-итлеи неохотно согласились, что лучше прекратить создавать кучи из 1957 камней, по-крайней мере в настоящее время.

После Великой Войны 1957 страны неохотно шли на открытое одобрение или осуждение куч большого размера, поскольку это легко могло привести к войне. В действительности некоторые Камнераскладыватели-философы — кто, видимо, получал удовольствие, шокируя других своим цинизмом — полностью отрицали существование какого-либо прогресса в раскладывании камней; они намекали, что мнения о камнях были просто случайным броуновским движением сквозь время, без какой-либо согласованности, иллюзия прогресса создавалась благодаря осуждению всех достижений прошлого, не похожих на сегодняшие, как неправильных. Философы указывали на несогласие о кучах большого размера, как на доказательство того, что нет ничего, что делало бы кучу размера 91 действительно неправильной — просто было модным создавать такие кучи в определённый период времени, а затем в другой период было модным разрушать их. Они отказывались принимать «Но…13!» как аргумент, заявляя что «13!» не убедительный аргумент, но лишь ещё одно соглашение. Кучевые Релятивисты утверждали, что их философия может помочь предотвратить будущие катастрофы типа Великой Войны 1957, но большинство рассматривало её как философию отчаяния.

В настоящее время вопрос, что делает кучу правильной или неправильной, стал важным по ещё одной причине: Камнераскладыватели в ближайшем будущем могли создать самосовершенствующийся ИИ. Кучевые Релятивисты выступили против проекта, они сказали, что ИИ, не принадлежа к виду Камнераскладыватель Разумный, могут создать свою собственную культуру, которая будет нести совершенно иные идеи о том, какие кучи правильные или неправильные. «Они могут решить, что кучи из 8 камней правильные», — сказали Кучевые Релятивисты, — «и поскольку они не будут ультимативно более или менее правыми, чем мы, всё же наша цивилизация говорит, что мы не должны создавать таких куч. Не в наших интересах создавать ИИ, если только мы не встроим бомбу в каждый компьютер, чтобы даже если ИИ подумает, что куча из 8 камней правильная, то мы могли бы заставить их строить кучи из 7 камней. Либо БАБАХ!»

Но для большинства Камнераскладывателей это было абсурдом. Определённо, любой достаточно мощный ИИ — особенно «суперинтеллект» о котором рассуждали некоторые транскамнераскладыватели — сможет увидеть в мгновение ока, какие кучи правильные, а какие нет! Мысль о том, что нечто с мозгом размером с планету, будет думать, что куча из 8 камней правильна — это просто слишком абсурдно, чтобы об этом даже разговаривать.

В действительности, совершенно бесполезно ограничивать суперинтеллект в том, какие кучи он будет строить. Предположим, что Великий Лидер Бико мог бы в его примитивный век построить самосовершенствующийся ИИ и встроил бы в него максимизатор ожидаемой полезности, чья функция полезности говорила бы ему создавать так много куч размера 91, сколько возможно. Несомненно, когда этот ИИ достаточно сильно бы себя улучшил и стал бы достаточно умным, то он бы увидел в мгновение ока, что его функция полезности была неправильной, и, имея возможность менять свой исходный код, он переписал бы свою функцию полезности, чтобы она ценила бы более осмысленные размеры куч, типа 101 или 103.

И конечно же не кучи размера 8. Это было бы просто глупо. Любой ум, который настолько глуп, слишком туп, чтобы быть угрозой.

Убеждённые таким здравым смыслом, Камнераскладыватели дали зелёный свет их проекту, по собиранию из множества разнообразных алгоритмов случайных программ, в надежде, что таким образом возникнет разум. Вся история цивилизации показывала, что более богатые, умные, более просвещённые цивилизации были склонны соглашаться о кучах, о которых спорили их предки. Конечно же, ещё оставались кучи бóльших размеров и они спорили о них, но по мере того как развивались технологии, цивилизации приходили к согласию о кучах большего размера и создавали их.

На самом деле, интеллект сам по себе всегда коррелировал с созданием правильных куч — ближайшие родственники по эволюции к Камнераскладывателям — Камнераспанзе — создавали кучи размером в 2 или 3 камня, и иногда глупые кучи, типа 9. А другие, ещё менее интеллектуальные животные, например, рыбы, вообще не делали куч.

Умнее мозги, следовательно, умнее кучи. С чего бы это вдруг эта закономерность перестанет работать?

Настоящая дилемма заключенного

Элиезер Юдковский

Однажды я понял, что обычно дилемму заключенного представляют неправильно.

В основе дилеммы заключенного лежит вот такая симметричная платежная матрица:

1:С

1:П

2:С

(3,3)

(5,0)

2:П

(0,5)

(2,2)

Есть два игрока: Игрок 1 и Игрок 2. Каждый из них может выбрать С или П. Итоговый результат для Игрока 1 и Игрока 2 — соответственно, первое и второе число пары чисел в скобках. По причинам, которые станут понятны ниже, C означает «сотрудничать», П — «предать».

Заметим, что для участника этой игры (пусть он считает себя первым) предпочитаемые исходы выстраиваются в следующем порядке: (П, С) >> (C, С) >> (П, П) >> (С, П).

Видим, что П предпочтительнее, чем С: если второй игрок выбирает С, то первому выгоднее (П, С), чем (С, С). Если второй выбирает П, то первому выгоднее (П, П), чем (С, П). Таким образом, ты мудро выбираешь П, а так как платежная матрица симметрична, второй игрок аналогично выберет П.

Если бы вы оба были не так мудры! Каждому из вас выгоднее (С, С), чем (П, П). Поэтому вы оба предпочитаете обоюдное сотрудничество обоюдному предательству.

В теории принятия решений дилемма заключенного — одна из основ, и о ней написано огромное количество томов. Но я осмелюсь утверждать, что в традиционном представлении дилеммы заключенного есть серьезное упущение — по крайней мере, для людей.

Классическое представление дилеммы заключенного таково: ты преступник, пойманный властями вместе с сообщником. Независимо друг от друга, без возможности общаться между собой и без возможности изменить решение впоследствии, каждый из вас должен решить, давать показания против сообщника (П) или молчать (С).

В настоящий момент каждому из вас грозит год тюрьмы. Дача показаний против сообщника уменьшает твой срок на год и прибавляет другому два года.

В другом варианте, ты и незнакомец, не зная ничего друг о друге и не имея возможности узнать в будущем, единожды должны сыграть С или П, получив выигрыш в соответствии с приведенной выше платежной матрицей.

И, конечно, в классическом варианте предполагается, что ты полностью эгоистичен, т.е. не заботишься о сообщнике или об игроке в другой комнате.

И именно последнее условие, с моей точки зрения, приводит к неправильному восприятию дилеммы заключённого.

Невозможно устранить эффект знания задним числом, инструктируя присяжных вести себя так, будто они не знают, к чему привели рассматриваемые события. Аналогично, без больших усилий, подкрепленных соответствующими знаниями, психически здоровый человек не может притворяться по-настоящему эгоистичным.

У нас есть врожденные чувства честности, чести, сопереживания, симпатии и даже альтруизма. Это результат того, что наши предки длительное время приспосабливалиськ игре в повторяющуюся дилемму заключенного. Мы не можем полностью и честно предпочесть исход (П, С) исходу (С, С), хотя можем полностью предпочесть исход (С, С) исходу (П, П) и исход (П, П) исходу (С, П). Мысль о сообщнике, проводящем три года в тюрьме, не может совсем не трогать нас.

В закрытой комнате, где под наблюдением специалистов по экономической психологии мы играем в простую игру, мы не можем совсем не симпатизировать незнакомцу, который может сотрудничать. Мы не можем быть полностью счастливы при мысли о том, что незнакомец выбрал сотрудничать, а мы — предавать, и благодаря этому мы получим пять долларов, а он не получит ничего.

Мы инстинктивно держимся за исход (С, С) и ищем способы увериться, что этот выбор разделяет и вторая сторона. Наша невольная мысль — «как бы убедиться, что сотрудничество взаимно», а не «как бы обмануть второго, чтобы он сыграл С, в то время как я сыграю П и получу максимальный выигрыш».

Для тех, кому важны альтруизм, честь и справедливость, дилемма заключенного не содержит по-настоящему критической платежной матрицы, безотносительно финансовых исходов для игроков. (С, С) предпочтительнее, чем (П, С), и ключевой вопрос — думает ли второй игрок так же.

И людям, которые только что познакомились с теорией игр, нельзя объяснить, что они должны притворяться полностью эгоистичными. Это ничуть не легче, чем объяснить людям, познакомившимся с идеей антропоморфизма, что они должны притворяться максимизаторами скрепок.

Для настоящей дилеммы заключённого ситуация должна быть примерно такой:

Игрок 1: Человек, дружественный искусственный интеллект или другой человекоподобный разум.

Игрок 2: Недружественнный искусственный интеллект, либо инопланетянин, который озабочен лишь раскладыванием камней в правильные кучи.

Представим, что четыре миллиарда людей — не всё человечество, но значительная его часть — страдает прогрессирующим смертельным заболеванием, которое может вылечить только Вещество.

Однако Вещество возможно производить, только взаимодействуя с максимизатором скрепок из параллельного мира — с помощью Вещества еще можно делать скрепки. Максимизатора скрепок волнует количество скрепок только в его мире, а не в нашем, так что мы не можем влиять на него, предлагая изготавливать или уничтожать скрепки здесь. Мы никогда раньше не имели дело с максимизатором скрепок и никогда больше не встретим его впредь.

У человечества и максимизатора скрепок есть только один шанс добыть себе немного Вещества, потому что щель между мирами скоро захлопнется. Однако, процесс добычи вещества приводит к потере его части.

Платежная матрица выглядит так:

1:С

1:П

2:С

(спасти 2 миллиарда человеческих жизней, сделать 2 скрепки)

(3 миллиарда жизней, 0 скрепок)

2:П

(0 жизней, 3 скрепки)

(1 миллиард жизней, 1 скрепка)

Я составил матрицу так, чтобы вызвать чувство негодования при мысли о том, что максимизатор скрепок хочет обменять миллиарды человеческих жизней на пару скрепок. Очевидно же, что максимизатор скрепок обязан отдать все Вещество нам. Но он делает не то, что обязан, а просто максимизирует количество своих скрепок.

В этом случае мы на самом деле предпочитаем исход (П, С) исходу (С, С), оставляя за скобками средства, которыми достигается цель. Мы намного охотнее предпочтем жить во вселенной, где три миллиарда людей спаслись и не было произведено ни одной скрепки, чем пожертвуем миллиардом жизней в обмен на изготовление двух скрепок. Кажется, что в этом случае сотрудничать просто неправильно. Предавать даже не кажется нечестным – ведь так велика жертва для нас и так мал выигрыш максимизатора скрепок! Уточним особо, что максимизатор скрепок не чувствует боль или удовольствие — он просто действует так, чтобы в его мире стало больше скрепок. Он не испытает радость, приобретя скрепки, не испытает боль, потеряв скрепки, и не оскорбится, если мы предадим его.

Что же ты сделаешь? Будешь ли сотрудничать, если искренне, целиком и полностью желаешь того огромного выигрыша, который можешь получить, и нисколько не озабочен ничтожной в сравнении с этим потерей второго игрока? Если предать кажется правильным, даже если второй игрок сотрудничает?

Именно так выглядит платёжная матрица для настоящей дилеммы заключённого. Настоящая дилемма заключённого — это ситуация, когда исход (П, С) кажется правильнее, чем (С, С).

Но вся остальная логика — что будет, если оба игрока так думают, и поэтому оба предадут — ничуть не меняется. Ведь максимизатор скрепок настолько же мало обеспокоен людскими смертями, болью или нашим ощущением предательства, как нас мало волнуют скрепки. Но обоим нам выгоднее (С, С), чем (П, П).

Если ты когда-нибудь гордился тем, что в дилемме заключенного выбрал сотрудничать, или однажды оспаривал вывод классической теории игр о том, что «рациональнее» предать — что ты скажешь об этой настоящей дилемме заключенного?

PS На самом деле, я не считаю, что рациональные агенты всегда должны предавать в однократной дилемме заключённого, в которой другой игрок выберет сотрудничать, если ожидает того же от вас. Я думаю, что есть ситуации, где два агента могут рационально прийти к (С, С), а не к (П, П) и получить соответствующую выгоду.

Часть своих доводов я изложил при обсуждении задачи Ньюкома. Однако, мы не можем рассуждать о том, возможно ли в этой дилемме рациональное сотрудничество, пока не избавимся от интуитивного ощущения, что исход (С,С) хорош сам по себе. Если мы хотим понять математику, мы должны научиться видеть сквозь социальный ярлык «взаимного сотрудничества». Если вы чувствуете, что с точки зрения Игрока 1 (С,С) гораздо лучше, чем (П,П), но не чувствуете, что при этом (П,С) гораздо лучше, чем (С,С), то вы пока не понимаете всю сложность этой задачи.

Количественный гуманизм

Пренебрежение масштабом

Элиезер Юдковский

Однажды трём группам испытуемых задали вопрос, сколько они готовы заплатить, чтобы 2 000, 20 000 и 200 000 перелётных птиц не погибли, увязнув в нефти. В ответах были названы суммы 80, 78 и 88 долларов соответственно1. То, что можно принять за бесчувственность, называется пренебрежением масштабом: количество спасённых птиц – масштаб альтруистического действия – мало повлияло на готовность заплатить.

Похожие эксперименты показали, что за очистку всех загрязнённых озёр Онтарио жители Торонто заплатили бы немногим больше, чем за очистку определённого района Онтарио2. Аналогично, жители четырёх западных штатов США за защиту всех 57 заповедников дикой природы в этих штатах заплатили бы лишь на 28% больше, чем за заботу об одном из заповедников3.

Люди представляют «одинокую обессилевшую птицу с пропитанными чёрной нефтью перьями, которой не спастись» 4. Это представление, этот образ вызывает эмоциональное возбуждение, которое в основном и отвечает за готовность заплатить – и образ во всех трёх случаях один и тот же. Что до масштаба, то на него не обращают внимания – ни один человек не сможет представить 2 000 птиц сразу, не говоря уже про 200 000. Классический вывод состоит в том, что масштаб, растущий по экспоненте, вызывает всего лишь линейное увеличение готовности платить. Возможно, такое линейное увеличение соответствует увеличению времени скольжения взгляда по нулям в числах; это небольшое влияние добавляется к влиянию представления, но не умножает его. Эта гипотеза известна как «оценка по представлению».

Альтернативная гипотеза – «приобретение морального удовлетворения». Люди тратят достаточно денег, чтобы им стало теплее на душе от чувства выполненного долга. Уровень расходов, необходимый для приобретения теплоты на душе, зависит от личных качеств и финансового положения, но уж точно не от количества птиц.

Мы пренебрегаем масштабом, даже если на кону человеческие жизни. По мере увеличения предполагаемого риска хлорирования питьевой воды с 0,004 до 2,43 смертей в год на тысячу человек – в 600 раз – готовность заплатить возрастает с 3,78 до 15,23 долларов5. Барон и Грин не обнаружили эффекта от изменения числа спасённых жизней в 10 раз6.

В статье «Нечувствительность к ценности человеческой жизни: исследование психофизического ступора» собраны свидетельства того, что сила восприятия человеческих смертей подчиняется закону Вебера и прямо пропорциональна логарифму их количества. Другими словами, порог различия (количество смертей, которое необходимо добавить к имеющимся, чтобы возникло чувство различия) постоянно увеличивается по мере роста общего количества смертей. Так, здравоохранительная программа для беженцев из Руанды получила намного больше поддержки, когда гарантировалось спасение 4 500 людей в лагере из 11 тысяч беженцев, чем тех же 4 500 в лагере из 250 000. Чтобы потенциальное лекарство от болезни посчитали достойным финансирования, оно должно гарантировать спасение значительно большего числа жизней, если изначально утверждалось, что эта болезнь – причина смерти 290 000 людей в год, нежели 160 000 или 15 0007.

Мораль: если вы хотите быть эффективным альтруистом, вы должны задействовать ту часть мозга, что обрабатывает нудные чернильные нули, а не просто переживать о бедной исстрадавшейся пропитанной нефтью птице.

1.Desvousges, W. Johnson, R. Dunford, R. Boyle, K. J. Hudson, S. and Wilson K. N. (1992). Measuring non-use damages using contingent valuation: experimental evaluation accuracy. Research Triangle Institute Monograph 92-1

2.Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld

3.McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland

4.Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235

5.Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73

6.Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125

7.Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300

Парадокс Аллэ

Элиезер Юдковский

Выберите между двумя следующими возможностями:

1А. 24 000 долларов, точно.

1Б. Шанс в 33/34 выиграть 27000 долларов и в 1/34 — не получить ничего.

Что интуитивно кажется лучшим выбором? И что вы выберете в реальной жизни?

А какой из двух выборов вы предпочтете теперь и какой выберете в реальной жизни?

2А. 34-процентный шанс выиграть 24 000 долларов и 66-процентный шанс не получить ничего.

2Б. 33-процентный шанс выиграть 27 000 долларов и 67-процентный шанс не получить ничего.

Парадокс Аллэ, названный по имени исследователя, на самом деле не является парадоксом — он был одним из первых конфликтов между теорией принятия решений и человеческим мышлением; он был показан экспериментально в 1953 году. Я слегка модифицировал его, чтобы его легче было понять математически, однако в сущности проблема осталась той же: большинство людей предпочтут вариант 1А, и большинство людей предпочтут вариант 2Б. На самом деле, в пределах задачи, большинство испытуемых выражают оба предпочтения одновременно.

Это проблема, поскольку второй вариант задачи эквивалентен одной трети шанса от первого. То есть, 2А это все равно что получить 1А с вероятностью в 34%, и 2Б эквивалентно 1Б с вероятностью 34%.

Среди аксиом, используемых для доказательства, что последовательный сторонник теории принятия решений может рассматриваться как тот, кто максимизирует ожидаемую полезность, есть аксиома независимости: если Х строго предпочитается Y, тогда вероятность Р от Х и (1 – Р) от Z должны строго предпочитаться вероятности P от Y и (1 - Р) от Z.

Все аксиомы являются следствием и основанием последовательной функции полезности. Так что должно быть возможно доказать, что экспериментальные испытуемые выше не имели последовательной функции полезности для своих выборов. И в самом деле, вы не можете одновременно выбирать:

U(24 000 )≻33/34U(27000)≻33/34U(27000) + 1/34 U(0 $)

0,34 U(24 000)+0,66U(0)+0,66U(0) ≺ 0,33 U(27 000)+0,67U(0)+0,67U(0)

Эти два уравнения алгербаически непоследовательны независимо от U, и поэтому парадокс Аллэ не имеет ничего общего с убывающей предельной полезностью денег.

Морис Аллэ первоначально защищал выявленные предпочтения испытуемых: он рассматривал эксперимент как разоблачение недостатка в обычной идее полезности, а не подвергал критике изъян в человеческой психологии. В конце концов, это был 1953 год, и до начала движения эвристики и искажений было еще два десятилетия. Аллэ думал, что эксперимент просто показывает, что аксиома независимости не может быть применена в чистом виде в реальной жизни.

(Как наивно, как глупо, как упрощённо в Байесовской теории принятия решений…)

Конечно, определенность в обладании 24 000 долларов должна что-то значить. Вы ощущаете разницу, верно? Твердую уверенность?

(Я начинаю думать об этом как о «наивном философском реализме» — предположении, что наши интуитивные ожидания прямо отражают истины о том, какие стратегии мудрее, как о непосредственно осознаваемом факте, что «1А превосходит 1Б». Интуитивные ожидания прямо отражают истины о человеческих когнитивных функциях и только косвенно отражают (после того как мы отразим когнитивные функции сами по себе) истины о рациональности.)

«То есть», — скажете вы, — «это настолько ужасно, что следует отказаться от изящества байесианства?» Хорошо, поскольку испытуемые не следовали чистой малой аксиоме независимости, представленной фон Нейманом и Моргенштерном. Но кто вообще сказал, что вещи должны быть ясными и чистыми?

Зачем беспокоится о изяществе, если оно заставляет нас брать риски, которых мы не хотим? Ожидаемая полезность говорит нам количественно оценить результат, умножить на его вероятность, сложить и т. д. Хорошо, но почему мы должны это делать? Почему бы не использовать более подходящие правила?

Всегда есть цена за уход с байесовского пути. Это то, о чем говорят теоремы согласованности и уникальности.

В данном случае, если агент предпочитает 1A > 1Б, и 2Б > 2A, он вводит противоречивую систему предпочтений — динамическую неслогласованностьв системе планирования агента. Вы начинаете терять деньги.

Предположим, что в 12:00 я брошу кость со 100 гранями. Если кость покажет число больше, чем 34, то игра заканчивается. В любом другом случае в 12:05 я спрошу совета по выбору между двумя положениями, А и Б. Если положение А, то я заплачу вам 24 000 долларов. Если положение Б, то я бросаю кость с 34 гранями и плачу вам 27 000 долларов, но только если кость не показывает «34»: в этом случае я не плачу вам ничего.

Предположим, что вы выбрали 1А, а не 1Б, и 2Б, а не 2А, и вы должны заплатить один пенни за каждый выбор. Выбор начинается с состояния А. До 12:00 вы платите мне пенни, чтобы перейти в состояние Б. Кость показывает 12. После 12:00 и до 12:05 вы платите мне пенни за переход в состояние А.

Я принимаю ваши два цента с субъекта.

Если вы действуете в угоду своим интуитивным ожиданиям и отказываетесь от изящества как от бессмысленной одержимости, не удивляйтесь, когда ваши деньги уходят от вас…

(Я думаю, та же неспособность пропорционально девальвировать эмоциональное воздействие малых вероятностей несет ответственность за лотерею.)

Allais, M. (1953). Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école Américaine. Econometrica, 21, 503-46.

Kahneman, D. and Tversky, A. (1979.) Prospect Theory: An Analysis of Decision Under Risk. Econometrica, 47, 263-92.

Чувство морали

Элиезер Юдковский

Предположим, что нечто — болезнь, монстр, война, или что-то ещё — убивает людей. И допустим, что у вас достаточно ресурсов для осуществления одного из двух вариантов:

Гарантированно спасти 400 жизней;

Спасти 500 жизней с вероятностью в 90%, но при этом процент вероятности того, что спасти людей не удастся, составит 10%.

Большинство людей выбирают первый вариант, что я считаю глупым, поскольку, если вы умножите 500 жизней на 90% вероятности, то получите 450 жизней, что превышает 400 жизней из первого варианта. (Для спасённых жизней предельная полезность не убывает, так что это уместное вычисление).

Вы можете возмущённо воскликнуть: «Что?! Как вы можете играть с человеческими жизнями? Как вы можете думать о цифрах, когда столько поставлено на карту? Что если выпадут те 10% и все умрут? Это слишком большая плата за вашу проклятую логику! Ваша рациональность оторвана от реальности!»

Ах, но вот одна интересная вещь. Если вы представите параметры таким образом:

100 человек гарантированно умрут.

Шанс 90%, что никто не умрёт, но вероятность 10%, что погибнут 500 человек.

В таком случае большинство выберут второй вариант. Даже если это та же самая авантюра. Очевидно, что так же, как уверенность в спасении 400 жизней кажется гораздо более комфортной, чем ненадёжная выгода, также и конкретная потеря ощущается сильнее, чем неопределённая.

Вы можете играть на публику и в этом случае: «Как вы можете обречь 100 человек на верную смерть, когда есть такая хорошая возможность спасти их? Мы все должны рискнуть! Даже если бы шанс спасти всех составлял всего 75%, всё равно стоило бы попробовать, раз есть шанс! Пусть им воспользуются все или никто!»

Знаете что? Это не о ваших чувствах. Человеческая жизнь, со всеми её радостями и страданиями, складывающимися в течение десятилетий, стоит гораздо больше, чем чувство комфорта или дискомфорта вашего мозга от планирования. Вам кажется, что вычисление ожидаемой полезности слишком бесчувственно? Что же, это ощущение — лишь перо на чаше весов, когда на карту поставлена жизнь. Просто заткнитесь и умножайте. Гугол равен 10^100 — единица, за которой следуют сто нулей. Гуголплекс — ещё более непостижимое большое число, это 10^гугол, единица, за которой следует гугол нулей. Теперь выберите какое-нибудь банальное неудобство, типа икоты, и какое-нибудь явно нетривиальное несчастье, например, медленно отрывающаяся конечность при нападении садистскими акулами-мутантами. Если мы вынуждены сделать выбор между предотвращением икоты у гуголплекс людей или предотвращением нападения акулы-мутанта на одного человека, какой выбор мы должны сделать? Если вы присваиваете икоте какое-то негативное значение, то, под страхом теоретической несогласованности решений, должно быть некоторое количество икоты, которое в сумме составило бы конкуренцию негативному значению атаки акулы. Для любого конкретного конечного зла должно быть некоторое количество икоты, которое было бы ещё хуже.

Подобные моральные дилеммы не являются умозрительным кровавым спортом для развлечения философов-аналитиков на званых обедах. Это искажённые версии тех ситуаций, в которых мы на самом деле оказываемся каждый день. Стоит ли мне потратить 50 долларов на консольную игру или отдать их на благотворительность? Должен ли я организовывать сбор средств в размере 700 000 долларов для оплаты одной трансплантации костного мозга или использовать эти же деньги для приобретения противомоскитных сеток и предотвратить смерть примерно 200 детей от малярии?

Тем не менее, многие отводят взгляд от обилия неприятных моральных компромиссов в реальности — многие даже гордятся тем, что отводят взгляд. Исследования показывают, что люди проводят различие между «священными ценностями», такими как человеческие жизни, и «не священными ценностями», такими как деньги. И когда вы пытаетесь обменять священную ценность на не священную, субъекты выражают большое негодование. (И порой они даже хотят покарать человека, который сделал такое предложение.)

У меня есть любимая история про то, как команда исследователей, которые оценивают эффективность разных проектов, подсчитала стоимость спасённой жизни и порекомендовала правительству реализовать этот проект, поскольку он был экономически эффективным. Правительственное агентство отклонило отчёт, потому что, по их словам, нельзя оценивать человеческую жизнь в долларах. После отклонения отчёта агентство решило не использовать такой способ оценки.

Обмен сакральной ценности на не сакральную кажется действительно ужасным. Просто умножать одно на другое было бы слишком хладнокровно – для этого надо быть очень рациональным… Но альтруизм — это не тёплое неопределённое чувство, которое вы испытываете, будучи альтруистом. Если вы делаете это ради духовной выгоды, это не что иное, как эгоизм. Но главное — это помочь другим, какими бы ни были средства. Так что заткнись и умножай!

И если вам кажется, что в этой максимизации есть жестокость, подобная обнажённому мечу Фемиды или горению Солнца, — если кажется, что посреди этой рациональности есть небольшое холодное пламя…

Ну, тогда есть способ, который может помочь почувствовать себя лучше. Но он не сработает.

Я скажу вот что: если вы отбросите своё сожаление по поводу духовного удовлетворения, которое могли бы получить — и будете искренне следовать Пути, не думая, что вас обманут, — если вы посвятите себя рациональности, не сдерживая себя, то увидите, что рациональность даст вам взамен.

Но это сработает, только если вы не будете говорить себе: «Мне было бы лучше, если бы я был менее рациональным». Разве вам грустно оттого, что у вас есть возможность реально помогать людям? Вы не можете полностью раскрыть свой потенциал, если считаете свой дар тяжёлой ношей.

Парадокс Ньюкома: сожалея о своей рациональности

Элиезер Юдковский

Ниже пойдет речь о, возможно, самой дискуссионной проблеме в истории теории принятия решений — парадоксе Ньюкома:

Сверхразумное существо с другой галактики (будем называть его Омега) прилетает на Землю и приступает к маленькой необычной игре. Омега выбирает человека, ставит перед ним два ящика и скрывается из виду.

Ящик А прозрачен, в нём лежит тысяча долларов.

Ящик Б закрыт и содержит либо миллион долларов, либо ничего.

Вы можете выбрать либо оба ящика, либо только второй.

Интрига же в том, что Омега положил миллион долларов в ящик Б тогда и только тогда, когда он предсказал, что вы возьмете только этот ящик.

До сих пор (на каждом из ста случаев, которые вы смогли пронаблюдать) Омега оказывался прав: каждый, кто брал оба ящика, находил ящик Б пустым и получал только тысячу долларов; каждый, кто брал только ящик Б, обнаруживал в нём миллион. (Будем полагать, что ящик А исчезает в облаке дыма, если вы берете только ящик Б; нельзя взять ящик А уже потом.)

До того, как вы сделаете выбор, Омега уже улетел, чтобы приступить к следующей игре. Ящик Б либо уже пуст, либо уже содержит деньги.

Омега бросает два ящика прямо перед вами и исчезает.

Вы возьмете оба или только ящик Б?

Типичная дискуссия об этой задаче протекает примерно так:

Вася: «Конечно же, я возьму только ящик Б. Лучше выиграть миллион, чем тысячу».

Петя: «Омега уже скрылся. Ящик Б либо уже полон, либо уже пуст. Если он уже пуст, то я получу 1000 долларов, взяв оба ящика, и ничего, если возьму только один. Если ящик Б уже полон, то, если я возьму оба, мне достанется 1 001 000 долларов, а если возьму только Б, то 1 000 000 долларов. В любом случае взять оба ящика лучше, а оставить тысячу долларов хуже, так что я буду действовать рационально и возьму оба ящика».

Вася: «Если ты такой умный, то почему ты такой бедный?»

Петя: «Не моя вина, что Омега решил награждать только иррационально настроенных людей, но мой ход в этой игре уже ничего не изменит».

О парадоксе Ньюкома написаны горы литературы, особенно если считать дилемму заключенного ее частным случаем, каковым она, как правило, является. Например, «Парадоксы рациональности и кооперации» («Paradoxes of Rationality and Cooperation») — издание, в которое входит оригинальная статья Ньюкома.

Я сейчас не буду глубоко погружаться в литературу, но замечу, что преобладающее мнение в современной теории принятия решений гласит, что следует выбрать оба ящика, а Омега просто вознаграждает агентов с нерациональными установками. Эта доминирующая точка зрения берет свое начало из причинной теории принятия решений (в русскоязычных текстах также иногда встречается наименование «каузальная теория принятия решений» — прим. перев.)

Как вам известно, основная причина того, что я пишу в блог, — моя невероятно низкая скорость, если я пытаюсь писать в каком-либо другом формате. Так что я не собираюсь выкладывать здесь мой собственный разбор проблемы Ньюкома. Это была бы слишком долгая история, даже по моим стандартам.

Но даже адепты причинной теории согласны, что если у вас есть силы заранее настроить себя на то, чтобы взять один ящик, то нужно сделать это. Если вы можете «настроиться» до того, как Омега проверит вас, то этим самым вы непосредственно обусловливаете то, что ящик Б не будет пустым.

В моей области деятельности (в построении самоулучшающегося искусственного интеллекта, если кто забыл) это выражается так: если вы построите ИИ, берущий оба ящика в проблеме Ньюкома, то он изменит себя так, чтобы брать один ящик, если сможет заранее предположить, что может столкнуться с такой ситуацией. Агенты, имеющие свободный доступ к своему исходному коду, способны легко настраивать себя заранее.

Что, если вы ожидаете, что можете встретиться с этой задачей, но не знаете точную формулировку? Тогда вам необходимо изменить себя, сделав свои установки такими, какие в общем случае обеспечивают высокий выигрыш в подобных задачах.

Но в чем же заключаются установки, нацеленные на хорошее решение задач вроде этой? Можно ли описать их формально?

Да, но, пытаясь сделать это, я осознаю, что начинаю писать небольшую книгу. (И не самую важную книгу, которую пишу, так что я откладываю это. Моя низкая скорость письма — настоящая отрава моего существования.) В теории, над которой я работаю, больше, как мне кажется, положительных моментов, не считая даже того, что она лучше решает задачи вроде проблемы Ньюкома. Работа могла бы стать неплохой диссертацией, если бы я нашел кого-нибудь, кто принял бы у меня ее в таком качестве. Но стряхнуть пыль с этого проекта и снова взяться за него заняло бы слишком много времени и сил; я бы не смог оправдать такой расход времени, учитывая скорость, с которой я сейчас пишу книги.

Я говорю это потому, что общепринятая позиция гласит: «Словесные аргументы в пользу того, чтобы брать один ящик, отыскать легко, но трудно разработать хорошую теорию, которая этого требует». Нужна последовательная математическая теория принятия решений, указывающая на необходимость брать только один ящик и не порождающая парадоксов в других задачах. Я понимаю, как можно это сделать, и взялся за разработку таковой, но скорость, с которой я пишу крупные работы, так низка, что я не могу ее опубликовать. Верите ли вы или нет, но это так.

Несмотря на всё это, я бы хотел изложить некоторые собственные мотивы к решению этой проблемы, причины, побудившие меня отыскивать новую теорию, — потому что они разъясняют мое базовое отношение к вопросу рациональности (даже если я не смогу рассказать саму теорию, к созданию которой эти мотивы побуждают).

Во-первых, в основном, по существу и прежде всего:

Рациональные агенты должны ВЫИГРЫВАТЬ.

Не поймите меня превратно, подумав, что я говорю о штампе «голливудской рациональности», который утверждает, что рационалисты должны быть эгоистичными или недальновидными. Если ваша функция полезности включает в себя благо других, то их счастье — ваш выигрыш. Если она подразумевает сроки в миллионы лет, то выигрывать следует на протяжении геологических эр.

Но, так или иначе, речь о том, чтобы ВЫИГРЫВАТЬ. Не упустите мысли: ВЫИГРЫВАТЬ.

Сейчас некоторые сторонники причинной теории принятия решений заявляют, что брать оба ящика — значит, делать всё возможное, чтобы выиграть, и нельзя ничем им помочь, если их наказывает Предсказатель, благоволя же иррационалам. Скоро я скажу, что думаю об этой точке зрения, но для начала я хочу провести черту между теоретиками причинного принятия решений, которые убеждены, что брать оба ящика — по-настоящему делать все возможное для выигрыша, и теми, кто считает, что брать два ящика осмысленно или рационально, но этот разумный выбор приводит в случае этой игры к предсказуемому проигрышу. Вокруг нас чертова прорва народу думает, что рациональность ожидаемо проигрывает при решении разнообразных задач; это, к тому же, часть штампа «голливудской рациональности», в котором Кирк предсказуемо превосходит Спока.

Теперь давайте вернемся к призу, которым Омега награждает иррационалов. Я в состоянии вообразить сверхсущество, которое платит только людям, рожденным с определенным геном, не обращая внимания на их выбор. Я могу представить инопланетянина, награждающего игроков, в чьи мозги врезан конкретный алгоритм«Опишите по-английски возможные варианты и выберите последний в алфавитном порядке», но не отдающего приза тем, кто выбирает тот же вариант, но по другой причине. Однако Омега награждает тех, кто выбрал только ящик Б, вне зависимости от того, каким именно способом они пришли к этому решению, и именно поэтому я не куплюсь на то, что Омега благоволит иррационалам. Его не заботит, следуете ли вы или нет определенному образцу мышления; всё, что его интересует, — ваше предсказанное решение.

Можно выбрать любой алгоритм обоснования, какой нам нравится, и мы будем награждены или наказаны только в зависимости от выбора, произведенного алгоритмом, независимо от всего прочего: Омегу интересует только то, куда мы приходим, а не как попадаем туда.

Я говорю именно с той точки зрения, которая гласит, что Природа не заботится о нашем алгоритме. Это открывает возможность следовать Пути выигрывания и освобождает нас от какого-либо отдельного ритуала мышления (кроме наших убеждений, что это работает). На каждое хитрое правило найдется свой контрпример, кромеправила выигрывания.

Как сказал Миямото Мусаси (это стоит повторить):

«Ты можешь победить с длинным клинком, но можешь выиграть бой и с коротким. Вкратце, Путь школы Ити — дух победы, вне зависимости от вида оружия и его длины».

(Другой пример: Мак-Ги утверждал, что мы обязаны ограничивать применение функций полезности, или же мы бесчисленное количество раз будем оказываться жертвой собственной непоследовательности. Но у функции полезности нет исключений. Я люблю жизнь без ограничений, без верхней границы: нет такого конечного значения N, что я предпочту шанс в 80,0001 % прожить N лет по сравнению с вероятностью в 0,0001 % прожить гуголплекс лет и восьмидесяти процентной вероятностью жить вечно. Это достаточное условие, чтобы можно было сказать, что моя функция полезности неограниченна. Так что мне просто надо сформулировать, как оптимизировать её для данных норм поведения. Вы не можете сказать мне «Для начала ты, прежде всего, должен приспособиться к определённому ритуалу мышления, а затем, если приспособишься, тебе нужно изменить свои нормы поведения, чтобы избежать непоследовательности». Откажитесь от схемы, ведущей к поражению; не меняйте определение выигрыша. Иное значило бы, что вы предпочитаете тысячу долларов миллиону, так что в свете проблемы Ньюкома ваша новая схема мышления не будет выглядеть плохо.)

«Но», — скажет сторонник причинной теории принятия решений, — «чтобы взять только один ящик, вам нужно сначала как-то поверить, что ваш выбор способен повлиять на то, пуст ящик Б или полон; это неразумно! Омега уже улетел! Это физически невозможно!»

Неразумно? Я рационалист; какое мне дело до того, быть ли неразумным? Я не собираюсь подчиняться определенной схеме мышления. Я буду брать только ящик Б не потому, что убежден, что мой выбор влияет на содержимое ящика, хотя даже Омега улетел. Я могу просто… взять только ящик Б.

Я собираюсь предложить альтернативный способ мышления, который рассчитает необходимость этого решения, но поля слишком узки для него; однако мне нет нужды предъявлять его вам. Дело не в том, чтобы обладать изящной теорией выигрывания, — дело в том, чтобы выигрывать; красота формулировок — побочный эффект.

Или посмотрим на это с другой стороны: вместо того, чтобы начинать с определения разумного решения, а затем задаваться вопросом, получит ли этот «разумный» агент много денег, взгляните лучше на агента, который получил много денег, затем разработайте теорию, в соответствии с которой агент будет оставаться с наибольшим количеством денег, и, уже отталкиваясь от этой теории, попробуйте вывести определение «разумности». «Разумность» может быть лишь ярлыком тех решений, которые соответствуют нашему текущему ритуалу мышления, — как ещё можно определить, является ли что-либо «разумным» или нет?

Джеймс Джойс, «Основы причинной теории решений»:

У Рэйчел был потрясающий ответ на вопрос, почему она не обогатилась (в этой игре — прим. перев.) «Я не выиграла много денег потому», — говорила она, — «что я не такой неудачник, который, как думают психологи, откажется от денег. Я просто не такая как ты, Ирен. Учитывая то, что я знаю, что не обладаю характером неудачника, и то, что психологи знают, что я такова, было бы разумным думать, что миллион не достанется мне. Тысяча долларов была наибольшей суммой, что я собиралась получить вне зависимости от того, что предприму. Поэтому единственная разумная вещь — взять их».

Ирен, возможно, захочет настоять на своем, спросив: «Но ведь ты не хочешь быть такой как я, Рэйчел? Ты не хочешь быть тем, кто проигрывает?» Существует некая склонность к тому, чтобы думать, что Рэйчел, преданная причинной теории принятия решений, должна ответить на этот вопрос отрицательно, и это кажется очевидно ошибочным (учитывая, что, будь она «неудачницей», как Ирен, она бы смогла получить больший приз). Это не тот случай. Рэйчел может и должна признать, что она хочет быть более похожей на Ирен. «Сейчас это было бы для меня лучше», — может допустить она, — «будь я неудачницей». И здесь Ирен восклицает: «Ага, ты признаешь это! В конце концов, не так уж умно было попытаться взять все деньги». К несчастью для Ирен, ее заключение вовсе не следует из того, что сказала Рэйчел. Та терпеливо разъяснит, что желать быть «неудачником» в задаче Ньюкома не противоречит тому, что необходимо брать тысячу долларов независимо от своего характера. Когда Рэйчел хочет быть такой же «неудачницей», как Ирен, она желает получить такие же возможности, а не одобрить ее выбор.

И я должен сказать, что это всеобщий принцип рациональности (конечно, в том смысле, как я определяю это понятие) — то, что вы никогда в конце концов не обнаружите себя завидующим чужому выбору самому по себе. Вы можете позавидовать чьим-нибудь генам, если бы Омега награждал за гены или именно они создавали бы установки, благополучные для выигрыша. Однако Рэйчел в вышеприведенной цитате завидует выбору Ирен и только выбору безотносительно от того, какой алгоритм та использовала, чтобы сделать его. Рэйчел стремится лишь к тому, чтобы настроить себя для принятия другого решения.

Невозможно заявлять, что вы более рациональны, чем кто-то другой, и в то же время завидовать тому, какой выбор сделал этот другой, если речь только о выборе. Просто сделайте то, чему завидуете.

Я всё пытаюсь сказать, что рациональность — это Путь выигрывания, но апологеты причинной теории принятия решений настаивают, что брать оба ящика и значит на самом деле выиграть, потому что невозможно поступить лучшим образом, оставив тысячу долларов… даже если те, кто берет один ящик, уходят с эксперимента с большей суммой. Остерегайтесь доводов такого рода каждый раз, когда вы замечаете за собой то, что определяете как «победителя» кого-то отличного от агента, с улыбкой взирающего с вершины гигантской пирамиды полезности.

Да, во многих мысленных экспериментах агенты имеют фору с самого начала, но если, скажем, нужно решить, прыгать ли со скалы, то нужно остерегаться того, чтобы определить агентов, воздерживающихся от прыжка, как заранее обладающих несправедливым преимуществом, — что, якобы, они подло отказались прыгать. В этом месте вы незаметно переопределяете понятие «выигрывать», называя им следование определенному ритуалу мышления. Следите за деньгами!

Другой способ взглянуть на проблему: столкнувшись с задачей Ньюкома, вы бы захотели приложить заметные усилия, чтобы понять разумное обоснование того, что брать только ящик Б рационально и осмысленно (ведь если аргумент такого рода существует, вам следует взять только ящик Б, и вы найдете его полным денег)? Потратите ли вы несколько дополнительных часов, обдумывая эту проблему, если уверены, что в конце концов убедите себя, что брать только ящик Б — рациональный выбор? В этом положении достаточно странно находиться. Обычно работа рациональности заключается в том, чтобы разъяснить, какой выбор является наилучшим, а не отыскать обоснование к убеждению, что какое-либо конкретное решение оптимально.

Возможно, слишком легко говорить, что вы «следуете» стратегии «брать оба ящика» в проблеме Ньюкома и что это «разумный» выбор, пока деньги не будут действительно перед вами. Возможно, вы просто нечувствительны к абстрактным проблемам такого рода. А что, если у вашей дочери заболевание, смертельное в 90% случаев, и в ящике А сыворотка, которая вылечит ее с вероятностью в 20%, а ящик Б может содержать лекарство, успешно действующее с шансами в 95%? Что, если к Земле мчится астероид, и ящик А содержит систему защиты, действующую 10% времени, а в ящике Б может быть орудие, которое защищало бы Землю постоянно?

Будь это так, вы бы заметили, что вас просто соблазняет сделать необоснованный выбор?

Что, если ставка, которую может принести ящик Б, — это что-то такое, что вы не можетеоставить? Что-то безгранично более важное для вас, нежели следовать тому, что выглядит разумным? Если вам совершенно нужно выиграть — действительно выиграть, а не просто определить себя как победителя?

Захотели бы вы всем своим нутром, чтобы «разумным» решением оказалось взять только ящик Б?

Если да, то, возможно, сейчас настало время обновить ваше определение разумности.

Предполагая себя рационалистом, вы не должны обнаруживать, что завидуете решениям-самим-по-себе, принятым предполагаемыми не-рационалистами: ваше решение может быть любым. Когда вы обнаружите себя в подобном положении, вам не следует упрекать другого в том, что он не смог подстроиться к вашему пониманию разумности. Вам нужно осознать, что вы шли по ложному пути.

То же самое верно, и если вы заметите, что продолжаете хранить веру в отдельный след «обоснованного» убеждения в противовес убеждению, которые выглядит по-настоящему истинным: либо вы недопонимаете «обоснованность», либо ваше представление об истинности второго убеждения ошибочно.

Невозможно одновременно определить «рациональность» и как Путь выигрывания, и как некую конкретную систему в рамках байесовской теории вероятностей и теории принятия решений. Но это тот самый аргумент, который я привожу в первую очередь, и мораль моего совета — верить в байесианство, в то, что законы, ведущие к выигрышу, имеют достаточный доказательный аппарат, чтобы быть точной наукой. Если же когда-нибудь окажется, что байесовские принципы терпят неудачу, систематически решая некую задачу плохо (по сравнению с решениями других теорий), то байесианство придётся оставить на свалке истории. «Рациональность» — просто ярлык, который я использую для своих представлений о Пути выигрывания — пути агента, улыбающегося с вершины гигантской пирамиды полезности. Сейчас этим ярлыком помечено байесовское искусство.

Я понимаю, что эта статья — еще не окончательный нокаут для причинной теории принятия решений (для этого нужна была бы целая книга или диссертация), но я надеюсь, что смог частично проиллюстрировать свое подсознательное отношение к понятию «рациональность».

Вы не должны обнаруживать себя отделяющим «выгрышный» выбор от «разумного» или «обоснованное» убеждение от «наиболее правдоподобного».

Я рассказал, почему я называю «рациональными» свои убеждения в зависимости от их точности и выигрышности, но не для того, чтобы указать на словесное обоснование или на конкретные стратегии, приводящие к определенному успеху; не для того, чтобы назвать этим словом то, что доказуемо логически, наглядно для других или выглядит «обоснованным».

Как сказал Миямото Мусаси:

«Помни, когда в твоих руках меч — ты должен поразить противника, чего бы тебе это ни стоило. Когда ты парируешь удар, наносишь его, делаешь выпад, отбиваешь клинок или касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага».

Стать сильнее

Бросая вызов сложностям

Эта цепочка посвящена тому, как делать сложные или «невозможные» вещи.

Цуёку наритаи («Хочу стать сильней!»)

Элиезер Юдковский

В ортодоксальном иудаизме есть следующий афоризм: «Если древние были как ангелы, то мы – как люди, а если древние были как люди, то мы – как ослы», что вытекает из убеждения в том, что всё иудейское право было получено на горе Синай Моисеем напрямую от Господа. Действительно, вряд ли возможно получить новое галахическое знание, проведя какой-нибудь эксперимент; получить это знание можно лишь из уст кого-то, кто уже им владеет — потому что он услышал его от кого-то ещё, кто получил его непосредственно от Господа. Поскольку вся информация исходит из единственного, давно замолкшего источника, она может лишь искажаться в процессе передачи от поколения к поколению.

Поэтому слова современных раввинов не могут перекрывать слова древних раввинов. Ползающие животные обычно не кошерны, но позволительно съесть червяка, обнаруженного внутри яблока: древние считали, что червь самопроизвольно возник внутри яблока, и поэтому является его частью. Современный раввин не имеет права сказать «Понятно, что древние раввины разбирались в биологии также, как пингвины в математической логике. Завет отвергнут!». Современный раввин не может знать какой-либо галахический принцип, неведомый древним раввинам, потому что это означает обрыв цепочки древних раввинов, передающих друг другу ответы, полученные на горе Синай. Знание происходит от авторитета, и поэтому оно не нарастает, а лишь утрачивается с течением времени.

Я услышал эту поговорку про ангелов и ослов, когда я был в младших классах религиозной школы. Я был слишком молод для того, чтобы быть полностью созревшим атеистом, но я всё равно подумал про себя: «Тора теряет знание с каждым поколением. Наука приобретает знание с каждым поколением. Неважно, с чего они начали, рано или поздно наука обгонит Тору».

Очень важно, чтобы прогресс не исчезал. До тех пор, пока вы продолжаете двигаться вперёд, вы достигнете своей цели; но если вы остановитесь, то вы никогда не достигнете её.

«Цуёку наритаи» это на японском. «Цуёку» значит «сильный»; «нару» это «становиться», а форма «наритаи» это «хочу стать». Вместе это значит «Я хочу стать сильнее» и выражает настроение, ярче звучащее в японских работах, нежели в любой западной литературе, которую я читал. Вы можете сказать это, когда выражаете стремление стать профессиональным игроком в Го — или после того как вы проиграли важный матч, но не сдались — или после того как вы выиграли важный матч, но все еще не на вершине мастерства — или после того как вы стали наилучшим игроком в Го всех времен, но все еще думаете, что можете играть еще лучше. Это и есть «Цуёку наритаи», воля к трансцендентности.

«Цуёку наритаи» это движущая сила моего эссе «Правильное использование смирения», в котором я сравнивал студента, который смиренно проверяет дважды свой тест по математике и студента который скромно говорит «Но как мы можем действительно знать? Не имеет значения как много раз я проверю, я никогда не буду уверен абсолютно». Студент, который проверяет дважды свои ответы «хочет стать сильнее»; он реагирует на возможный внутренний недостаток посредством деятельности при помощи которой он может исправить недостаток, а не отступлением.

Каждый год, в праздник под названием Йом Киппур, ортодоксальный иудей читает литанию, которая начинается словами «ашамну, багадну, газалну, дибарну дофи» и похожим образом проходит через весь древнееврейский алфавит: «Мы грешили, мы предавали, мы грабили, мы злословили».

С каждым словом вы бьёте себя в грудь в знак раскаяния. Никто не может освободить вас от этого ритуала: нет такого правила, что, если вы ухитрились прожить весь год, ничего ни разу ни украв, то вы можете пропустить слово «газалну» и не бить себя в грудь в этот раз. Это нарушит чувство принадлежности к празднику Йом Киппур, который посвящён исповеданию грехов, а не избеганию грехов, чтобы исчезла причина в них исповедоваться.

Тот же символизм есть и в «Ашамну». Молитва не оканчивается словами «но это было в этом году, а в следующем году я добьюсь большего».

«Ашамну» носит удивительное сходство с представлением о том, что основная идея пути рациональности — это бить себя кулаком в грудь и говорить: «Все мы предвзяты, все мы иррациональны, все мы невежественны, все мы сверхуверенны, все мы плохо откалиброваны, все мы страдаем от искажений».

Замечательно. Теперь расскажите, как вы собираетесь стать менее предвзятым, более осведомлённым, менее сверхуверенным, лучше откалиброванным.

Мне вспоминается старая еврейская шутка: в день Йом Киппур раввин неожиданно оказывается охвачен непривычно сильным чувством вины. Он падает ниц и сквозь слезы восклицает: «Всевышний, я ничто пред ликом Твоим!». Волна вины накатывает и на кантора, который также вскрикивает: «Всевышний, я ничто пред ликом Твоим!». Увидев это, уборщик в дальнем углу синагоги падает на колени и восклицает: «Всевышний, я ничто пред ликом Твоим!». А затем раввин незаметно толкает кантора локтём в бок и шепчет: «Ты только посмотри, кто возомнил себя ничем».

Не гордитесь своим признанием в том, что вы тоже страдаете от искажений, и не упивайтесь знанием о своих изъянах. Этот принцип сродни принципу о том, что не надо гордиться признанием в своём невежестве; ибо если черпать в невежестве гордость, то будет нелегко поступиться своим невежеством, когда к вам постучатся свидетельства. Точно также и с изъянами: не надо внутренне восхищаться своей честностью и наблюдательностью, позволившей вам их признать; ликовать следует тогда, когда поводов для признания стало меньше.

В противном случае, когда кто-то идет к нам с планом «коррекции» влияния, мы огрызнемся: «Ты думаешь поставить себя над нами?» Мы печально покачаем головами и скажем: «У тебя, должно быть, низкое самосознание».

Никогда не говорите, что вы так же порочны, как и я, до тех пор, пока вы не можете сказать мне, что планируете с этим делать. После этого у вас все еще остается много недостатков, но дело не в этом; важно «делать лучше», двигаться вперед, делать шаг за шагом вперед. Цуёку наритаи!

Цуёку против уравнительского инстинкта

Элиезер Юдковский

В племенах охотников и собирателей обычно сильно развит уравнительный принцип (по крайней мере, если вы мужчина) — принцип всемогущего племенного вождя чаще можно найти в аграрных обществах, редко в родоплеменном строе. В большинстве племен, живущих охотой и собирательством, охотник, который приносит больше всего добычи, будет стараться приуменьшить свои заслуги.

Возможно, если ваша стартовая точка находится ниже среднего уровня, вы можете улучшать себя без опаски выделиться из толпы. Однако рано или поздно, если вы стремитесь сделать все как можно лучше, ваша цель превзойдет средний уровень.

Если вы не можете признаться себе, что вы действуете лучше остальных — или если вы стыдитесь желания действовать лучше остальных — тогда средний уровень навсегда станет для вас непреодолимым барьером, местом, где вы прекращаете свое развитие. И что насчет тех людей, что находятся ниже среднего уровня? Вы смеете сказать, что желаете быть лучше них? Ну вы и гордец!

Возможно не слишком нормально гордиться собой так, словно вы лучше вообще всех. Но лично я обнаружил, что это полезный мотиватор, несмотря на мои принципы, а я хочу использовать всю полезную мотивацию, которую смогу получить. Возможно этот вид соревнования представляет собой игру с нулевой суммой, наподобие го; это не значит, что мы должны отменить данную человеческую активность, если людям это нравится и представляет собой нечто интересное.

Но, в любом случае, конечно же это плохо — стыдиться делать все как можно лучше.

И кстати, жизнь нельзя оценить графиком. Стремление к трансцендентности не имеет точки, за которой это стремление становится хуже; и гонка, в которой нет финиша, не имеет и золотых или серебряных медалей. Просто бегите как можно быстрее изо всех сил, не беспокоясь, что вы можете оставить позади других. (Но будьте настороже: если вы откажетесь думать об этой возможности, однажды так и произойдет. Если вы игнорируете последствия, они могут настигнуть вас.)

Рано или поздно, если твой путь ведет к истине, вы захотите убрать те недостатки, которые большинство людей не убирают. Рано или поздно, если ваши усилия приносят хоть какие-то плоды, вы обнаружите, что у вас меньше слабых мест.

Возможно вы найдете мудрым преуменьшить свои достижения, даже если вы и в самом деле преуспели. Люди могут простить гол, но вряд ли обрадуются выигрышу вами всей игры. Вы возможно найдете проще, быстрее и больше всего подходящим публично принизить свои достоинства, постараться сделать вид, что вы такой же несовершенный, что и все. Ну, до тех пор, пока всем уже не станет ясно, что это не так. Это может быть забавно — гордо показывать свою скромность так, что каждый знает как много вы достигли, о чем можете скромно умолчать.

Но не позволяйте этому стать концом вашего путешествия. Даже если вы только шепчете это себе под нос, продолжайте шептать: цуёку, цуёку! Сильнее, сильнее!

А потом установите себе цель еще выше. Вот истинный смысл осознания, что вы все еще несовершенны (пусть теперь и немного меньше). Он заключается в том, чтобы всегда достигать больше, безо всякого стыда.

Цуёку наритаи! Я буду всегда бежать настолько быстро, насколько могу, даже если я вырвусь вперед, я продолжу бежать; и кто-то однажды превзойдет меня; но даже хотя я останусь позади, я всегда буду бежать изо всех сил.

Пытаясь пытаться

Элиезер Юдковский

Нет! Не надо пытаться! Делай. Или не делай. Не надо пытаться.

Йода

Когда-то давно я думал, что есть другой пример глубокой (великой) мудрости, а этот глуповат. Успех — не простое действие. Вы не можете просто решить выиграть путем достаточно трудного выбора. Не существует плана, который бы всегда работал.

Но Йода оказался мудрее, чем я сначала себе представил.

Первая элементарная техника эпистемологии — не глубокая, зато дешевая — отделять цитату от того, что она обозначает. Разговор о снеге не то же самое, что разговор о «снеге». Когда я использую слово «снег» без кавычек, я имею в виду снег; а когда я использую слово « „снег“ » в кавычках, я веду разговор именно о самом слове. Вам нужно сменить тип мышления, перейти в режим цитирования, чтобы вести разговор о своих убеждениях. Обычно, мы говорим о реальности.

Если кто-то говорит «я хочу нажать на выключатель», тогда по умолчанию, он имеет в виду то, что он собирается попробовать нажать на выключатель. Он собирается выстроить план, который обещает путем последовательностей действий привести его к нужному состоянию выключателя; и осуществить данный план.

Не существует плана, который работал бы с бесконечной определенностью. Так что по умолчанию, когда вы говорите о намерении достигнуть цели, вы не подразумеваете, что ваш план точно и совершенно приведет вас только к этой возможности. Но когда вы говорите «я собираюсь нажать на выключатель», вы пытаетесь нажать на выключатель — не пытаетесь достигнуть 97.2% вероятности нажатия на выключатель.

Так что же подразумевается, когда кто-либо говорит «Я собираюсь нажать на выключатель?»

Ну, в разговорной речи «я собираюсь нажать на выключатель» и «я собираюсь попробовать нажать на выключатель» означают более или менее одно и то же, за исключением того, что последнее выражение подразумевает возможность неудачи. Вот почему я изначально обиделся на Йоду за кажущееся отрицание возможности. Ну уж извините.

Наибольший жизненный вызов состоит в том, чтобы удерживать себя на достаточно высоком уровне. Я могу рассказать об этом принципе позже, поскольку это линза, через которую вы можете видеть многие-но-не-все личные дилеммы — «На каком уровне я держу себя? Достаточно ли он высок?»

Поскольку большинство жизненных неудач заключаются в том, что вы держите себя на слишком низком уровне, вам нужно опасаться требовать от себя слишком мало — ставить цели, что легко достижимы.

Часто там, где успешно сделать вещь очень трудно, попробовать это сделать куда легче.

Что легче — построить успешный стартап или попробовать построить успешный стартап? Заработать миллион долларов или попробовать заработать миллион долларов?

Так что если «я собираюсь нажать на выключатель» означает по умолчанию что вы попытаетесь нажать на выключатель — то есть, вы собираетесь следовать плану, который обещает привести к желаемому результату если не со стопроцентной вероятностью, то по крайней мере с наибольшей вероятностью, которую вы можете обеспечить -

тогда «я намерен «попытаться нажать» на выключатель» означает что вы хотите попробовать «попробовать нажать на выключатель», то есть вы собираетесь попробовать достичь цели-состояния «имею план который может помочь нажать на выключатель».

Теперь, если бы был самомодифицирующийся ИИ, о котором мы уже говорили, преобразование, которое мы только что выполниили, должно было закончится отраженным равновесием — ИИ планировал бы операции по планированию.

Но когда мы имеем дело с людьми, они могут удовлетвориться планом, который не особо вероятно гарантирует успех. Момент, что план должен максимизировать вашу вероятность успеха, теряется из виду. Куда легче убедить себя что мы «максимизировали нашу вероятность выиграть» нежели убедить себя что мы выиграем.

Почти любое усилие должно служить для убеждения нас, что мы «сделали все что могли», если попытки сделать все, что мы можем, это все, что мы пытаемся сделать.

«Вы спросили себя, что вы можете сделать в великих событиях, которые начинаются сейчас, и ответили себе, что ничего. Но из-за того, что вы страдаете, вы неправильно поставили вопрос…вместо того, чтобы спрашивать, что вы можете сделать, вы должны были спросить, что нужно сделать».

- Стивен Браст, Дороги Мертвых

Когда вы спрашиваете «что я могу сделать?», вы пытаетесь сделать все, что можете. Много ли вы можете? Это все, что не вызывает у вас ни малейшего затруднения. Это все, что вы можете сделать с деньгами у вас в кошельке минус деньги на ланч. Что вы можете сделать с этими ресурсами, может не дать вам очень хорошие шансы на выигрыш. Но это «все что вы можете сделать» и таким образом вы действуете обоснованно, так?

Но что нужно сделать? Может быть то, что нужно сделать, требует в три раза больше, нежели все ваши сбережения за всю жизнь, и вы должны сделать это или потерпите неудачу.

Так что старание иметь «максимизированную вероятность успеха» — в противовес стараниям достичь успеха — является существенно более низким барьером. Вы можете иметь «максимизированную вероятность успеха» используя только деньги у вас в кармане, хотя на самом деле претендовать на победу не сможете.

Хотите попробовать сделать миллион долларов? Купите лотерейный билет. Ваши шансы на выигрыш не очень хороши, но вы попытались, чего и хотели. На деле, вы сделали все, что в ваших силах — ведь у вас был всего лишь доллар после обеда. Максимизация шансов на достижение цели, используя доступные ресурсы: разве это не интеллект?

И только когда вы хотите, превыше всего остального, на самом деле нажать на выключатель — без цитирования и без утешительных призов за попытки — тогда вы на самом деле приложите усилия, чтобы действительно максимизировать вероятность.

Но если все, что вы хотите, это «максимизировать вероятность успеха при доступных ресурсах», тогда наиболее легкий путь сделать это — просто убедить себя в том, что это уже сделано. Самый первый план, который вы придумаете, уже будет служить как «максимизирующий» — если нужно, то вы можете придумать несколько худших планов, чтобы доказать оптимальность первого. И все крошечные ресурсы, которые вы вложите в этот план, будут гордо называться «доступными ресурсами». Не забудьте заодно поздравить себя с тем, что вы выложились на все 100%!

Не старайтесь изо всех сил. Либо побеждайте, либо проигрывайте. Но не старайтесь.

Используй вторую попытку, Люк

Элиезер Юдковский

«Если кто-то хочет провалиться, он везде найдет препятствия» — Джон Маккарти.

Первый раз я увидел 4-6 «Звездные войны», еще когда был совсем юн. Мне было семь или девять, где-то так. Я плохо помню то время, однако я запомнил Люка Скайуокера как крутого джедайского парня.

Представьте мой ужас и разочарование, когда я годы спустя пересмотрел всю сагу и понял, что Люк был подростком-нытиком.

Я упоминаю это потому, что вчера я просматривал на Ютьюбе источник цитаты Йоды: «Делай или не делай. Не пытайся».

О. Мой. Ктулху.

Наряду с клипом с Ютьюба я представляю вам малоизвестную сценку, которая произошла на съемках фильма между директором картины Джорджем Лукасом и Марком Хамиллом, который играл Люка:

Люк: Хорошо, я попробую.

Йода: Нет! Не пробуй. Делай. Или не делай. Но не пробуй.

Люк поднимает руку и его корабль медленно начинает всплывать из воды. Глаза Йоды загораются интересом — но корабль снова тонет.

Марк Хамилл: «Эээ, Джордж…»

Джордж Лукас: «Что?»

Марк: «Так… дальше по тексту я говорю, что не могу поднять корабль, так как он слишком большой».

Джордж: «Ну да».

Марк: «А разве Люк не попробует еще раз?»

Джордж: «Нет. Люк сдается и садится рядом с Йодой…»

Марк: «И это герой, который собирается драться со всей Империей? Смотри, это могло бы произойти, когда он был только подростком, однако теперь он уже тренированный джедай. В последнем фильме он взорвал Звезду Смерти. Он должен показать хотя бы немного силы воли».

Джордж: «Нет. Ты сдаешься. И тогда Йода читает тебе лекцию, ты говоришь, что это невозможно. Тебе понятно?»

Марк: «Невозможно? Он что, на калькуляторе это высчитал, что ли? Корабль уже начал подниматься! Это прямая демонстрация того, что это осуществимо! Люк потерял концентрацию на секунду и корабль начал тонуть обратно — и после этого он сразу же сдается и говорит, что это невозможно? Не говоря уже о том, что Йода, который уже восемьсот лет занимается этим, прямо говорит ему, что это возможно…»

Джордж: «И тогда ты уходишь».

Марк: «Это его долбаный корабль! Если он оставит его в болоте, то остаток своей никчемной жизни он проведет на Дагобе! Он не может уйти! Смотри, давай просто перед следующей сценой вставим слова «месяц спустя», Люк все еще стоит перед болотом, в тысячный раз стараясь вытащить корабль — «

Джордж: «Нет».

Марк: «Ну ладно! Покажем как он солнечным днем стоит с напряженной рукой и говорит «Невозможно». На самом деле, он же должен был попытаться снова, когда отдохнул бы — «

Джордж: «Нет».

Марк: «Хотя бы пять долбаных минут! Пять минут перед тем, как он сдастся!»

Джордж: «Я не хочу снимать пять минут про то, как корабль качается в болоте наподобие игрушки для ванной».

Марк: «Святые угодники! Если этот жалкий неудачник зовется мастером Силы, тогда все в Галактике должны были бы владеть ею! Люди становились бы джедаями потому, что это было бы проще, чем закончить среднюю школу».

Джордж: «Слушай, ты актер. А я сценарист. Так что просто говори, что у тебя написано в сценарии».

Марк: «Люди на это не купятся».

Джордж: «Купятся, уж поверь».

Марк: «Они плюнут и пойдут в театр».

Джордж: «Они будут сидеть и кивать, не замечая ничего необычного. Ты просто не понимаешь человеческую натуру. Люди не будут стараться даже пять минут перед тем, как сдаться, пусть даже на кону будет судьба всего человечества».

Создание сообщества

Фрагменты цепочки о создании сообщества рационалистов

Общий уровень здравомыслия

Элиезер Юдковский

Перефразирую «Байесианца с чёрным поясом» 1: за каждой впечатляющей, драматичной ошибкой кроется история о более важной и менее драматичной ошибке, без которой первая не случилась бы.

Даже если завтра повсюду в мире магическим образом исчезнут все следы религии, то, хотя жизнь многих людей и улучшится, нам всё ещё будет очень далеко до решения серьёзных проблем со здравомыслием, из-за которых вообще существует религия.

У нас есть веская причина потратить часть наших усилий на устранение религии, ведь религия — это непосредственная проблема. Однако религия исполняет и роль задохнувшейся канарейки в угольной шахте. Религия — это знак, симптом большей проблемы, которая никуда не денется просто потому, что кто-то лишится своей религии.

Рассмотрим мысленный эксперимент: чему вы могли бы научить других людей, с условиями, что это правда, это полезная широко применимая рационалистская техника, это напрямую не касается религии, но это могло бы подтолкнуть людей от религии отказаться? Даже так: представьте, что вы опросите всех ваших студентов через пять лет, чтобы посмотреть, как много из них откажется от религии по сравнению с контрольной группой. Но если вы хотя бы чуть-чуть попытаетесь сражаться с религией напрямую, вы провалите эксперимент. На уроках вам запрещается упоминать религию и любое религиозные утверждения, вам даже нельзя никак намекать на них. Все ваши примеры должны основываться на ситуациях из реального мира и не иметь ничего общего с религией.

Если мы не сражаемся с религией напрямую, чему мы научим людей, чтобы поднять общий уровень здравомыслия до уровня, при котором религия исчезнет сама собой?

Ниже перечислены несколько тем, которые я уже освещал. У меня встречались упоминания религии, но от них можно легко избавиться.

Аффективные смертельные спирали — множество не сверхъестественных примеров.

Как избегать кешированных мыслейфальшивой мудрости и давления конформизма.

Свидетельства и бритва Оккама — правила вероятности.

Нижняя строчка / Двигатели познания — работа Разума с точки зрения причин и следствий.

Таинственные ответы на таинственные вопросы и вся связанная с этим цепочка. Вопросы вроде «Убеждения должны окупаться» и стоп-сигналов прекрасно иллюстрируются историческими примерами витализма и флогистона.

Несуществующие онтологически базовые разумные сущности — примените ошибку проецирования ума к вероятностям, двигайтесь от холизма к редукционизму, затем переходите к работе мозга и когнитивным наукам.

Множество вспомогательных техник из «Кризиса Веры» — хотя вам лучше подыскать какое-то другое название для этой техники высшего уровня, которая позволяет обновлять свои убеждения на основании свидетельств.

Тёмная сторона эпистемологии — учить этому не упоминая религию будет сложновато, но возможно как пример из реальной жизни подойдёт запись допроса какого-нибудь деятеля сетевого маркетинга.

«Теорию удовольствия» можно преподавать как теорию утопической фантастики без упоминания теодиции.

Наслаждение обыденностьюнатуралистическая метаэтика, и так далее, и так далее.

Но давайте посмотрим с другой стороны.

Предположим, что мы знаем учёного, который всё ещё религиозен: не важно, имеем мы дело с активным участием в религиозной жизни или с неясными случайными высказываниями о чем-то «духовном».

Теперь мы знаем, что этот человек не понимает во всех тонкостях…

…что есть свидетельство и почему;

…бритву Оккама;

…что два правила выше вытекают из законов и причинно-следственного механизма, благодаря которым мозг составляет карты, и не отменяются, когда речь идёт о зубных феях;

…чем отличаются настоящие ответы от затычек для любопытства;

…как переосмысливать что-либо, вместо того, чтобы просто повторять услышанное;

…некоторые основные направления науки за последние три тысячи лет;

…сложные искусства обновления убеждений на основе новых свидетельств и отказа от устаревших убеждений;

…эпистемологию начального уровня;

…честности перед собой продвинутого уровня;

…и так далее, и так далее, и тому подобное.

Если посмотреть на этот список, то видно, что изучить все его составляющие не так уж сложно. Быстрое введение во всё это (кроме натуралистической метаэтики) могло бы оказаться… обязательным предметом второго курса?

Но даже некоторые нобелевские лауреаты не прошли такой курс! Пример Ричарда Смолли может показаться некорректным, но есть и более пугающий пример Роберта Ауманна.

И их нельзя считать отдельными исключениями. Если бы все их коллеги прошли бы такой курс, они бы поправили Смолли и Ауманна (дружески отвели бы в сторонку и объяснили базовые принципы) или относились бы к ним достаточно настороженно и не дали бы Нобелевскую премию. Ведь если рассуждать реалистично (пусть это и кажется несправедливым), разве получил бы Нобелевскую премию учёный, публично рассуждающий о существовании Санта Клауса?

Именно об этом и говорит нам мёртвая канарейка, религия: общий уровень здравомыслия сейчас смехотворно низок. Даже в научной элите.

Если мы выкинем мёртвую гниющую канарейку, то в нашей шахте станет пахнуть чуть лучше, но уровень здравомыслия значительно не вырастет.

Я не планирую критиковать движение нео-атеистов. Вред, нанесённый религией, — это очевидная существующая опасность, или даже продолжающееся бедствие. Сражение против непосредственных последствий религии приоритетней использования её в качестве канарейки или экспериментального индикатора. Но даже если Докинз, Деннет, Харрис и Хитченс каким-то образом окончательно победят даже в самых далёких уголках человеческого мира, настоящая работа рационалистов только начнётся.

1.Юдковский ссылается на блог «Black Belt Bayesian», который уже не существует. — Прим.перев.

Чувство, что большее возможно

Элиезер Юдковский

Предыдущий в серии: Raising the Sanity Waterline (English)

Продолжает: Учи невыучиваемому

Когда учишь людей теме, которую ты пометил как «рациональность», помогает, если они уже заинтересованы в ней. (Есть менее прямые пути учить людей составлять карты, отражающие территорию, или оптимизировать реальность в соответствии с их ценностями, но я выбрал именно явный метод.)

И когда люди объясняют, почему они не заинтересованы в рациональности, одна из самых частых причин — это что-то вроде: «Я знаю парочку рациональных людей и они не кажутся мне более счастливыми»

О ком они думают? Наверное, об объективистах или о ком-то похожем. Может, об обычном учёном (English), которого они знают. Или обычном атеисте (English).

Это далеко не самая суть рациональности, как я и говорил прежде.

Даже если ограничиться людьми, способными вывести формулу Байеса — что уже вычёркивает 98% вышеназванных — это всё ещё не суть рациональности. В смысле, это же довольно базовая теорема.

С самого начала у меня было чувство, что должна существовать какая-то дисциплина познания, искусство мышления, навык, делающий людей заметно компетентнее, мощнее; эквивалент Поднятия Уровня в Крутости (English).

Но когда я смотрю на окружающий мир, я не вижу этого. Иногда я замечаю намёк, эхо того, что должно быть возможно, когда читаю творчество Робина Доуса, Даниэла Гилберта, Туби и Космидеса [1]. Отдельные маститые учёные-психологи, которым далеконе всё равно — настолько не всё равно, что, мне кажется, их коллеги чувствуют себя неудобно, ведь не круто заботиться о чём-то настолько сильно. Они уловили ритм, единство, пронизывающее их аргументы —

Но даже это… всё ещё не самая суть рациональности.

Даже среди тех немногих, кто впечатляет меня отголоском брезжущей внутренней мощи, я не думаю, что их мастерство рациональности может сравниться со, скажем, мастерством математики Джона Конвэя [2]. Базовое знание, которое мы привлекаем к построению нашего понимания — если извлечь только части, которые мы использовали, а не всё, что было необходимо изучить, чтобы отыскать их — не сравнимо по величине со всем тем, что профессиональный инженер-атомщик знает про строение ядерных реакторов. Наверное, оно даже не сравнится с тем, что обычный инженер знает про мосты. Мы практикуем наши навыки способами, которые выучили постфактум; однако, эта практика и близко не стояла с тренировочным режимом олимпийского бегуна или даже игрока в теннис средней лиги.

И корень этой проблемы, как я подозреваю, это то, что мы ещё не собрались вместе и не систематизировали наши навыки. Нам пришлось создавать их постфактум, и есть верхний предел, как много один человек может сделать, даже если он может привлечь работу, проделанную в других научных областях.

Основное препятствие, сбивающее нас с правильного пути, — это сложность тестирования результатов тренировочных программ, следовательно мы не можем так просто получить методы, основанные на экспериментальных результатах. Я напишу больше на эту тему, потому что мне кажется, что распознание успешных методов и отделение их от провальных — важная, блокирующее дальнейшее развитие проблема.

Существуют эксперименты, исследующие балансирующие поправки для исправления отдельных когнитивных искажений, но они больше похожи на «заставь студентов практиковаться час, затем протестируй их через две недели», а не на «проведи половину записавшихся через версию А трёхмесячной тренировочной программы, а половину — через версию Б, а затем проведи исследование через пять лет». Вытекающее из обстоятельств количество усилий подходит для обучения людей, который Действительно Серьёзны Насчёт Рациональности, но никак для тех, кто Готов Потратить Час Времени Или Около Того.

Дэниэл Бурфут [3] замечательно заметил, почему интеллект кажется решающим фактором в рациональности: когда приходится импровизировать с совсем малым багажом знаний и количеством систематической практики, интеллект оказывается на самом важном месте.

Почему «рационалисты» не окружены видимой аурой мощи? Почему они ещё не на самой верхушке любой элиты любого направления, имеющего дело с мышлением? Почему большинство «рационалистов» кажутся обычными людьми, возможно со слегка большим интеллектом, с ещё одной игрушкой в чулане?

Тут можно придумать несколько ответов, но один из них определённо состоит в том, что они практикуются в рациональности намного менее систематично, чем каратист с первым даном — в поединках.

Я не ухожу от критики. Я не бейцукай (English), потому что есть граница того, как много Искусства можно создать в одиночку и как сильно можно полагаться на умозрительные заключения без экспериментально выявленной статистики. Я знаю о единственномиспользовании рациональности под названием «редукционизм запутывающих знаний». Об этом я спрашивал свой мозг, это он мне дал. Есть и другие искусства, я думаю, которые могла бы включить зрелая рационалистская тренировочная программа, которые сделали бы меня сильнее, счастливее и эффективнее. Если бы я только мог пройти через стандартизированную тренировочную программу, собирая сливки с методов обучения, экспериментально подтверждённых, как эффективные. Но моя жизнь не вместит ещё один огромный сфокусированный поток усилий, который я вложил в моё под-искусстворациональности, создавая его с нуля.

Я считаю себя в чём-то лучше каратиста с первым даном, но в чём-то и хуже. Я могу пробить кирпич и уже работаю над сталью, при том, что моя конечная цель — адамантий. Но у меня весьма приблизительное понимание того, как следует бить, блокировать или бросать в уличном бою.

Почему есть школы боевых искусств, но нет рационалистских додзе (English)? (Этот вопрос был первым в моём первом посте в блоге (English).) Разве бить важнее чем думать?

Нет, но гораздо легче проверить, ударил ли ты кого-то или нет. Это часть обучения, важная часть.

Но что ещё более важно, есть люди, которые хотят бить, которые следуют идее, что должно быть систематизированное искусство сражения, которое сделает обучающегося заметно более мощным бойцом, со скоростью и изяществом за пределом возможностей не практикующихся. Они идут в школу, которая обещает научить их этому. И эта школа существует, потому что давным-давно у каких-то людей было чувство, что большее возможно. Эти люди собрались вместе, поделились между собой техниками, практиковались вместе, формализовали знания и в конце-концов разработали Систематизированное Искусство Боя. Они добились так много потому что считали, что должны быть круты, и были готовы вложить усилия.

Сейчас они добились чего-то стоящего этим стремлением, в отличие от тысячи других стремящихся к крутости, потому что могли сказать, ударили они цель или нет; это дало возможность школам регулярно соревноваться друг с другом в реалистичных соревнованиях с явно определёнными победителями.

Но до всего этого было стремление, желание стать сильнее, чувство, что большее возможно. Видение скорости, силы и грации, которой они ещё не обладали, но могли быобладать, если бы вложили уйму работы, которая позволила бы им систематизировать, тренироваться и тестировать.

Почему у нас ещё нет Искусства Рациональности?

В-третьих, потому что современные «рационалисты» имеют проблемы в командной работе: об этом я напишу больше.

Во-вторых, потому что сложно проверить, успешна ли тренировка или какая из двух школ сильнее.

Но во-первых, потому что у людей нет ощущения, что рациональность — это что-то, что должно быть систематизировано, тестируемо и передаваемо, как боевое искусство, что должно включать так же много знания, как и инженерия, чьи суперзвёзды должны практиковаться так же усердно, как и шахматные гроссмейстеры, чьи успешные адепты должны быть окружены видимой аурой крутости.

И обратно, они не оглядываются на отсутствие видимой мощи, и не говорят: «Должно быть, мы делаем что-то не так»

«Рациональность» кажется ещё одним хобби, о котором люди говорят на вечеринках, искусственным разговорным одеянием с немногими или вовсе никакими бонусами; при том не кажется, что этот подход неверен.

[1]: Robyn Dawes, Daniel Gilbert, Tooby & Cosmides

[2]: John Conway

[3]: Daniel Burfoot

Прочие материалы

Прочие материалы с lesswrong.com

Сюда попадают все материалы, которые не входят в книгу «Рациональность: от ИИ до Зомби». Также здесь могут встречаться материалы, которые в упомянутую книгу входят, но как часть «Цепочек», которые почти не переведены на русский.

Знание задним числом

Элиезер Юдковский

Знание задним числом это искажение, при котором люди, знающие ответ, значительно переоценивают его предсказуемость или очевидность в сравнении с оценками тех, кто данный ответ заранее не знает. Иногда это искажение называют эффектом «я-знал-это-наперед».

Фишхофф и Бейт [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе, о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо большую вероятность, чем любая другая или контрольная группа.

Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Камин и Рахлинский [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57 % экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56 % респондентов этой группы заключили, что город был преступно халатен.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году космический челнок Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

Вскоре после 11 сентября я подумал про себя, что сейчас кто-либо вспомнит про предупреждавшие сигналы разведки или наподобие этого, после чего знание задним числом начнет свою работу. Да, я уверен, что были предупреждения об Аль-Каиде, но вероятно были такие же предупреждения и об активности мафии, незаконной продаже ядерных материалов и вторжении с Марса.

Поскольку мы не видим цену всей картины, мы склонны выучивать только частные уроки. После 11 сентября Федеральное авиационное агенство запретило пользоваться на самолетах ножами для бумаг - словно бы проблема заключалась в том, что была пропущена эта частная «очевидная» мера предосторожности. Мы не выучили главный урок: цена эффективных мер предосторожности крайне высока, поскольку вам нужно стараться понять, что проблемы не так очевидны, какими кажутся прошлые трудности в свете знания задним числом.

Тестирование модели подразумевает под собой рассмотрение, насколько вероятен наблюдаемый исход. Знание задним числом систематически искажает этот тест; мы думаем, что у нашей модели больше вероятность быть истинной, чем на самом деле. И простое знание об этом когнитивном искажении не помогает убрать его влияние. Вам нужно выписывать ваши предсказания заранее. Или как говорит Фишхофф (1982):

Когда мы пытаемся понять прошлые события, мы неявно тестируем гипотезы или правила, которые используем для интерпретации и предсказания мира вокруг нас. Если, в свете знания задним числом, мы систематически недооцениваем сюрпризы, которые прошлое готовило и готовит для нас, мы подвергаем эти гипотезы слишком слабым тестам, и, возможно, не находим достаточно причины менять их.

Пример мотивированного продолжения

Элиезер Юдковский

Я могу понять многих комментирующих в «Пытки против песчинок в глазу»(English), которые утверждают, что предпочтительней песчинки в глазах у 3^^^3 (удивительное большое, но конечное число) людей, чем пятидесятилетняя пытка одного человека. Если вы думаете, что песчинка просто не имеет значения, пока нет других посторонних эффектов — если вы буквально не предпочитаете отсутствие песчинки ее наличию — тогда ваша позиция последовательна. (Хотя я подозреваю, что многие сторонники песчинок выразили бы иное предпочтение, если бы не знали о жале дилеммы.)

Так что хоть я и на стороне тех, кто выбирает ПЫТКУ, но я могу понять и тех, кто выбирает ПЕСЧИНКИ.

Но некоторые из вас говорят, что вопрос бессмысленен; или что вся мораль относительна и субъективна; или что вам нужно больше информации, прежде чем вы можете решить; или вы говорите о других запутывающих аспектах проблемы; и тогда вы не хотите выражать свои предпочтения.

Простите. Не могу поддержать вас в этом.

Если вы на самом деле отвечаете на дилемму, тогда не имеет значения какой выбор вы сделаете, все равно придется от чего-то отказаться. Если вы скажете ПЕСЧИНКИ, вы откажетесь от вашего утверждения на основании определенного вида утилитаризма; вы можете волноваться, что вы недостаточно рациональны, или что другие обвинят вас в приверженности большим числам. Если вы скажете ПЫТКА, вы примете исход, что там есть пытка.

Я фальсифицируемо предсказываю, что большинство тех, кто уходит от ответа, на самом деле уже знают свой ответ — либо ПЫТКА, либо ПЕСЧИНКИ — от высказывания которого они уходят. Возможно просто на долю секунды прежде чем запутывающе-вопросная операция закончится, но я предсказываю, что уход есть. (для большей конкретности: я не предсказываю, что вы знали и выбрали и имели в сознании прямо сейчас некоторый определенный ответ, который осознанно не даете. Я предсказываю, что ваше мышление склонно к определенному неудобному ответу, по крайней мере на долю секунды, прежде чем вы начнете искать причины, чтобы поставить под вопрос саму дилемму.)

В дискуссиях на тему биоэтики, вы очень часто можете видеть экспертов, обсуждающих то, что они видят как за и против, скажем, для исследований по стволовым клеткам; и тогда, в заключение своей речи, они рассудительно объявляют, что срочно требуется больше обсуждений, с участием всех заинтересованных сторон. Если вы на самом деле приходите к некому заключению, если вы на самом деле делаете вывод, что нужно запретить эти исследования, то на вас ополчатся родственники умирающих от болезни Паркинсона. Если вы выскажетесь за продолжение исследований, то на вас обрушится гнев религиозных фундаменталистов. Но кто будет спорить с призывом к дальнейшим обсуждениям?

Не нравится то, к чему ведут свидетельства в споре дарвинистов и креационистов? Рассмотрите вопрос трезво вопрос и решите, что нужно больше свидетельств; вы хотите, чтобы археологи нашли еще миллиард окаменелостей, прежде чем вы придете к единому выводу. Таким образом вы никогда не скажете ничего кощунственного, и в то же время не порушите свой образ как рационалиста. Продолжайте делать это во всех вопросах, которые могут выглядеть как ведущие в неудобном направлении, и вы сможете поддерживать в своем сознании всю религию.

Настоящая жизнь часто запутана, и нам приходится выбирать все равно, поскольку отказаться от выбора — это тоже выбор. План ничего не делать — это тоже план. Мы всегда что-то делаем, даже бездействуя. Как сказали Рассел и Норвиг, «Отказываться выбирать это все равно что отказываться, чтобы время шло».

Уворачиваться от неудобных выборов — опасная привычка для сознания. Есть определенные случаи, когда мудро отложить суждение (на час, но не на год). Но когда вы встаете перед дилеммой, где все ответы кажутся неподходящими, это не такой случай! Выберите один из неудобных ответов как наилучший по степени неудобности. Если информации недостает, заполните пробелы правдоподобными предположениями или вероятностными распределениями. Делайте все, что угодно, чтобы превозмочь простой уход в сторону от неудобства. Поскольку при этом вы просто пытаетесь убежать.

Пока вы не выбрали промежуточное лучшее предположение, неудобство будет поглощать ваше внимание, отвлекать вас от поиска, искушать вас запутаться в вопросе всякий раз, когда ваш анализ будет приводить вас к определенному направлению.

В реальной жизни, когда люди уклоняются от неудобных выборов, они часто вредят другим точно так же, как и себе. Отказаться от выбора очень часто наихудший выбор, который вы можете сделать. Мотивированное продолжение это не привычка мышления которую себе кто-либо может себе позволить, независимо от того, эгоист это или же альтруист. Цена удобства слишком велика. Важно овладеть привычкой стискивать зубы и выбирать — так же важно как впоследствии искать лучшие альтернативы.

Атеизм = не-теизм + анти-теизм

Элиезер Юдковский

Время от времени нам задают вопросы из серии «Какая польза от того, чтобы постоянно быть недовольным по поводу того, что Бога нет?». С другой стороны, мы слышим такие фразы, как «Младенцы — атеисты от природы». Мне кажется, что такие замечания и довольно глупые дискуссии, которые вокруг них разгораются, показывают, что понятие «атеизм» на самом деле состоит из двух отдельных компонентов. Назовём их «не-теизм» и «анти-теизм».

Чистый «не-теист» — это человек, выросший в обществе, в котором понятие «Бог» просто никогда не было изобретено — письменность в этом обществе изобрели раньше сельского хозяйства, и одомашивание растений и животных было делом рук ранних учёных. В таком мире суеверие добралось только до первобытного этапа, на котором мир кажется наполненным множеством духов, почти не имеющих собственной морали. Затем суеверие вступило в конфликт с наукой и сошло на нет.

Суеверия первобытных охотников и собирателей не очень похожи на то, что мы обычно понимаем под «религией». Ранние западные комментаторы часто высмеивали их, утверждая, что они и вовсе религией не являются; эти комментаторы, на мой взгляд, были правы. У охотников и собирателей сверхъестественные агенты не имеют никакой особенной моральной грани, и не следят за соблюдением каких-то правил. Их можно умилостивить церемониями, но им не поклоняются. И, что самое главное, охотники и собиратели ещё не успели расщепить свою эпистемологию. У первобытных культур нет специальных правил для рассуждений о «сверхъестественных» сущностях, или даже явного разграничения между сверхъестественным и естественным; духи грома просто существуют в рамках естественного мира, о чём свидетельствует молния, и наш ритуальный танец вызова дождя призван управлять ими. Это, наверно, не идеальный танец вызова дождя, но это лучший из всех, что пока придумали — был ещё тот знаменитый случай, когда он сработал…

Если бы вы показали первобытным людям ритуал для вызова дождя, который работал бы со стопроцентной гарантией посредством взывания к другому духу (или завод по опреснению воды, что в принципе одно и то же), они, скорее всего, быстро избавились бы от старого. У них нет специальных правил для рассуждения (English) о духах — ничего, что могло бы оправдать результат теста имени пророка Илии, который прошёл новый ритуал и не прошёл старый. Для отрицания этого теста нужна вера, религиозные убеждения — а это концепция, возникшая уже после аграрного периода. Перед этим не было государств, в которых священнослужители были ветвью власти, боги не являлись моральным стандартом и не следили за соблюдением установленных вождями правил, и за сомнения в них и их существовании не было специального наказания.

И поэтому цивилизация не-теистов, изобретя науку, просто самым обычным образом делает вывод, что дождь, оказывается, вызван конденсацией в облаках, а не духами. Они ощущает некоторую неловкость по поводу старого суеверия и без промедления выбрасывают его прочь. Они не испытывают никаких трудностей, потому что у них есть лишь суеверия, они ещё не успели добраться до анти-эпистемологии (English) (дополнительных правил мышления в определённых категориях, обычно для защиты существующих убеждений от опровержения).

Не-теисты не знают, что они «атеисты», потому что им никто не рассказал, во что они должны не верить — никто не изобрел «высшего бога», который был бы главным в пантеоне, не говоря уже о монолатрии или монотеизме.

Тем не менее, не-теисты уже знают, что они не верят в существование духов деревьев. Мы можем даже предположить, что они не только не верят в лесных духов, но и в целом имеют хорошую, развитую эпистемологию, и поэтому понимают, что постулировать онтологически базовые ментальные сущности (English) (сущности, которые нельзя редукционистски свести к не-ментальным сущностям, таким, как атомы) — не очень хорошая идея.

Как не-теисты встретят идею Бога?

— Вселенная была создана Богом.

— Кем?

— Э-э, гм, Богом. Бог есть Творец — разум, который решил создать вселенную, и…

— А, так вы утверждаете, что вселенная была создана разумным агентом. Похоже, вы говорите о стандартной гипотезе о том, что мы живём в компьютерной симуляции. Вы, кажется, весьма уверены в этом — у вас что, есть какие-то сильные свидетельства?..

— Нет, я не имею ввиду Матрицу! Бог — это не житель другой Вселенной, запустивший симулятор этой, он просто… Его невозможно описать. Он есть Первопричина, Творец всего, и…

— Кажется, вы постулируете онтологически базовую мыслящую сущность. К тому же, то, что вы предложили — это просто таинственный ответ на таинственный вопрос. Вообще, откуда вы всё это взяли? Не могли бы вы начать рассказ со своих свидетельств — какие новые наблюдения Вы пытаетесь объяснить?

— Мне не нужно никаких свидетельств, у меня есть Вера!

— У вас есть что?

И в этот самый момент не-теисты впервые стали атеистами. То, благодаря чему произошла эта трансформация и есть приобретение анти-теизма — формулирование явных аргументов против теизма. Если вы ни разу не слышали о Боге, вы можете быть не-теистом, но не анти-теистом.

Конечно же, не-теисты не собираются изобретать какие-то новые правила для опровержения Бога — они просто применяют стандартные эпистемологические принципы, которые были разработаны их цивилизацией в процессе отказа от других теорий и концепций — таких, скажем, как витализм. Рационалисты утверждают, что именно так и должен выглядеть анти-теизм в нашем мире: анализ религии при помощи стандартных, общих правил. Этот анализ, как становится ясно достаточно скоро, приводит к её полному отбрасыванию — как с точки зрения познания мира, так и с точки зрения морали. Каждый анти-теистический аргумент должен быть частным случаем общего правила эпистемологии или морали, применимого и вне религии — к примеру, в столкновении науки и витализма.

Если принять во внимание различие между не-теизмом и анти-теизмом, то многие современные споры становятся более понятными — например, вопрос «Зачем придавать столько значения тому, что Бога не существует?» можно перефразировать в «Какова польза обществу от попыток распространения анти-теизма?» Или вопрос «Какой толк от того, чтобы быть просто против чего-то? Где ваша позитивная программа?» превращается в «Меньше анти-теизма и больше не-теизма!». И становится понятно, почему фраза «дети рождаются атеистами» звучит странновато — просто дети не имеют понятия об анти-теизме.

Теперь что касается утверждения о том, что религия совместима с разумным познанием: найдётся ли хоть одно религиозное утверждение, которое не будет отвергнуто хорошо развитой, продвинутой цивилизацией не-теистов? Не будет отвергнуто в ситуации, когда ни у кого нет причин быть осторожным с выводами, нет специальных правил, выделяющих религию в отдельный магистерий, и нет последователей существующих традиционных религий, которых не хотелось бы расстраивать?

Борьба против богизма не имеет никакой самостоятельной ценности — общество не-теистов забудет об этом споре на следующий же день.

Но, по крайней мере, в нашем мире безумие — это не очень хорошо, и здравомыслие стоит защищать, и поэтому открытый анти-теизм (такой как, например, у Ричарда Докинза) приносит пользу обществу — разумеется, при условии того, что он действительно работает (вполне возможно, так и есть: в новом поколении всё больше и больше атеистов).

Тем не менее, цель в долгосрочной перспективе — это не общество атеистов. Это общество не-теистов, в котором на вопрос «Если Бога нет, то что же остается?» люди с недоумением отвечают «А разве чего-то не хватает?».

Забудьте кое-что, чему вас учили в школе

Элиезер Юдковский

В «Трех школьных вещах, от которых нужно отучиться» (English) Бен Касноча ссылается на список из трех вредных привычек мышления, составленный Биллом Буллардом: считать важными частные мнения, решать выданные задачи, зарабатывать одобрение других. Альтернативы, предлагаемые Буллардом, не кажутся мне хорошими, однако он уверенно выделил некоторые важные проблемы.

Я могу назвать многие другие вредные привычки мышления, привитые школой (и их будет слишком много, чтобы озвучить здесь), но ограничусь двумя из наиболее нелюбимых.

I. Полагаю, что самая опасная привычка мышления, которую прививает школа, заключается в том, что вы, даже не понимая чего-то, можете просто воспроизвести это, как попугай. Один из базовых навыков, полезных в жизни, — уметь осознать свое замешательство, и школа активно сводит эту способность на нет, приучая школьников думать, что они «понимают», если они в состоянии успешно ответить на аттестационные вопросы, что крайне, невероятно далеко от полноценного усвоения знаний, когда они становятся частью вас. Ученики привыкают, что «питание» означает «класть еду в рот»; экзамен не требует разжевывать ее или проглатывать, и они остаются голодными.

Основной причиной этой проблемы может быть необходимость параллельно изучать несколько предметов (каждый из них, разумеется, требует прочитывать большие объемы текстов и выполнять немалое количество домашних работ); расписание запланированопод неистовую зубрежку, за это время невозможно глубоко разжевать и неторопливо переварить знания. Ученикам колледжей не позволяется быть озадаченными; если кто-то из них решит сказать «Постойте, а понимаю ли я это на самом деле? Может, лучше будет, если я проведу несколько дней, читая статьи на эту тему, или обращусь к другому учебнику», он провалится на всех курсах, которые взял на четверть. Через месяц он смог бы понять материал куда лучше и запомнить надолго, но месяц после экзаменов — слишком поздно; в безумной функции полезности, принятой в университетах, это пустой звук.

Многие учащиеся, прошедшие через этот процесс, после этого даже не осознают, если что-то озадачивает их, и не замечают белых пятен в своем мышлении. Их отучили брать паузу на размышление.

II. Я где-то читал (не помню, где именно), что в некой стране физики, казалось, всё больше становились похожими на фанатичных религиозных экстремистов. Это озадачивало меня, пока автор не предположил, что студенты-физики воспринимают услышанные знания как твёрдую истину и таким образом усваивают привычку доверять авторитету.

Выдавать людям авторитетные знания в огромных объемах может быть опасно, особенно если эти знания верны. Это может навредить критическому мышлению.

Но как же нужно поступать? Рассказывать учащимся историю физики, как одни идеи, в свою очередь, сменялись другими, верными? «Вот старая идея, вот новая, вот эксперимент: новая идея победила!» Повторите этот урок десять раз, и какой навык мышления вы привьете? «Новые идеи всегда выигрывают; каждая новая мысль в физике оказывается верной». Так вы по-прежнему не научите никого критическому мышлению, потому что только покажете, как выглядит история задним числом. Вы привьете студентам мысль, что различать справедливые и ложные идеи — это совершенно прозрачно и прямолинейно, и даже если нет ничего, что подтвердило бы новую блестящую мысль, она, похоже, верна.

Не исключено, что возможно преподавать историю физики с исторически реалистичной точки зрения (не опираясь на ретроспективный взгляд) и показывать студентам различные альтернативы, казавшиеся вероятными в свое время, воспроизводя имевшие тогда место разногласия и дискуссии.

Возможно, вы смогли бы избежать подачи знаний студентам на блюдечке с голубой каемочкой: покажите им различные версии уравнений (выглядящие похожими на правду!) и попросите объяснить, какие из них справедливы, или разработать эксперименты, которые смогут различить альтернативы. Это не настолько затруднительно, как если бы мы требовали замечать необычное без подсказок и изобретать объяснения с нуля, но этот способ был бы громадным улучшением по сравнению с тем, чтобы просто запоминать авторитетные знания.

Пожалуй, вы смогли бы выработать привычку думать так: «Мысли, изложенные в авторитетных источниках, зачастую несовершенны, но необходимо приложить огромные усилия, чтобы найти идею лучше. Большинство возможных изменений привело бы к худшему, хотя каждое улучшение — это обязательно изменение».

Непередаваемое превосходство

Элиезер Юдковский

Есть целый литературный жанр, предлагающий продать вам секретный ингредиент успеха Билла Гейтса или Уоррена Баффета, создателя сверхуспешной холдинговой компании Berkshire Hathaway. Основная идея: вы, да-да, именно вы можете стать следующим Ларри Пейджем.

Но скорее всего даже Уоррен Баффет не сможет сделать из вас следующего Уоррена Баффета. Настолько невероятный успех потому и называется невероятным, что никто ещё не догадался, как достичь его наверняка.

Эти книги в большинстве своём – пустая трата надежды. Они скармливают нам исступление от близкой, но недостижимой возможности славы; поэтому я называю их «порнографией превосходства», с поджанрами вроде «порнографии инвестирования» или «порнографии бизнеса», рассказывающими, как любой бариста может основать следующий Старбакс, а любой экономист - попасть в список Fortune 500. Называть эти произведения «порнографией превосходства», наверное, нехорошо по отношению к настоящей порнографии, которая, по крайней мере, явная фикция.

В нашем мире есть невероятно мощные техники, которые наша цивилизация научилась преподавать, техники наподобие «проверяй идеи экспериментом» или «используй капитал, чтобы добыть больше капитала». Вы, да-да, именно вы, можете стать учёным! Может, не совсем каждый, но достаточно людей могут стать учёными, используя выучиваемые техники и передаваемое знание, чтобы поддержать нашу техногенную цивилизацию.

«Вы можете заново инвестировать выручку от предыдущих инвестиций!» Может, вы и не взорвёте рынок, как Уоррен Баффет, но подумайте о цивилизации в целом, практикующей это правило. Мы справляемся намного лучше, чем это делали древние общества без банков и бирж. (Нет, серьёзно, в целом мы до сих пор лучше.) Потому что приём Реинвестирования может быть передан, может быть записан словами, может работать даже для обычных людей без экстраординарной удачи… мы не считаем его невероятным триумфом. Каждый может его применить, значит, наверное, не так уж он и важен(English).

Уоррен Баффет сумел заставить многих людей ценить инвестирование. Он выдал череду советов, и действенных советов притом, исходя из тех, что я читал. По крайней мере, у меня сложилось впечатление, что если бы он знал, как рассказать, что осталось, он бы попросту рассказал.

Но Berkshire Hathaway и Баффет лично до сих пор тратят огромное количество времени, высматривая выдающихся менеджеров. Зачем? Потому что они не знают никакого систематически надёжного способа брать смышлёных детей и превращать их в обитателей Fortune 500.

Есть вещи, которым можно научиться у звёзд. Но вы не можете ожидать так просто поглотить всю их душу; последние кусочки экстраординарности будут самыми сложными. В лучшем случае, вы выучите несколько полезных трюков, которые также могут выучить немало других людей, но так и не подберётесь к желаемому статусу звезды. Если, конечно, у вас самих нет правильного набора генов, годов усилий, вложенных в тренировки, гор удачи на всём пути, и т.д., и т.п.; идея в том, что вам не добраться туда, читая порнографию.

(Если кто-то и в самом деле изобретёт новый выучиваемый суперприём, способный двинуть нашу цивилизацию далеко вперёд, то уже к тому моменту, как вы его закончите учить, появятся сотни других звёзд, применяющих этот трюк!)

Есть много уроков, которые можно извлечь отсюда, но один из главных - история учит не тому, как побеждать, а тому, как не проигрывать (English).

Намного легче избегать повторения легендарных провалов, чем повторять легендарные успехи. Также ошибки намного легче обобщать между областями. Предполагаемые инструкции «как стать звездой» крайне конкретные (Баффет != Эйнштейн), тогда как уроки «как не быть идиотом» в разных профессиях имеют много общего.

Кен Лэй, может научить, как не погубить ещё один Enron, намного надёжнее, чем Уоррен Баффет – как основать ещё один Berkshire Hathaway. Кейси Серин может научить, как терять надежду, лорд Кельвин - как не поклоняться своему невежеству…

Но такие уроки не сделают из вас звезды. Они могут предотвратить вашу жизнь от несчастий, но это не то же самое, что великие победы. Ещё хуже, эти уроки могут показать, что вы делаете что-то не так, что вы, да-да, именно вы вот-вот пополните списки дураков.

Намного легче продавать порнографию превосходства.

О красоте математики

Элиезер Юдковский

Взглянем на последовательность {1, 4, 9, 16, 25, …}. Можно заметить, что это квадраты: A[k] = k^2. Предположим, однако, что вы не увидели закономерности с первого взгляда. Есть ли способ предсказать следующий элемент последовательности? Да, можно найти разности между соседними элементами (разности первого порядка) и получить следующе:

{4 – 1, 9 – 4, 16 – 9, 25 – 16, …} = {3, 5, 7, 9, …}

Даже если вы не заметили, что это последовательные нечётные числа, сдаваться пока рано. Если вы найдете разности соседних чисел ещё раз (назовем это разностями второго порядка), то у вас получится следующее:

{5 – 3, 7 – 5, 9 – 7, …} = {2, 2, 2, …}

Если вы не сможете увидеть, что это повторяющаяся двойка, то в этом случае вы действительно безнадежны.

Но если вы предскажете, что и следующая разность второго порядка — это тоже 2, то это позволит предположить, что следующая разность первого порядка — 11, а следующий элемент исходной последовательности должен равняться 36. И это, как вы вскоре убедитесь, верно.

Копнув достаточно глубоко, можно обнаружить скрытую закономерность, внутреннюю структуру, устойчивые соотношения под переменчивой поверхностью.

Исходная последовательность была получена возведением в квадрат идущих друг за другом чисел. Однако нам удалось продолжить её, используя, казалось бы, совершенно другой подход — такой, который мы, в принципе, могли бы применить, даже не осознавая, что получаем квадраты. Можете ли вы доказать, что эти способы всегда равносильны? (Ведь до сих пор, как вы заметили, мы этого не доказывали, а только предполагали по индукции.) Можете ли вы, как любил спрашивать Пойя, упростить доказательство так, чтобы оно было ясным с первого взгляда?

По современным стандартам это очень простой пример, но это пример такой вещи, в поисках которой математики порой тратят целые жизни.

Радость математики заключается в том, что мы изобретаем некоторые объекты, а затем обнаруживаем, что они обладают всевозможными удивительными свойствами, которые мы не намеревались им прививать. Это как сконструировать тостер и увидеть, что ваше изобретение по какой-то неясной причине работает ещё и как реактивный ранец и mp3-плеер.

Числа открывали и переоткрывали множество раз на протяжении истории человечества. (Похоже, что на некоторых артефактах, датируемых 30000 г. до Р. Х., действительно находятся насечки, подозрительно напоминающие счетные.) Но я сомневаюсь, что кто-нибудь из людей, придумавших счёт, представлял себе, какой работой он обеспечит будущие поколения математиков. Или то возбуждение, которое однажды будет окружать Великую теорему Ферма или проблему факторизации в RSA-криптографии… И тем не менее всё это неявно уже содержится в определении натуральных чисел, как разности первого и второго порядка — в последовательности квадратов.

Именно это создает впечатление математической вселенной, существующей «где-то там», в платоновском Идеальном, которое люди скорее изучают, нежели создают. Наши определения переносят нас в различные участки Идеального, но мы не создаем там ничего самостоятельно. Так кажется, как минимум, потому, что мы не помним создания всех тех замечательных вещей, которые мы открыли. Первооткрыватели натуральных чисел отправились в Страну счёта, но не создали её, а последующие математики потратили столетия, изучая эту Страну и обнаруживая в ней всевозможные вещи, которые никто не мог даже попытаться себе представить в 30 000 г. до Р. Х.

Сказать, что люди «изобрели числа» (или неявную сущность, скрытую в числах) — всё равно, что заявить, будто Нил Армстронг своими руками слепил Луну. Вселенная существовала до того, как появились разумные существа, её изучающие, и это подразумевает, что физика предшествовала физикам. Это головоломка, я знаю; но если вы заявите, что физики были первыми, то все станет еще запутаннее, ведь возникновение физика требует, хм, достаточно много физики. Физика опирается на математику, так что последняя (или хотя бы та её часть, которая используется физикой) должна предшествовать математикам. Иначе не было бы структурированной вселенной, существующей достаточно долго, чтобы за миллиарды лет организмы, не знающие даже сложения, смогли эволюционировать в математиков.

Удивительно, что математика — это игра без разработчика, и, тем не менее, в неё в полной мере можно играть.

О, а вот и доказательство, что закономерность, которую мы обсуждали выше, верна:

(k + 1)^2 = k^2 + (2k + 1)

Или, более наглядно:

Думаете, задача квадратов настолько тривиальна, что не заслуживает вашего внимания? Думаете, что нет ничего удивительного в разностях первого и второго порядка? Думаете, они так очевидно подразумеваются в квадратах, что не могут считаться отдельным открытием? Тогда рассмотрите кубы:

1, 8, 27, 64…

А теперь — без прямых вычислений и каких-либо математических действий — можете ли вы с первого же взгляда сказать, какой будет разность третьего порядка?

И, конечно, когда вы узнаете, какова у последовательности кубов разность третьго порядка, вы осознаете, что по-другому и быть не могло.

Пацифизм губит ухоженные сады

Элиезер Юдковский

Основная причина гибели хороших интернет-сообществ — отказ от самозащиты.

Где-нибудь в необъятных недрах интернета найдётся место, где это происходит прямо сейчас. Когда-то это был чистый ухоженный сад интеллектуальных бесед, куда приходили образованные и заинтересованные люди, привлечённые высоким уровнем доносящихся оттуда речей. Но в сад прибывает глупец, и уровень бесед чуточку падает — или даже не на чуточку, если глупец вмешивается в разговоры с достойной лучшего плодовитостью. Сад вянет ещё сильнее, если глупец вежлив и слова его понятны; тогда жители сада связаны обязательством ответить, и тогда глупец начинает захватывать беседы.

И сад начинает гнить, и поэтому в нём уже не так весело играть; привыкшие к саду давние гости не покидают его, но новые люди уже не так охотно приходят сюда. Качество же новоприбывших тоже чуточку снижается.

Затем приходит ещё один глупец, и два глупца начинают говорить друг с другом, и после этого некоторые старожилы — люди самих высоких требований и самих радужных перспектив — покидают сад в поисках лучшей доли где-нибудь там, за горизонтом…

Я успел застать ныне забытый USENET, хоть я и был тогда очень молод. Тот первый интернет пал жертвой Вечного Сентября в незапамятные времена; в сегодняшнем же интернете всегда имеется какой-нибудь способ бороться с нежелательными сообщениями или посетителями. Скорее всего, причиной этому служит спам: бедствие столь вопиющее, что никто его не защищает, и столь обширное, что никто не может его просто игнорировать — так что где-то должен быть банхаммер.

Но некоторые сообщества не хотят опускаться до использования банхаммера, если речь идёт о вторжении глупцов. Они слишком добры, чтобы становиться кошмарными цензорами.

В конце концов, любой воспитанник мира университетской науки знает, что цензура — смертный грех. Смертный грех внутри этих огороженных неприступной стеной садов, вход в которые стоит больших денег и значительных усилий, где студентов волнует мнение своих профессоров, и упаси боже, если вахтёр осмелится открыть рот во время конференции.

Легко наивно возмущаться ужасами цензуры, уже живя в холёном саду. Точно также легко наивно восхищаться добродетелью безусловного ненасильственного пацифизма, когда на страже границ твоей страны уже стоят вооружённые солдаты, а покой твоего города охраняет полиция. До тех пор, пока полиция выполняет свою работу, благочестивость не налагает на тебя никаких серьёзных обязательств и не стоит практически никаких усилий.

Особенность интернет-сообществ, однако, состоит в том, что уже нельзя понадеяться на то, что полиция пропустит благородные лозунги мимо ушей и продолжит исполнять свою работу. Сообществу приходится платить за доброту и всепрощение.

В самом начале, когда сообщество ещё цветёт, цензура кажется ужасающей и излишней мерой. Всё ещё довольно неплохо. Это всего лишь один глупец, и если мы не можем вынести одного глупца, то, гм, терпимость и понимание явно не относятся к числу наших сильных сторон. Глупец может уйти и сам по себе, нет нужды паниковать и вводить цензуру. И пусть участвовать в жизни сообщества стало не так весело — разве какое-то банальное веселье может быть внятным оправданием кошмаров цензуры? Это словно считать, что можно избить человека, если тебе не понравилось, как он на тебя посмотрел.

(Это не очень хорошая аналогия: вступление в сообщество — процесс полностью добровольный, и если многообещающего нового участника насторожит то, как на него смотрят, то он просто не будет вступать в сообщество)

И в конце концов, кто будет цензором? Кому в принципе можно доверить такую власть?

Если сад ухожен, то, скорее всего, довольно многим. Но если сад хоть чуточку разделён внутри, если в нём есть фракции, если в нём найдутся люди, не слишком доверяющие потенциальному носителю банхаммера…

(в глазах таких людей внутренняя политика часто представляется чем-то намного более важным, чем какое-то там нашествие варваров)

…то тогда попытка защитить сообщество обычно объявляется попыткой государственного переворота. Как он посмел объявить себя судией и палачом? Он что, думает, что владеть сервером — значит владеть людьми? Владеть нашим сообществом? Он считает, что возможность редактирования исходников делает его богом?

Должен признаться: долгое время я не понимал, почему предложение о защите встречает такой отпор (я считал, что причина — наивность и больше ничего). Мысль о том, что это последствия инстинкта эгалитаризма, не дающего вождям сосредоточить слишком много власти в своих руках. «Среди нас нет лучших, все мы мужчины, способные сражаться; я принесу свой лук и стрелы» — такая поговорка ходила в одном племени охотников-собирателей (в отличие от шимпанзе, у людей есть «уравнители»: оружие, способное убивать быстро и с расстояния. Похоже, что вожди появились лишь ко времени развития земледелия, когда усложнившаяся жизнь уже не позволяла просто взять и покинуть племя).

Возможно, всё потому, что я вырос в тех областях интернета, где всегда был сисоп, и поэтому мне кажется естественным считать, что владелец сервера несёт определённую ответственность. Возможно, всё потому, что я интуитивно ощущаю: противоположность цензуры — не академия, а двач (да и у того всё равно есть какие-то механизмы для борьбы со спамом). Возможно, я вырос на том просторном пустыре, где главной и единственной важной свободой была свобода выбора того ухоженного сада, который был тебе по нраву, и которому по нраву был ты; на пустыре, дышащим мечтой о поиске страны с хорошими законами. Возможно, я принимал за должное то, что если тебе не нравится местный архиволшебник, то правильным решением будет просто уйти (такое случилось со мной однажды; и я действительно просто взял и ушёл).

А, возможно, потому, что владельцем сервера часто был я. Но я играю честно, поддерживая модераторов даже тогда, когда мы расходимся во взглядах касательно внутренней политики. Я знаю, что происходит, когда сообщество начинает сомневаться в своих модераторах. Любой мой политический враг (если его популярность позволяет ему быть опасным), скорее всего не принадлежит к числу людей, могущих злоупотреблять получаемой вместе с титулом модератора властью (по крайней мере, для конкретно этихцелей); и когда он надевает костюм модератора, я громогласно его поддерживаю: его нужно подгонять, а не останавливать. Выросшие в академии люди попросту не осознают, насколько велика толщина стен недопущения, удерживающих троллей снаружи их холёного сада так называемой «гласности».

Если у сообщества действительно есть основания для сомнения в модераторах, если его модераторы в самом деле используют свою власть в личных целях — то, наверное, это сообщество не стоит того, чтобы его спасать. Но это, как правило, встречается лишь на словах, и почти никогда — на деле, насколько мне известно.

В любом случае, озарение касательно эгалитаризма (глубинного стремления не допустить, чтобы лидер осуществлял слишком много власти), убивающего интернет-сообщества, пришло ко мне совсем недавно. Во время чтения какого-то комментария на LessWrong’е (я не помню, какого именно), если быть точным.

Но я это наблюдал. Снова и снова, одним из участников этой пьесы был я, подталкивающий модераторов и поддерживающий все их решения, нравились ли они мне как люди, или нет; и всё равно, модераторы боялись сделать то, что могло бы предотвратить медленное разложение. Они были слишком скромны и степень их сомнения в себе была на порядок выше, чем моя степень сомнения в них. Дело происходило в прибежище рационалистов, а третье главное искушение рационалистов — грех недоуверенности (English).

Такова суть интернета: войти может любой. И любой может выйти. И поэтому в интернет-сообществе должно быть весело, ведь иначе оно погибнет. Если ты будешь ждать до последнего, ждать до тех пор, пока не увидишь абсолютный, неоспоримый, вопиющий кошмар — ждать столько, сколько бы ждал полицейский-офицер перед тем, как открыть огонь — потакать своей совести и добродетелям, усвоенным внутри огороженной стеной крепости, и начнёшь действовать лишь тогда, когда ты будешь уверен в своей правоте и не будешь бояться вопрошающих взглядов — то в момент принятия мер будет уже поздно.

Я видел, как сообщества рационалистов умирали из-за того, что они слишком мало доверяли своим модераторам.

Но это — не то же самое, что и система кармы, на самом деле.

Если речь идёт о системе кармы, то доверять нужно себе.

Мне хочется привести небезызвестную цитату: «Ты можешь не верить в себя. Но поверь в меня, того, кто верит в тебя!»

Потому что я действительно и без шуток думаю, что, если ты хочешь минусануть комментарий, который кажется тебе низкокачественным — но всё же ты медлишь, боясь, что на самом деле желание минусануть возникло лишь из-за того, что ты не согласен с заключением или недолюбливаешь автора, нервничая из-за того, что кто-то может обвинить тебя в конформизме, бездумном поддакивании или (о ужас!) в осуществлении цензуры — то, я уверен, как минимум в девяти случаях из десяти этот комментарий действительно будет низкокачественным.

У тебя есть минусовалка. Используй её. Или USENET.

Полезная идея истины

Элиезер Юдковский

Помню, как я однажды сдавала письменную работу по экзистенциализму. Преподаватель вернула мне её с оценкой «плохо». Она подчеркнула слова «истина» и «истинный» везде, где они встречались в эссе, примерно двадцать раз, и рядом с каждым поставила вопросительный знак. Она хотела узнать, что я понимаю под истиной.

— Даниэлла Эган

Я понимаю, что значит называть гипотезу элегантной, или фальсифицируемой, или соответствующей экспериментальным данным. Мне кажется, что называть убеждение «истинным», или «настоящим», или «действительным» — это всего лишь делать различие между утверждением, что вы во что-то верите, и утверждением, что вы во что-то очень-очень сильно верите.

— Дейл Каррико

Итак, что такое истина? Движущаяся толпа метафор, метонимий, антропоморфизмов, — короче, сумма человеческих отношений, которые были возвышены, перенесены и украшены поэзией и риторикой и после долгого употребления кажутся людям каноническими и обязательными.

— Фридрих Ницше

Задача на ложные убеждения «Салли–Анна» — это эксперимент, который используется, чтобы установить, понимает ли ребёнок разницу между убеждением и реальностью. Проводится он так:

Ребёнок видит, как Салли прячет шарик в закрытую корзину, а Анна за этим наблюдает.

Салли выходит из комнаты, а Анна вынимает шарик из корзины и прячет его в закрытую коробку.

Анна выходит из комнаты, и Салли возвращается.

Экспериментатор спрашивает ребёнка, где Салли будет искать шарик.

Дети до четырёх лет говорят, что Салли будет искать шарик в коробке, а более старшие дети — что в корзине.

Человеческие дети, начиная с возраста (обычно) в четыре года, впервые начинают понимать, что это значит, когда убеждения утрачивают связь с реальностью. Трёхлетний ребёнок моделирует только то, где находится шарик. Четырёхлетний ребёнок, начиная вырабатывать теорию сознания, отдельно моделирует, где находится шарик, и отдельно — где находится шарик по убеждению Салли, и может заметить, когда эти понятия конфликтуют — когда у Салли есть ложное убеждение.

Любое осмысленное убеждение имеет условие истинности, то есть реальность может каким-то образом быть такой, чтобы это убеждение было истинным или наоборот, ложным. Если мозг Салли содержит мысленный образ шарика в корзине, то в реальности шарик действительно может лежать в корзине — и в этом случае убеждение Салли называется «истинным», поскольку реальность удовлетворяет его условию истинности. Либо же возможно, что Анна вынула шарик и спрятала его в коробке, и в этом случае убеждение Салли называется «ложным», поскольку реальность не удовлетворяет его условию истинности.

Математик Альфред Тарский однажды описал понятие «истины» как бесконечную серию условий истинности:

Предложение «снег белый» истинно тогда и только тогда, когда снег белый.

Предложение «небо голубое» истинно тогда и только тогда, когда небо голубое.

Теперь кажется, что различие тут тривиально: зачем вообще говорить о предложениях, если предложение выглядит настолько похожим на реальность, когда и предложение, и реальность описаны на одном и том же языке?

Но когда мы оглядываемся на задачу «Салли–Анна», это различие становится куда яснее: убеждение Салли закодировано конфигурацией нейронов и нейронных путей в мозгу Салли, во влажной и чрезвычайно сложной органической ткани массой в килограмм с третью, находящейся внутри черепа Салли. Сам же шарик — это маленькая пластиковая сфера, которая перемещается между корзиной и коробкой. Сравнивать убеждение Салли с шариком — значит сравнивать совершенно разные вещи.

Тогда зачем вообще говорить об абстрактных «предложениях», а не об убеждениях, закодированных нейронами? Может быть так, что Салли и Фред верят «в одно и то же», то есть их мозги содержат внутренние модели шарика в корзине — то есть оба утверждения, каждое в своём мозге, имеют одинаковое условие истинности. В этом случае можно абстрагировать то, что эти убеждения имеют между собой общего, то есть общее условие истинности, в виде предложения или утверждения, которое мы считаем истинным или ложным отдельно от каких-либо верящих в него мозгов.

Некоторые мыслители выражают панику по поводу того, что любое суждение об истине — любое сравнение убеждения с реальностью — является частью чьего-то мышления, и, казалось бы, всего лишь сравнивает чужое убеждение со своим собственным:

То есть получается, что все эти разговоры об истине — это всего лишь сравнение чужих убеждений со своими и попытка установить свой авторитет? Получается, что слово «истина» — всего лишь оружие в борьбе за власть?

Мало того, мы даже не можем напрямую сравнить чужие убеждения с своими собственными. Мы можем только сравнить, внутри себя, наше убеждение о чьём-то чужом убеждении с нашим собственным убеждением — сравнить нашу карту их карты с нашей картой территории.

Аналогично получается, что когда мы говорим о наших собственных убеждениях, что они «истинны», это означает, что мы сравниваем свою карту своей карты со своей картой территории. Обычно люди не ошибаются в своём представлении о том, во что они верят. Хотя из этого правила есть определённые исключения, обычно карта карты верна, то есть люди обычно имеют верные убеждения о том, какие убеждения они имеют:

Следовательно, сказать «Я считаю, что небо голубое, и это верно!» — обычно значит выразить ту же информацию, которую выражают предложения «Я считаю, что небо голубое» или просто «Небо голубое», то есть информацию о том, что ваша мысленная модель мира содержит голубое небо.

Медитация:

Если это так, то получается, что постмодернисты правы? Получается, что все эти рассуждения об «истине» — это всего лишь попытка установить приоритет ваших собственных убеждений над чужими, и нет способа сравнить убеждение с самой реальностью, а не с содержимым чьей-то головы?

Здесь и далее «медитация» — это загадка, которую читателям предлагается попытаться решить самостоятельно, прежде чем двигаться дальше. Это моя несколько неуклюжая попытка отразить результаты исследований, показавших, что читатели значительно чаще запоминают какой-то факт или решение проблемы, если сначала пытаются решить проблему сами, прежде чем прочитать решение. Удастся вам решить проблему или нет, главное — попытаться и только затем читать дальше. Здесь отражена также проблема, существующая по мнению Майкла Вассара: поскольку статьи такого рода часто кажутся очевидными после прочтения, читателям зачастую сложно визуализировать разницу между «до» и «после», и для целей обучения эту разницу полезно себе представлять. Поэтому, пожалуйста, попытайтесь сначала высказать свой собственный ответ на медитацию — в идеале прошепчите его себе, либо двигайте губами, представляя, как вы его проговариваете, чтобы сделать его явным и доступным для вашей памяти — прежде чем продолжать. Попытайтесь также осознанно заметить разницу между вашим ответом и ответом, приведённым в статье, включая любые дополнительные или отсутствующие детали, и не пытайтесь увеличить или уменьшить это различие.

Ответ:

Ответ, который я дал Дейлу Каррико — который заявил мне, что знает, что означает фальсифицируемость убеждения, но не знает, что означает его истинность, — состоял в том, что мои убеждения определяют мои экспериментальные предсказания, но только реальность может определять мои экспериментальные результаты. Если я очень сильно верю в то, что я умею летать, то это убеждение может сподвигнуть меня сделать шаг с обрыва, ожидая, что он безопасен; но только истинность этого убеждения может спасти меня от смертельного падения.

Поскольку мои ожидания иногда конфликтуют с тем, что я затем вижу и ощущаю происходящим вокруг меня, мне нужны разные названия для того, что определяет мои экспериментальные предсказания, и для того, что определяет мои экспериментальные результаты. Первое я называю «убеждениями», а второе — «реальностью».

Вы не получите прямого столкновения между убеждениями и реальностью — или между чужими убеждениями и реальностью — если будете сидеть в комнате с закрытыми глазами. Но если вы откроете глаза, ситуация изменится!

Давайте проследим за тем, как ваш мозг получает информацию о том, что ваши шнурки развязаны:

Фотон покидает Солнце и летит к Земле через её атмосферу.

Ваш шнурок поглощает и снова испускает этот фотон.

Отражённый фотон проходит через зрачок вашего глаза и направляется на сетчатку.

Фотон падает на клетку-палочку или клетку-колбочку, или, ещё точнее, он падает на фоторецептор, форму витамина А, известную как ретиналь. Эта молекула затем изменяет свою форму, вращаясь вокруг двойной связи, благодаря поглощению энергии фотона. Связанный белок под названием опсин в ответ претерпевает смену конформации, и это возмущение далее распространяется на тело нервной клетки, которая наполняет энергией протон и увеличивает его поляризацию.

Постепенное изменение поляризации распространяется на биполярную клетку и затем клетку ганглия. Если поляризация клетки ганглия превышает определённую границу, клетка испускает нервный импульс — распространяющееся электрохимическое явление поляризации-деполяризации, которое проходит по мозгу со скоростью от 1 до 100 метров в секунду. Таким образом, свет из внешнего мира преобразуется в информацию внутри нервной системы, совместимую с субстратом остальных мыслей.

Нервный сигнал подвергается предварительной обработке другими нейронами в сетчатке, затем в латеральном коленчатом теле в середине мозга, после чего в зрительной коре, находящейся в задней части головы, восстанавливается уменьшенное изображение окружающего мира — изображение, закодированное в частотах испускания сигналов нейронами, составляющими зрительную кору. (Это изображение искажено, поскольку центр поля зрения обрабатывается со значительно большей степенью детализации, чем его края, — то есть распределяется между большим числом нейронов и большей площадью коры.)

Информация из зрительной коры затем направляется в височные доли, которые отвечают за распознавание объектов.

Ваш мозг распознаёт форму развязанного шнурка.

Так ваш мозг обновляет свою картину мира, включая в неё тот факт, что ваши шнурки развязаны. Даже если до этого он ожидал увидеть их связанными! У вашего мозга нет никакой причины не обновлять свою картину мира, если только в этом не замешана политика. Когда фотоны, направляющиеся в сторону глаза, преобразуются в нервные сигналы, они принимают форму, совместимую с другой содержащейся в мозгу информацией, и могут сравниваться с предыдущими убеждениями.

Убеждения и реальность взаимодействуют постоянно. Если бы мозг и его окружение никогда не соприкасались, нам не нужны были бы ни глаза, ни руки, и мозг мог бы иметь намного более простое строение. Организмам вообще не нужны были бы мозги.

Хорошо, убеждения и реальность — это разные сущности, которые пересекаются и взаимодействуют. Но из того, что нам нужны отдельные понятия для «убеждений» и «реальности», ещё не следует потребность в понятии «истины», то есть сравнения между ними. Возможно, мы могли бы говорить отдельно (а) о представлениях некоего разумного существа о том, что небо голубое, и (б) о самом небе. Вместо того, чтобы говорить «Джейн считает, что небо голубое, и она права», мы могли бы сказать «Джейн считает, что небо голубое; кроме того, небо голубое» и тем самым выразить ту же информацию (а) о наших убеждениях относительно неба и (б) о наших убеждениях относительно убеждений Джейн. Мы всегда могли бы, применяя схему Тарского «Предложение “X“ истинно тогда и только тогда, когда X», заменить любое утверждение об истинном предложении утверждением о его условии истинности, о соответствующем состоянии реальности (неба или чего-нибудь ещё). Так мы могли бы вообще избежать этого надоедливого слова «истина», о котором философы ведут бесконечные споры и которым злоупотребляют разные раздражающие личности.

Пусть есть некое разумное существо — для определённости пусть это будет искусственный интеллект, который занимается своей работой в одиночку и которому никогда не требовалось ни с кем спорить о политике. ИИ знает, что «Моя модель полагает с вероятностью 90%, что небо голубое»; он уверен в том, что эта вероятность — это именно то предложение, которое сохранено в его оперативной памяти. Отдельно ИИ моделирует, что «Вероятность того, что мои оптические датчики обнаружат за окном голубой цвет, равна 99% при условии, что небо голубое», и не путает это утверждение с утверждением о том, что его оптические датчики обнаружат голубой цвет, когда он полагает, что небо голубое. Значит, этот ИИ определённо может отличать карту от территории; он знает, что разные состояния его оперативной памяти имеют последствия и причинно-следственные связи, отличные от тех, какими обладают разные состояния неба.

Но может ли этому ИИ понадобиться общее понятие истины — может ли ему понадобиться придумать слово «истина»? Почему, если бы у него было это понятие, он мог бы работать лучше?

Медитация: Если мы имеем дело с искусственным интеллектом, которому не нужно ни с кем спорить о политике, может ли ему когда-нибудь понадобиться слово или понятие «истина»?

Ответ: Абстрактное понятие «истины» — общая идея о соответствии карты и территории — нужно, чтобы выразить такие идеи, как:

Обобщение по всем возможным картам и городам: если ваша карта города точна, то более вероятно, что навигация по этой карте вовремя доставит вас в аэропорт.

Чтобы начертить верную карту города, кто-то должен выйти на улицу и посмотреть на здания. Вы не сможете составить точную карту, сидя в комнате с закрытыми глазами и пытаясь представить, каким бы вы хотели видеть город.

Истинные убеждения с большей вероятностью делают правильные экспериментальные предсказания, чем ложные убеждения; поэтому, если мы будем больше доверять гипотезам, делающим правильные экспериментальные предсказания, наша модель реальности со временем будет становиться всё более верной.

В этом и состоит главное преимущество рассуждений и размышлений об «истине»: мы можем обобщать правила составления карт, соответствующих территориям, и извлекать уроки, которые можно распространять на другие области, а не только на цвет того или иного неба.

Как и всегда, тотальная философская паника оказалась в данном случае необоснованной. Но наша внутренняя оценка «истины» как сравнения между картой карты и картой реальности есть ключевая практическая проблема: в этой схеме мозгу очень простопринять за истину абсолютно бессмысленное предложение.

Пусть некий профессор литературы рассказывает на лекции, что знаменитые писатели Кэрол, Дэнни и Элейн являются «пост-утопистами», что следует из того, что их произведения имеют признаки «колониального отчуждения». Для большинства студентов типичным результатом будет то, что в аналоги ассоциативных массивов в их мозгах к объектам «Кэрол», «Дэнни» и «Элейн» будет добавлено свойство «пост-утопист». Когда в последующей контрольной работе встретится вопрос «Приведите пример писателя — пост-утописта», студент напишет «Элейн». Что, если студент напишет «Я думаю, что Элейн — не пост-утопист»? Тогда профессор смоделирует…

…и пометит ответ как неправильный.

В конце концов…

Предложение «Элейн — пост-утопист» истинно тогда и только тогда, когда Элейн — пост-утопист.

…правильно?

Может, конечно, быть и так, что этот термин действительно что-то означает (хотя я сам его выдумал). Может даже быть и так, что, хотя профессор не может дать хорошего и явного ответа на вопрос «А что вообще такое пост-утопизм?», тем не менее можно показать многим разным профессорам литературы новые произведения неизвестных им авторов, и все они независимо придут к одному и тому же ответу, из чего последует, что какое-то доступное чувствам свойство текста они явно обнаруживают. Мы не всегда знаем, как работают наши мозги, и мы не всегда знаем, что мы видим, и небо было голубым задолго до того, как появилось слово «голубой»; чтобы часть картины мира в вашем мозгу имела смысл, не требуется, чтобы вы могли объяснить её словами.

С другой стороны, может быть и так, что профессор узнал о «колониальном отчуждении», зазубрив то, что ему в своё время говорил его профессор. Может быть так, что единственный человек, чей мозг когда-то вкладывал в эту фразу реальный смысл, уже умер. Так что к тому времени, как студенты узнают, что слово «пост-утопист» — это пароль, который требуется называть в ответ на запрос «колониальное отчуждение», обе фразы стали не более чем словесными ответами. которые требуется заучивать, не более чем набором ответов для теста.

Эти две фразы не выглядят «оторванными» от реальности сами по себе, потому что они не оторваны друг от друга: пост-утопизм как будто имеет последствие в виде колониального отчуждения, а если вы спросите, что следует из колониального отчуждения, то это означает, что автор, скорее всего, пост-утопист. Но если вы очертите кругом эти два понятия, то обнаружите, что ни с чем больше они не связаны. Это плавающие убеждения, никак не связанные со всей остальной моделью. И тем не менее нет никакого внутреннего тревожного сигнала, который бы звучал, когда такое происходит. Точно так же, как «неправота ощущается как правота» — так же, как обладание ложным убеждением ощущается как обладание истинным убеждением, по крайней мере до проведения эксперимента, — так и бессмысленное убеждение может ощущаться как осмысленное.

Группы, обладающие совершенно бессмысленными убеждениями, могут даже враждовать. Если кто-то спросит «Является ли Элейн пост-утопистом?» и одна группа закричит «Да!», а вторая — «Нет!», они могут подраться просто из-за разных кричалок: для начала вражды необязательно, чтобы слова что-то значили. С тем же успехом может начаться драка между группой, кричащей «Ку!», и группой, кричащей «Кю!» Говоря более общо, важно различать видимые последствия высказанного убеждения, содержащегося в мозгу профессора (студенты должны написать на контрольной то, что нужно, иначе профессор посчитает их ответ неверным) и видимые последствия состояния реальности, не оформленного словесно (то есть состояния территории, при котором Элейн действительно является пост-утопистом).

Одним классическим ответом на эту проблему был верификационизм, который считал, что предложение «Элейн — пост-утопист» является бессмысленным, если оно не говорит нам, какие сенсорные ощущения мы ожидаем испытать, если это предложение истинно, и как эти ощущения будут отличаться в случае, когда предложение ложно.

Но теперь представьте, что я направляю фотон в пустоту между галактиками, и он улетает далеко в глубины космоса. В расширяющейся Вселенной этот фотон в конце концов пересечёт космологический горизонт, за которым, даже если фотон упадёт на зеркало, которое отразит его обратно в направлении Земли, он никогда не вернётся сюда, потому что за это время Вселенная расширится слишком быстро. Следовательно, после того, как фотон пересечёт определённую черту, у утверждения «Фотон продолжает существовать вместо того, чтобы исчезнуть» не будет совершенно никаких экспериментальных последствий.

И тем не менее мне кажется — и, надеюсь, вам тоже, — что утверждение «Фотон внезапно исчезает из мироздания сразу же, как только у нас пропадает возможность его когда-либо увидеть, и тем самым нарушает закон сохранения энергии и ведёт себя не так, как все видимые нам фотоны» ложно, а утверждение «Фотон продолжает существовать, улетая в никуда» истинно. И подобные вопросы могут иметь важные последствия в контексте принятия решений: представьте, что мы думаем о снаряжении околосветового корабля, летящего как можно дальше, так что он пересечёт космологический горизонт до того, как он замедлится, чтобы колонизировать какое-нибудь далёкое сверхскопление галактик. Если бы мы думали, что корабль исчезнет из Вселенной, как только пересечёт космологический горизонт, мы бы не стали и рассматривать возможность отправить его в полёт.

Спрашивать себя об ощутимых последствиях наших убеждений полезно и мудро, но они не подходят на роль фундаментального определения осмысленных утверждений. Это отличная подсказка, сигнализирующая о том, что что-то может быть оторванным от реальности «плавающим убеждением», но не абсолютное правило.

Можно попробовать ответить, что для того, чтобы утверждение было осмысленным, реальность должна иметь возможность быть такой, чтобы это утверждение могло быть истинным или ложным; а поскольку Вселенная состоит из атомов, должна существовать такая конфигурация атомов Вселенной, чтобы это утверждение было истинным или ложным. Например, чтобы утверждение «Я в Париже» было истинным, нужно переместить в Париж составляющие меня атомы. Литературный критик может заявлять, что Элейн имеет свойство, называемое пост-утопизмом, но нет никакого способа перевести это заявление в способ перераспределить атомы Вселенной так, чтобы сделать его истинным или же ложным; следовательно, у него нет условия истинности, то есть оно бессмысленно.

И действительно, существуют такие заявления, при которых, если вы остановитесь и подумаете: «Как можно перестроить Вселенную так, чтобы это было истинным или ложным?», то вы внезапно осознаете, что вы не так хорошо понимаете условие истинности этого заявления, как вы думали. Например, «Страдание закаляет дух» или «Все экономические кризисы — результат плохой денежной политики». Эти утверждения необязательно бессмысленны, но их гораздо проще высказать, чем представить себе мир, в котором они истинны или ложны. Точно так же, как и вопрос об ощутимых последствиях, вопрос о способе конфигурации Вселенной является важным индикатором осмысленности или бессмысленности.

Но если бы вы сказали, что для осмысленности утверждения должна существовать конфигурация атомов, делающая его истинным или ложным…

Тогда такая теория, как квантовая механика, изначально была бы бессмысленной, поскольку нет никакого способа распределить атомы так, чтобы сделать её истинной.

И наше открытие, что Вселенная состоит не из атомов, а из квантовых полей, обратило бы все осмысленные утверждения во всём мире в бессмысленные — потому что оказалось бы, что нет никаких атомов, которые можно было бы перераспределить, чтобы выполнить их условия истинности.

Медитация: Какое правило могло бы ограничить наши убеждения только теми, которые могут иметь смысл, не отсекая при этом раньше времени ничего, что в принципе может быть истинным?

Предполагая красоту

Элиезер Юдковский

Если вы посмотрите на последовательность {1, 4, 9, 16, 25, …} и не увидите в ней квадраты чисел, то вы все еще можете успешно предсказать последующие числа, если заметите разности первого порядка — {3, 5, 7, 9, …}. Действительно, ваше предсказание может попасть в точку, хотя у вас нет никакой возможности это проверить, не посмотрев на выдачу генератора. Соответствие может быть выражено алгебраически или даже геометрически. Это и вправду довольно изящно.

Что бы ни прославляли люди, они будут склонны прославлять это еще сильнее; поэтому некоторые скептики считают, что погоня за изящностью подобна болезни; она создает стройную математику вместо того, чтобы разбираться в беспорядке реального мира. «Тебе повезло», — скажут они, — «но тебе не будет везти всегда. Если ты ожидаешь подобной изящности, то ты исказишь видение мира в угоду своим представлениям и отсечешь те куски реальности, которые не вписываются в твою милую картинку».

Я имею в виду, например, следующее. К вам в руки попадает последовательность {1, 8, 27, 64, 125, …}. Отыскав разности первого порядка, вы получите {7, 19, 37, 61, …}. Все эти числа объединяет лишь то, что они простые, но они даже не идут в последовательности простых чисел подряд. Тут, очевидно, нет изящного порядка, какой мы видели у квадратов чисел.

Вы можете попытаться заставить последовательность вести себя, по-вашему, правильно, настаивая, что разности первого порядка должны быть равномерно распределены, а любые отклонения — ошибки измерения (впрочем, лучше о них просто не думать). «Вы решите», — скажет скептик, — «что разности первого порядка отстоят друг от друга примерно на двадцать, являясь простыми числами, так что следующая разность, вероятно, 83, тогда следующим числом в исходной последовательности будет 208. Но действительность с вами не согласится — это 216».

Сами виноваты, раз ожидали ясности и изящества там, где их нет. Вы оказались чересчур привержены абсолютам, слишком нуждались в совершенстве. Здесь-то и зарыта собака (уф… внимание!) редукционизма!

Уже из выбранного мной примера вы могли догадаться, что я не считаю это хорошим подходом к задаче. Ведь здесь не то чтобы совсем не было закономерности, просто нужно было копнуть немного глубже. Последовательность {7, 19, 37, 61, …} непримечательная (встреть вы ее на улице, могли бы и не узнать), но найдите разности второго порядка, и получите {12, 18, 24, …}. Теперь третьего, и у вас будет {6, 6, …}.

Вы забрались глубже, отыскав устойчивый уровень, но он уже был в примере всё это время.

Если вы слишком быстро хватаетесь за увиденную закономерность, допытываетесь совершенства здесь и сейчас, пытаетесь взломать модель, то, возможно, вам никогда не удастся добраться до устойчивого уровня. Если вы подправляете разности первого порядка, чтобы сделать их «более равномерными» в соответствии со своими эстетическими понятиями (еще до того, как обнаружите настоящий закон, заключенный в самой математике), то найденные вами разности второго и третьего порядков окажутся неверными. Может быть, вы даже не затрудните себя найти их. С того момента, как вы приведете разности первого порядка в соответствие со своими представлениями о прекрасном, вы обретете счастье. Или будете громогласно заявлять, что его обрели.

Ничего из вышесказанного никак не противоречит редукционизму. Порядок заключен здесь, просто спрятан глубже. Мораль моей басни в том, что не надо искать прекрасного? Или в том, чтобы горделиво исповедовать это повсеместное мировоззрение об уродливости мироздания? Нет; мораль в том, чтобы переходить на более глубокий уровень в свое время; сначала отмерять, а уж потом резать; не прерывать исследование ради красоты раньше времени. Пока вы в состоянии не принимать преждевременную иллюзорную красоту за чистую монету, все необходимые меры предосторожности на случай, что реальность окажется неизящной, уже соблюдены.

Но разве это не (уф…) вера — искать красоту там, где ее еще не видно?

Как я недавно подметил, если вы скажете «Я много раз видел смену времен года и ожидаю, что завтра солнце взойдет вон в той точке горизона», это будет недостоверно. И если вы скажете, «Я предполагаю, что мне явится джинн и подарит мне сказочное богатство», то это также будет недостоверно. Но это не одна и та же степень недостоверности; недостаточно справедливо называть то и другое одним словом «вера».

Искать математическую красоту, где ее пока не видно, не столь же надежно, как ожидать, что солнце поднимется на востоке. Но, однако, не кажется, что это та же градация неуверенности, что и в случае с джинном, особенно если перед этим вы изучили последние 57 тысяч случаев, когда человечеству удалось найти скрытую закономерность.

И все же постулаты и аксиомы математики — самодостаточные и закрытые структуры. Можем ли мы рассчитывать, что беспорядочный реальный мир обнаружит скрытую красоту? В следующем выпуске нашей радиопередачи мы расскажем об этом. Не переключайтесь!

Против адвокатуры дьявола

Элиезер Юдковский

Из статьи Майкла Рьюза:

Ричард Докинз однажды назвал меня подонком. Он сделал это весьма публично, но не подразумевал желание меня обидеть. Я и не обиделся: мы были и остаёмся друзьями. Причиной его гнева — или даже страданий — было то, что я в ходе публичной дискуссии защищал позицию, которой по-настоящему не придерживался. Мы, философы, все время так делаем; это вариант аргумента «reductio ad absurdum». Отчасти мы делаем это, чтобы подстегнуть дебаты (особенно на уроках), отчасти, чтобы увидеть, насколько далеко можно завести позицию, пока она не разрушится, (и увидеть, почему разрушится), и, отчасти, (будем честны) излить кровожадность, поскольку нам нравится возмущать оппонентов.

Докинз тем не менее, обладает моральной непорочностью — кто-то даже сказал бы моральной закостенелостью — пылкого христианина или идейного феминиста. Даже во имя спора он не может поддержать то, что считает неверным. Делать так не просто ошибочно, считает он; это неправильно в каком-то очень глубоком смысле. Жизнь серьёзна, и есть зло, с которым нужно бороться. Здесь нет места компромиссам или неоднозначностям, даже в педагогических целях. Как говорят квакеры: «Да будет слово ваше: да, да; нет, нет».

Майкл Рьюз ничего не понял.

Когда я был ребёнком, мой отец учил меня скептицизму —

(Папа был в той же степени заядлым скептиком и поклонником Мартина Гарднера и Джеймса Рэнди, в какой и ортодоксальным евреем. Пусть это будет доводом в пользу анти-лечебной силы отделения религии от повседневной жизни.)

— он приводил в пример гипотезу: «Есть объект в поясе астероидов, состоящий целиком из шоколадного торта». Тебе придется изучить каждый объект пояса, чтобы опровергнуть эту гипотезу. Однако, несмотря на то, что эту гипотезу невероятно тяжело опровергнуть, нет и ни одного довода в её пользу.

И маленький Элиезер попросил свой разум поискать аргументы в пользу существования шоколадного торта в поясе астероидов. И вот его разум выдал ответ: «Так как шоколадный торт в поясе астероидов - один из классических примеров плохой гипотезы, если кто-нибудь когда-нибудь изобретёт машину времени, то какой-нибудь шутник подбросит шоколадный торт в пояс астероидов в двадцатом веке, чтобы всё это оказалось правдой».

Так — в очень раннем возрасте — я обнаружил, что мой разум способен, если постараться, придумать аргументы в пользу чего угодно.

Я знаю людей, которых это открытие лишило здравого смысла. Они пришли к выводу, что Разум может быть использован, чтобы отстаивать что угодно. Тогда бессмысленно доказывать, что Бога не существует, потому что вы с тем же успехом могли бы доказывать, что он существует. Ничего не остаётся, кроме как верить, во что захотите.

Сдавшись, они разрабатывают целые философские системы, чтобы их отчаяние выглядело Глубокой Мудростью. Если они заметят, что вы пытаетесь использовать Разум, они просто улыбнутся, погладят вас по голове и скажут: «О, когда-нибудь ты поймёшь, что можешь аргументировать за что угодно».

Быть может, даже сейчас мои читатели думают: «Ох, Элиезер может рационализировать что угодно, это дурной знак».

Но вы знаете… быть ментально гибким не всегда обрекает вас на катастрофу. Я имею в виду, вы этого ожидаете. Но оказывается, что практика отличается от теории.

Рационализация пришла ко мне слишком просто. Было заметно, что это просто игра.

Если бы у меня было хуже с воображением или меня легче было бы поставить в тупик - если бы я не обнаружил, что могу аргументировать любое предположение, и неважно, насколько оно бредовое - тогда, возможно, я бы мог перепутать это занятие с мышлением.

Но я могу даже привести аргументы в пользу существования шоколадного торта в поясе астероидов. Это даже не было трудно; мой мозг сразу же выдал аргумент. Было совершенно ясно, что это мышление — поддельное, а не настоящее. Я ни на мгновение не перепутал игру с реальной жизнью. Я не начал думать, что в поясе астероидов действительно может оказаться шоколадный торт.

Можно было бы ожидать, что любой ребёнок, обладающий достаточно живым умом, чтобы придумать аргументы в пользу чего угодно, точно обречён. Но интеллект не всегда приносит столько вреда, как вы могли бы подумать. В данном случае он просто помог мне в очень раннем возрасте начать различать «рассуждение» и «рационализацию». Между ними ощущалась разница.

Возможно, память меня обманывает… но мне кажется, что даже в таком юном возрасте я посмотрел на предложенный моим мозгом удивительно умный аргумент в пользу путешествующего во времени шоколадного торта и подумал: я должен избегать этого.

(Хотя существуют другие, гораздо более тонкие когнитивные воплощения процессов рационализации, чем бесстыдный, очевидный, сознательный поиск подходящих аргументов. Бессловесное уклонение от рассмотрения той или иной идеи может сбить вас с пути не хуже, чем преднамеренный поиск аргументов против неё. Эти коварные процессы я начал замечать только годы спустя).

Интуитивно я ощущал, что настоящее мышление - это нечто, что дает вам правильный ответ, нравится он вам или нет, а поддельное мышление — это способность доказать что угодно.

Это был невероятно ценный урок —

(хотя, как и многие другие принципы, которые молодой я приобрёл путём анализа вещей, обратных глупости. Он был хорош, когда требовался совет по конкретным проблемам, но мог завести в страшные дебри, когда я пытался применять его, чтобы сделать абстрактные выводы, например, о природе морали)

— который был одним из главных факторов, приведших к моему разрыву с иудаизмом. Тщательно продуманные аргументы и контраргументы древних раввинов были похожи на то фальшивое мышление, которое помогло мне придумать историю про шоколадный торт в поясе астероидов. Только раввины забыли, что это игра, и действительно воспринимали всё всерьёз.

Поверьте, я понимаю традиционный довод в пользу практики адвоката дьявола. Защищая противоположную позицию, вы делаете свой ум более гибким. Вы вытряхиваете себя из привычных рамок. У вас появляется шанс собрать свидетельства против своей позиции, вместо того чтобы защищать её. Вы поворачиваете стол и видите вещи с другой точки зрения. Переход на другую сторону — это честная игра, так что вы разворачиваетесь на 180 градусов, чтобы играть честно.

Возможно, именно это Майкл Рьюз имел в виду, когда обвинил Ричарда Докинза в «моральной ригидности».

Конечно, я не намерен учить людей говорить: «Так как я верю в фей, я не должен ожидать, что мне удастся найти хорошие доказательства того, что фей не существует, так что я не буду искать, потому что это умственное усилие имеет невысокую ожидаемую полезность». Всё это происходит под лозунгом «если вы хотите отстрелить себе ногу, нет ничего проще».

Может быть, существуют какие-то этапы жизни или состояния ума, когда игра в адвоката дьявола может вам помочь. Студенты, которые никогда не задумывались о том, чтобы попробовать искать доводы в пользу обеих сторон проблемы, могут извлечь пользу из понятия «адвокат дьявола».

Но с кем-то, кто находится в этом состоянии ума, я бы скорее начал с того, что политические прения не должны выглядеть односторонними. Нет оснований не ожидать, что с обеих сторон дебатов существуют сильные доводы; одно и то же действие может иметь разные последствия. Если вы не можете представить себе хороших доводов против политического курса, к которому вы благосклонны, или хороших доводов за тот курс, который вы ненавидите, но другие люди одобряют, тогда очень вероятно, что у вас проблема, которая называется «неспособность увидеть другие точки зрения».

Вы, дорогой читатель, вероятно, достаточно хороши в искусстве рассуждения, что если вы смогли закрепиться на правильной дороге, вы не сойдете с нее, если будете играть адвоката дьявола по необходимости. Вы просто будете подсознательно избегать любых аргументов Дьявола, которые будут заставлять вас всерьез нервничать, а затем поздравите себя с выполнением необходимого. Людям на таком уровне нужно более сильное средство. (Пока я рассказал только о средне-сильном средстве).

Если вы можете привести себя в состояние настоящего сомнения и искреннего любопытства, вам уже не нужен адвокат дьявола. Вы можете исследовать противоположную позицию потому что думаете, что она может и правда быть истинной, а не потому что вы играете в игры с шоколадным тортом, путешествующим сквозь время. А если вы не можете привести себя в такое состояние, то может ли вам помочь игра в адвоката дьявола?

У меня нет проблемы придумать аргументы, почему Сингулярность не настанет в ближайшие 50 лет. С некоторыми усилиями я могу представить случай, в котором ее не будет и через 100 лет. Еще я могу придумать правдоподобные сценарии, в которых Сингулярность настанет через две минуты, например, если кто-то делает тайный проект, и он завершается вот прямо сейчас. Я могу придумать правдоподобные аргументы для 10, 20, 30 и 40 лет.

Это не потому что я хорошо играю в адвоката дьявола и придумываю умные аргументы. Это потому что я правда не знаю. Настоящие сомнения присутствуют в каждом случае и я могу их проследить до источника настоящего аргумента. Или, если хотите, я правда не знаю, потому что я могу придумать все эти правдоподобные аргументы.

С другой стороны, мне действительно сложно визуализировать утверждение, что нет типа разума, принципиально более сильного, чем человеческий. Мне сложно поверить, что человеческий мозг, которого едва хватило на то чтобы построить технологическую цивилизацию и придумать компьютеры, теоретически является потолком эффективности интеллекта. Я не могу хорошо аргументировать за это, потому что я сам этому не верю. Или, если хотите, я не верю в это, потому что я не могу за это хорошо аргументировать. Если вы хотите, чтобы кто-то за это аргументировал, найдите того, кто правда в это верит. С очень раннего возраста я стремлюсь избегать образа мыслей, в котором вы можете аргументировать за что угодно.

В состоянии ума и этапе жизни, в котором вы пытаетесь отличить друг от друга рациональность и рационализацию и пытаетесь понять разницу между сильными и слабыми аргументами, игра в адвоката дьявола не может привести вас к неподдельным способам мышления. Ее единственная сила в том, что в некоторых случаях она может показать вам поддельные способы, которые одинаково хорошо работают за обе стороны, и показать вам места, в которых вы не уверены.

Не бывает гроссмейстеров, которые умеют играть только за белых или только за черных. Но в битвах Разума солдат, который дерется за обе стороны с одинаковой силой, имеет нулевую силу.

Так что Ричард Докинз понимает кое-что, чего не понимает Майкл Рьюз: что Разум - это не игра.

Добавлено: Брэндон утверждает, что адвокатура Дьявола это важный социальный, а не индивидуальный процесс. Я об этом, признаюсь, не подумал.

Рациональность — это систематизированное выигрывание

Элиезер Юдковский

«Рационалисты должны выигрывать», сказал я, и, похоже, мне придется прекратить так говорить, потому что под этим понимают не то, что я хотел сказать.

Откуда вообще взялась эта фраза? Из обсуждения задачи Ньюкома: сверхсущество Омега дает вам на выбор две коробки, прозрачную коробку А с тысячей долларов (или аналогичной ценностью) и непрозрачную коробку Б, в которой может быть либо ничего, либо миллион долларов. Омега говорит вам: «В коробке Б есть миллион долларов только в том случае, если я предсказал, что вы возьмете только коробку Б, оставив А». Омега играл в эту игру много раз и предсказывает правильно 99 раз из 100. Вы возьмете обе коробки или только Б?

Распространенная позиция — на деле она вообще доминирующая в современной философии и теории принятия решений — что единственным разумным выбором будет взять обе коробки; Омега уже принял решение и ушел, так что ваше действие не повлияет на содержимое коробок в любом случае (их аргументация). Теперь, так получилось, что определенные типы безрассудных людей вознаграждаются Омегой (который делает это даже до того, как они приняли решение), но это не меняет заключения, что разумнее всего взять две коробки, что сделает вас богаче на тысячу долларов в любом случае, вне зависимости от содержимого Б.

Именно такой тип мышления я хотел раскритиковать, говоря что рационалисты должны выигрывать.

Миямото Мусаси сказал: «Основной целью, когда ты держишь в руках меч, должно быть стремление нанести рану врагу, в любой ситуации. Парируешь ты, бьешь, отбиваешь, делаешь выпад, касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага».

Я сказал: «Если тебе не удалось найти правильный ответ, бессмысленно говорить, что ты действовал правильно».

Вот что я на самом деле хотел донести, когда говорил, что рационалисты должны выигрывать.

Существует точка зрения, которая говорит, что определенный ритуал процесса познания — это образец разумности; таким образом он определяет, что должны делать разумные люди. Но, увы, часто разумные люди проигрывают неразумным, потому что вселенная не всегда разумна. Интеллект это лишь один из путей делать что-либо, не всегда самый подходящий; как если бы профессора разговаривали друг с другом в дискуссионном зале, что иногда срабатывает, иногда нет. Если же толпа варваров атакует дискуссионный зал, по-настоящему толковый и гибкий агент оставит разумность.

Нет. Если «иррациональный» агент превосходит вас систематическим и предсказуемым образом, тогда самое время посмотреть, думаете ли вы «рационально».

Я опасаюсь, что «рационалист» будет держаться за свой метод познания, даже если он терпит неудачу за неудачей, утешая себя: «Я веду себя так добродетельно и разумно, просто ужасно нечестно, что вселенная не дает мне того, что я заслуживаю. Другие просто жульничают, делая все нерационально, вот почему они меня обходят».

Это то, от чего я стараюсь предостеречь, говоря, что рационалисты должны выигрывать. Не скулить, а выигрывать. Если вы продолжаете проигрывать, возможно, вы делаете что-либо не так. Не утешайте себя тем, как вы были замечательно рациональны, если вы проиграли. Это не то, как должно все идти. Это не рациональность неправильна, это вы неправильно используете рациональность.

Это касается и эпистемологической рациональности, если вы осознаете, что думаете о убеждении Х как о разумном (потому что большинство людей верят в это же или просто потому что оно звучит привлекательно), хотя сам по себе мир определенно демонстрирует Y.

Но люди, похоже, понимают это иначе, нежели я имею в виду — словно любой, кто объявляет себя рационалистом, мгновенно преисполняется непобедимого духа, что позволяет им получать все что угодно без усилий и без каких-либо помех или чего-то подобного, я не знаю.

Возможно, альтернативную фразу можно найти у Мусаси, который сказал: «Путь школы Ити — это дух выигрывания, вне зависимости от длины и формы твоего клинка».

«Рациональность — это дух выигрывания»?

«Рациональность — это путь выигрывания»?

«Рациональность — это систематизированное выигрывание»?

Ученые уже всё это знают?

Элиезер Юдковский

poke утверждает:

«Умение выдвигать относящиеся к делу гипотезы – важный навык, развивая который, ученый проводит значительную часть своего времени. Это может не входить в традиционное описание науки – что не означает его отсутствия в институте современной науки, который добывает подлинное, актуальное знание здесь, в реальном мире: несовершенно ваше описание, а не наука».

Знаю, что я называл себя в молодости «глупым», но это лишь словесный оборот; «неумелое владение высоким интеллектом» было бы точнее. Элиезер18 обычно не делал очевидных ошибок – только его «очевидное» не было моим «очевидным».

Нет, я не проходил традиционное обучение. Но когда я оглядываюсь и вижу, что Элиезер18 делал неверно – я вижу множество современных ученых, делающих те же ошибки. Я не вижу ни одного признака, что они были предупреждены лучше, чем я.

Сэр Роджер Пенроуз – физик мирового уровня – все еще полагает, что сознание имеет причиной квантовую гравитацию. Предполагаю, что никто никогда не предупреждал его о таинственных ответах на таинственные вопросы – ему говорили лишь, что его гипотезы должны быть фальсифицируемы и иметь наблюдаемые следствия. Как и Элиезеру18.

«Cознание имеет причиной квантовую гравитацию» имеет проверяемые следствия. Сказанное подразумевает, что можно взглянуть на нейроны и обнаружить когерентную квантовую суперпозицию1, (которая, коллапсируя2?) способствует обработке информации, и что вы никогда не сможете воспроизвести поведение на входе-выходе нейрона, используя расчетную микроанатомическую симуляцию…

… но даже после того, как вы сказали: «Сознание имеет причиной квантовую гравитацию», вы не сможете на этой основе предсказать, как именно ваш мозг помыслит «Я мыслю, следовательно, я существую!» или таинственную красноту красного – даже если вы думаете, что тем самым прояснили вопрос.

Это громадный знак опасности – теперь я понимаю, но это не знак опасности, о которой я был предупрежден, и я сомневаюсь, что Пенроузу когда-либо говорил о ней его научный руководитель. Сомневаюсь, что и Нильс Бор был когда-либо предупрежден о ней, когда пришло время формулировать Копенгагенскую интерпретацию.

Насколько я могу сказать, причина, по которой Элиезер18, и сэр Роджер Пенроуз, и Нильс Бор не были предупреждены, в том, что не существует общепринятого предупреждения.

Я не обобщал понятие «таинственных ответов на таинственные вопросы» в столь многих словах, пока не начал писать байесианский анализ того, что отличает технические, нетехнические и полутехнические научные объяснения.

Сейчас, конечный результат того анализа может быть сформулирован не-технически в терминах четырех знаков опасности:

объяснение действует скорее как затычка для любопытства, чем как управление ожиданием.

у гипотезы нет подвижных частей – секрет не в особом составном механизме, а в явно неделимом веществе или силе.

те, кто предлагает объяснение, лелеют свое невежество; они с гордостью говорят, как явление одерживает победу над обычной наукой или как оно непохоже на обычные природные явления.

даже после того, как ответ дан, явление остается тайной и наделено теми же качествами удивительной необъяснимости, которые у него были изначально.

В принципе, все это могло быть заявлено как прямое следствие витализма. Так же, как простейшая теория вероятности могла быть придумана Архимедом, или древние греки могли разработать теорию естественного отбора. Но фактически никто никогда не предупреждал меня о какой-либо из этих четырех опасностей, в таких выражениях – в лучшем случае предупреждали, что у гипотез должны быть проверяемые следствия. И я не формулировал знаки опасности явным образом, пока не попытался помыслить вопрос в целом в терминах распределения вероятностей – требовалась некоторая избыточность подхода.

У меня просто нет причин верить, что эти предупреждения передаются при научном обучении – это определенно не так для большинства ученых. Среди прочего, это советы по управлению ситуациями смятения и отчаяния, научного хаоса. Как обычному ученому или научному руководителю мог бы представиться случай использовать подобную технику?

Мы только что провели дискуссию о провале одномирности в физике. Ясно, что никто не говорил им о формальном определении Бритвы Оккама, в виде тайного знания или как-то иначе.

Есть известный эффект, состоящий в том, что у великих ученых есть множество великих учеников. Может быть, это связано с тем, что наставники передают навыки, которые они не могут описать. Но я не думаю, что это засчитывается как часть стандартной науки. И если великие наставники не смогли облечь свое руководство в слова и огласить его во всеуслышание, это означает, что такие вещи вряд ли хорошо воспринимаются.

Мыслить в отсутствие явных свидетельств и не ошибиться мгновенно и бесповоротно – очень, очень трудно. Когда ты учишься в школе, ты можешь упустить один момент, а затем научишься пятидесяти другим моментам, которые окажутся верными. Когда ты обдумываешь новое знание в отсутствие сокрушительно подавляющего руководства, ты можешь упустить один момент и через 50 шагов очнуться во Внешней Монголии.

Я вполне уверен, что ученые, которые выключают свой мозг и погружаются в какую-нибудь уютную чепуху, как только покидают пределы своей специальности, не осознают, что разум есть двигатель, и за каждым надежным убеждением есть история причинности. Также, подозреваю, им никогда не говорили, что существует строгая рациональная вероятность, наделенная статусом свидетельства, в котором нет места произволу; даже если вы не можете рассчитать ответ, и даже если вы не получаете надежного указания, чем верить.

Сомневаюсь, что ученые, которых СМИ, рисующие изумительно детальные картины Жизни в 2050 году, попросили погадать о будущем, знали об ошибке конъюнкции. Или знали о том, как представительная эвристика может добиться того, что более детальные истории могут казаться более правдоподобными, притом что каждая лишняя деталь «разбавляет» вероятность. Представление о том, что каждая дополнительная деталь нуждается в собственном обосновании – о том, что невозможно выдумать длинную подробную историю, в точности как те, которым вас учили на уроках биологии или истории – жизненно необходимо для точного мышления в отсутствие определенных свидетельств. Но как подобное представление попадет в курс стандартного научного обучения? Когнитивные искажения были открыты лишь несколько десятилетий назад, и знание о них не распространялось до весьма недавних пор.

Далее, «эмоциональные пике» вокруг понятий вроде «эмерджентность» или «сложность», которые определены достаточно смутно, чтобы вы могли наговорить о них кучу умных слов. Вокруг того рода ошибок, что обычно делал Элиезер18, строятся целые научные направления! (Хотя я никогда не западал на эту вашу «эмерджентность»)

Иногда я говорю, что цель науки – накопить такую гору свидетельств, что даже ученые не смогут ее игнорировать; и что это отличительная черта ученого – не-ученый даже тогда оставит их все без внимания.

Если числом свидетельств – пусть огромным – можно добиться того, что вы в итоге отчаетесь, прекратите искать отговорки и просто сдадитесь – отбросите старую теорию и никогда больше ее не упомянете – тогда это все, что требуется, чтобы распахнуть двери Науки в будущее и воздвигнуть технологическую – а не религиозную – цивилизацию.

Книги Карла Сагана, Мартина Гарднера и другие артерии Традиционной Рациональности задуманы, чтобы преодолеть это различие – преобразовать кого-то из не-ученого в потенциального ученого и защитить его от экспериментально опровергнутого бреда.

Какое еще обучение получают профессиональные ученые? Частотная статистика учит вычислять статистическую значимость. Обучение по стандартной методике позволит им мусолить бумаги в рамках крепко устоявшейся парадигмы. Если б Наука требовала от среднего ученого больше – не думаю, что она смогла бы двигаться дальше. У нас хватает проблем от людей, проникших в науку до жути неподготовленными.

Ник Тарлтон отлично сформулировал итоговую проблему – на самом деле лучше, чем я. Если вы выдвигаете странно звучащую гипотезу, еще не подкрепленную свидетельствами, и пытаетесь проверить ее экспериментально, Наука не говорит, что вы дурак. Наука не доверяет своим старейшинам решать, какие гипотезы «не заслуживают проверки». Но это выверенно неточный общественный стандарт, и если вы попытаетесь сделать его стандартом индивидуальной эпистемологической рациональности, он позволит вам слишком многое принимать на веру.

Обращаясь к аналогии с либертарианством, основанном на прагматическом недоверии, это различие между «Сигареты не должны быть вне закона» и «Кури Мальборо!». Вы помните, чтобы вас хоть раз предупреждали об этой ошибке так подробно? Тогда почему бы людям не делать точно такую же ошибку? Сколько людей добровольно пройдут лишний километр – будут строже к себе, чем требуется? Некоторые, но не многие.

Многие ученые поверят любым глупостям вне лаборатории, пока они могут убедить себя, что эти глупости не были однозначно опровергнуты, или пока им удается не задавать вопросов. Где тот стандартный вузовский курс, после которого люди видят делающего глупость и спрашивают «Он что, отсутствовал, когда объясняли, почему нельзя?» Насколько я знаю, его нет.

Может, если вам очень повезло с преподавателем, он передал вам редкостные умения вроде «Спроси себя, какие задачи в твоей области наиболее важны, и работай над одной из таких вместо того, чтобы купиться на что-то простое и банальное» или «Будь точнее в выражениях, чем требует редактор, ищи новые способы избежать влияния твоих ожиданий на эксперимент, даже если это не общепринято».

Но я действительно не думаю, что существует тайная общепринятая научная традиция выверенного рационального мышления при ограниченных свидетельствах. Половина ученых все еще верят, что они верят в Бога! Сложные навыки не общеприняты.

1.Ква́нтовая (когерентная) суперпози́ция— это суперпозиция состояний, которые не могут быть реализованы одновременно с классической точки зрения, это суперпозиция альтернативных (взаимоисключающих) состояний.

2.Редукция или коллапс волновой функции — мгновенное изменение описания квантового состояния (волновой функции) объекта, происходящее при измерении.

Учи невыучиваемому

Элиезер Юдковский

Предыдущий в минисерии: Непередаваемое превосходство

Следует за: Искусственное сложение (English)

Литературный конвейер, который я называю «порнографией превосходства» не слишком хорош в том, что делает. Но это провал довольно важной задачи. Сравнив пользу цивилизации в целом от звёздных навыков Уоррена Баффета и от менее гламурного, но более передаваемого трюка «инвестируйте заново ваши доходы», вряд ли вы будете сомневаться. Легко заметить, как сильно изменится мир, если придумать, как выразить всего лишь ещё один навык, до сих пор бывшим секретным ингредиентом успеха. Не порнографическое обещание постичь душу звезды. Всего лишь способ надёжно передать ещё одну мысль, даже если она не означает всего

Что делает успех таким сложным для повторения?

Голые статистические шансы всегда непередаваемы. Неважно, что вы можете сказать насчёт удачи, вы не можете научить кого-нибудь иметь её. Искусство хватать возможности и открывать себя положительным случайностям (English) обычно недооценивают. Я видел людей, останавливающихся на своём пути из-за «неудачи», которую предприниматель из Силиконовой долины раздавил бы, словно паровой каток – лежачего полицейского… Но даже так, остаётся чистый элемент случайности.

Успех Эйнштейна (English) зависел от его генов, давших ему потенциал, чтобы развить навыки сверх обычного уровня. Если навыки зависят от умственных способностей, вы не можете передать их большинству людей… но даже если такой потенциал – один-на-миллион, то шесть тысяч Эйнштейнов, разгуливающих по планете - совсем не плохо. (А если немного пофантазировать, то кто сказал, что гены непередаваемы? Просто требуется немного более продвинутая технология, чем школьная доска, только и всего.)

Итак, мы исключили истинно непередаваемое - что осталось? До куда можно отодвинуть границу? Чему возможно научить – пусть и очень сложно – но чему не учат?

Мне однажды сказали, что половина Нобелевских лауреатов были учениками других Нобелевских лауреатов. Этот источник (English, pdf) утверждает, что 155 из 503. (Интересно, что тот же источник подсказывает, что число Нобелевских лауреатов с «Нобелевскими дедушками» (учителями учителей) всего лишь 60.) Даже если сделать поправку на отбор выдающихся учеников и политическое проталкивание кандидатов, факты подсказывают, что можно перенимать вещи, находясь в ученичестве – наблюдение из-за плеча, беседы в свободной форме, постоянная правка ошибок в течение работы. Ни один Нобелевский лауреат ещё не преуспел в том, чтобы поместить всё это в книгу.

Что же это такое, чему учатся преемники Нобелевских лауреатов, но не может быть выражено словами?

Этот предмет притягивает меня, так как он сообщается с мета-уровнем, с источником в глубине, с пропастью между генератором и его выходом (English). Мы можем объяснить эйнштейнову теорию относительности студентам, но не можем сделать из них Эйнштейнов. (Если посмотреть на это с правильного угла, то весь гений человеческого интеллекта ничто иное как непередаваемое прозрение, которое есть у людей, но которое мы не можем объяснить компьютеру.)

Количество бессловесного интеллекта в нашей работе обычно недооценивается, потому что сами по себе слова намного легче анализировать (English). Но когда я обращаю внимание, я вижу, что большая часть моих поисковых способностей проявляется во вспышках восприятия, говорящих мне, что именно важно, какую мысль нужно думать следующей.

Когда я встретил своего ученика Марселло, он уже был лучше в математических доказательствах, чем я, по крайней мере, намного быстрее. Он соревновался на национальном уровне, но на подобных соревнованиях вам говорят, какие задачи важны. (А ещё на соревнованиях вы сразу сдаёте листочек с решениями и перескакиваете к следующей задаче, не анализируя, можно ли упростить доказательство, объять его целиком, получить из него ещё что-нибудь.) Но действительно важная вещь, которой я пытался научить – проверяя, можно ли вообще ей научить – было ощущение, какиепроблемы ИИ куда-нибудь ведут, а какие - пустышки. «Ты можешь жать на педали так же хорошо, как и я, - сказал я ему, когда он спросил меня, хорошо ли справляется, - но девяносто процентов времени рулю до сих пор я» Это были постоянные упорные попытки облечь в слова причины, почему я думал, что мы ещё не нашли по-настоящему важного прозрения, таящегося где-то в задаче, почему мы должны отбросить текущее доказательство Марселло, переформулировать задачу и попытаться ещё раз, с другого угла, чтобы узнать поймём ли мы проблему по-настоящему в этот раз.

Мы проходим через череду событий, и наш мозг использует неявный алгоритм, чтобы размолоть полученный опыт в сухой остаток, а затем - ещё один неявный алгоритм, чтобы сформировать из него нейронную сеть: процедурный навык, источник бессловесной интуиции, который вы знаете настолько быстро, что вы не знаете, что знаете его. «Нулевой шаг», - так я его называю, шаг в обуславливании вещей, который идёт до первого шага в решении и пролетает настолько быстро, что вы не понимаете, что он был.

Я горжусь умением облекать вещи в словесную формулировку, вникать в одномоментные вспышки озарений и высматривать в них узор и направление, даже если я не могу указать на механизмы, ответственные за них. Но когда я пытался передать остриё, фронт моих работ, где я расширял знание, слова были бессильны, и мне оставалось разбирать с Марселло задачу за задачей, надеясь, что его мозг уловит невыразимый ритм пилотирования: налево, направо; вот это, наверное, достойно развития, это – нет; это кажется ценным озарением, а это – всего лишь чёрная коробка вокруг нашего незнания.

Я ожидал, что так и будет; я никогда не надеялся, что самые главные части мыслей можно будет легко переложить на слова. Если бы это было так просто, то мы бы действительно создали искусственный интеллект в семидесятых.

Цивилизация продвигается, обучая выходу из генератора, а не генерированию. Эйнштейн произвёл многочисленные открытия, затем сгенерировал знание достаточно словесное, чтобы быть переданным студентам в университетах. Когда же нужен ещё один Эйнштейн, цивилизация может лишь затаить дыхание и надеяться.

Но если эти бессловесные навыки есть продукт опыта, то почему не передать опыт(English)? Или, если книги не слишком хороши, а они, наверное, и близко к этому не подходят, то почему бы не провести людей через череду тех же событий, чтобы передать опыт?

Звёзды могут и не знать, что было критически важным опытом.

Критически важные события могут быть сложными для воспроизведения. Например, каждый уже знает ответ к специальной теории относительности, и теперь мы не можем тренировать людей, давая им эту же задачу. Даже знание, что там что-то о взаимосвязи между пространством и временем, уже довольно сильный спойлер. Самая важная часть задачи и есть та, где ученик сверлит взглядом белый лист бумаги до тех пор, пока капли крови не выступят на лбу, пытаясь сообразить, о чём думать дальше. Навыки гениев редки, я уже упоминал (English), потому что мало возможностей практиковать их.

В дело может быть вовлечена удача или природный талант, подсказывая правильные вещи для изучения – нахождения высококачественного решения в пространстве бессловесных процедурных умений. Даже если мы проведём человека через те же испытания, останутся компоненты чистой случайности, влияющие на вероятность изучения того же невыразимого навыка.

Но, я думаю, всё ещё есть причина, продолжать описывать неописываемое и учить невыучиваемому.

Представьте развитие умений играть в азартные игры с изобретением теории вероятности несколько веков назад. В покере до сих пор сохранилась часть искусства, которое звёзды покера могут лишь частично передать на словах. Но в прошлом никто и понятия не имел, как вычислить шанс выпадения одних единиц на трёх кубиках. Может, опытный игрок и имел невыразимое понятие, что некоторые вещи более вероятны, чем другие, но не мог высказать его словами – не мог передать никому, что он узнал о вероятности, кроме как, может, через долгий процесс наблюдения за учеником из-за плеча и корректирования его ставок.

Чем больше мы узнаём что-либо в определённой области и наблюдаем звёзд за работой, тем больше мы узнаём о человеческом разуме в целом, тем больше мы можем надеяться, что новый навык превратится из непередаваемого в выучиваемый, а затем в публицируемый.

Вы можете объединить некоторые пути в семейство, даже если не способны выразить их словами. И даже если сами вы получили что-то благодаря удаче (включая генетическую удачу), вы можете уменьшить роль слепого случая.

Предупреждения о тупиках, задержавших вас. Это очевидный способ помочь.

Если вы выложите на стол набор мыслей, являющихся продуктом невыразимого навыка, кто-нибудь, читая их, может уловить ритм и сделать скачок к невысказанной вещи стоящей за мыслями. Это потребует намного меньше удачи, чем события, которые изначально и привели вас к приобретению этого навыка.

Есть хорошие аттракторы в пространстве решений – кластеризованные под-решения, которые дают доступ к остальным решениям в аттракторе. Тогда – даже если некоторые мысли не могут быть помещены в слова и требуется удача, чтобы набрести на них изначально – объяснения, как найти дверь, может быть достаточно, чтобы заякорить аттрактор.

Некоторый важный опыт вполне дублируем: например, можно советовать людям, какие книги читать или какие области изучать.

Наконец, прогресс науки в целом может лучше объяснить определённую область, и в некоторый момент вы внезапно поймёте, что именно вы знаете и как правильно высказать свои мысли.

И конечно, коронная фраза этой статьи: это те изменения, которые я надеюсь увидеть в некоторых аспектах человеческой рациональности, навыках, которые были до сих пор непередаваемыми или передаваемыми только от учителя к ученику напрямую. За последние несколько десятилетий мы немало узнали о них, и, я думаю, пора бы попытаться систематизировать полученные сведения.

Я жажду уменьшить роль удачи и таланта в обучении рационалистов высшего разряда.

Не выходи из комнаты

Скотт Александер

Психологи определяют «якорение» как способность раздражителя активировать мозг таким образом, что это влияет на ответы на последующие раздражители. Если это звучит недостаточно зловеще, можете переформулировать это как «любая случайная вещь, произошедшая с вами, может перехватить ваши суждения и личность на следующие несколько минут».

К примеру, вы входите в комнату и замечаете в углу чемодан-«дипломат». Ваш мозг теперь — гордый владелец активированного концепта «дипломат». Он на какое-то время настроен думать о дипломатах, и если уж на то пошло, об офисах, бизнесе, конкуренции и амбициях. На следующие несколько минут вы будете склонны воспринимать все социальные взаимодействия как конкурентные и вести себя соответственно. Эти небольшие сдвиги будут достаточно значительны, чтобы их можно было измерять, например, тем сколько денег Вы готовы поставить в игре «Ультиматум». Если это звучит как странная эзотерическая ерунда типа симпатической магии, я только могу отослать Вас к исследованию Кея, Уиллера, Барга и Росса от 2004 года (English)1.

Мы недавно обсуждали плюсы и минусы веры в Санта-Клауса. Вот, к примеру, один из плюсов: датские дети, которым показали изображение шапки Санта-Клауса, были более склонны делиться конфетами с другим ребенком. Почему? Исследователи предположили, что шапка активирует концепт Санта-Клауса, а Санта-Клаус активирует идеализированный концепт дарения и щедрости. Ребёнок после этого склонен относиться к щедрости положительно. Естественно, тот же эффект может быть использован и в обратном направлении. В том же исследовании дети, которым показали логотип известного магазина игрушек, были менее склонны делиться конфетами.

Но ведь этот эффект ограничен исследованиями в паре психологических лабораторий, так? Он не использовался для чего-нибудь вроде, скажем, изменения результатов крупных выборов?

Я знаю о двух хороших исследованиях эффекта прайминга в политике. В первом(English) субъектам подсознательно2 подсказывали буквенно-числовые комбинации, которые напоминали об атаках 11 сентября (например «911» или «WTC»), или случайные буквенно-цифровые сочетания. После этого их просили оценить деятельность администрации президента Буша. Те, кто видел случайные строки, оценивали Буша на неутешительные 42%. Те, кто подвергся якорению, напоминавшему о войне с террором, давали ему оценку в среднем 75%. Изменение довольно значительное, даже при том что никто из испытуемых не смог сознательно вспомнить какие либо упоминания о терроризме.

Во втором исследовании (English) учёные проанализировали данные из 2000 выборов в штате Аризона и выяснили, что место сбора подписей оказывает заметный эффект на результаты голосования. То есть люди, голосовавшие в школах, были более склонны поддерживать политики, направленные на улучшение образования, те, кто голосовал в церкви, были более склонны поддерживать социально консервативные предложения. Сдвиг предпочтений составляет примерно три процента. Подумайте обо всех выборах, завершившихся с перевесом менее чем в три процента…

Возражение: после не значит вследствие! Религиозные люди, возможно, просто живут ближе к церквям и знают, где находится местная церковь, и так далее. Именно поэтому учёные провели большую работу по регрессионному анализу и поправкам к данным. Результат получился тем же.

Возражение: возможно, поправки были не слишком хорошими! Те же учёные собрали голосовавших в своей лаборатории, показали им фотографии зданий и пригласили участвовать в условном голосовании по образовательным вопросам. Те, кому показывали фотографии школ, были более склонны голосовать за образовательные инициативы, чем те, кто видел обычные здания.

Какие техники эти исследования предлагают рационалистам? Мне хочется сказать, что лучший способ защититься — никогда не покидать своей комнаты, но есть и менее радикальные методы. Во-первых, избегайте сильных раздражителей за несколько минут до принятия важного решения. Все знают о террористических атаках 11 сентября, но эти события влияли только на решения тех людей, которые были подвергнуты действию соответствующих раздражителей прямо перед ответом 3.

Во-вторых, постарайтесь принимать решения в нейтральной обстановке и придерживаться их. Самый простой способ нейтрализовать влияние места голосования — это решить, за кого голосовать, пока ещё не вышел из дома, и потом придерживаться этого решения (кроме случаев, когда вас посещает какое-то внезапное озарение на пути к кабинке для голосования). Вместо того, чтобы не покидать свою комнату, лучше принимать решения в ней и выносить их в готовом виде в наполненный раздражителями мир.

Я не могу не вспомнить о старой традиции рационалистов «очищать свой разум» перед принятием важного решения. Или совет «утро вечера мудренее».

Независимо от того, будете ли вы применять какие нибудь формальные техники, отдых в свободном от раздражителей окружении в течение нескольких минут будет неплохим выбором.

1.Полагаю, симпатическая магия действительно имеет какие-то эффекты наподобие плацебо, именно по вышеприведённой причине.

2.Якорение — один из феноменов, провоцирующих истерию вокруг сублиминальных сообщений в рекламе. Плохая новость состоят в том, что эффект вполне реален: изображение попкорна, незаметно для сознания промелькнувшее на экране, может заставить вас думать о попкорне. Хорошая новость состоит в том, что эффект не так уж опасен: ваше желание купить попкорн будет таким же, как если бы вы увидели обычное изображение попкорна на экране.

3.Очевидное возражение: если вы оцениваете действия администрации Джорджа Буша, было бы странным, если бы вы не вспомнили о террористических атаках. Я не видел исследований, напрямую затрагивающих такой вариант, но возможно, что внешняя ссылка, пришедшая не в ходе собственных рассуждений, активирует вас сильнее, чем если бы вы вспомнили об этих событиях самостоятельно

Обобщение на одном примере

Скотт Александер

«Все делают общие выводы из одного примера. По крайней мере, я делаю именно так.» — Влад Талтош, «Исола», Стивен Браст

Мой старый преподаватель, Дэвид Берман, любил говорить о том, что он называл «заблуждением о типичном разуме». Иллюстрировал он это следующим примером:

В конце 19 века происходили споры о том, чем является «воображение» — просто речевым оборотом или реальным феноменом. То есть, способны ли люди действительно создавать в уме изображения, которые они наглядно видят, или они просто используют фразу «Я мысленно себе это представил» в качестве метафоры?

Когда я это услышал, моей первой реакцией было «Как, #@$%, можно об этом спорить? Естественно, мы можем представлять вещи в уме. Любой кто так не думает — либо настолько фанатичный бихевиорист, что не доверяет собственному опыту, либо просто безумен». К сожалению, профессор мог привести огромный список достаточно известных людей, отрицавших существование мысленных образов, включая видных людей той эпохи. И всё это до того как бихевиоризм вообще появился.

Спор был разрешён Фрэнсисом Галтоном, удивительным человеком, который помимо прочих достижений изобрёл евгенику, «мудрость толпы» и стандартное отклонение. Галтон давал людям очень детальные опросники и выяснил, что некоторые люди способны пользоваться мысленными образами, а некоторые — нет. Те, кто мог, попросту предполагали что все могут так же, те же кто не мог, предполагали что никто не может представлять вещи в уме. Уверенность людей в своей правоте была столь непоколебима, что временами они придумывали совершенно абсурдные объяснения — например, что другие врут или просто не понимают вопроса. Способность представлять вещи в уме варьировалась в широких пределах: примерно пять процентов опрошенных обладали абсолютным эйдетическим воображением1, и примерно пять процентов были совершенно неспособны формировать изображение в уме2.

Доктор Берман назвал эту тенденцию людей считать, что структура их мышления может быть обобщена для применения к другим людям, «заблуждением о типичном разуме».

Он взялся за эту идею и развил её. Он интерпретировал некоторые отрывки биографии Джорджа Беркли, чтобы показать что у Беркли было эйдетическое воображение, и именно поэтому идея Вселенной как чувственного восприятия так его интересовала. Он также предположил, что опыт сознания и квалиа варьируется так же, как воображение, и что философы, отрицавшие их существование (Райл? Деннет? Бихевиористы?), просто были людьми, чей мозг был лишён возможности легко испытывать квалиа. В целом, он верил, что философия разума полна примеров философов, взявших за образец собственный умственный опыт и строивших теории на его основе, и других философов с другим умственным опытом, критикующих первых и не понимающих, как можно было так ошибиться.

Формально, термин «заблуждение о типичном разуме» можно применять лишь к моделям структуры нашего мышления. Но я находил и множество примеров, связанных скорее с психикой, нежели с разумом: тенденцию обобщать на основе собственной личности и поведения.

К примеру, я — один из самых глубоких интровертов, которых вам, скорее всего, доводилось встречать; более замкнутые люди вообще ни с кем не контактируют. В течении всей школьной жизни я подозревал, что другие дети имеют что-то против меня. Они постоянно хватали меня, когда я был чем-то занят, и пытались втянуть меня в какие-то свои игры с друзьями. Когда я протестовал, они не обращали внимания и говорили мне, что я должен бросить свои бессмысленные занятия и пойти с ними. Я считал их хулиганами, специально пытающимися достать меня, и постоянно придумывал способы спрятаться от них или отпугнуть.

В конце концов я понял, что это было двойным непониманием. Они считали, что я должен быть таким же, как они, и единственное, что мешало мне участвовать в их играх — это стеснительность. Я же считал, что они — такие же, как я, и единственное, что может заставить их отрывать занятого человека от дела, — это желание ему досадить.

Также: я не переношу шум. Если кто-нибудь шумит, я не могу спать, не могу учиться, не могу сконцентрироваться, не могу делать ничего — только биться головой в стену и надеяться, что они прекратят шуметь. Одно время у меня была шумная соседка по дому. Когда я просил её быть потише, она говорила, что я слишком чувствительный, и мне стоит просто отдохнуть. Я не скажу, что был сильно лучше неё: она была жуткой чистюлей и постоянно возмущалась из-за того, что я оставлял вещи где попало. Я же, в свою очередь, говорил, что ей стоит просто отдохнуть, и всё равно незаметно, есть на комоде пыль или нет. Мне не приходило в голову, что эта чистоплотность была для неё так же необходима и безусловна, как тишина для меня, и дело действительно было в разнице способов обработки информации у нас в мозге, а не просто в тараканах у неё в голове.

Фразы «просто тараканы в её голове» и «просто слишком чувствителен» говорят нам о проблеме, связанной с заблуждением о типичной психике, а именно: заблуждение о типичной психике невидимо. Мы склонны преуменьшать роль разной организации мышления в разногласиях, и приписывать проблемы тому, что другой участник конфликта намеренно или случайно действует нам наперекор. Я знаю, что громкий шум серьёзно мучит и изнуряет меня, но когда я говорю об этом с другими, они думают что я просто немного помешан на тишине. Подумайте о тех бедолагах, неспособных создавать визуальные образы, которые считают, что все остальные просто метафорически рассуждают об образах в своём воображении и не собираются отказываться от этих метафор.

Я пишу сюда потому, что именно рациональность может помочь нам справиться с этими проблемами.

Есть определённые доказательства тому, что наш обычный способ взаимодействия с людьми включает в себя что-то вроде моделирования их внутри нашего собственного мозга. Мы думаем о том, как бы мы отреагировали, делаем поправку на различия между людьми, и предполагаем, что другой человек будет действовать именно так. Этот способ взаимодействия очень привлекателен, и часто кажется, будто он должен неплохо работать.

Но если статистика говорит нам, что метод, который работает с вами, необязательно сработает с кем-нибудь другим, то вера своему внутреннему чутью — это именно заблуждение о типичной психике. Надо быть хорошим рационалистом, отбросить внутреннее чутье и следовать за данными.

Я понял это, когда недавно работал школьным учителем. Много книг посвящены методам преподавания, которые нравятся студентам и способствуют лучшему усвоению материала. В свои школьные годы я был, эм-м… подвергнут ряду этих методов, и у меня не осталось никакого желания мучить своих студентов подобным образом. И когда я попробовал разные креативные подходы, которые, как мне казалось, понравились бы мне-ученику… всё окончилось полной неудачей. Что же в конце концов сработало? Методы, близкие к тем, которые я так ненавидел в детстве. Ох. Ладно. Теперь я знаю, почему они так широко используются. А я-то всю жизнь думал, что мои учителя — просто ужасные педагоги, не понимая, что я просто странный статистический выброс, на которого подобные методы не действуют.

Я пишу сюда ещё и потому, что мне кажется эта тема имеет отношение к обсуждению соблазнения, которое проходит в обсуждении Bardic, начатом MBlume. Там есть много не слишком лестных вещей о женщинах, в которые тем не менее верят мужчины. Некоторые считают, что женщины никогда не согласятся на романтические отношения со своими друзьями-мужчинами, предпочитая альфа-самцов, которые к ним в итоге плохо относятся. Другие считают, что женщины сами хотят, чтобы им врали и обманывали их. Я мог бы продолжать, но думаю в том обсуждении всё это и так неплохо представлено.

Тем не менее, от большинства женщин я слышу, что это полная ерунда и женщины вовсе не такие. Что же тут происходит?

Ну, боюсь, я в чём-то верю «соблазнителям». Они вложили много сил и времени в своё «искусство» и, по крайней мере по собственным заявлениям, довольно в этом успешны. И все эти несчастные романтически разочарованные парни, которых я встречаю, не могут полностью ошибаться.

Моя теория состоит в том, что женщины в данном случае становятся жертвой заблуждения о типичной психике. Те женщины, которых я об этом спрашивал — далеко не репрезентативная выборка из всех женщин. Это такие женщины, с которыми стеснительный и довольно замкнутый парень знаком и может поговорить о психологии. Точно так же, женщины, которые пишут в Интернете на эту тему — не репрезентативная выборка. Это женщины с хорошим образованием, у которых есть чётко выраженное мнение по гендерным вопросам и время, чтобы писать о своём мнении в блог.

И, чтобы не показаться шовинистом, то же самое справедливо и для мужчин. Я слышу много плохого о мужчинах (особенно с точки зрения их отношения к романтике), но я не могу сказать такого о себе, своих близких друзьях или о ком-либо, кого я знаю. Но эти мнения настолько распространены и так широко поддерживаются, что у меня есть определённый повод им верить.

Эта статья становится всё менее строгой и всё дальше уходит от темы заблуждения о типичном разуме. Сначала я перешёл к заблуждению о типичной психике, чтобы обсудить материи скорее психологического и социального плана, нежели умственного. А теперь она расширилась так, чтобы включить в себя и другую похожую ошибку — суждение о всех людях по собственному социальному кругу, убеждение в том, что твоё окружение репрезентативно; такое убеждение очень редко оказывается верным3.

Изначально статья называлась «Заблуждение о типичном разуме», но я убрал из названия все намёки и переименовал её в «Обобщение на одном примере», потому что именно это связывает все перечисленные ошибки. Мы непосредственно знаем только один разум, одну психику, один социальный круг, и нам хочется считать их типичными даже в присутствии доказательств обратного.

Для читателей LessWrong это, думаю, особенно важно, так как эти люди, насколько я могу судить, в большинстве своём выпадают из общего ряда на любом из изобретённых психометрических тестов.

1.Эйдетическое воображение, слабо связанное с «фотографической памятью», это способность визуально представлять себе что либо и видеть это так же ясно, ярко и чётко как и при обычном зрении. Пример, который приводил мой профессор, состоит в том что, хотя многие люди могут представить себе тигра, только эйдетик способен сосчитать на нём полоски.

2.Согласно результатам Галтона, людей неспособных формировать визуальные изображения было очень много в математике и науке вообще. Со времён Галтона эти идеи подвергались сомнению, но я не могу найти соответствующих исследований.

3.Пример, который окончательно меня убедил: как вы думаете, какой процент старшеклассников списывают на контрольных и экзаменах? Какой процент воровали что-либо из магазина? Попробуйте предположить ответы на эти вопросы сами, прежде чем смотреть ответ. Кто-то недавно провёл исследования на эту тему, и результаты таковы: две трети списывали и треть воровала в магазинах. Это шокировало меня и всех, кого я знаю — мы не списывали и не воровали в школе, и не знали никого, кто бы так делал. Я целый вечер потратил на то, чтобы найти данные, опровергающие или ставящие под сомнение результаты исследования, и не смог ничего найти.

Презумпция типичности — худший аргумент в мире?

Скотт Александр

Некоторое время назад Дэвид Стоув провёл конкурс на самый худший аргумент в мире, но учитывая, что он отметил победителем собственного номинанта, да ещё и поддерживающего его философские взгляды, едва ли процесс отбора можно назвать объективным.

Если он может вот так единолично объявить худший аргумент в мире, то могу и я. Я назначаю самым худшим аргументом в мире приём: «X относится к категории, чей типичный представитель вызывает у нас определённую эмоциональную реакцию. Следовательно такую же эмоциональную реакцию должен вызывать и X, даже если это далеко не самый обычный представитель категории.»

Назовём это «презумпцией типичности». Звучит довольно глупо, когда выражаешь этот принцип так. Да кто вообще так делает?

Но звучит он глупо, только если мы рассуждаем исключительно в терминах категорий и признаков. Когда этот софизм облачают в разговорные слова, он становится столь силён, что большая часть плохих доводов в истории политики, философии и культуры чем-то походит на презумпцию типичности. До них мы ещё доберёмся, а пока рассмотрим простой пример.

Предположим, что кто-то захотел поставить памятник Мартину Лютеру Кингу за его ненасильственное сопротивление расизму. Несогласные могут возразить так: «Но ведь Мартин Лютер Кинг был преступником!»

Любой историк может это подтвердить. Технически, преступник — это человек, нарушивший закон. Как известно, Кинг действовал вопреки закону, запрещающему проведение демонстраций против сегрегации. За это он попал в Бирмингемскую тюрьму, где и написал своё знаменитое письмо.

В этом случае Мартин Лютер Кинг — нетипичный преступник. Классическим примером преступника можно считать, скажем, грабителя. Он гонится за наживой, обманывает ни в чём неповинных людей, подрывает основы общества. Всё это мы осуждаем, и потому, назвав человека преступником, мы автоматически начинаем относиться к нему хуже.

Всё те же несогласные скажут: «Мартин Лютер Кинг — преступник, а так как преступников все ненавидят, ненавидеть нужно и Кинга». Но у Кинга нет тех признаков, которые и заставляют нас плохо относиться к преступникам, а именно лживости, асоциальности и жажды наживы. Следовательно, несмотря на то, что он преступник, нет причин его презирать.

Всё это звучит логично и последовательно, когда подаётся в таком формате. К сожалению, это на сто процентов противоречит инстинктивному побуждению ответить: «Мартин Лютер Кинг? Преступник? Он не был преступником! А ну возьми свои слова обратно!» Вот почему презумпция типичности столь успешна. Как только ты это сказал, ты попался в ловушку. Спор больше не о статуе, а о том, был ли Мартин Лютер Кинг преступником. А так как, технически, преступником он был, спор заранее проигран.

В идеале нужно суметь ответить: «Ну, Мартин Лютер Кинг был хорошим преступником.» Увы, это довольно сомнительный дискуссионный манёвр, его сложно применить в некоторых случаях, где обычно используется вышеописанный софизм.

Теперь я хочу рассмотреть несколько частных случаев. Многие имеют политическую подоплёку 1за что я извиняюсь, но довольно сложно вычленить плохой аргумент из конкретных споров. Ни один из них не призван намекнуть, что позиция, которую он поддерживает, неверна (на самом деле, я разделяю некоторые из них). Примеры лишь показывают, что некоторые конкретные аргументы ошибочны. Например:

«Аборт — это убийство!» Типичный пример убийства — это Чарльз Мэнсон, врывающийся к тебе домой и стреляющий в тебя. Такой тип убийств плох по многим причинам: ты предпочитаешь не умирать, у тебя есть определённые мечты и надежды, которые погибнут вместе с тобой, твои семья и друзья испытают определённые душевные страдания, а остальное общество будет жить в страхе, пока Мэнсона не поймают. Если определить убийство как «забирание жизни другого человека», тогда, технически, аборт — убийство. Но у него нет многих отрицательных последствий убийства в стиле Чарльза Мэнсона. Хотя аборты можно критиковать по многим другим причинам, фраза «аборт — это убийство» призывает испытывать одинаковые негативные чувства в случае Мэнсона и в случае аборта, игнорируя отсутствие многих характерных черт при последних обстоятельствах. Тех черт, которые изначально и породили эти негативные чувства 2.

«Модификация генов для лечения болезней — это евгеника!» Окей, тут ты меня поймал: если определять евгенику как «попытки улучшить генетический пул человечества», это действительно верно. Но что не так с евгеникой? «Что не так с евгеникой? Гитлер занимался евгеникой! Неэтичные учёные из пятидесятых годов, которые стерилизовали чёрных женщин без их согласия, занимались евгеникой!» А что не так с Гитлером и теми учёными? «Что значит, „что с ними не так“? Гитлер убил миллионы людей! Те учёные тоже разрушили жизни многих.» Разве использование модификации генома для лечения болезней делает что-то подобное? «Ну… не совсем.» Тогда что с ним не так? «Это евгеника

«Эволюционная психология — это сексизм!» Если определять «сексизм» как «веру в различие между полами», это верно по крайней мере про часть эволюционной психологии. Например, принцип Бейтмэна постулирует, что у видов, где женские особи инвестируют больше усилий в воспитание потомства, ритуалы спаривания предполагают, что мужские особи будут ухаживать за женскими чтобы основать пару, а это закладывает фундаментальное психологическое различие между полами. «Отлично, значит, ты признаешь, что это сексизм!» Напомни, почему именно сексизм — это плохо? «Потому что сексизм утверждает, что мужчины лучше женщин, и что у женщин должно быть меньше прав!» Это как-то следует из принципа Бейтмэна? «Ну… не совсем.» Так что же с ним не так? «Это сексизм

Второй, чуть более изящный способ использования презумпции типичности выглядит так: «X принадлежит к категории, чей типичный представитель вызывает некоторую эмоциональную реакцию. Следовательно, мы должны применять ту же эмоциональную реакцию к X, даже если X приносит пользу, которая перевешивает вред.»

«Смертный приговор — это убийство!» Убийство в стиле Чарльза Мэнсона приносит только вред. Поэтому оно вызывает столь сильное отторжение. Сторонники высшей меры наказания считают, что оно позволяет уменьшить преступность или принести другую сопутствующую пользу. Другими словами, они считают, что это «хорошее убийство» 3, как во вводном примере Мартин Лютер Кинг был «хорошим преступником». Но так как обычное убийство — это табу, сложно воспринять выражение «хорошее убийство» всерьёз, ведь даже само упоминание слова «убийство» может вызывать точно такую же негативную реакцию, как и в стандартном случае.

«Позитивная дискриминация — это расизм!» Верно, если вы определяете расизм, как «благоволение определённым людям на основе расовой принадлежности», но, снова, нашу мгновенную негативную реакцию на типичный пример расизма (Ку-Клукс-Клан) нельзя обобщить на этот случай. Перед тем как распространять негативные эмоции на позитивную дискриминацию, следует проверить, обладает ли она всем тем, что заставляет нас ненавидеть Ку Клус Клан (насилие, унижение, отсутствие в обществе разнообразия и зависимости благосостояния человека в первую очередь от его поступков). И даже если мы найдём какие-то из них (подрыв меритократии, например), следует так же доказать, что они не приносят больше пользы, перевешивающей вред.

«Взимание налогов — это воровство Верно, если под воровством вы подразумеваете присвоение чьих-либо денег без согласия человека. Но в отличие от типичного примера воровства (проникновение в чей-либо дом и кража украшений) у налогообложения всё же есть положительные стороны. Воровство обычно несправедливо и наносит ущерб обществу. Первое можно применить и к налогообложению. Второе — нет, если вы согласны, что важнее спонсировать государство, чем оставлять деньги именно у тех людей, которые их заработали. Речь идет об относительной важности обоих пунктов. Следовательно, нельзя просто отказаться от налогообложения из-за того, что воровство как таковое вызывает неприязнь. Вам также придется доказать, что предполагаемые затраты этой формы воровства превышают пользу.

Должен заметить, так как большинство споров всё же представляют собой скорострельный обмен доводами и контрдоводами а ля клуб дебатов, иногда всё же следует отвечать «Налоги — это не воровство!». По крайней мере это лучше, чем сказать: «Налоги — воровство, но хорошее», оставляя для противоборствующей стороны ответ: «По всей видимости, мой достопочтимый оппонент считает, что воровство может быть полезным, мы же будем храбро отстаивать противоположную точку зрения», после чего модератор ударит в гонг, не давая полнее раскрыть точку зрения. Если ты в клубе дебатов, делай что должен. Но если у тебя есть роскошь философской ясности, лучше отринь Тёмное Искусство и взгляни чуть глубже на происходящее.

Бывают ли случаи, когда этот аргумент полезен? Да. Например, в качестве попытки установить на ощупь забор Шеллинга; скажем, принцип, что никто не должен воровать, даже если воровство может быть полезным, потому что тогда будет сложнее вычленить и противостоять действительно плохим видам воровства. Или в качестве попытки зажечь разговор, указывая на потенциальное противоречие: «Замечали ли вы, что налогообложение содержит многие черты типичного воровства? Должно быть вы об этом даже никогда не думали? Почему различаются морально интуитивно правильные поступки в обоих случаях? Не лицемерны ли мы?» Но такое использование довольно ограничено. Как только собеседник ответит: «Да, я думал об этом, но налогообложение отличается от воровства по причинам X, Y и Z», разговор уйдёт вперёд; нет особого смысла настаивать: «Но это воровство

Но в большинстве случаев, я думаю, что это больше аргумент, опирающийся на эмоции, или даже скорее аргумент вида «ты будешь выглядеть глупо, ответив на него». Нельзя просто взять и ответить: «Он хороший преступник», так что если у тебя потенциально склонная к критике аудитория и не так уж много времени для объяснений, ты в ловушке. Тебя только что принудили использовать типичный пример для слова, чтобы отнять самую важную информацию.

Во всех остальных случаях адекватная реакция на попытку убрать значимую информацию это «Нет, спасибо, зачем?» И именно поэтому это самый худший аргумент в мире.

4

5

1.По совету от сообщества я специально включил три типично либеральных примера и три типично консервативных, чтобы избежать спекуляций на тему, в чью сторону ангажирована статья.

2.Следует отличать этот подход от деонтологии, веры в то, что есть некий доказуемый моральный принцип, по которому никогда не следует убивать. Я не думаю, что такое уж важное уточнение, потому что мало кто продумывает эту проблему настолько глубоко, и потому что у меня есть личное и (признаю) спорное мнение, что деонтология большей частью и есть попытка формализовать и оправдать презумпцию типичности.

3.Некоторые люди «решают» эту проблему, говоря, что «убийство» относится только к «отнятию жизни не по закону». Увы, это не более искусно, чем переопределить слово «преступник» как «человек, который нарушает закон и не Мартин Лютер Кинг». Вычленение презумпции типичности — это более полное решение. Например, оно так же покрывает родственный (но большей частью саркастичный) пример, что «тюремное заключение — это похищение».

4.Редактировано, август 2013. После того как получил комментарии и жалобы, я немного отредактировал эту статью. В частности, я попытался убрать жаргон с LessWrong, который отпугнул некоторых незнакомых с сайтом людей, которым просто перешли на статью по ссылке.

5.Редактировано, август 2013. Также некоторые читатели жаловались, что это просто неинтересная новая формулировка уже обсуждённых софизмов (каких конкретно непонятно, но чаще всего ссылаются на poisoning the well — «отравление источника»). Меня это не особо задевает, ведь я и не утверждал, что открываю Америку. Многие софизмы перекликаются друг с другом, и разбираться в том, где кончается один и начинается другой — не самое увлекательное занятие. Но хочу отметить, что с самой жалобой я не согласен. «Отравление источника» — это представление двух разных фактов. Например: «Мартин Лютер Кинг был плагиатором… и, кстати, что вы думаете о его взглядах на гражданские права?» Утверждения могут быть не связаны вообще, и обычно это делается осознанно в качестве уловки. В случае презумпции типичности утверждение только одно, но сформулировано оно таким образом, чтобы представлять информацию неверным образом. И его употребление часто несознательно. Приведенный пример про плагиат не подходит под презумпцию типичности. Если вам кажется, что это эссе об обыкновенном «отравлении источника», то либо у этого термина есть незнакомое мне значение, либо вы не понимаете сути статьи.

16 видов полезных предсказаний

Джулия Галеф

Как часто вы делаете предсказания (о будущих событиях или об информации, которая вам пока недоступна)? Если вы регулярно читаете тексты LessWrong, вероятно, вы уже знакомы с идеей, что убеждения должны окупаться, что вы должны уметь сказать: «Вот, что я ожидаю увидеть, если мои убеждения точны, и вот, насколько я в этом уверен», и что вы должны обновлять свои убеждения, в зависимости от того, как сбываются ваши предсказания.

Однако… у меня складывается впечатление, что мало кто из нас регулярно делает предсказания. У меня самой всегда существовало расхождение между тем, насколько полезными, теоретически, я считаю предсказания, и тем, как часто я их делаю.

Не думаю, что дело всего лишь в лени. Я считаю, что на самом деле не так уж просто придумать, какие предсказания можно сделать, чтобы улучшить свою модель тех областей, которые для вас важны.

Здесь мне стоит пояснить, что предсказания могут помочь в достижении двух больших целей:

Улучшить откалиброванность (например, понять, что я права в области X только в 70% случаях, а не в 90%, как я ошибочно считала).

Улучшить точность (например, оказываться правым в вопросах из области Х не в 70% случаях, а в 90%).

Если вы просто хотите стать получше откалиброваться, то не важно, какие именно предсказания вы будете делать. Поэтому для упражнений на калибровку обычно берутся вопросы с ответами, которые легко найти, например: «Какова высота горы Эверест?» или «Доживёт ли Дон Дрейпер до конца «Безумцев»?» Можете ознакомиться, например, c сайтом predictionbook.com или недавней записью про калибровку. Упражнения на калибровку действительно работают.

Но даже если предсказания по поводу тривиальных вопросов улучшат мои способности к калибровке, они не помогут улучшить мою модель мира. То есть, не помогут мне стать более точной, по крайней мере в важных для меня областях. Если я отвечу на уйму вопросов про высоту гор, возможно, я стану более точной в этой теме, однако, мне это не слишком поможет в жизни.

Поэтому я думаю, что сложность с предсказаниями в следующем: Множество {вопросы, ответы на которые легко узнать} — это малое подмножество всех возможных вопросов. И множество {вопросы, ответы на которые меня волнуют} — тоже малое подмножество всех возможных вопросов. А пересечение этих двух подмножеств таким образом оказывается ещё меньше, и его не так легко найти. В итоге кажется, что предсказания делать довольно трудно, ну или по крайней мере польза от них не стоит затрачиваемых усилий.

Однако, это пересечение не пустое. Нужно лишь применить немного стратегического мышления, чтобы определить, какие из вопросов, на которые можно легко ответить, относятся к интересующим вас областям, или — если подойти к задаче с другой стороны — как выделить проблемы, которые для вас важны, и превратить их в вопросы, ответы на которые можно получить.

Я решила разобраться, что входит в это пересечение. Ниже приводятся 16 видов предсказаний, которые я сама применяю, чтобы улучшить свои суждения о важных для меня вопросах. (Впрочем, я уверена, что таких видов гораздо больше, и надеюсь, что вы поделитесь и своими.)

Предсказывайте, сколько у вас уйдёт времени на текущую задачу. Очень важный вопрос, учитывая, как часто встречается ошибка планирования и какие от неё бывают последствия.

Примеры: «Сколько я буду писать эту запись в блог?», «Когда наша компания станет приносить прибыль?»

Предсказывайте, как вы будете себя чувствовать в предстоящих ситуациях. Аффективное прогнозирование — наша способность предсказывать, как мы будем себя чувствовать — часто даёт сбои, и об этом хорошо известно.

Примеры: «Насколько мне понравится вечеринка?», «Почувствую ли я себя лучше, если выйду из дома?», «Буду ли я по-прежнему расстраиваться через две недели, если не получу эту работу?»

Предсказывайте, насколько успешно вы справитесь с задачей.

Такие предсказания помогают мне замечать, когда я безуспешно пытаюсь повторять один и тот же подход. Сделанное предсказание даже само по себе может намекнуть, что мне нужен план получше.

Примеры: «Буду ли я придерживаться моего плана тренировок хотя бы месяц?», «Как пройдёт событие, которое я организовываю?», «Сколько я сделаю за сегодня?», «Смогу ли я убедить Боба в том, что моя точка зрения по обсуждаемому вопросу верна?»

Предсказывайте, как ваша аудитория отреагирует на конкретную запись в социальных сетях (фейсбуке, твиттере, тумблере, блоге и так далее).

Это поможет вам лучше разбираться, как создавать успешный контент, а также лучше понимать взгляды на мир ваших друзей (или читателей).

Примеры: «Наберёт ли это видео необычно высокое количество лайков?», «Приведёт ли ссылка на эту статью к ругани в комментариях?»

Когда вы пробуете новую занятие или новый способ что-нибудь делать, предсказывайте, как много вы получите пользы благодаря этому.

Я заметила, что в этой области я часто ошибаюсь по обоим направлениям. По поводу некоторых «лайфхаков» мне кажется, что они решат все мои проблемы (а на самом деле такое случается редко). И наоборот, я часто с излишним скепсисом отношусь к занятиям, которые находятся вне моей зоны комфорта, и часто оказываюсь приятно удивлена, когда я всё-таки их пробую.

Примеры: «Насколько „помодорки“ увеличат мою продуктивность?», «Насколько мне понравится танцевать свинг?»

Когда вы что-то покупаете, предсказывайте, как много вы получите от этого пользы.

Из исследований по поводу денег и счастья можно сделать два основных вывода: 1) в общем случае на деньги нельзя купить счастье; 2) есть уйма случаев, когда первый пункт не работает. Таким образом, судя по всему, в этой области есть большой потенциал для развития своих способностей к предсказанию, и в результате можно научиться тратить деньги более эффективно, чем люди в среднем.

Примеры: «Сколько я буду носить эти новые туфли?», «Как часто я буду использовать мою клубную карту?», «Буду ли я думать через два месяца, что действительно стоило перекрасить кухню?», «Буду ли я через два месяца по-прежнему получать удовольствие от новой машины?»

Предсказывайте, как другие люди ответят на вопросы о себе.

Я часто замечаю, что делаю предположения о других людях, и мне нравится проверять эти предположения. В идеальном случае я получаю интересную обратную связь и о самом предмете вопроса, и о моей модели человека в целом.

Примеры: «Тебя не беспокоит, что наши встречи длятся дольше, чем запланировано?», «Ты считал себя популярным, когда учился в старших классах?», «Как по-твоему, нормально ли лгать, чтобы защитить чьи-нибудь чувства?»

Предсказывайте, насколько вы сможете продвинуться в решении задачи за пять минут.

У меня часто появляется впечатление, что задача, с которой я столкнулась, — очень сложная, или что я уже думала над ней и рассмотрела все очевидные варианты решения. Однако, когда я решаю (или кто-то меня подталкивает) устроить пятиминутный мозговой штурм, к моему удивлению, у меня появляется новая многообещающая идея.

Пример: «Мне кажется, будто я перепробовала уже всё, чтобы решить свои проблемы со сном, и ничего не помогает. Если я прямо сейчас потрачу пять минут на размышления, смогу ли я придумать хотя бы одну новую идею, которую имело бы смысл попробовать?»

Предсказывайте, подтвердят ли данные из вашей памяти ваше впечатление.

Память нас нередко подводит, и я регулярно удивляюсь, как часто я не в состоянии вспомнить конкретные примеры, которые подтвердили бы то, в чём я достаточно сильно уверена (или как часто я вспоминаю конкретные примеры, которые на самом деле противоречат моему впечатлению).

Пример: «У меня есть впечатление, будто люди, которые бросают академическую науку, счастливы, что они это сделали. Если я попробую вспомнить нескольких людей, которые бросили академическую науку, и оценить, насколько они счастливы от этого, какое получится соотношение счастливых и несчастливых?»

«Кажется, что Боб никогда не слушает мои советы. Если я попробую вспомнить примеры, когда Боб последовал моему совету, сколько у меня получится вспомнить?»

Выбирайте один экспертный источник и предсказывайте, как он ответит на вопрос.

Это быстрый способ проверить утверждение или разрешить спор.

Примеры: «Поддержит ли Cochrane Medical утверждение, что витамин D помогает росту волос?», «Согласится ли Боб — управлявший несколькими компаниями, похожими на нашу, — что наша стартовая заработная плата слишком мала?»

Когда вы знакомитесь с новым человеком, фиксируйте своё первое впечатление о нём. Предсказывайте, насколько вероятно, что, когда вы узнаете этого человека получше, вы посчитаете своё первое впечатление достаточно точным.

Выпускница CFAR Лорен Ли предложила мне свою вариацию на эту тему: делайте предсказание о человеке до встречи с ним на основании тех данных, которые у вас уже есть.

Примеры: «Я знаю о парне, с которым собираюсь встретиться, только то, что он банкир. Я в средней степени уверена, что он окажется самоуверенным.», «Судя по моему единственному диалогу с Лизой, она очень проницательна. Я предсказываю, что у меня сохранится это впечатление, когда я узнаю её получше.»

Предсказывайте, как ваши друзья в фейсбуке ответят на опрос.

Пример: Я часто задаю в фейсбуке вопросы по поводу этикета. Например, недавно я устроила опрос: «Если беседа идёт как-то неловко, для вас будет лучше или хуже, если собеседник это как-то прокомментирует?» Я была достаточно уверена, что большинство людей ответит «хуже», и ошиблась.

Предсказывайте, насколько правильно вы поняли позицию собеседника. Для проверки пробуйте сформулировать эту позицию своими словами и пересказывайте собеседнику.

Иллюзия прозрачности очень опасна.

Примеры: «Ты утверждаешь, что проводить воркшоп в следующем месяце — плохая идея. Полагаю, ты так думаешь, потому что у нас не будет времени на рекламу, верно?»

«Я знаю, что ты считаешь, что поедание мяса не является проблемой с точки зрения морали. Это потому, что ты думаешь, что животные не страдают?»

Когда вы с кем-то не согласны, предсказывайте, насколько вероятно, что сторонний наблюдатель займёт вашу позицию, если ему объяснить суть вопроса.

Для лучших результатов, когда вы объясняете суть вопроса, не раскрывайте, кто на какой стороне находится.

Пример: «Сегодня на работе я и Боб поспорили, стоит ли стажёрам присутствовать на собеседованиях. Что ты думаешь?»

Предсказывайте, окажется ли удивительная для вас новость правдой.

Это хороший способ откалибровать свой бредодетектор и в целом улучшить ваши модели мира, которые использует ваш здравый смысл.

Примеры: «Этот заголовок утверждает, что какие-то учёные загрузили в компьютер мозг червя. После того, как я прочту статью, посчитаю ли я, что заголовок точно передаёт смысл реально случившегося?»

«Это вирусное видео утверждает, что изображает незнакомых людей, которых уговорили поцеловаться. Окажется ли оно постановочным?»

Предсказывайте, найдётся ли в результате быстрого поиска в Сети заслуживающий доверия источник, подтверждающий обсуждаемое утверждение.

Пример: «Боб утверждает, что после того, как он надевает часы, они вскоре останавливаются. Если я потрачу пару минут на поиск в Сети, найду ли я хоть один заслуживающий доверия источник, утверждающий, что такое явление на самом деле существует?»

И напоследок выскажу ещё одну мысль о том, как извлечь максимум пользы из предсказаний.

Рационалисты часто обращают внимание на важность объективных метрик. А, как вы могли заметить, большинство моих примеров не удовлетворяет этому критерию. Например, «Предсказывайте, случится ли ругань в комментариях? Не существует объективного способа определить, засчитывается ли происходящее в комментариях как „ругань“ или нет…» Или, «Предсказывайте, смогу ли я найти заслуживающие доверия источники, поддерживающие X? А кто скажет, что такое „заслуживающий доверия источник“ и что засчитывается за „поддержку“ X?»

Безусловно, при прочих равных условиях, следует предпочитать объективные метрики. Однако, не всегда прочие условия равны. Субъективные метрики гораздо проще придумать, и они вовсе не бесполезны. В подавляющем большинстве случаев, когда вы видите результаты, вы можете достаточно ясно понять, оказалось ваше предсказание верным или нет — пусть даже вы не сформулировали заранее точные, объективно проверяемые критерии успеха. Обычно здравый смысл говорит, что вы получили «да» или «нет». Иногда будет получаться «э-э… в некотором роде», однако, если вы уверено предсказывали, что результат будет ясно показывать в сторону «да» или «нет», получить подобный сюрприз тоже достаточно интересно.

Также скажу, что я обычно не присваиваю своим предсказаниям вероятности в численной форме. Я просто отмечаю, что моя уверенность попадает в качественные границы «очень уверена», «достаточно уверена», «слабо уверена» (что примерно соответствует вероятностям 90%/75%/60%, если я вынуждена всё-таки переходить к числам).

Возможно, вы сможете извлечь дополнительную пользу, если вы будете не просто полагаться на субъективные впечатления, а станете записывать уровни уверенности в числах и придумывать объективные метрики, которые нельзя обмануть. Однако, по-моему, в большинстве случаев эта дополнительная польза не перевесит того, что предсказания станут для вас достаточно тяжёлой задачей. Другими словами, не позволяйте, чтобы лучшее стало врагом хорошего. Или совсем другими словами: самая большая проблема с вашими предсказаниями прямо сейчас заключается в том, что их не существует.

Литания против гуру

Элиезер Юдковский

Я твой герой!

Я твой мастер!

Изучай мои искусства

Ищи мой путь

Учись, как учился я

Ищи, как искал я

Завидуй мне!

Равняйся на меня!

Соперничай со мной!

Превзойди меня!

Оглянись,

Улыбнись,

И иди вперед!

Я никогда не был твоим городом,

Я был лишь одним из участков твоего пути.

Английский (исходный) вариант:

I am your hero!

I am your master!

Learn my arts,

Seek my way.

Learn as I learned,

Seek as I sought.

Envy me!

Aim at me!

Rival me!

Transcend me!

Look back,

Smile,

And then—

Eyes front!

I was never your city,

Just a stretch of your road.

Наука выигрывания в повседневной жизни

Фрагменты цепочки от Люка Мелхаузера, которая обобщает основанные на научных данных советы для «выигрывания» в повседневной жизни. Цепочка посвящена повышению работоспособности, улучшению отношений, работе с эмоциями и так далее.

Автор: 

Люк Мелхаузер

Научные основы самопомощи. Что мы о них знаем?

Люк Мюльхаузер

1.Индустрия самопомощи и научная литература

2.Некоторые научные советы

2.1.Методы обучения

2.2.Продуктивность

2.3.Счастье

3.Заключение

4.Список литературы

Примечание редактораЭта статья была написана в 2011 году. С тех пор могли появиться новые исследования, о которых автор статьи знать не мог.

Некоторые читатели предположиличто сообщество Less Wrong улучшало бы инструментальную рациональность участников эффективнее, если бы оно сначала освоило имеющуюся научную литературу по продуктивности и самопомощи, а затем сподвигло читателей сознательно тренировать навыки самопомощи и применять изученное в реальной жизни.

Мне нравится эта идея. Эта статья представляет из себя краткий обзор самопомощи с научной точки зрения — профессионалы называют соответствующую область «психологией адаптации». Сначала я опишу состояние индустрии самопомощи и научной литературы, затем я вкратце изложу доступные научные данные по трём темам самопомощи: методы обучения, продуктивность и счастье.

Индустрия самопомощи и научная литература

Как вы наверное знаете, большая часть индустрии самопомощи — это фикция, над которой можно лишь посмеяться. Большинство книг о самопомощи написаны, чтобы их можно было продать, а не для помощи людям. Популярная психология — скорее миф, а не что-то реальное. Как пишет Кристофер Бакли(Buckley, 2009): «Чем больше люди читают [книг о самопомощи], тем больше они думают, что им нужны эти книги… Это больше напоминает зависимость, чем на союз».

Где вы сможете найти надёжный и подтверждённый эмпирически совет по самопомощи? Несколько ведущих психологов-терапевтов (например, Альберт ЭллисАрнольд ЛазарусМартин Селигман) написали книги о самопомощи, основанные на десятках исследований, но даже в этих книгах зачастую даются рекомендации, которые всё ещё спорны, потому что они пока не являются частью устоявшейся науки.

Клейтон Такер-Ладд исследовал самопомощь всю жизнь. Несколько десятков лет он писал и правил «Психологическую самопомощь» (pdf). Эта книга является обзором, что учёные знают и не знают о методах самопомощи (на 2003 год), однако, в ней более 2000 страниц и большая их часть содержит скорее научные мнения, а не экспериментальные результаты, потому что по многим вопросам экспериментальных результатов пока нет. Существует интернет-сообщество, в котором люди делятся, какие приёмы из этой книги у них работают, а какие нет.

Быстрее принесёт пользу «59 секунд» Ричарда Вайсмана. Вайсман - экспериментальный психолог и исследователь паранормальных явлений. Он собрал научно-обоснованную часть исследований самопомощи и оформил её в короткую, весёлую и полезную книгу в стиле Малкольма Гладуэлла. Следующая по хорошести популярная книга о самопомощи в целом - это, скорее всего, «Что вы можете изменить и чего вы не можете» Мартина Селигмана.

Есть две большие книги, в которых оцениваются сотни популярных книг по самопомощи, исходя из мнения профессиональных психологов, и даются советы, как выбрать книгу по самопомощи. К сожалению, их ценность невысока, поскольку мнения даже профессиональных психологов часто расходятся с эмпирическими данными. Подробно об этом можно прочитать в работах Скотта Лилиенфельда и других: «Наука и псевдонаука в клинической психологии» и «Navigating the Mindfield». По этим двум работам можно оценить, что известно и что неизвестно согласно эмпирическим исследованиям (а не по мнению экспертов). Лилиенфельд к тому же является редактором полезного журнала «Scientific Review of Mental Health Practice». Также он собрал список вредного психологического лечения. Ещё можно посмотреть «A guide to treatments that work» Натана и Гормана, «What works for whom?» Рота и Фонаджи, и, более общую, «Как думать прямо о психологии» Становича.

Много книг самопомощи написаны как «один размер подходит для всех», но конечно же это редко применимо в психологии, что приводит к разочарованию читателя (Norem &Chang, 2000). Но психологи проверили эффективность чтения отдельных проблемо-ориентированных книг самопомощи («библиотерапии»)1. Например, судя по всему, чтение «Хорошего самочувствия» Дэвида Бёрнса помогает при депрессии в той же степени, что и индивидуальная или групповая терапии. Результаты варьируются от книги к книге.

Есть как минимум четыре университетских учебника, которые учат базовой научной самопомощи. Первый - это Psychology Applied to Modern Life: Adjustment in the 21st Century by Weiten, Dunn и Hammer. Он дорогой, но можно предварительно просмотреть его здесь. Остальные - это Human Adjustment by SantrockPsychology for Living by Duffy и Psychology and the Callenges of Life by Nevid & Rathus.

Если бы вы могли прочесть только одну книгу о самопомощи, я бы порекомендовал Psychology Applied to Modern Life: Adjustment in the 21st Century by Weiten, Dunn и Hammer2. К сожалению, как и в случае «Психологической самопомощи» Такер-Ладда, многие главы этой содержат обзор научного мнения, а не экспериментальные результаты. Слишком мало было поставлено экспериментов!

В личной переписке со мной Вейтон заметил:

Ты пытаешься что-то найти примерно посреди чёрной дыры эмпирических исследований… В сущности, почти всё написанное по этой теме подчёркивает полное отсутствие свидетельств.

Наверное, я слишком циничен, но я подозреваю, что эмпирических проверок нет, потому что авторы книг о самопомощи и тайм-менеджменте сильно сомневаются, что получат благоприятные результаты. Следовательно, им не интересно настаивать на таких исследованиях, ведь они могут подорвать их продажи и лишить возможности написать следующую книгу. Другая причина в том, что у большинства авторов таких книг мало или совсем нет исследовательского опыта. Если рассуждать менее цинично, другая причина в том, что при необходимом исследовании возникли бы такие же огромные сложности, которые появляются, когда мы оцениваем эффективность различных подходов к терапии. Правильно оценивать эффективность разных видов терапий чрезвычайно сложно, и потому такие исследования требуют очень больших денег.

Когда я связывался с другими ведущими исследователями в психологии адаптации, они высказывали примерно такое же мнение.

Некоторые научные советы

Тем не менее, какие-то полезные советы психология как наука дать может. Я сосредоточусь на двух областях, которые особо интересны сообществу Less Wrong — учёбе и продуктивности, — а также на одной области, интересной всем — счастье.

Методы обучения

Когда вы хотите что-то выучить, упорядочивайте информацию, например, составляйте конспект (Einstein & McDaniel 2004; Tigner 1999; McDaniel et al. 1996). Зубрёжка не работает (Wong 2006). Составьте себе расписание, по которому вы будете учиться (Allgood et al. 2000). Проверяйте усвоение материала (Karpicke & Roediger 2003; Roediger &Karpicke 2006a; Roediger & Karpicke 2006b; Agarwal et al. 2008; Butler & Roediger 2008) и делайте это периодически, с перерывом между сеансами обучения 24 часа и более (Rohrer & Taylor 2006; Seabrook et al 2005; Cepeda et al. 2006; Rohrer et al. 2005; Karpicke &Roediger 2007). Проще говоря: используйте Anki.

Чтобы хранить в памяти изученное более эффективно, попробуйте акростихи (Hermann et al. 2002), метод ссылок (Iaccino 1996; Worthen 1997) и метод локусов (Massen &Vaterrodt-Plunnecke 2006; Moe & De Beni 2004; Moe & De Beni 2005).

Продуктивность

К сожалению, эксперименты в области продуктивности и тайм-менеджмента проводились реже, чем в области обучения. Если вы хотите получить обзор научных мнений о продуктивности, я рекомендую страницы 121-126 в Psychology Applied to Modern Life. Согласно этим страницам, профессионалы сходятся примерно на следующем:

Решать правильные задачи гораздо важнее, чем решать задачи эффективно. Более того, главная причина прокрастинации — это излишняя концентрация на повышении эффективности. Говорите «нет» чаще и используйте время для задач, которые действительно важны.

Делегируйте ответственность как можно чаще. Выкидывайте ненужные задачи и вещи.

Записывайте, как используете время. (Quantified Self может помочь.)

Записывайте свои цели. Разбивайте их на цели поменьше, и разбивайте те на выполнимые задачи. Планируйте эти задачи в календаре.

Проверяйте заметки и почту один раз. Выполняйте одну задачу за раз и группируйте похожие задачи вместе.

Используйте время простоя (полёты, проезды в автобусе, ожидание в очереди к доктору). В наше время многие из задач могут быть решены на смартфоне.

Почему исследований продуктивности так мало? Ведущий исследователь в этой области, Пирс Стил, в личной переписке объяснил мне так:

Наука обычно развивается от описания к экспериментам, и исследования прокрастинации находятся лишь на начальной стадии. Конкретно о прокрастинации работ почти нет, но есть много работ по более широкой области самоконтроля… многие результаты должны сохраниться, так как основы у этих явлений совпадают. Например, я совершенно уверен, что постановка целей работает, поскольку существуют около тысячи исследований об этом в области мотивации (не только конкретно прокрастинации). С другой стороны, мы строим поведенченскую лабораторию, так что мы можем проверить многие из этих техник в лоб, что несомненно нужно сделать.

Стил написал на эту тему книгу «Уравнение прокрастинации», которую я очень рекомендую.

Счастье

Существует множество исследований о факторах, которые коррелируют с субъективным благополучием (личной оценкой человека своего счастья и довольства жизнью).

Факторы, которые слабо коррелируют со счастьем включают в себя: возраст3, пол4, наличие детей5, интеллект6, физическую привлекательность7 и богатство8 (пока вы выше черты бедности). Факторы, средне коррелирующие со счастьем, включают в себя: здоровье9, социальную активность10 и религиозность11. Факторы, сильно коррелирующие со счастьем: генетика12, удовлетворённость любовью и отношениями13, удовлетворение работой14.

Для многих из этих факторов с некоторой достоверностью продемонстрирована и причинно-следственная связь, но это слишком сложная история для этой статьи

Заключение

Многие профессионалы построили свою карьеру после призыва Джорджа Миллера «выпустить психологию» в массы для улучшения благополучия людей. В результате, чтобы проверить, какие методы самопомощи работают, а какие нет, были проведены сотни экспериментов. Мы можем использовать это знание для достижения своих целей.

Но впереди остаётся ещё много работы. Многие особенности человеческой психологии и поведения изучены недостаточно хорошо. Многие методы самопомощи, описанные в научно-популярной и академической литературе, пока не проверены экспериментально. Если вы рассматриваете психологию как карьеру и (1) вы хотите улучшить благополучие людей, (2) получить финансирование исследований, (3) изучить область, которая недостаточно разработана, и (4) получить шанс написать книгу-бестселлер о самопомощи, когда вы закончите исследование, тогда пожалуйста, рассмотрите карьеру в экспериментальной проверке различных методов самопомощи. Человечество скажет вам за это спасибо.

Список литературы

Abdel-Khalek (2006). «Happiness, health, and religiosity: Significant relations.» Mental Health, 9(1): 85-97.

Agarwal, Karpicke, Kang, Roediger, & McDermott (2008). «Examining the testing effect with open- and closed-book tests.» Applied Cognitive Psychology, 22: 861-876.

Allgood, Risko, Alvarez, & Fairbanks (2000). «Factors that influence study.» In Flippo &Caverly, (Eds.), Handbook of college reading and study strategy research. Mahwah, NJ: Erlbaum.

Argyle (1999). «Causes and correlates of happiness.» In Kahneman, Diener, & Schwartz (Eds.), Well-being: The foundations of hedonic psychology. New York: Sage.

Argyle (2001). The Psychology of Happiness (2nd ed.). New York: Routledge.

Buckley (1998). God is My Broker: A Monk-Tycoon Reveals the 7 1/2 Laws of Spiritual and Financial Growth. New York: Random House.

Butler & Roediger (2008). «Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing.» Memory & Cognition, 36(3).

Chida, Steptoe, & Powell (2009). «Religiosity/Spirituality and Mortality.» Psychotherapy and Psychosomatics, 78(2): 81-90.

Cepeda, Pashler, Vul, Wixted, & Rohrer (2006). «Distributed practice in verbal recall tasks: A review and quantitative synthesis.» Psychological Bulletin, 132: 354-380.

Diener, Sandvik, Seidlitz, & Diener (1993). «The relationship between income and subjective well-being: Relative or absolute?» Social Indicators Research, 28: 195-223.

Diener, Wolsic, & Fujita (1995). «Physical attractiveness and subjective well-being.» Journal of Personality and Social Psychology, 69: 120-129.

Diener, Gohm, Suh, & Oishi (2000). «Similarity of the relations between marital status and subjective well-being across cultures.» Journal of Cross-Cultural Psychology, 31: 419-436.

Diener & Seligman (2002). «Very happy people.» Psychological Science, 13: 80-83.

Diener & Seligman (2004). «Beyond money: Toward an economy of well-being.» Psychological Science in the Public Interest, 5(1): 1-31.

Diener, Kesebir, & Tov (2009). «Happiness» In Leary & Hoyle (Eds.), Handbook of Individual Differences in Social Behavior (pp. 147-160). New York: Guilford.

Einstein & McDaniel (2004). Memory Fitness: A Guide for Successful Aging. New Haven, CT: Yale University Press.

Frey & Stutzer (2002). «What can economists learn from happiness research?» Journal of Economic Literature, 40: 402-435.

Hermann, Raybeck, & Gruneberg (2002). Improving memory and study skills: Advances in theory and practice. Ashland, OH: Hogrefe & Huber.

Iaccino (1996). «A further examination of the bizarre imagery mnemonic: Its effectiveness with mixed context and delayed testing. Perceptual & Motor Skills, 83: 881-882.

Inglehart (1990). Culture shift in advanced industrial society. Princeton, NJ: Princeton University Press.

Johnson & Krueger (2006). «How money buys happiness: Genetic and environmental processes linking finances and life satisfaction.» Journal of Personality and Social Psychology, 90: 680-691.

Judge & Klinger (2008). «Job satisfaction: Subjective well-being at work.» In Eid & Larsen (Eds.), The science of subjective well-being (pp. 393-413). New York: Guilford.

Kahneman, Krueger, Schkade, Schwarz, & Stone (2006). «Would you be happier if you were richer? A focusing illusion.» Science, 312: 1908-1910.

Kasser (2002). The high prices of materialism. Cambridge, MA: MIT Press.

Kasser, Ryan, Couchman, & Sheldon (2004). «Materialistic values: Their causes and consequences.» In Kasser & Kanner (Eds.), Psychology and consumer culture: The struggle for a good life in a materialistic world. Washington DC: American Psychological Association.

Karpicke & Roediger (2003). «The critical importance of retrieval for learning.» Science, 319: 966-968.

Karpicke & Roediger (2007). «Expanding retrieval practice promotes short-term retention, but equally spaced retrieval enhances long-term retention.» Journal of Experimental Psychology: Learning, Memory, and Cognition, 33(4): 704-719.

Lucas & Diener (2008). «Personality and subjective well-being.» In John, Robins, & Pervin (Eds.), Handbook of personality: Theory and research (pp. 796-814). New York: Guilford.

Lyubomirsky, Sheldon, & Schkade (2005). «Pursuing happiness: The architecture of sustainable change.» Review of General Psychology, 9(2), 111-131.

Lykken & Tellegen (1996). «Happiness is a stochastic phenomenon.» Psychological Science, 7: 186-189.

Lykken (1999). Happiness: The nature and nurture of joy and contentment. New York: St. Martin’s.

Massen & Vaterrodt-Plunnecke (2006). «The role of proactive interference in mnemonic techniques.» Memory, 14: 189-196.

McDaniel, Waddill, & Shakesby (1996). «Study strategies, interest, and learning from Text: The application of material appropriate processing.» In Herrmann, McEvoy, Hertzog, Hertel, &Johnson (Eds.), Basic and applied memory research: Theory in context (Vol 1). Mahwah, NJ: Erlbaum.

Miller (1969). «On turning psychology over to the unwashed.» Psychology Today, 3(7), 53–54, 66–68, 70, 72, 74.

Moe & De Beni (2004). «Studying passages with the loci method: Are subject-generated more effective than experimenter-supplied loci?» Journal of Mental Imagery, 28(3-4): 75-86.

Moe & De Beni (2005). «Stressing the efficacy of the Loci method: oral presentation and the subject-generation of the Loci pathway with expository passages.» Applied Cognitive Psychology, 19(1): 95-106.

Myers (1992). The pursuit of happiness: Who is happy, and why. New York: Morrow.

Myers & Diener (1995). «Who is happy?» Psychological Science, 6: 10-19.

Myers & Diener (1997). «The pursuit of happiness.» Scientific American, Special Issue 7: 40-43.

Myers (1999). «Close relationships and quality of life.» In Kahnemann, Diener, & Schwarz (Eds.), Well-being: The foundations of hedonic psychology. New York: Sage.

Myers (2008). «Religion and human flourishing.» In Eid & Larsen (Eds.), The science of subjective well-being (pp. 323-346). New York: Guilford.

Nickerson, Schwartz, Diener, & Kahnemann (2003). «Zeroing in on the dark side of the American dream: A closer look at the negative consequences of the goal for financial success.» Psychological Science, 14(6): 531-536.

Nolen-Hoeksema (2002). «Gender differences in depression.» In Gotlib & Hammen (Eds.), Handbook of Depression. New York: Guilford.

Proulx, Helms, & Cheryl (2007). «Marital quality and personal well-being: A Meta-analysis.» Journal of Marriage and Family, 69: 576-593.

Roediger & Karpicke (2006a). «Test-enhanced learning: Taking memory tests improves long-term retention.» Psychological Science, 17: 249-255.

Roediger & Karpicke (2006b). «The power of testing memory: Basic research and implications for educational practice.» Perspectives on Psychological Science, 1(3): 181-210.

Riis, Loewenstein, Baron, Jepson, Fagerlin, & Ubel (2005). «Ignorance of hedonic adaptation to hemodialysis: A study using ecological momentary assessment.» Journal of Experimental Psychology: General, 134: 3-9.

Rohrer & Taylor (2006). «The effects of over-learning and distributed practice on the retention of mathematics knowlege. Applied Cognitive Psychology, 20: 1209-1224.

Rohrer, Taylor, Pashler, Wixted, & Cepeda (2005). «The Effect of Overlearning on Long-Term Retention.» Applied Cognitive Psychology, 19: 361-374.

Ross & Van Willigen (1997). «Education and the subjective quality of life.» Journal of Health &Social Behavior, 38: 275-297.

Seabrook, Brown, & Solity (2005). «Distributed and massed practice: From laboratory to class-room.» Applied Cognitive Psychology, 19(1): 107-122.

Solberg, Diener, Wirtz, Lucas, & Oishi (2002). «Wanting, having, and satisfaction: Examining the role of desire discrepancies in satisfaction with income.» Journal of Personality and Social Psychology, 83(3): 725-734.

Stubbe, Posthuma, Boomsa, & De Geus (2005). «Heritability and life satisfaction in adults: A twin-family study.» Psychological Medicine, 35: 1581-1588.

Tigner (1999). «Putting memory research to good use: Hints from cognitive psychology.» College Teaching, 47(4): 149-151.

Van Boven (2005). «Experientialism, materialism, and the pursuit of happiness.» Review of General Psychology, 9(2): 132-142.

Warr (1999). «Well-being and the workplace.» In Kahneman, Diener, & Schwartz (Eds.), Well-being: The foundations of hedonic psychology. New York: Sage.

Wong (2006). Essential Study Skills. Boston: Houghton Mifflin.

Worthen (1997). «Resiliency of bizarreness effects under varying conditions of verbal and imaginal elaboration and list composition. Journal of Mental Imagery, 21: 167-194.

1.Прочитайте хороший обзор литературы в книге Бергсма, «Do Self-Help Books Help?» (2008).

2.Я рекомендую 10-е издание, в котором по сравнению с 9-м внесли значительные улучшения, в том числе 4500 новых ссылок.

3.Возраст и счастье не связаны между собой(Lykken 1999), влияние возраста на счастье людей составляет меньше 1% (Inglehart 1990; Myers & Diener 1997).

4.Несмотря на то, что женщины вдвое чаще болеют депрессией, чем мужчины(Nolen-Hoeksema 2002), женщины оценивают своё благополучие не хуже, чем мужчины (Myers 1992).

5.Поскольку люди с детьми и бездетные одинаково счастливы (Argyle 2001), судя по всему, радости и стрессы родительства уравновешивают друг друга.

6.Судя по всему, ни IQ, ни успехи в учёбе не влияют на счастье(Diener et al. 2009; Ross & Van Willigen 1997).

7.У людей с красивой внешностью есть много преимуществ, но они не оценивают своё счастье выше, чем другие (Diener et al. 1995).

8.Корреляция между доходами и счастьем удивительно мала (Diener & Seligman 2004; Diener et al. 1993; Johnson & Krueger 2006). Возможно, проблема в том, что высокие доходы способствуют большему материализму, который мешает счастью (Frey & Stutzer 2002; Kasser et al. 2004; Solberg et al. 2002; Kasser 2002; Van Boven 2005; Nickerson et al. 2003; Kahneman et al. 2006).

9.Люди с инвалидностью счастливее, чем вы могли бы подумать (Myers 1992; Riis et al. 2005; Argyle 1999).

10.Те, кого устраивает их социальная жизнь, в среднем более счастливы, чем другие (Diener & Seligman 2004; Myers 1999; Diener & Seligman 2002).

11.Религиозность коррелирует со счастьем (Abdel-Kahlek 2005; Myers 2008), хотя, возможно, причина здесь не в религиозных убеждениях, а религиозных сообществах(Chida et al. 2009).

12.Счастье в будущем легче всего прогнозировать, опираясь на счастье в прошлом(Lucas & Diener 2008). Счастья удивительно сложно лишить внешними факторами(Lykken & Tellegen 1996), поскольку генетика отвечает примерно за 50% различия в уровне счастья (Lyubomirsky et al. 2005; Stubbe et al. 2005).

13.Люди в браке счастливее одиноких и разведённых (Myers & Diener 1995; Diener et al. 2000), и по удовлетворению браком можно предсказывать счастье (Proulx et al. 2007).

14.Отсутствие работы делает людей очень несчастными (Argyle 2001), а удовлетворение от работы сильно коррелирует со счастьем (Judge & Klinger 2008; Warr 1999).

Как перестать откладывать дела

Люк Мюльхаузер

1.Введение

2.Уравнение прокрастинации

3.Уравнение прокрастинации в действии

4.Как побороть склонность откладывать дела на потом

5.Оптимизация оптимизма

5.1.Спирали успеха

5.2.Заместительная победа

5.3.Мысленное сравнение

5.4.Предостережение против чрезмерного оптимизма

6.Увеличение ценности

6.1.Поток

6.2.Значение

6.3.Энергия

6.4.Награды

6.5.Страсть

7.Управление импульсивностью

7.1.Самоограничение на данный момент

7.2.Постановка целей

8.Заключение

Введение

«Ибо не понимаю, что делаю: потому что не то делаю, что хочу, а что ненавижу, то делаю» — апостол Павел, послание к Римлянам, 7:15.

Когда вы понимаете, как использовать байесианское мышление, возникает соблазн решать все привычные задачи «с нуля» только при помощи новых навыков рациональности. Но часто более эффективно будет воспользоваться вашей эрудицией и по меньшей мере сначала определить, что же вы точно знаете о предмете проблемы.

Сегодня, я хочу решить проблему прокрастинации путем подытоживания того, что мы о ней знаем и как с ней бороться.

Позвольте мне начать с описания трёх типичных ситуаций…

Эдди посетил курсы по продажам, прочёл все книги и повторил перед зеркалом этим утром все обязательства для себя. Теперь ему нужно совершить первую продажу. Один отказ за другим деморализуют его. Он переставляет вещи на столе, бродит по сайтам Интернета и откладывает холодные звонки до тех пор, пока потенциальные клиенты не уйдут с работы домой.

Три кадра подряд Валери сидит, уставившись на пустой документ в Microsoft Word. Ей нужно завтра сдать это отупляюще скучное сочинение по муниципальной политике. Она решает, что ей нужен перерыв, переписывается с друзьями, смотрит ТВ-шоу, после чего обнаруживает, что мотивации писать стало ещё меньше. В 10 вечера она наконец ныряет в работу, но результат соответствует затраченному времени: он ужасен.

В квартире ниже этажом Том готовится заранее. Он получил визу, купил билеты на самолёт и заказал себе отдых на время отпуска в Доминиканской республике. Ему осталось ещё зарезервировать комнату в отеле, но это можно сделать в любое время. Том всё переносит это дело на следующий день недели, а в итоге и вовсе о нём забывает. Собирая вещи, он вспоминает, что надо заказать комнату, но к этому моменту уже нет ничего вблизи пляжа. Прибыв на место, он обнаруживает, что его комната находится в 10 кварталах от пляжа и украшена дохлыми комарами.

Эдди, Валери и Том стали жертвами склонности откладывать дела на потом, но она по-разному у них проявилась1.

Проблема Эдди — заниженные ожидания. Он рассчитывает лишь на провал. Эдди имеет заниженный уровень ожидания успеха от того, что он сделает следующий «холодный» звонок. Результаты 39-и исследований прокрастинации показывают, что низкий уровень ожиданий это основная причина прокрастинации. Вы сомневаетесь в своей способности следовать диете. Вы не думаете, что получите работу. Вам следует чаще выходить наружу и встречаться с девушками, чтобы учиться флиртовать, но вы настроены на то, что они откажут и поэтому вы откладываете. Вы научились быть беспомощными.

Проблема Валери в том, что её задача имеет для неё низкую ценность. Все мы откладываем то, что нам не нравится. Легко пойти на встречу с друзьями чтобы выпить или пойти поиграть в видеоигру; не так легко начать выполнять свои обязанности. Это не только очевидно, но и подтверждено рядом научных исследований. Мы откладываем те вещи, которые не хотим делать.

Но наиболее надёжным признаком склонности откладывать дела на потом является проблема Тома: импульсивность. Для Тома было бы легко забронировать отель, но он предпочел отвлечься на более срочные или интересные вещи и даже не помнил о бронировании отеля до последнего момента, что оставило его с весьма бедным выбором комнат. Научные исследования показали, что прокрастинация тесно связана с импульсивностью.

Импульсивность сочетается с более общим компонентом склонности откладывать дела на потом: временем. Влияние события на наши решения снижается по мере увеличения расстояния до него во времени. Нас меньше мотивируют отложенные награды, чем немедленные, и чем вы импульсивней, тем больше на вашу мотивацию влияют такие задержки.

Ожидания, ценность, задержка и импульсивность — это четыре основных компонента склонности откладывать дела на потом. Пирс Стил (Piers Steel), ведущий исследователь в этой области, объясняет:

Понизьте определённость или размер награды за выполнение задачи — т.е. ожидания или ценность — и вряд ли вам хватит энтузиазма её завершить. Увеличьте задержку до получения награды и нашу восприимчивость к такой задержке — импульсивность — и мотивация снова упадёт.

Уравнение прокрастинации

Из этого можно вывести «уравнение прокрастинации»: мотивация равняется ожиданиям умноженным на ценность, делённым на импульсивность и задержку.

И хотя изучение этого явления продолжается, уже сейчас есть уравнение прокрастинации, которое было получено из основных выводов о прокрастинации и опирается на наши лучшие текущие теории о мотивации.

Увеличьте размер награды за решение задачи (включая как удовольствие работы над задачей, так и величину постэффектов), и ваша мотивация вырастет. Увеличьте предполагаемые шансы на награду и мотивация тоже вырастет.

Как вы могли уже заметить, часть уравнения, касающаяся влияния размера награды и шансов её получить, представляет собой одно из основных уравнений теории ожидаемой полезности, лежащей в основе современной экономики. Но одним из важнейших аргументов против стандартной экономической теории является то, что она не учитывает время. Например, в 1991 году Джордж Акерлоф (George Akerlof) заметил, что мы иррационально считаем текущие издержки более важными, чем будущие издержки. Это привело к расцвету поведенческой (бихевиористской) экономики, учитывающей время (помимо прочего).

Следовательно, знаменатель, который дает такой эффект для нашей мотивации делать задачу — это время. Чем больше промежуток между нами и ожидаемой наградой за решение задачи, тем меньше нам хочется делать эту задачу. Негативный эффект этой задержки, влияющий на нашу мотивацию, усиливается нашим уровнем импульсивности. Для очень импульсивных людей, задержки наносят очень большой ущерб их мотивации.

Уравнение прокрастинации в действии

В качестве примера рассмотрим студентку колледжа, которая должа написать статью на заданную тему. Однако к сожалению для нее, коллеги создали идеальный шторм компонентов прокрастинации. Во-первых, хотя значение статьи для ее оценки может быть высоким, непосредственная оценка этого значения может быть в данной момент низкой, особенно если ей так же, как и многим студентам, не хочется писать статьи. Более того, скорее всего вряд ли она ожидает высокую оценку. Измерить производительность тяжело, и нередко если эссе проверяют два разных профессора, они могут поставить весьма разные оценки: эссе на четверку может получить пятерку, если повезет, или тройку, если не повезет. Также присутствует и большая задержка во времени, поскольку статья нужна к концу семестра. Если наша студентка имеет импульсивный характер, отрицательный эффект этой задержки на ее мотивацию писать статью значительно усиливается. Написание статьи — тяжелое занятие (низкая оценка), результаты неопределенные (малые ожидания) и срок сдачи далеко (большая задержка).

И это еще не все. Аудитории колледжа и комнаты кампуса в общем, можно назвать самыми отвлекающими местами на земле. Всегда есть возможности повеселиться (клубы, вечеринки, отношения, игры, встречи, алкоголь) что всегда под рукой и доступны. Неудивительно, что задача написания статьи не может конкурировать. Эти потенциальные помехи усиливают отрицательный эффект задержки награды за выполнение задачи и отрицательный эффект импульсивности студентки.

Как побороть склонность откладывать дела на потом

Хотя уже много известно о явлениях нейробиологии, стоящих за прокрастинацией, я не буду здесь этого касаться. Вместо этого, давайте перейдем прямо к вариантам решения нашей проблемы с прокрастинацией.

Теперь, когда вы знаете уравнение прокрастинации, наша общая стратегия очевидна. Так как обычно вы мало что можете сделать с задержкой награды за выполнение задачи, мы сконцентрируемся на трех частях уравнения прокрастинации, над которыми мы имеем контроль. Чтобы побороть прокрастинацию нам нужно:

Повысить ожидание успеха

Повысить ценность задачи (сделать её более приятной и поощряющей)

Понизить импульсивность

Вы можете подумать, что эти вещи вовсе не под вашим контролем, однако исследователи нашли несколько полезных методов реализации этих задач.

Большинство советов ниже взято из лучшей доступной книги о прокрастинации, «Уравнение прокрастинации» Пирса Стила, в которой эти методы объяснены более подробно.

Оптимизация оптимизма

Если вы не думаете, что можете преуспеть, у вас мало мотивации делать то, что нужно. Скорее всего вы слышали совет «Будь позитивней!» Но как? К настоящему времени исследователи выявили три основных методики увеличения оптимизма: спирали успеха, заместительная победа, мысленное сравнение.

Спирали успеха

Одним из способов построить свой успешный оптимизм является использование спиралей успеха. Достигая одну стимулирующую цель за другой, вы, разумеется, набираетесь уверенности в своей способности добиваться успеха. Итак: задайте себе серию значимых, трудных, но достижимых целей и выполните их! Настройте себя на успех, снова и снова делая то, в чём вы можете преуспеть, чтобы поддерживать уверенность в себе на высоком уровне.

Стил рекомендует это для новичков: «зачастую лучше всего — иметь цели процесса или обучения, а не цели продукта либо результата. То есть цели приобретения или оттачивания новых навыков либо этапов (процесса), нежели цели победить или получить максимальный счёт (результат)».

Туристические курсы и похожие виды спорта (сплав по горным рекам, скалолазание, палаточный туризм и т.п.) — великолепный выбор для этого. Выучите новый навык, будь это кулинария или карате. Возьмите на себя больше ответственности на работе или в своём сообществе. Продвиньте любимое хобби на более высокий уровень. Главное — достигать одну цель за другой и уделять внимание своим успехам. Ваш мозг наградит вас увеличением ожидания успеха, а значит — повышением способности справляться со склонностью откладывать дела на потом.

Заместительная победа

И пессимизм, и оптимизм заразны. Где бы вы ни были, у вас, вероятно, есть доступ к сообществам, отлично подходящим для повышения позитива: мастера тостов, клубы «ротари» (по одному представителю от разных свободных профессий), фонды популяризации знаний («лоси»), религиозные общины и прочие. Рекомендую посетить 5-10 подобных групп в вашей местности и присоединиться к наилучшей из них.

Также можно увеличить оптимизм, просматривая вдохновляющее кино, читая вдохновляющие биографии и слушая мотивирующих ораторов.

Мысленное сравнение

Многие популярные книги по помощи себе советуют творческую визуальзацию — методику регулярно и наглядно представлять себе то, чего хотите достичь: машину, карьеру, достижения. Удивительным образом, исследования показали, что этот метод на самом деле может понизить вашу мотивацию.

Но это если не добавить другой важный шаг: мысленное сравнение. Представив себе то, чего хотите достичь, мысленно сравните это с тем, в каком положении находитесь сейчас. Представьте свою старую ржавую машину и свой маленький счёт в банке. Это обозначит текущую ситуацию как препятствие, которое нужно преодолеть, чтобы осуществить свои мечты, что стимулирует процесс планирования и приложения усилий.

Предостережение против чрезмерного оптимизма

И наконец, должен заметить, что избыток оптимизма тоже может быть проблемой, хоть и встречается реже. Например, избыточный оптимизм в оценке того, сколько времени займёт выполнение задачи, может привести к тому, что вы будете её откладывать до последней минуты, когда выяснится, что уже слишком поздно. Нечто вроде книги «Секрет» Ронды Бирн (Rhonda Byrne) может быть чересчур оптимистичным.

Как себя защитить от избытка оптимизма? Планируйте с учётом худшего, но надейтесь на лучшее. Уделяйте внимание тому, как именно вы откладываете дела на потом, стройте запасные планы на случай провала, но используйте описанные в этой главе способы, чтобы достичь как можно большего успеха.

Увеличение ценности

Трудно быть мотивированным что-то сделать, что не имеет особой ценности для нас — или ещё хуже, просто неприятно. Хорошая новость в том, что эта ценность в некоторой степени искусственная и относительная. Эластичность ценности — это хорошо изученная область, называемая психофизикой, и у исследователей есть несколько советов, как добавить ценность в необходимые задачи.

Поток

Если задача, которую вы избегаете, скучна, постарайтесь сделать её более трудной, настолько, чтобы уровень трудности соответствовал вашим текущим навыкам, и вы достигнете состояния «потока». Это то, что делали полицейские в фильме «Суперполицейские»: они придумывали странные игры и задачи, чтобы сделать скучную работу выполнимой. Миртл Янг сделала свою работу на фабрике картофельных чипсов более интересной и сложной, выискивая чипсы, похожие на знаменитостей, и откладывая их с конвейера.

Значение

Также помогает, если вы убедитесь, что задачи связаны, хотя бы через цепь событий, с чем-то, что для вас важно: вы читаете книгу, чтобы сдать экзамен, чтобы получить диплом, чтобы получить желаемую работу и реализоваться в карьере. Разрыв цепи делает задачу ощущаемой как бесполезная.

Энергия

Очевидно, что задачи трудней выполнять, когда у вас мало энергии. Беритесь за них тогда, когда вы в наилучшей форме. Это зависит от вашего суточного ритма, но у большинства людей максимум энергии приходится на период, начинающийся через несколько часов после того, как они проснулись, и длящийся 4 часа. Также следите, чтобы высыпаться и регулярно делать физические упражнения.

Также многим людям помогает следующее:

Пить много воды.

Перестать потреблять пищу, содержащую пшеницу и другие злаки.

Принимать лекарства (особенно модафинил), если необходимо.

Раз в неделю недолго, но интенсивно заниматься спортом.

Когда устали, можно ополоснуть лицо холодной водой, либо принять душ, либо сделать «разножку» (прыжки на месте с переменой положения рук и ног) или пробежку.

Слушать музыку, повышающую настроение.

Понизить хаотичность своей жизни, так как обработка хаотичной информации истощает ваш мозг весь день напролёт.

Награды

Ещё один очевидный способ повысить ценность задачи — наградить себя за её завершение.

Также, можно сочетать горькое лекарство со сладким мёдом. Объединяйте долгосрочные интересы с краткосрочными удовольствиями. Найдите партнёра для совместной работы, чья компания вам приятна. Угостите себя особым кофе за выполнение задач. Я себя подкупаю замороженным йогуртом «Pinkberry» для выполнения задач, которые я ненавижу делать.

Страсть

Конечно, самый мощный способ увеличить ценность задачи — везде, где можно, концентрироваться на тех делах, которые вы любите делать. Мне не требуются особой мотивации, чтобы делать исследования в метаэтике или писать научные статьи по помощи себе: это то, что я люблю делать. Некоторые люди, любящие играть в видеоигры, сделали на этом карьеру. чтобы выяснить, какая карьера может требовать именно тех задач, которые вы любите делать, можете попробовать пройти личностный тест RIASEC. В США есть O*NET, который может помочь найти работу, пользующуюся спросом и соответствующую вашей личности.

Управление импульсивностью

Импульсивность, в среднем, это фактор, который более всего влияет на величину прокрастинации. Здесь приведены два метода Стила, которые помогают немного справиться с импульсивностью.

Самоограничение на данный момент

Одиссей сумел проплыть мимо прекрасных поющих сирен не с помощью своей силы воли. Напротив, он знал о своей слабости и заранее подготовился: буквально привязал себя к мачте корабля. Некоторые формы самоограничения полезны при управлении импульсивностью.

Первый способ — «выбросить ключ»: закройте привлекательные альтернативы. У многих людей повысилась результативность, когда они решили не допускать наличия телевизора в своём доме; у меня его нет уже много лет. Но сейчас ТВ становится всё более доступным через Интернет. Чтобы заблокировать его, вам может понадобится инструмент вроде RescueTime. Или просто отключите роутер от розетки, когда у вас есть дела.

Другой способ — сделать провал воистину болезненным. Вебсайт «stickK» позволяет вам отложить деньги, которые вы потеряете, если не выполните цель, и обеспечивает, чтобы у вас был сторонний судья, который решит, выполнили вы цель или нет. Чтобы «поднять ставки», сделайте так, чтобы ваши деньги в случае вашего провала ушли в организацию, которые вы ненавидите. И попросите выбранного судью опубликовать подробности вашего благотворительного взноса в Фейсбуке, если вы не выполните цель.

Постановка целей

Сотни книг рекомендуют постановку целей по системе SMART: цели должны быть конкретными, измеримыми, достижимыми, реалистичными и привязанными ко времени. Эти рекомендации подкреплены хорошими исследованиями? Не особо. Во-первых, заметим, что достижимость перекрывается реалистичностью, а конкретность перекрывается измеримостью и привязанностью ко времени. Во-вторых, отсутствуют важные концепции. Выше мы уже подчёркивали важность того, чтобы цели были трудными, но интересными (и вели к состоянию «потока») и значимыми (связанными с тем, что вы хотите).

Также важно разделять задачи на множество мелких подзадач, которые проще достичь и у которых более близкие сроки выполнения. Например, часто ставят задачи на день, но также может помочь постановка цели на «прямо сейчас», чтобы прорваться через порог «включения в работу». Первой целью может стать «Написать письмо продюсеру», а следующей — задача дня. После выполнения первой 5-минутной задачи вы, вероятно, уже окажетесь на пути к выполнению большей по объёму задачи дня, даже если она требует 30 минут или 2 часа.

Ещё: у ваших задач измеряются затраты или результаты? Ваша задача — потратить 30 минут на дело Х или получить конечный результат Х? Попробуйте оба способа для разных задач и выясните, какой лучше работает для вас.

Поскольку мы существа с привычками, помогает вхождение в рутинный процесс. Например: делайте упражнения в одно и то же время каждый день.

Заключение

Подведем итоги. Чтобы побороть прокрастинацию, вам нужно увеличить вашу мотивацию для каждой задачи, которую вы склонны откладывать. Чтобы сделать ее, вы можете (1) оптимизировать ваш оптимизм, что вы сможете ее сделать, (2) сделать выполнение задачи интересным и приятным занятием и (3) предпринять шаги по уменьшению вашего уровня импульсивности. Для реализации этих вещей используйте методы, объясняемые выше (постановка целей, самоограничение, использование спиралей успеха и так далее)

Предупреждение: не пытайтесь быть идеальными. Не пытайтесь полностью исключить склонность откладывать дела на потом. Будьте реалистичны. Чрезмерное регулирование сделает вас несчастливым. Вам нужно найти баланс.

Итак, теперь у вас есть нужные инструменты. Выясните, какие переменные уравнения склонности откладывать дела на потом больше всего влияют на вашу ситуацию и какие методы изменения этих переменных лучше всего работают для вас. А затем давайте и сделайте себя сильней, выполните эту работу и помогите спасти мир!

(А также прочтите книгу «Уравнение прокрастинации» (English), если хотите узнать обо всём этом подробней, чем я написал здесь).

1.Это вымышленные персонажи, используемые для иллюстрации уравнения.

Как быть счастливым

Люк Мелхаузер

1.Влияние на счастье

2.Счастье, личность и навыки

3.Счастье является субъективным и относительным понятием

4.Поток и внимательность

5.Как быть счастливее

Как-то сотрудник сказал мне: «Люк! Ты, кажется, самый счастливый человек из всех, кого я знаю! Как тебе удается быть таким счастливым все время?»

Скорее всего это был риторический вопрос, однако у меня есть достаточно подробный ответ. Видите ли, я был несчастлив большую часть своей жизни и даже несколько раз задумывался о самоубийстве. Тогда я потратил два года на изучение науки счастья. Теперь счастье является моим естественным состоянием. Я не могу припомнить в последнее время такого, чтобы я был несчастлив больше чем 20 минут.

Это изменение не произойдет само собой со всеми, или даже со многими (за исключением некоторых), но это стоит попробовать!

Мы все хотим быть счастливы, и счастье полезно для многих вещей. К примеру, счастье улучшает физическое состояние, повышает креативность, и даже позволяет вам принимать лучшие решения. (Труднее быть рациональным, когда вы несчастливы.) Так что, как часть цепочки о том, как выигрывать в жизни с наукой и рациональностью, давайте рассмотрим науку счастья.

Влияние на счастье

Раньше я заметил, что существует множество исследований тех факторов, которые связаны с субъективным благополучием (собственные оценки счастья и удовлетворенности жизнью человека).

К факторам, которые особо не связаны со счастьем, относят: возраст, пол, наличие детей, интеллект, физическая привлекательность и деньги (до тех пор, пока вы находитесь выше черты бедности). Факторы, которые умеренно связаны со счастьем: здоровье, социальная активность и религиозность. Факторы, значительно влияющие на счастье: генетика, любовь и удовлетворенность от отношений и работы.

Но одной взаимосвязи не достаточно. Мы хотим знать что является причиной счастья. И это понятие является более сложным для оценки. Но мы действительно кое-что об этом знаем.

Счастье, личность и навыки

Гены служат причиной около 50 % отклонений состояния счастья. Даже победители лотерей и недавно парализованные не замечают таких значительных изменений счастья, как вы можете ожидать. Предположительно, гены формируют счастье, создавая вашу личность, которая, как известно, является наследственной.

Итак, какие же черты личности склонны больше всего влиять на счастье? Экстравертность является одним из лучших показателей счастья, так же как сознательность, уступчивость, чувство собственного достоинства и оптимизм.

Что если вам не присущи эти черты? Во-первых, надо отметить, что они могут быть присущи вам, но вы об этом не знаете. Интравертность, к примеру, может усиливаться из-за нехватки социальных навыков. Если вы решили выучить и практиковать социальные навыки, можете выяснить, что у вас есть гораздо больше экстравертности, чем вы думали раньше! (Так случилось со мной.) Тоже самое подходит и для сознательности, уступчивости, самоуважения и оптимизма — они только частично связаны с личностью. Они относятся к тем навыкам, которым в определенной степени можно научится, и их изучение (или даже притворство, что научились) может увеличить счастье.

Во-вторых, недостаточность каких-либо из этих черт конечно же не обрекают вас на несчастье.

Счастье является субъективным и относительным понятием

Счастье определяется не объективными факторами, а вашим отношением к ним.

Счастье также относительно: вы, вероятно, будете счастливее, зарабатывая 25000 долларов в год на Коста Рике (где ваши соседи будут получать 13000 долларов в год), чем если будете зарабатывать 80000 долларов в год в Беверли Хиллз (где ваши соседи будут получать 130000 долларов в год).

Счастье является относительным понятием и в другом смысле: по отношению к вашим ожиданиям. Мы достаточно слабо можем спрогнозировать силу наших эмоциональных реакций на будущие события. Мы переоцениваем страдания, которые можем познать после разрыва романтических отношений, невозможность получить повышение, или даже подхваченную болезнь. Также мы переоцениваем радость, которую можем ощутить от покупки новой машины, получения повышения или поездки в милый прибрежный город. Потому снижайте ваши ожидания об удовольствии, которое вы получите от расходов такого рода.

Поток и внимательность

Вы, должно быть, слышали об известном исследовании, которое показывает, что люди становятся счастливее, когда они находятся в состоянии «потока». Это такое состояние, в котором вы полностью поглощены своей целью, которая интересна, сложна, и действительно полезна для вас. Это опыт «растворения в моменте» или, как говорят спортсмены, «нахождение в своей стихии».

Обретение потока в значительной мере связано с выполнением тех задач, которые соответствуют уровню вашей квалификации. Когда задание выходит далеко за рамки ваших способностей, вы будете чувствовать себя побежденным. Если задание слишком простое, вам будет скучно. Только когда задание сложное, но приемлемое, вам будет нравиться его выполнять. Мне вспомнилось состояние полицейских из фильма «Суперполицейские», которые придумывали странные игры и проблемы, чтоб сделать свою работу терпимой. Миртл Янг свою скучную работу на фабрике картофельных чипсов делала более интересной и сложной, выискивая картофельные чипсы похожие на знаменитостей, и забирала их с конвейерной ленты в свою коллекцию.

Если вы испытываете трудности с негативными эмоциями, достижение потока, возможно, будет лучшим лекарством. В противовес популярному мнению, позитивное мышление, для которого нужно прилагать усилия, часто делает вещи хуже. Пытаться не думать о расстраивающей мысли Х дает тот же эффект, что и попытка не думать о розовом слоне: вы ничего не можете сделать, а все равно думаете о розовом слоне.

В то время как пребывание «потерянным в моменте» может дать вам несколько лучших моментов в жизни, исследование также показало, что когда вы не в потоке, то попытка сделать перерыв и практиковать осознанность — то есть уделить внимание окружающей ситуации, вашим действиям и вашим ощущениям — может уменьшить хроническую боль и депрессию, уменьшить стресс и усталость, и дает целый ряд других положительных эффектов.

Как быть счастливее

Итак, счастье — это весьма сложная штука. Хуже того, мы должны помнить разницу между опытом счастья и воспоминаниями о нем. Я могу только слегка коснуться темы исследования счастья в этом крошечном посте. Вкратце, не существует простого способа исправить несчастье; не существует прямого пути к блаженству.

Более того, счастье по разному достигается разными людьми. Человек, страдающий от депрессии, вызванной химическим дисбалансом, получит больше пользы от таблетки, нежели от улучшения навыков социального взаимодействия. Здоровая, приятная, ответственная женщина-экстраверт все равно может быть несчастной, если она в ловушке неудачного замужества. Некоторые люди были воспитаны родителями, чей стиль воспитания не способствовал развитию здоровой самооценки, и нужно приложить значительные усилия, чтобы скомпенсировать этот недостаток. Для некоторых дорога к счастью длинна. Для остальных — коротка.

Ниже я рассматриваю ряд методов для того, чтобы стать счастливее. Некоторые из них я рассмотрел выше, многие — нет.

Эти методы грубо рассортированы в порядке убывания важности и эффективности, основываясь на моем читательском опыте. Вы должны подумать о том, кто вы, что делает вас счастливым, а что — несчастным, и чего вы можете достигнуть, чтобы определить какой из нижеописанных методов нужно попробовать первым. Еще, использование какого-либо из этих методов может потребовать от вас сначала достигнуть некоторых успехов в борьбе с откладыванием дел.

Итак, вот несколько методов для того, чтобы стать счастливее:

Если вы страдаете серьезной болезнью, депрессией, тревожностью, паранойей, шизофренией или другими серьезными проблемами — прежде всего обратитесь к врачу. Вот так.

Если даже вам не нужна профессиональная помощь, вы можете получить выгоду от определенного самоизучения и начальные рекомендации от опытного психолога-консультанта, как Том Кларк.

Развивайте навыки и привычки, связанные с экстраверсией. Для начала, купите одежду поприличнее и научитесь носить ее правильно. Почитайте книги на эту тему. Потом изучите базовые социальные навыки, включая язык тела. Если вы ярко выраженный интроверт, сначала попрактикуйтесь в общении на форумах и чатах. Далее, тратьте больше времени на небольшие разговоры с людьми. Ходите на встречи и мероприятия клуба «CouchSurfing». Практикуйте ваши навыки пока они не станут более естественными, и вы обнаружите, что вы наслаждаетесь пребыванием в компании других людей. Научитесь быть смешным и практикуйте это тоже.

Повышайте свою самооценку и развивайте оптимизм. Это непросто. Во-первых, слишком высокая самооценка может вести к ужасному нарциссизму. Во-вторых, неясно, может ли рационалист использовать некоторые стандартные методы повышения самооценки (корыстная предвзятость, упоение своей славой, само-гандикап), поскольку они связаны с самообманом и анти-эпистемологией. Однако есть несколько безопасных путей для повышения самооценки и оптимизма. Используйте спирали успеха, заместительную победу и умственный контраст, как описано в статье «Как перестать откладывать дела».

Улучшайте вашу способность понимать других. Проще говоря, это в основном значит: улучшайте свою эмпатию. К сожалению, мало известно (в научном смысле) о том, как улучшать эмпатию. Стандартный совет состоит в том, чтобы стараться видеть вещи с точки зрения другого человека и больше думать о тех людях, которым повезло меньше чем вам и что вы можете для них сделать. Несколько хороших советов может дать организация «Roots of Empathy».

Улучшайте свою добросовестность. Она включает в себя ряд направлений: полезную организацию, сильную рабочую этику, надежность, планирование заранее и т. д. Каждому из этих отдельных навыков можно научиться. Здесь могут пригодится методы борьбы с откладыванием дел на потом. Некоторые люди сообщают, что книги, наподобие «Getting Things Done», помогли им стать организованней и ответственней.

Развивайте привычку быть благодарным. Наслаждайтесь хорошими моментами на протяжении каждого дня. Проводите время думая о счастливых воспоминаниях. И в конце каждого дня пишите по пять вещей, за которые вы благодарны: за крышу над головой, вашу хорошую судьбу родиться в богатой стране, существование сайта Less Wrong, вкус шоколада, ощущение оргазма….что угодно. Это звучит по-детски, но работает.

Найдите свою цель и следуйте за ней. Одно из преимуществ религии в том, что она дает людям чувство смысла и цели. Однако даже без волшебного божества, которое даст вам цель, вы можете найти себе цель которая будет вести вас. Это может занять много времени, и, может быть, вам придется перепробовать множество областей перед этим. Но однажды вы найдете путь, который значительно мотивирует вас и дает ощущение полноты жизни. (Конечно вы можете найти не одну цель, а множество.) Сильное ощущение осмысленности и цели имеет множество положительных эффектов. Рекомендация «найди цель» также предлагает иллюстрацию того, как методы могут отличаться по важности для людей. Данной рекомендации не всегда придается значение в литературе по счастью, но я предполагаю, что для нашего мозга мотивирующие цели делают больше, нежели любые другие методы из данной статьи.

Найдите приносящую удовлетворение работу. Немногие люди делают то, что им нравится. Принять данную точку зрения может быть сложно и трудно. Вы можете обнаружить что выполнение десяти других рекомендаций из данного списка — это первое что нужно чтобы получить хороший шанс на получение приносящей удовлетворение работы. Чтобы определить какая работа даст вам возможность делать то, что вам нравится, вам может помочь тест личности RIASEC. В США, O*NET может помочь вам найти работу, которая востребована и отвечает вашим способностям.

Улучшайте ваши отношения с вашим партнером, или найдите другого. Точно так же как с поиском подходящей работы, это сложно, однако дает сильный эффект. Если вы знаете, что ваши отношения никуда не движутся, то вы можете захотеть прекратить их и потратить больше времени на саморазвитие, что поможет улучшить будущие отношения. Если же вы достаточно серьезно относитесь к своему партнеру, есть множество вещей, что вы можете сделать для улучшения отношений. Хотя широко рекламируется «активное слушание», оно не всегда предвещает успех в отношениях. Опробованные советы для улучшения шансов на успех в отношениях и удовлетворение ими включают в себя:

почаще занимайтесь с партнером чем-то новым и захватывающим,

говорите партнеру что-то позитивное и положительное (о нем в том числе) в пять раз чаще, нежели негативное,

каждую неделю пишите, чем ваши отношения лучше, нежели у тех людей, которые вы знаете,

разбавляйте любую критику партнера упоминанием одного или двух его положительных качеств, и

почаще смотрите друг другу в глаза.

Чаще выходите наружу и побольше двигайтесь. Это улучшит ваше внимание и самочувствие.

Проводите больше времени в потоке. Оставьте невыполнимые задачи в пользу задач, которые находятся на грани ваших возможностей. Выполнение легких и скучных задач будет более увлекательным если выполнять их в виде игры или ставя вызовы для себя в виде этих задач.

Регулярно практикуйте осознанность. Если вы не в потоке, то не замыкайтесь в себе, а обратите внимание на то, как вы ведете себя, как функционируют ваши эмоции и как ваши текущие действия продвигают вас к вашим целям. В этом может помочь медитация.

Избегайте потребительства. То, чем вы владеете, в некотором смысле владеет вами. Потребительство ведет к тому, что вы становитесь несчастны. К сожалению, скорее всего вы с рождения запрограммированы смотреть сквозь линзы потребительства. Одним из способов избавиться от этих программ это является просмотр документального фильма о преднамеренном изобретении потребительства от Эдварда Бернайса. После него вы можете захотеть продать или отдать много ваших вещей и, что более важно, кардинально измените ваши покупательские шаблоны.

Замечу, что стремление к счастью, как к конечной цели, может оказаться непродуктивным. Многие люди отмечают, что постоянные попытки проверить счастливы ли они, на самом деле только понижают уровень счастья — эти слова вполне соответствуют данным по исследованию состояния потока. Лучше стремиться достигать поставленных целей, а счастье будет побочным эффектом.

Помните: счастье не наступит в результате чтения статей в интернете. Счастье придет, когда вы выполните рекомендации этого исследования.

Удачи!

Стратегическое мышление не свойственно нам по умолчанию

Анна Саламон

В ответ на запись Казус системной неэффективности.

Пользователь lionhearted пишет:

Большинство в целом умных людей тратят время на условно-продуктивные занятия, и не используют массу возможностей быть по-настоящему продуктивными.

Вот немного дурацкий пример: предположим, кто-то мечтает стать комиком, самым лучшим комиком в мире, и зарабатывать этим на жизнь. Ничего другого он не хочет, это его цель. И для того, чтобы усовершенствовать свой талант комика, он решает пересматривать старые мультики про Гарфилда и его друзей, которые показывали по телевизору в 1988-1995-х…

И я удивляюсь: почему так?

Почему случайно выбранный восьмилетка завалит экзамен по математическому анализу? Потому что большинство возможных ответов неверны, и никакая сила не направит его в сторону правильных. (Здесь нет необходимости ссылаться на «страх успеха»: большинство способов написать или не написать что-либо в ответ на тест ведут к провалу, так что и люди, и камни, заваливают его по умолчанию.)

Почему большинство из нас, как правило, выбирает «добиваться цели» путями намного менее эффективными, чем те, которые мы бы могли найти, если бы постарались? [1] Моё предположение — что, как и в случае с тестированием по математике, основная часть тех самых путей — неэффективна, и в прошлом не существовало достаточно сильного эволюционного или культурного давления, чтобы у нас выработались такие очень узкие поведенческие паттерны, которые бы действительно помогали добиться успеха.

Если конкретнее: в некотором ограниченном смысле у нас явно бывают цели. Мы: (1) говорим себе и другим, как мы стремимся добиться всяких «целей»; (2) ищем поведение, которое соответствует выбранной роли, которую мы себе присвоили («учить математику», «становиться комиком», «быть хорошим родителем»); и иногда даже (3) радуемся или разочаровываемся, когда поставленную «цель» удается или не удается достичь.

Но при этом существуют приемы, потенциально полезные для достижения целей (или важные для самого процесса целеполагания), которыми мы не пользуемся по умолчанию. Например:

(а) Спросить себя, чего мы пытаемся достичь;

(b) Спросить себя, как мы поймем, что цель достигнута («Как понять, что ты уже лучший комик?»), а также как отслеживать прогресс;

(с) Найти в себе сильную внутреннюю заинтересованность в любой информации, полезной для достижения цели;

(d) Собрать такую информацию (в том числе спрашивать, как другие достигали подобных или похожих целей; просчитать, какие стратегии были или не были действенными в прошлом);

(е) Систематически проверять различные теории касательно достижения наших целей, включая методы, которые нам непривычны, и параллельно отслеживать и отмечать, какие теории работают, а какие нет;

(f) Ту часть энергии, которая не занята поиском новых стратегий, сосредоточить на методах, которые лучше всего работают;

(g) Убедиться, что наша цель — действительно наша, мы сами к ней стремимся, и нас не сдерживает страх или неуверенность, стоит ли она наших усилий; что мы заранее продумали все вопросы и решения, которые окажутся на пути, чтобы они потом не отнимали у нас ресурсы;

(h) Использовать внешние триггеры и социальные ситуации, которые поддержат нашу мотивацию эффективно двигаться к цели, невзирая на периодические разочарования или искушения предпочесть осязаемый быстрый результат — неосязаемому в отделенном будущем.

Есть и множество других полезных техник. Но вместо того, чтобы ими пользоваться, мы просто делаем дела, как получается — действуем по привычке, импульсивно или исходя из соображений сиюминутного удобства; думая о цели, мы выбираем действия, которые просто с ней ассоциируются. Мы много чего делаем. Но у нас нет системного подхода к выбору алгоритма поступков, который бы эффективно оптимизировал достижение заявленных целей и вообще любых целей.

Почему так получается? В целом, потому что люди находятся только на пороге разумности. У 5% людей, может быть, достаточно развито абстрактное мышление, чтобы на словах понять вышеописанные приемы и оценить их потенциальную пользу. И это еще совсем не гарантирует способность их автоматически применять. Наш вербальный аппарат гораздо лучше справляется с абстрактными рассуждениями, чем механизмы мотивации, которые в итоге обуславливают наше поведение. Например, у меня достаточно развито абстрактное мышление, чтобы понимать, что стоять на стеклянном полу небоскреба безопасно, или что мороженое не слишком полезно для здоровья, или что регулярная физическая нагрузка способствует достижению моих целей… но награда за то, чтобы я руководствовалась этими соображениями, неосязаема, так что у меня автоматически не включается мотивация ими руководствоваться и соответственно менять свое поведение. Я могу настроить свои автопилоты — например, визуализировать как употребление мороженого закупоривает мои артерии, вообразить насколько это омерзительно; могу прогуливаться по страшному прозрачному полу, пока мозг не привыкнет думать, что я никуда не упаду… но автоматической привычки таким образом тренировать свои автопилоты у нас тоже нет. Так что совсем не удивительно, что большинство из нас не проводит такого рода работу над автоматическими реакциями ума, и большая часть наших действий по достижению целей также получается куда менее эффективной, чем возможно.

И все же, я хочу учиться. Я знаю людей, гораздо более стратегичных, чем я, и при этом мне видны способы развить стратегическое мышление еще лучше, чем у них. Похоже, что иметь цели, в более широком смысле, чем описано в (1)-(3), — часть рационального мышления как такового; это будет помогать нам получать в жизни то, что для нас важно. И этой теме на LW уделялось недостаточно внимания.

Подытоживая вопрос пользователя Lionhearted: насколько этот анализ выглядит верным? Кто-нибудь из вас пытался сознательно развить у себя стратегическое мышление или навыки достижения целей? Если да, то каким методом? Согласны ли вы с алгоритмами (a)-(h), описанными выше? Может, вы хотели бы что-то к ним добавить? Поделитесь идеями, как обучить себя такого рода алгоритмам.

[1] Например, почему многие люди долго учатся, чтобы «зарабатывать деньги», но при этом не потратят и пары часов, чтобы заранее сравнить потенциальную зарплату? Почему многие люди, которые ежедневно проводят часы за компьютерным набором текста, делают это двумя пальцами и не удосуживаются поставить себе программу по обучению десятипальцевому методу? Почему люди проводят субботы «отдыхая», но не потрудившись проследить, какие из привычных им видов рекреации конкретно им на самом деле нравятся? Почему даже люди, великолепно умеющие считать в уме, при этом боятся заболеваний, автокатастроф, приведений, и принимают меры защиты, но без учета статистики относительных рисков? Почему большинство из нас привыкает к единственному режиму того, как учиться, как писать тексты, как взаимодействовать с людьми и т.п., не рассматривая альтернативные варианты, которые могут оказаться гораздо эффективнее — даже поэкспериментировав и убедившись, что есть варианты значительно эффективнее?

Живя осознанно

Осознанность в том смысле, в каком я буду использовать этот термин, означает самоосмысление. Осознающий ум — тот, который, обладая чем-то, знает, чем он обладает. Это может быть эмоция, убеждение или иррациональное убеждение, предрасположенность, ощущение, воспоминание — все, что только может происходить или храниться в вашем мозге. Что творится в вашей голове? Ответ на этот вопрос — и важно, чтобы вы были точны — это то, что вы осознаете.

Живя осознанно

Ханна Финли

Я взяла слово «осознанность» из книги «Знание и его пределы» Тимоти Уильямсона, но я вкладываю в него другой смысл. (Он употреблял его как «быть в состоянии знать», а не знать на самом деле, и это определение не ограничивалось ментальными состояниями и событиями.)

Осознанность в том смысле, в каком я буду использовать этот термин, означает самоосмысление. Осознающий ум — тот, который, обладая чем-то, знает, чем он обладает. Это может быть эмоция, убеждение или иррациональное убеждение, предрасположенность, ощущение, воспоминание — все, что только может происходить или храниться в вашем мозге. Что творится в вашей голове? Ответ на этот вопрос — и важно, чтобы вы были точны — это то, что вы осознаете. Возможно это прозвучит неожиданно, но многим людям довольно трудно ответить на подобный вопрос. Даже если они могут опознать появление отдельных ментальных событий, они с трудом могут воспроизвести свой мыслительный процесс в динамике по времени, объяснить, почему он разворачивается именно таким образом, или наблюдать, как он изменяется. При достаточном уровне осознанности вы можете проверять свой опыт, мнения и запасенные мысли. Вы можете наблюдать, как они взаимодействуют, и различать шаблоны в их поведении. Это позволяет вам предсказывать, что вы подумаете и в свою очередь — что вы сделаете в будущем при различных внешних обстоятельствах.

За последние несколько лет я сделала все для увеличения моей осознанности настолько, насколько это возможно. Хотя я (пока) не осознаю в совершенстве, я уже достигла заметных улучшений в таких вспомогательных навыках, как управление настроением, изучение систем, вызывающих несдержанность и другое непозволительное поведение, и просто стала больше понимать о том, почему я делаю и чувствую то, что делаю и чувствую. У меня есть основания верить, что я осознаю значительно больше, чем средний человек, поскольку я могу задать людям вопросы, которые кажутся мне невероятно простыми, о том, что они думают, и обнаружить, что они не могут ответить. В то же время я не верю только своему впечатлению, что я всегда права, когда рассуждаю о себе. Мои модели себя, после того как я заканчиваю их настройку и подгонку и решаю, что они более или менее верны, описывают большую часть моего поведения. Обычно они также совпадают с тем, что другие люди думают обо мне — по крайней мере на определенном уровне.

В этой цепочке я планирую поделиться некоторыми из техник для улучшения осознанности, которые я использовала. Я надеюсь, что по крайней мере часть из них будет кому-то полезна. Однако я могу сказать, что «результаты не типичны». Мои предыдущие попытки улучшения осознанности в других состоят в том, что я задавала индивидуально подобранные вопросы в реальном времени, и получалось довольно хорошо; осталось узнать, смогу ли я выделить основную идею, преобразовав ее в доступный большинству формат.

Я разбила цепочку на восемь постов, не считая этот, который служит введением и оглавлением. (Я буду обновлять заголовки в списке ниже ссылками на каждый написанный пост.)

«Возможно, вас съел монстр». Почему вы хотите быть осознающим? Что в этом хорошего, и как это работает?

«Да будет свет». Откуда брать предварительные данные, когда вы начинаете моделировать себя, если ваши существующие модели вероятно полны искажений?

«ЭПО — основы осознанности». Наиболее существенный шаг в изучении осознанности — это установление соотношения ваших эмоций, поведения и обстоятельств.

«Свет, камера, мотор!». Осознанность не случается сама по себе — вам необходимо практиковаться в ней и наблюдать за ключевыми ментальными объектами.

«Луч света». Не делайте самоанализ статичным. Мысли могут ускользать. Отмечайте и систематизируйте все, что только найдете в своем сознании.

«Блики и тени». По мере того как вы открываете и понимаете новые вещи в себе, полезно подтверждать или отказываться от ваших подкомпонентов, соответствующим образом поощряя их или препятствуя им.

«Город огней». Удобным приемом работы с напряжениями в себе является представление себя как мультиагентной системы.

«Тени от лампы». Когда у вас есть модели, тестируйте их — и меняйте результаты ваших экспериментов!

Бонусные посты!

«Урешику Наритай»: история о том, как я использовала осознанность, чтобы поднять мою планку счастья до нужного уровня.

«Как получать удовольствие от неприятной компании». Основанная на осознанности модель того, как сознательно испытывать симпатию.

«Семь сияющих историй»: конкретные художественные описания техник осознанности из этой цепочки в действии. (Примечание: некоторые люди отмечают, что «ССИ» значительно улучшили их понимание этой цепочки. Возможно, стоит читать каждую «Сиящую Историю» вместе с соответствующим постом. «Сияющие истории» открываются вместе с ссылками к соответствующим частям, и апофения комментаторов позволяет разместить истории под основными статьями.)

Я уже написала все посты в этой цепочке, хотя я могу позднее внести правки в более поздние статьи в ответ на обратную связь, и возможно, что мне зададут вопрос, в ответ на который я добавлю еще пост. Я буду это делать по мере получения отзывов сообщества.

Вас может съесть гру

Ханна Финли

Осознанность — забавная, полезная для остальных и важная для саморазвития вещь. Вы узнаете об этом из данной цепочки.

Осознанность? Ха! Да кому это надо?

Это понятный вопрос. Типичный человек проходит сквозь жизнь с удивительно малой долей самоанализа и еще меньшей долей самоанализа точного и осторожного. Наши модели самих себя иногда даже хуже наших моделей других людей — у нас больше данных, но также больше искажений, которые перегружают наши размышления помехами. Большую часть времени большинство людей действуют напрямую согласно своим эмоциям и убеждениям, без попыток рассмотреть этот процесс осознанно. И непохоже, чтобы из-за этого как-то страдали или умирали — когда вы в последний раз видели на могиле эпитафию «Здесь лежит наш дорогой Тейлор, который мог бы быть с нами сегодня, если бы только лучше осознавал природу поиска в памяти»? Абсурд. Если Тейлору надо что-то помнить, то это либо проявляется, либо нет, и если у него хронические проблемы с памятью, то он может просто записывать воспоминания на внешнем носителе. Осознание того, как воспоминания сохраняются изначально и настройка этого процесса не обладают высоким приоритетом в списке дел.

Тем не менее, я думаю, что стоит потратить немало времени и усилий для улучшения осознанности. Я приведу три причины для этого.

Во-первых, вы — интереснейшее существо. Это попросту весело и захватывающе — копаться в своем сознании. Люди в большинстве своем — это сложнейшие и самые интригующие явления в мире. И вы тоже. Вы наблюдали множество мгновений. Начиная с исходной конструкции, которая уже является совершенно особенной, вы накопили сложный набор фильтров, через который вы интерпретируете то, что воспринимаете — вспоминаемое прошлое, переживаемое настоящее, ожидаемое будущее. Вам что-то нравится, чего-то вы хотите, во что-то верите, чего-то ожидаете, что-то чувствуете. В закоулках вашего мозга полно всяческих вещей. Разве вам не хочется узнать, что же там? Это же вы. Для многих людей разговор о себе — излюбленная тема. Вы исключение? (Есть только один путь выяснить это…)

Во-вторых, точная модель себя может помочь вам иметь дело со всеми остальными наилучшим образом. Прямо сейчас они, вероятно, используют неуклюжие нагромождения своих проекций, стереотипов и автоматически сделанных предположений, которые они могут не обновлять, даже если узнают вас лучше. Я не думаю, что вы окружили себя ужасными людьми, которые используют точные данные о вас, чтобы навредить или манипулировать вами, но если это так, будет в таком случае разумно не распространять всю информацию, которую вы осознаете. Что касается остальных, то более полная модель вас поможет обеим сторонам избежать множества проблем. Я приведу себя в качестве примера: я ненавижу сюрпризы. Зная это и будучи способной рассказать полную и достоверную историю о том, как это работает, я могу объяснить людям, которые могут захотеть обменяться подарками, почему им не следует дарить мне что-то завернутое, чтобы избежать моего раздражения. Большинство людей вокруг меня не совершают тех действий, которые, как они знают, будут раздражать меня; но без подробного объяснения о том, насколько необычны мои предпочтения, они слишком легко возвращаются к своей основной модели стандартного человека.

В-третьих — и это наиболее подходящая остальным постам в данной цепочке причина — лучшее представление о том, кто вы и на что способен ваш мозг, скоро принесет вам веские плоды в том, что касается приемов для изменения себя. Если вы постоянно двигаетесь от точки А до точки Z, но не знаете ничего о пути между ними, тогда есть только один метод избежать Z — попытаться остановиться сразу перед тем, как это случится. Если вы сможете пронаблюдать процесс с начала и определить, какому шаблону ваше сознание следует сквозь алфавит по пути к Z, вы сможете узнать, что можно с легкостью заменить G на Q и больше никогда не иметь дела с Z. Аналогично этому, если вы пытаетесь дойти от альфы до омеги, но постоянно терпите неудачу, как вы собираетесь определить, где же вы встречаете препятствия, пока вы не рассмотрите ситуацию в целом? Это может быть какой-то банальной проблемой в середине пути, которую вы исправите практически мгновенно, если только будете знать о ней. Вдобавок ваши неправильные модели себя уже меняют вас посредством такого чудесного явления как когнитивный диссонанс. Пока вы не поймете, как это происходит, вы упускаете возможность наблюдать и управлять процессом.

Аналогия: вы ждете, что вас заберут из аэропорта. Назначенное время уже прошло, а вы сидите на багажной стойке с чемоданами у ног, смотрите на часы, хмуритесь. Человек, который должен был вас забрать из аэропорта, не появился! Это полный провал! Но если вы позвоните ему и начнете кричать: «Аэропорт, придурок! Я в аэропорту! Почему тебя тут нет?» — вряд ли это улучшит положение вещей, если только человек не забыл про вас. Если же он стоит в пробке или ищет объезд из-за ремонта дороги, или заблудился, или его приняли за террориста службы безопасности аэропорта, то крик вам не поможет. И пока вы не поймете, что его задержало, вы не сможете помочь. Вы должны знать, где он, чтобы рассказать, как избежать пробок; вы должны знать, где проходит ремонт, чтобы рассказать, как его объехать; вы должны знать местные ориентиры, которые он может увидеть, чтобы понять, где вы; вы должны знать, следует ли вам идти к охране и извиняться за непонимание. Без определенных, особых данных о том, что именно пошло не так, вы не сможете это исправить.

В следующих постах цепочки я собираюсь проиллюстрировать некоторые методы, которые помогли мне узнать о себе больше и изменить в себе то, что мне не нравилось. При удачном стечении обстоятельств они помогут вам осуществить те изменения, к которым я постаралась подготовить вас в этой статье.

Примечание переводчика. Название является отсылкой к известному мему.

Да будет свет

Ханна Финли

Вы можете начать с психологических исследований, личностных тестов и обратной связи от знакомых людей, когда вы изучаете себя. Тогда вы можете отбросить плохое, оставить хорошее и двигаться далее.

Понять эту статью гораздо лучше Вам поможет первая из «Семи Сияющих Историй».

Где вам брать предварительную информацию, когда вы начинаете моделировать себя всерьез вместо того, чтобы полагаться в этом деле на интуицию?

Ну, одно можно сказать уверенно: не стоит начинать с уровня самоанализа. Если вы провели хоть сколько-нибудь времени на этом сайте, вы знаете, что люди пронизаны искажениями и механизмами самообмана, которые систематически вводят нас в заблуждение относительно нас самих. («Я великолепен и замечателен! А последние пятьсот раз когда я делал что-то невеликолепное и незамечательное — это просто случайности!») Людям многое плохо удается, и следование эдикту «Познай самого себя!» не является исключением.

У взгляда со стороны дурная репутация, однако я собираюсь защищать его — как отправную точку — когда буду наполнять копилку инструментов осознанности. Существует большое количество литературы, объясняющей, что же творится внутри наших голов. Это психология, и у нее довольно внушительный послужной список. Для примера, знание об эвристике и искажениях позволяет распознать, как они действуют в вас самих. Во многих случаях я понимаю, что попала под действие эффекта наблюдателя («Кто-то сидит на середине дороги. Может, позвонить 911? Хотя люди вокруг не волнуются, скорее всего мне тоже не о чем беспокоиться…»); я достигла определенного прогресса в уменьшении степени обобщений, которые делаю, исходя из одного примера («Как люди не сходят с ума от брызг масла на плите?»); и я настораживаюсь, когда думаю, что я лучше большинства, но не имею информации, подтверждающей это («Теперь я могу быть уверена, что у меня хорошо выходит решать проблемы такого рода, — я ответила на все вопросы, а большинство людей не могут, так говорит кто-то, кто вряд ли будет лгать!»). И даже если вы обычный человек с нормальной психикой, вы, конечно, не собираетесь соответствовать всем психологическим исследованиям. Эти открытия даже между собой не особо комбинируются. Но контроль за существенными, очевидными особенностями, например, за какой-то психической болезнью, это неплохо для начала.

Чтобы определить свои не самые типичные реакции, вы можете попробовать личностные тесты, такие как тест Майерса-Бриггса или «Большая пятерка». Это не очень надежные источники, но некоторые из них в какой-то мере соответствуют реальности. Соответственно, проникайтесь теми данными, которые получаете. Отбирайте то, что звучит верно («Да, я предполагаю, что склонен больше, чем другие, беспокоиться о беспорядке вокруг»), и выбрасывайте оставшееся («Что? Я не люблю эксперименты! Я даже улиток не буду пробовать никогда!») — хотя это грубые данные первого приближения, не основанные на опыте, с которыми надо на самом деле работать, но вы можете позволить себе такие неточности в начале игры. Когда пройдете тесты, подумайте немного над вашим типом интеллекта, определите, к какой категории относится ваш язык любви1 — все, что определяет вас и делает частью чего-либо.

Кроме того, если у вас есть честные друзья или родственники, просите их о помощи. Заметим, что даже у самых честных из них может быть чересчур радужное представление о вас: вы для них близкий человек, так что они, возможно, не обращают внимания на ваши недостатки и могут преувеличивать ваши добродетели относительно гипотетического мнения нейтрального наблюдателя. И они не находятся рядом с вами постоянно, что ограничивает обстоятельства, в которых их модель тестируется; влияние на вас их присутствия искажает эту модель. Но взгляд с их стороны имеет важное значение.

(Советы по получению обратной связи от родственников/друзей: я обнаружила, что думать о себе вслух полезно для получения некоторых основных входящих данных. Некоторых друзей я могу спросить в упор, хотя это помогает только в определенных ситуациях («Думаешь, я просто устал?» «Я был последователен в той ситуации?»), а не при обсуждении свойств характера, когда ответ может оказаться слишком категоричным («Я сволочь?» «Я использую людей?»). Когда вы общаетесь письменно и сохраняете переписку, вы можете посылать людям отрывки из диалогов (когда это допустимо по отношению к вашему исходному собеседнику) и спрашивать, что ваш консультант об этом думает. Если вы не помните каких-то событий или внушили себе, что не помните, тогда тот, кто был с вами, поможет вам рассмотреть событие со своей точки зрения — этот процесс автоматически покажет, как вы вели себя в глазах свидетеля.)

Если во время охоты на предварительную информацию что-то покажется вам неправильным, будет ли это результат теста или общая характеристика группы, которая подходила вам в остальных случаях, то это здорово! Теперь вы можете что-то исключить. Подумайте: что делает модель неправильной? Когда происходит то, что опровергает ее? (Причем лучше точное «как в тот раз на прошлой неделе», нежели смутное «в восемьдесят девятом, вроде бы в январе».) Что можно изменить в минимальной степени, чтобы сделать модель правильной?(«Сменить слово «быстрый» на «тщательный» — и это буду один в один я!») Если это поможет, разбивайте собираемую вами информацию на небольшие порции. Тогда вы сможете проверять их по одной за раз вместо того, чтобы целиком принять или отвергнуть то, что тест говорит о вас.

Если что-то звучит правильно, то это тоже круто! Задайтесь вопросом: как эта идея может предсказать ваше познание и поведение? («При встрече с высоким темноволосым незнакомцем вы быстро определите его характер по невербальным знакам.») Как можно протестировать её и уточнить модель? (Где водятся высокие брюнеты?) Если вы вели себя в прошлом не в соответствии с моделью, о каких исключениях из правила это говорит, и как можно их лаконично, в духе бритвы Оккама, обобщить? («Именно тот высокий темноволосый незнакомец носил очень клевую футболку, которая скрывала характеристики тела.»)

Обратите внимание: возможно, вы проявите склонность отметать результаты исключительно потому, что они звучат плохо («Я не могу быть нарциссом! Я никогда о себе так не скажу!»), а не потому что они звучат неправильно, и сохранять результаты, которые звучат хорошо («Ага, я смешной и умный!»), а не те, что звучат правильно. Повторите литанию Тарского несколько раз, если это поможет: если у вас есть особенность, то вы хотите верить, что она у вас есть. Если у вас нет особенности, то вы хотите верить, что вы её не имеете. Да не пристанут к вам убеждения, которых вы не хотите. Знание о том, что у вас есть плохие свойства, не сделает их хуже — но поможет вам исправить их, обойти или смягчить. Если вам не хватает хороших свойств характера, не обманывайте себя, они не появятся — но самообман может лишить вас возможности развить их на самом деле. Если вы не можете ответить на вопрос: «Когда вы делали то, что опровергает эту модель?» или перечислить случаи, когда вы вели себя в соответствии с данной моделью, вы скорее всего обманываете себя. Попытайтесь снова. Думайте лучше. Нет гарантий, что вы правы, но цель — именно оказаться правым.

1.Выглядит глупо, но я обнаружила, что ответы на эти вопросы очень полезны в качестве первой, приблизительной оценки того, как нужно вести себя с людьми.

ЭПО — основы осознанности

Ханна Финли

Эмоции, поведение и обстоятельства взаимодействуют друг с другом. Эти взаимодействия образуют информационные шаблоны, которые вам надо опознать и использовать для развития своей осознанности.

Понять эту статью гораздо лучше Вам поможет вторая из «Семи Сияющих Историй».

Самое эффективное, что можно сделать в поисках осознанности — это понять, как соотносятся ваши ЭПО, собрать данные о том, как эти три взаимосвязанных элемента влияют друг на друга и появляются вместе или по отдельности.

«Э» означает «эмоции». Эмоции — это то, что вы чувствуете, и то, что у вас в голове. Это может быть куда сложнее, чем «да, я в отличном состоянии» или «сегодня мне грустно». В вас помещаются одновременно множество эмоций по самым разным поводам; то, как вы спокойно относитесь к двум разным вещам, не похоже на то состояние, когда вы волнуетесь по одной и улыбаетесь по другой причине; и ни одно из состояний не похоже на беспокойство по какому-то крайне важному для вас вопросу. Это происходит примерно так: вы беспокоитесь по поводу оценки результатов вашей работы и наслаждаетесь своей покупкой, и предвкушаете визит к двоюродному брату на следующей неделе, и одновременно раздражаетесь от того, что ушибли ногу, и все это на фоне забавной песни по радио. Для простоты я добавила сюда и менее эмоциональное познание тоже: какие мысли приходят вам в голову, каким этапам рассуждений вы следуете, что привлекает ваше внимание в окружающем мире.

«П» означает «поведение». В данной статье поведение означает то, что вы на самом деле делаете. Сюда входит очень небольшая категория тех вещей, которые вы на самом деле намеревались сделать — и уже почти начали, но не сделали из-за внешних обстоятельств или изменили свои планы после поступления новой информации. Это важно. Мимолетные замыслы и намерения приходят нам в голову постоянно, и если вы твердо и окончательно не определите, каким из них вы будете следовать в конечном счете, у вас останутся только подсознательно выбранные обрывки незавершенных планов. Это особенно проблематично из-за того, что более слабые намерения будут отклонены незначительными внешними препятствиями в гораздо большей степени. Не волнуйтесь о «настоящих» планах, которые отбрасывает этот процесс фильтрации. Вы пытаетесь узнать себя в целом, а не образцового себя, который доблестно пытался сделать нечто хорошее и был остановлен обстоятельствами; если эти отвергнутые планы были для вас типичны, то они повлияют на ваше фактическое поведение. Доверьтесь закону средних чисел.

«О» означает «обстоятельства». Это то, что происходит вокруг вас (Который час? Что происходит в вашей жизни сейчас, происходило недавно и что, возможно, случится в ближайшем будущем: основные события, второстепенные изменения, планы на потом, что вам говорят окружающие? Где вы: тепло или холодно, светло или темно, ветрено, спокойно, тихо, шумно, есть ли запахи, есть ли особые приметы у места, суета ли вокруг, красочно или серо, естественно, искусственно, красиво, уродливо, просторно, уютно, влажно, сухо, пустынно, переполнено, формально , неофициально, знакомо, ново, загромождено или аккуратно?). Также в это входят и ваши поступки, и то, что происходит у вас внутри — то, что обычно относят к чисто физическим явлениям (Вы выдохлись, устали после перелета, в состоянии наркотического опьянения, хотите пить или есть, вам больно, вы нездоровы, пьяны, энергичны, вы чешетесь, подвижны, возбуждены или дрожите? Вы откинулись на кресле, прячетесь в подвале, танцуете, путешествуете пешком, играете на барабанах или плаваете с аквалангом?) Обстоятельства отслеживать немного легче, чем эмоции и поведение. Если у вас есть срочная, четкая и ясная проблема, будет разумно решить ее, а уже потом заниматься осознанностью. И если отдельные проблемы, связанные с некоторыми физическими недугами, можно игнорировать, то проигнорировать боль или сильный голод трудно, и с ними нужно разбираться незамедлительно. Не пренебрегайте обстоятельствами, когда выполняете упражнения на соответствие, только потому, что вам кажется, будто это только «содержимое вашего черепа». САР (сезонное аффективное расстройство или «зимняя депрессия») — достаточное доказательство того, что окружение может серьезно влиять на наши чувства. И не странно ли, в конце концов, если вы ощущаете себя и действуете одинаково, когда танцуете на балу и когда устанавливаете таймер на микроволновке, чтобы разогреть суп, и когда берут в заложники при захвате банка?

Все эти аспекты взаимозависимы:

Э -> П: Ваши эмоции влияют на поведение почти напрямую — эмоции, в конце концов, включают в себя ваши мысли и ощущения, и не зависят от чисто рефлекторных действий, которые появляются под их влиянием.

О -> П: Обстоятельства также очевидно влияют на поведение. Вы не можете нажать на педаль газа, если ее у вас под ногами нет; вы не можете взять немного тапенады, если ее нет; и мне сложно кружиться в юбке, если я одета в спортивный костюм.

Э -> О: Эмоции могут менять ваши обстоятельства посредством вашего поведения, а также того, что происходит с вашим телом (мы все знакомы с тем, как стресс, например, может отражаться на самочувствии), и через окружающих — невербальными средствами.

П -> О: Ваше поведение, очевидно, влияет на обстоятельства: разбей окно, и тут же появится сквозняк. Скажи что-нибудь, и окружающие люди скорее всего вас услышат и отреагируют.

П -> Э: Поведение может влиять на эмоции посредством тесной двухсторонней связи (улыбнитесь — и ваши эмоции улыбнутся вместе с вами!) и посредством эффекта согласованности, который делает вас похожим на человека, чье поведение вы имитируете.

О -> Э: Обстоятельства влияют на ваши эмоции как осознанно, посредством познания и информации («Мой день рождения! Ура!»), так и неосознанно, посредством физических эффектов (если вы долго работали, пренебрегая сном, то вы вряд ли будете довольны результатом).

Так что не просто соотносите то, как они появляются вместе. Замечайте еще и причинно-следственные отношения. Пока вы не разовьете осознанность достаточно, чтобы обнаруживать их напрямую, вам может понадобиться определенный ретроспективый анализ для того, чтобы понять цепочку сложнее, чем «я был голоден и думал о сыре, так что я съел немного». И замечайте интересные пропуски. Если с вами происходит то, что обычно считается грустным, и вы не можете обнаружить грусти ни в своих эмоциях, ни в физических реакциях, это очень важные данные.

Эти соотношения сформируют строительные блоки для вашего первого уточнения модели, которая базируется на исходных данных, которые вы извлекли из внешних источников.

Свет, Камера, Мотор!

Ханна Финли

Следует регулярно и часто уделять внимание ключевым ментальным событиям, так как важные мысли могут проскакивать очень быстро или случайно, а вам нужно поймать их.

Возможно, вы поймете данный пост лучше, если прочитаете третью из Семи Сияющих Историй.

Быть осознанным трудно, и вы сами — сложный объект. Нельзя задуматься на десять минут за коктейлем, а потом объявить, что все о себе поняли. Вам придется долго работать, поскольку некоторые эффекты не заметны сразу. Если ваши эмоции зависят от смены времен года или от важных событий, то первая фаза работы займет у вас целый год — или всё время до наступления события, которые, кстати, не происходят каждый второй вторник. Вдобавок, вы не сможете собрать модели хорошего качества из обрывков самонаблюдения длительностью в пять секунд; продолжительные линии познания тоже важны и могут потребовать значительного времени для полного раскрытия.

К сожалению, наблюдение за мыслями неизбежно их меняет. При достаточном уровне самоанализа это не повлияет на точность вашего представления о себе в общих чертах; в принципе, нет причины не тратить все свое время на наблюдение мыслей и формирование мета-идей в реальном времени, но по сути это не происходит. Поэтому некоторые данные нужно вытаскивать из памяти. Чтобы уменьшить ошибку введения, которая возникает при получении информации из области хранения, следует систематизировать только самые недавние мысли. Возможно, стоит придумать систему напоминаний извне, чтобы периодически обращать свое внимание на происходящее внутри — как в текущий момент, так и за последний небольшой промежуток времени. Это может быть специальная система (например, таймер, который срабатывает каждые полчаса), или можно привязать подходящие напоминания к окружающим событиям, например, к вопросу «Как дела?».

Когда вы занимаетесь самонаблюдением, нужно многое отслеживать. Вот к примеру:

О чем вы думали? (Это может быть более, чем одна вещь. Вы — система в значительной степени распараллеленная.) Это идея, изображение, ощущение, желание, убеждение, человек, объект, слово, место, эмоция, план, воспоминание…?

Насколько сильно вы были заняты этим? (Эта тема сама по себе ограниченная или многогранная?) Может ли что-то еще (чувственные, когнитивные, эмоциональные элементы) нарушить вашу концентрацию, и как вы реагируете на подобное вмешательство?

Что вы чувствуете по отношению к предмету ваших мыслей? Это не только эмоциональные реакции наподобие «это угнетает» или «ух ты!», но и то, что вы хотите сделать по отношению к этим мыслям (и хотите ли), и насколько важными или интересными вам кажутся эти мысли.

Как вы в общем ощущаете процесс мышления? (Я провела неформальный опрос на эту тему и не получила двух одинаковых ответов. Занимательно, но это может быть ключом к понимаю того, чем вы отличаетесь от других, и таким образом — к уточнению вашей модели себя по отношению к общей исходной информации, с которой мы начали.) Представление о стиле вашего мышления может помочь в исследовании данных, собранных в ходе самоанализа, хотя не стоит забывать, что они зачастую метафоричны. Ответы могут отличаться, когда вы думаете «активно», то есть новая информация образуется в вашем сознании, и когда вы думаете «пассивно» — читаете или слушаете какую-либо информацию и впитываете содержимое по мере его появления.

Какие воспоминания всплывают в ответ на мысли, и всплывают ли: похожие ситуации из прошлого, не связанные явным образом истории, которые появляются без причины, события, при которых вы поняли ключевые идеи, относящиеся к теме размышлений? Формируют ли эти мысли ожидание будущего — план, страх, надежда, предвкушение, волнение?

Что вы воспринимаете сейчас чувственно? Сюда входят не только изображение, звук, запах, прикосновение и вкус, но и температура, проприорецепция (чувство ориентации в пространстве) и внутренние ощущения, такие, как голод или тошнота. Можете ли вы определить, как это все взаимодействует с мыслью?

Данных не может быть слишком много. (Хотя вы можете собрать слишком много данных в одной ситуации по сравнению с другой, и это расбалансирует ваши модели, поэтому стоит приложить согласованные усилия для диверсификации ситуаций и моментов для их анализа.) Когда вы собираете данные, установите для них соотношение, чтобы узнать, что могут привнести в вашу жизнь различные компоненты ваших мыслей.

Луч света

Ханна Финли

Исследовать мысли легче и правильнее, если они находятся не в вашей голове. Переведите их в другую, внешнюю форму и смотрите на них так, как если бы они принадлежали кому-то еще.

Вы сможете понять данный пост лучше, если прочитаете четвертую из Семи Сияющих Историй.

Одна из проблем самоанализа состоит в том, что выводы, которые вы делаете о ваших мыслях, — это тоже мысли. И конечно, мысли могут меняться или исчезать прежде, чем вы извлечете из них информацию о себе. Если меня настиг случайный приступ злости, он может продлиться достаточно долго, чтобы заставить меня взорваться, но исчезнет до того, как я пойму, что злость была беспричинна. Если бы мысли не были такими ненадежными, не стоило бы беспокоиться об осознанности. Поэтому, если вы серьезно занимаетесь развитием осознанности, вам нужен способ представлять ваши мысли в определенном формате, который будет их хранить.

Вам нужно переместить ваши мысли за пределы вашей головы.

Записывать их — очевидный способ, по крайней мере для меня. Вам не нужно публиковать записанное, так что нет необходимости в эстетичности или грамотности, просто делайте записи удобными для себя. Главное — придать им форму, которую вы сможете использовать без необходимости продолжать самоанализ. Не имеет значения, чертите ли вы, пишете или поете, — просто скидывайте содержимое вашего мозга вовне и смотрите. Легко обмануть себя, считая, что какая-то идея логична; обмануть кого-то другого сложнее. Запись мысли автоматически запускает механизмы, которые мы используем для общения, помогая самоанализу оставаться на высоком уровне.

Чтобы перевести ваши мысли в не-мысли, используйте ярлыки для их отображения. Распределяйте их по ссылочным классам так, чтобы можно было заметить, когда такое же суждение, шаблон мышления или поток познания возникнет вновь. Таким образом вы сможете опознавать схемы: «Эй, когда я чувствовал подобное в прошлый раз, я сказал то, о чем потом жалел; нужно быть осторожнее.» Если вы можете распознать то, что случается дважды, вы сможете уловить и тот момент, когда это не происходит; а новые настроения или черты характера потенциально крайне важны. Они означают, что вы или что-то вокруг вас изменилось, и это может быть как полезным ресурсом, так и коварной помехой.

Ваши метки могут выражаться в стандартных терминах или же нет — если вы хотите называть ощущения от того, что у вас из рук упало мороженое, «белой горкой», никто вас не остановит. (Словарь эмоций, который в значительной степени совпадает со словарями окружающих, может быть полезен позже, когда вы пытаетесь поделиться вашими выводами о себе; но вы можете в любой момент составить словарь для подобного перевода.) Стоит распознавать, насколько помеченные явления похожи друг на друга (например, раздражение больше похоже на ярость, чем на ликование), и иметь способ отразить это в вашей системе символов. Подобные сходства делают более очевидным то, какие стратегии перехода из одного состояния в другое вы используете.

В том случае, если вы думаете не словами, вам может показаться довольно трудным преобразовать свои мысли в то, что будет их отображать. Возможно, например, что вы думаете образами, но рисовать не умеете. Это один из шагов в осознанности, которые, по моему мнению, можно пропустить, так что, если вы искренне не можете придумать, как записать танец вашего сознания для последующего самоанализа, вы можете просто работать над мышлением очень осторожно, чтобы заметить то, что повторно появляется в ваших мыслях. Я рекомендую проводить по меньшей мере пять-десять минут, пытаясь записать, сделать диаграмму, нарисовать, пробормотать или выразить танцем вашу ментальную активность прежде, чем вы определите ее как несостоятельную.

После того, как вы выразили свои мысли в видимой или звуковой форме, проанализируйте их как мысли другого человека, который это написал. (За исключением того, что это как бы код, который понятен только вам, так что вам не нужно проводить криптоанализ.) Что вы думаете об описанном человеке, если бы вы ничего больше о нём не знали? Как бы вы могли объяснить эти мысли? Какие потоки размышлений идут в фоновом режиме от одного убеждения к другому, или от восприятия к убеждению, или от желания к намерению? Каких следующих действий вы бы ожидали от этого человека? Что бы вы могли еще предположить о человеке? И что еще вы хотели бы знать? Если вы встретите этого человека, как вы удовлетворите свое любопытство без того, чтобы полагаться на перегруженный искажениями ответ, который вы получите в ответ на вербальный запрос? Попробуйте прямо сейчас — в комментарии к этому посту, если хотите: запишите, как получится, что вы думаете. Отключите внутреннего критика и посмотрите со стороны: что должно происходить в сознании, которое скрывается за написанным?

Блики и тени

Ханна Финли

Неотъемлемой частью процесса развития осознанности являются решения о том, какие части себя вам нравятся, а какие — нет.

Понять эту статью гораздо лучше вам поможет пятая из «Семи Сияющих Историй».

По мере того, как вы раскрываете и понимаете в себе что-то новое, вы можете обнаружить, что вам нравятся некоторые вещи и не нравятся другие. Абсолютно довольные собой люди обычно подвержены либо редкому высокомерию, либо еще более редкой святости, которые отличаются безграничным одобрением себя. К счастью, как и было обещано во втором посте, осознанность поможет определить, что вам хотелось бы изменить, и понять, что у вас уже есть.

Но что менять?

Важный шаг в развитии осознанности — это сортировка ваших мыслей и ощущений не только по типу, соотношению, силе и т.д., но также по тому, насколько вы их одобряете. Вы одобряете мысли, которые вам нравятся, в которых находите отражения ваших лучших черт, предпочитаете видеть в действии и желаете оставить неизменным (по крайней мере, пока они полезны). И наоборот, вы отвергаете те мысли, которые вам не нравятся, считаете проявлением своих отрицательных свойств, неэффективными, которые хотите изменить или полностью от них избавиться.

Решить, что есть что, может оказаться сложной задачей. Нужно будет не раз просеять ваши желания, чтобы окончательно разобраться, хотите ли вы хотеть торт, или нравится ли вам то, что вам нравится спать, или нужно ли вам ваше предпочтение преференциализма. Хорошо было бы начать с целей макро-уровня и теоретических обязательств (т.е. если предпочтение имеет силу, служит ли оно вашей жизненной цели, прямо или косвенно? Если у вас есть метаэтические представление о правильном и неправильном, побуждает ли эта тенденция, которую вы в себе открыли, делать правильные вещи?).

В качестве второго подхода вы можете поработать с информацией, которую собрали, когда коррелировали ваши ЭПО. Как вы чувствуете себя, когда оцениваемое желание удовлетворено? Когда оно не удовлетворено? Выводит ли вас из строя неудовлетворенность? Улучшает ли исполнение желания вашу производительность? Вы можете окончательно удовлетворить его? Если обычно вы не можете удовлетворить это, будет ли проще изменить желание или изменить обстоятельства, которые препятствуют его удовлетворению? Впрочем, это второй шаг. Вам нужно узнать, какие эмоции и поведение предпочтительны для вас, до того, как начнете оценивать желания (и другую ментальную активность) по их значимости; оценка эмоций и поведения — сама по себе упражнение в одобрении и отказе.

Знать, что вам нравится и что не нравится в вашем сознании, это здорово. Когда у вас есть эта информация, вы можете сразу же ее использовать: мне кажется полезным отмечать выражение своих эмоций словами «одобрено» и «не одобрено». Таким образом, окружающие могут использовать эту классификацию; тогда они не будут считать, что я считаю правильным все, что чувствую, и не будут присваивать мне свои собственные предпочтения. И то, и другое будет в равной степени ненадежно и приведет к тому, что у людей будут неверные модели меня; мне до сих пор не удалось избавиться от всех своих нежелательных особенностей, и мои шаблоны одобрения не соответствуют шаблонам окружающих людей или их ожиданиям.

Вдобавок, раз вы знаете что вам нравится и не нравится в вашем сознании, вы можете начать прогрессировать в увеличении отношения хороших характеристик к плохим. Люди часто делают случайные продвижения пытаясь «стать лучше», но когда «лучше» значит «стать ближе к смутно определенным интуитивным представлениям о морали», это не та цель, к которой стоит стремиться. Конкретные проекты наподобие быть более щедрым или внимательным это уже ближе, однако наибольшее имеющее значение преимущество в само-обзоре приходит от осознания движения поведения в нежелаемом направлении и прекращения его еще в зародыше. (Больше об этом — в «Тенях от лампы»). Шансы низки, что ваши шаблоны мозга находятся достаточно близко к стандартным достоинствам, чтобы быть полезными целями. Лучше планировать опознать то, что уже есть, и тогда одобрять или отказываться от этих обработанных мыслей и работать с ними по мере их появления, вместо подмены их неестественными категориями.

Город огней

Ханна Финли

Для того, чтобы понять свою психологию и выявить сложность своей структуры, вы можете представить себя не как единое целое, а как систему из нескольких агентов.

Понять эту статью вам станет гораздо проще после прочтения шестой из «Семи Сияющих Историй».

Пытаясь разобраться в запутанном клубке черт своего характера, вы, вероятно, натолкнетесь на ряд противоречий. В вас могут одновременно уживаться несколько противоположных точек зрения, вы можете переключаться между разными типами мышления или даже верить в явно противоречащие друг другу вещи. И эта путаница еще больше затрудняет процесс самопознания.

К сожалению, у нас нет ни словаря, ни даже мысленной модели, которые позволили бы свободно описывать себя (или других людей) как совокупность множества субъектов. То, что обычно получается, больше похоже на туманное описание двойственности («Я счастлив, и в то же время мне немного грустно! Странно!»), чем на глубокий конфликт, который занимает наши мысли. Модели человеческой психики, которые ближе всего к разрешению этой неразберихи, — это то, что я называю «мультиагентными моделями». (Примечание: я понятия не имею, как то, что я собираюсь описать, соотносится с реальными психиатрическими заболеваниями, включающими в себя множественность личности, голоса в голове или другие подобные явления. Я описываю мультиагентные модели, реализуемые психически цельным человеком).

Мультиагентные модели известны довольно давно: уже в «Государстве» Платона говорится о страсти (которая непостоянна сама по себе), духе и интеллекте, формирующих триединую душу. Платон обсуждает их функции, как если бы каждая из них имела свой собственный орган и могла при возможности воспринимать, желать, планировать и действовать (включая возможность подавлять две другие, чтобы управлять душой единолично). Ненамного отличается и структура, предложенная Фрейдом, — модель ид/суперэго/эго. Понятие мультиагентности появляется и в искусстве. Это на удивление распространенный и естественный способ описания сложного ума обычного человека. Конечно, говорить об этом как о чем-то реальном, а не как о способе развития психологических теорий или понятия идеальной городской планировки, или о драматизации морального конфликта, может показаться нездоровым. Дайте мне минуту — у меня есть данные более, чем из одного источника, что подобная практика полезна.

Нет причины ограничивать себя традиционными мультиагентными моделями, одобренными давно умершими философами, психологами или карикатуристами, если вам больше подходит другое деление. У вас может быть два «Я», или пять, или двенадцать.(Иметь больше, чем вы можете отследить, я не рекомендую; если «Я» слишком много, то это может оказаться признаком болезни. Если группа из нескольких «Я» формирует устойчивый блок, лучше будет объединить их в одного субагента.) Выделяйте ключевой элемент или поощряйте краткие выступления периферийных элементов. Называйте их описательно или по структурам мозга, или по цветам радуги — как вам будет удобно их различать. Говорите с собой вслух или пишите, или просто думайте в форме диалога, если вы считаете, что у вас так получится лучше. Несколько примеров того, что может выступать в качестве субагентов:

Желания или блоки желаний, сложные и возвышенные («хочу, чтобы всем было хорошо») или простые и низменные («хочу пирога»).

«Внутренний ребенок» или подобные ролевые группировки свойств характера («профессиональный Я», «семейный Я», «хобби-Я»).

Склонности и принципы высшего порядка («совесть», «невроз», «чувство справедливости»).

Мнения или точки зрения, как конкретные в данной ситуации, так и общие тенденции («оптимизм», «взгляд со стороны»,»Я должен делать Х»).

Изначально неопределенные, постепенно влияющие на личность субагенты, если ничего определенного не проявляется (которые можно назвать, не подразумевая ничего конкретного, например, производным от своего имени).

Основываясь на практических наблюдениях разных людей, можно определить одного из субагентов как «вы». На деле один субагент может быть определен только как «вы» — очень трудно ослабить влияние опыта монолитного наблюдателя. Это неплохо, особенно если «вы» одобряет и отвергает, но не позволяйте одобрению и осуждению ускользнуть из-под вашего контроля, когда выполняете подобные упражнения. Вам нужно взаимодействовать со всеми вашими субагентами, не только с теми, которые вам нравятся; у субагентов может проявляться манипулятивное и даже мстительное поведение, когда вы даете им право голоса, например, если вы определили ваше желание пирога как субагента и подавляли его годами, вы можете обнаружить, что Желание пирога злится на Сдержанность и плохо о ней отзывается. Желание пирога не утихомирится, если вы просто одобрите его в обход Сдержанности, в то время как Желание пирога просто пытается сказать о вашей отчаянной тяге к тирамису. До тех пор, пока вы не поймете Желание пирога достаточно хорошо, чтобы избавиться от него, вам нужно работать с ним. Прямое противостояние, обычное осуждение скорее всего сделают его злее и изобретательнее в попытках заставить вас съесть пирог.

Несколько вспомогательных заметок по субагентам:

Ваши субагенты могут удивить вас больше, чем вы ожидаете от… ну… себя, и это делает данное упражнение очень полезным. Если же вы будете управлять диалогом, вы немногое получите — выйдет так, что вы просто пишете фанфик про работу своего мозга, но на самом деле про эту работу ничего нового не узнаете.

Не все субагенты будут «заинтересованы» в каждой вашей проблеме и не будут постоянно высказываться. (Желание пирога скорее всего не заинтересуется тем, как вам себя вести на свидании на следующей неделе, однако оно оживится, когда подойдет время заказать десерт).

Ваши субагенты не должны лгать друг другу напрямую («должны» в предикативном, не в нормативном смысле — дайте мне знать, если ваши будут так делать), но они могут угрожать, вести переговоры, прятаться и совершенно не знать о себе.

Ваши субагенты могут взаимодействовать неэффективно. Субагент-переводчик может оказаться полезным, если возникнет проблема с пониманием.

(Опишите ансамбли ваших субагентов в комментариях, чтобы вдохновить других! Напишите диалоги между ними!)

Тени от лампы

Ханна Финли

Вы можете использовать осознанность для того, чтобы помочь себе превратиться в того, на кого вы хотите быть похожим. Завершите это путем исправления результатов своих опытов над самим собой так, чтобы они оказались положительными.

Вы можете обнаружить, что понимаете этот пост лучше, если прочитаете седьмую из «Семи Сияющих Историй».

Когда у вас есть последовательные модели себя, эмпирически выгодно подвергнуть их испытанию.

Дело в том, что, когда вы испытываете себя, вы знаете, какой тест проводите и какие данные подтвердят каждую из гипотез. Кроме того, вы и есть субъект, генерирующий данные. Это создает сложности для надежного научного контроля за экспериментами такого рода.

К счастью, оказалось, что контроль для данной цели не обязателен! Помните, что вы не просто пытаетесь определить, что происходит в устойчивой части вашей личности. Вы также по возможности оцениваете и изменяете то, что отвергаете. Вы можете позволить выводам из наблюдений за собой изменить ваше поведение; более того, вы можете напрямую влиять на результаты тестов.

Предположим, что ваша модель себя предсказывает, что вы сделаете то, что, как вам кажется, вам не стоит делать; предположим, например, что она предсказывает, что вы накричите на кузину в следующий раз, когда она зайдет к вам и испачкает ковер, и вы думаете, что вы не должны кричать. Тогда вы можете опровергнуть эту модель тем, что промолчите: безусловно, если вы не накричали, то вас нельзя точно описать моделью, которая предсказывала обратное. Удержавшиcь от крика, вы сдвигаетесь к более точной модели наподобие «может накричать, если не будет думать перед тем, как сказать» или «ранее кричал, однако смог измениться». И если вас описывает подобная модель, а не та, в которой вы кричите, …вы не можете кричать.

(Заметим, конечно, что подмена «кричащей» модели той, где вы молча поднимаете вашу кузину и выкидываете из окна, — это не улучшение. Вы хотите заменить модель, которая вам не нравится, на более подходящую. Если у вас не получается — если контролировать свой крик вам трудно настолько, что у вас руки чешутся выкинуть кузину в окно, да так, что вы почти уже делаете это — тогда вам следует отложить подмену модели до лучших времен.)

Теперь, осознание того как не накричать (давайте не будем забывать о несдержанности, в конце концов) будет легче, поскольку у вас есть понимание того, что заставляет вас это делать в первую очередь. Вооруженные этим знанием, вы можете определить как управлять обстоятельствами чтобы предотвратить срабатывание триггеров крика самих по себе. Или вы можете попробовать более трудную, но более стабильную психическую перестройку от обстоятельств к поведению.

К сожалению, я не могу быть конкретней как это хотелось бы, поскольку очень много зависит от точных привычек вашего мозга, так отличающегося от любого другого, включая мой. Вам может потребоваться попробовать несколько разных стратегий, прежде чем вы найдете ту, что работает для вас и позволяет изменить то, что вам нужно изменить. Вы можете обнаружить что успешные стратегии со временем слабеют и нуждаются в замене и обновлении. Вы можете обнаружить что слушать других людей полезно (пишите техники ниже!) — а можете и не обнаружить.

Урешику Наритай!

Ханна Финли

Это дополнение к цепочке про осознанность. В одном из комментариев я упомянула, что подняла свой уровень счастья (среди прочего) и это заявление было встречено с немалым интересом. Некоторые из подробностей уже подзабылись, однако ниже я воссоздам для вашего анализа то, что могу, о том процессе. Он содержит множество личных самооткрытий; пропустите их, если к вам это не относится.

В общем: я решила что я должна и хочу быть счастливее; я переименовала мои настроения и соответствующим образом подошла к управлению ими; также я обозначила управление настроением и поведением (включая поиск новых методов) как высокоприоритетное занятие. Теперь каждый шаг более подробно:

Я пришла к пониманию необходимости стать счастливее. Быть несчастной не просто не приятно. Это опасно: у меня даже как-то были мысли о суициде. В жизнь я их никак не воплощала, в основном потому что я присоединяла надежды на улучшение к конкретным внешним признакам (различным академическим продвижениям) таким образом воображала себя как магически исцеленную, когда получала следующий диплом (и следующий, и следующий.) Однажды я заметила, что я делаю, это было неприемлемо. Если я хотела жить, я должна была найти безопасное эмоциональное место в котором могла бы остаться. Это должно было быть моим главным приоритетом и требовало следующих под-проектов:

Я должна была избавиться от багажа, который говорил мне что это обычно или уместно чувствовать себя плохо большую часть времени. Я одобряю мою способность реагировать эмоционально на мое окружение: но это должно быть кратковременным, а не хроническим. Реагировать эмоционально это ощущать себя хуже, если вещи становятся хуже, а не ощущать себя плохо несколько месяцев или лет подряд. (особенно не когда ощущать себя плохо снижает способность делать вещи менее плохими.) Далее, иметь низкий уровень счастья не повредит мой эмоциональный спектр за исключением его уменьшения; это уменьшить возможное влияние реального горя и не будет смешиваться с планом «реагировать эмоционально». Низкий уровень также ставит под угрозу мою способность реагировать эмоционально на позитивные новости, поскольку присоединен к систематическому уменьшению такой позитивности.

Я должна избавиться от багажа, который говорит мне что невозможно когнитивно менять мое настроение. Настроения соответствуют мыслям и хотя это может быть трудно — избегать мышления о вещах, я могу решить думать о том, о чем хочу. Десятилетия приема различных антидепрессантов не оказали воздействия, что представляет собой сильное свидетельство в пользу того, что моя проблема не в химическом балансе. И было легко увидеть что мое настроение меняется в малых масштабах при вещах под моим полным или частичным контролем, наподобие сна, диеты и активности. Это не кажется чем-то из ряда вон выходящим, что долгосрочные вмешательства большого масштаба могли иметь похожие эффекты на мое настроение в целом.

Я должна решить и действовать в соответствии решением, что мое счастье важно и стоит моего времени и внимания. Я должна уделять внимание и замечать что помогает, а что мешает. Я должна поместить увеличение помогающих факторов и снижение мешающих на вершину моего списка всякий раз когда это возможно, и ослаблять мои стандарты на тему «дистанционной доступности» чтобы предотвратить самосаботаж. И я должна подтвердить отказ от контрпродуктивных проектов или воздействий по меньшей мере пока я не разовью стабильность при работе с эмоциями которые они генерируют без того, чтобы постоянно пребывать в подавленном состоянии.

Я переобозначила мои настроения так чтобы опознавать их в момент побуждения правильных действий. Когда данная точка на шкале счастье-несчастье — назовем ее «2» по шкале от от 1 до 10 — было обозначено как «нормальное» или «начальное», тогда когда я ощущала «2», я не предполагала что это значит что-то особенное; это было исходное состояние. Это давало мне возможность находится в состоянии «2» большую часть времени, и когда вещи становились хуже, я опускалась ниже и ожидала, пока вещи во внешнем мире исправяться, чтобы я могла подняться. Проблема была в том, что «2» не было хорошим местом, чтобы проводить там много времени.

Я должна была обозначить старую стартовую точку как субнормальное, проблемное состояние, которое создает необходимость в немедленных действия от меня по его исправлению. Это было похоже как будто говоришь мне, неведомо для меня, моя левая нога постоянно болела, требуя лекарств; при этом принимать их было бы трудно, учитывая то, что моя левая нога всегда чувствовала себя одинаково, пока я не ударялась или получала массаж. Но в конце концов я прикрепила актуальность к старой стартовой точке. Это было не то, что все в порядке; это был знак, что что-то не так.

Я должна была убедиться что у меня есть множество доступных и дешевых оправданий чтобы взбодриться, так что я не попаду в ловушку «ну только раз» оставляя себя в состоянии «2» вместо того, чтобы действовать. Я назначила одну пару носков любимой и носила их всякий раз когда вставала с неправильной стороны кровати; я приобрела привычку сохранять каждый рисунок милого животного который я находила в Интернете, так что я могла пролистать коллекцию всякий раз, когда мне требовалось; я заставила себя развивать навык приобретения друзей с целью что если у меня будет много друзей и я зайду в чат, кто-то будет там чтобы поговорить со мной; я стала жадной до недорогих товаров наподобие музыки или интересных вебсайтов. Когда одно из этих средств не срабатывало, я заставляла себя попробовать что-то еще, вместо того, чтобы погружаться в грустный внутренний диалог «ну, это не помогло; наверно что-то на самом деле не так и я должна чувстовать себя плохо, пока все не наладится само собой». Я также приспособила мою склонность чувствовать себя лучше после ночного сна — если я ощущала себя плохо и при этом было позднее время — я ложилась спать, резонно ожидая что утром будет лучше.

Я прекратила мириться с незначительными ранениями моих эмоций, которые я идентифицировала как наиболее постоянные и, таким образом, по большей части вероятно вносящие вклад в мое плохое состояние. Например я заметила что я всегда сплю лучше когда я не ложусь спать, ожидая что утром меня разбудит будильник, так что я переделала мое расписание так, чтобы утром было время поваляться в кровати, и нашла такой будильник, который будит меня максимально мягко, если мне обязательно требуется встать. Я распозанала людей, которые вводят меня в состояние фрустрации и опустошенности и ограничила взаимодействие с ними как ограничением возможностей вообще вступать с ними в контакт, так и путем удаления моих стандартов, что нельзя брость разговор посередине, так что я могу уйти раньше, чем вещи станут очень плохими. В общем я практиковалась в «выписывании вещей» и репетиции внутренний монологов, в которых я объясняла себе что нет необходимости волноваться об Х. («Я не могут управлять скоростью автобуса. Я села на него и он доедет тогда, когда доедет. Нет необходимости волноваться об опоздании пока я снова не пойду пешком — так что я остановлюсь. Чтобы управлять моим сильным навязчивым желанием успеть вовремя, я начну думать о том, как выбрать наилучший путь, который мне надо выбрать когда я сойду с автобуса.»)

Я обозначила мою новую желаемую стартовую точку — безопасную область спектра, назвала ее «5», которая была амбициозна но достижима — как «нормальную». При вопросе как я себя ощущала в этом состоянии, я сознательно выберу сказать что я была в порядке, вместо того чтобы с энтузиазмом воскликнуть «великолепно», как я бы сделала раньше — энергия, которую я ощущала на точке «5» больше не должна была быть чем-то экстраординарным. Подобным образом, нет подходящих оснований для совершения вещей, которые не нравятся. На «5» я не испытывала счастья — я ждала пока я стану еще лучше, пока не расслабиться моя эмоциональная жадность. Вместо этого, «5» была хорошим местом для предприниятия более продвинутых экспериментов, предлагаемых процессом улучшения. (более сложными нежели выбор определенной пары носков для надевания — начало ДнД игры, или хождения вокруг, исследования новой локации или работы над куском арта или фанфика; интервал времени и усилия сделали их бедными «ободряющими» усилиями, но прекрасными путями для получения состояний от «5» до «6» или «7».

Я сделала точку отметки не-грустных недостатков в моем статусе, наподобие скуки, голода, усталости, или раздражения. Они напрямую не связаны со стартовой точкой, которую я пытаюсь ощущать, но они могут усиливать плохое влияние или ограничивать силу хорошего. Вдобавок, на уровне осознанности на котором я должна работать, они также могут маскировать настроения, которые на самом деле грустные, примерно так же как кто-то может ощущать голод, когда на самом деле хочет пить.

Я обозначила мое настроение как управляемое. Мышление об этом как о чем-то что атакует меня без закономерности или причины — лечения депрессии наподобие простуды — не просто стоит мне возможности сражаться с ним, но также делает целую ситуацию кажущейся бесконтрольной и безнадежной. Я не доверяю выученной беспомощности: я решила что лучше всего интерпретировать мою раннюю статистику нахождения в стартовой точке как показатель того, что я еще не обнаружила верных техник, нежели как индикацию что это непреложный и постоянный порядок вещей. Вдобавок, факт что я не знаю как это исправить еще значит что если собиралось стать моим главным приоритетом, я должна относится к ценности данной информации как к очень высокой; это стоило эксперимента и я не должна ждать гарантий, чтобы сделать это.

Даже если я определила что мое настроение реагирует каким-то методом на мое окружение, это убирает мою власть только над одним шагом: я могу контролировать мое окружение в определенной степени и с достаточно сильной причиной это делать я смогу деактивировать эту силу. (Это иногда имеет неожиданные и драматичные последствия. Для примера, когда я определила что аспирантура больше не совместима с моим счастьем, я бросила ее настолько быстро, насколько могла, хотя это было перспективное время — середина семестра — и отправилась в путешествие по стране. Могу добавить, что это дало отличный эффект.)

Даже если у меня на тарелке много всего, быть счастливее поможет мне делать это. Это похоже на сон: легко бодрствовать и бодрствовать, потому что сон кажется таким непродуктивным, и вы можете сделать немного работы, однако вы устаете. Но в долгосрочной перспективе, давая себе часок-другой нормального сна позволит вам сделать больше, и находится при этом в хорошем настроении. Управлнение настроением обычно не наиболее продуктивная вещь в кратковременной перспективе, которую я могла делать, однако рассмотрение его как главного приоритета в сложных ситуациях позволило мне быть более эффективной чем я была раньше.

Я должна была быть готова тратить ресурсы на мой проект. Это включало в себя работу над неврозами, наподобие моего нежелания тратить деньги и преодоления некоторого фонового нежелания пробовать новые вещи. Также мне пришлось позволить себе быть зависимой от своих прихотей. Я все еще не знаю что с моим настроением делает, скажем, предмет искусства, которое меня поражает, но когда это происходит, я должна творить или потеряю направление. Имеющие силу направления делают забавные вещи очень ценны для меня и таким образом когда возможно я не сдерживаю их, даже если это стоит времени и перекрывает другую деятельность.

Как получить удовольствие от неприятной компании

Ханна Финли

В одном из комментариев я упомянула, что могу любить людей целенаправленно. В ответ на просьбу рассказать как это возможно, я написала свои советы в виде поста. Я не включила и не буду включать любые конкретные примеры из жизни (все нижеприведенное выдумано), потому что я беспокоюсь о том, что люди, которых я люблю целенаправленно, расстроятся, узнав, что это о них, хотя симпатия (некогда вызванная) совершенно искренняя. Если кто-то считает что полезно было бы что-то конкретизировать в большей степени, я постараюсь придумать историю, которая восполнит недостаток.

Любить людей полезно. С одной стороны, если вам приходится находиться в их обществе, то это более приятно. С другой, ну, они часто разговаривают, и если они знают, что они вам нравятся, они чаще будут склонны помогать вам. Таким образом очень удобно уметь полюбить кого-то независимо от того, что человек представляет собой на самом деле. Есть три простых компонента для того чтобы любить кого-либо целенаправленно. Первое — снизьте значимость плохих черт путем отсекания, видоизменения и преуменьшения их; второе — увеличьте значение положительных черт путем распознания, анализа и восхищения ими; и третье — ведите себя так, чтобы убрать эффекты предвзятости.

1. Снизьте важность плохих черт.

Подумайте о чертах, которые вам не нравятся в этом человеке — это могут быть несколько надоедливых привычек или список из серьёзных пороков, длинный, как ваша рука, но убедитесь, что знаете, какие это качества. Отметьте, что каким бы большим ни был список, он не обо всём человеке. («Обо всём!» не является лучшим ответом на данном этапе.) Невозможно полностью описать человека, перечислив черты, которые вы в нём заметили. Обратите внимание, таким образом, что вам не нравятся эти качества в человеке, но это не обязательно связано с самим человеком. Положите список в «ящик» — отдельно, пока вы наконец не составите мнение о человеке.

Когда человек показывает характеристику, привычку или склонность, которая есть и у вас (или, возможно, просто ухудшит вас, оказавшись вашей), будьте начеку — это может быть ошибочная оценка поведения. Это особенно незаметно в том случае, если человек вам уже не нравится, так что важно компенсировать прямо и осознанно данное влияние. Повышайте осознанность мыслью об «истории ситуативного поведения», в которой вы рассматриваете обстоятельства, а не характерную черты, которые объясняют недавний пример плохого поведения. Это должна быть такая история, которую вы можете придумать, чтобы не прибегать к ворчанию насколько это ужасный человек — то есть не прибегать к «Ну, может, у нее мозг марсианина, но блин, насколько это возможно?». Лучше звучит «Я знаю знаю, что она легла спать поздно и она выглядит уставшей» или «может быть из-за того, что этот трехчасовой телефонный разговор, который сейчас завершился, был о чем-то ужасно напрягающем».

Самое лучшее время для практики этой привычки — это практика в автомобиле. Выдумывайте истории о неправильном поведении на дороге вокруг вас. «Солнце так ярко светит — она могла не заметить меня» «Эта машина выглядит старой! Я бы не смогла водить её хотя бы наполовину так же хорошо, неудивительно, неудивительно, что она постоянно глохнет.» «Он жутко опаздывает — может, у него что-то случилось с родственником?» «Возможно, она говорит по мобильному, потому что работает доктором, всегда на связи — будет хуже, если она не ответит на звонок во время вождения.» «Он бы остановился, будь у него место для этого, но здесь нет обочины.» Конечно, всё это скорее всего неправда. Но это разумные объяснения, и они не о том. что каждый водитель — безумец! Я подчёркиваю, что от вас не требуется верить этим историям. Просто признайте, что они правдоподобны, чтобы восполнить искажение гипотез подобно этой, что возникнет существенная ошибка восприятия.

Если такой информации нет, то попытайтесь предположить — «Я бы действовал так, если бы был простужен; может быть она заболела?» является допустимой спекуляцией даже при отсутствии других признаков простуды. Если возможно, будет хорошей идее спросить (искренне, с любопытством, уважительно, по-доброму! не обвиняюще, грубо, бесчувственно, воинственно!) почему человек поступает так, как он поступает. Будьте уверены, если человек психически здоров, то у него в сознании есть объяснение, которое не сводится к «Я ужасное оправдание для человека, который по своей натуре делает злые вещи просто, потому что ему нравится». (Заметим, однако, что не все могут вербализировать самосуждения, когда их попросят.) Вне зависимости от того, верите ли вы им или нет, убедитесь что вам известно по меньшей мере одно объяснение на основе обстоятельств для того, что они сделали.

Замечайте, какие ситуации вызывают больше плохого поведения, нежели другие. У каждого есть ситуации, которые вызывают худшее в них, и когда худшее уже действует вам на нервы, вы должны избегать по мере возможностей того, чтобы на поверхность всплыло еще более худшее. Если у вас есть влияние на роли, которые этот человек играет в вашей жизни (или вообще), ограничьте их теми, в которых их худшие привычки не имеют значения, смягчены или компенсируются местными достоинствами. Не просите забрать вас из аэропорта кого-то, кто ужасает вас своей скоростью; не предлагайте разрезать десерт тому, кто славится своим эгоизмом; не назначайте срочных задач прокрастинатору. Просите любителя быстрой езды доехать до банка, пока он не закрылся, когда вы (к сожалению) застряли дома; дайте эгоисту задачи где ему придется работать с комиссией; дайте прокрастинатору такие задания, которые ему не захочется откладывать.

2. Увеличьте значимость положительных черт.

Не смотрите на меня так. Это работает. По крайней мере с этого можно начать. Вам не нужно ждать, что вам понравится кто-то до тех пор пока вы не откроете, что они пожертвовали миллионы долларов на смягчение экзистенциальных рисков или узнали, что под псевдонимом они являются вашим любимым музыкантом. Вам может нравиться их крутая стрижка, или их молчаливость, или даже обувь. Вы можете ценить то, что они вынесли больше тягот, нежели вы (если вынесли, но постарайтесь «ошибиться» в оценке в нужную сторону) — даже если вы не думаете, что они хорошо со всем справились, все равно им было тяжело. Вы можете признавать что они лучше вас или лучше большинства, или лучше чем кто-либо из ваших знакомых, кто вам нравится, или они лучше в некотором навыке, некоторой сфере. Вы можете думать, что они сделали отличную работу по подборке их мебели, или перенесите на них ваше хорошее отношение к их родственникам или знакомым. Что-то всегда есть.

Узнайте больше о вызывающих симпатию фактах, которые вы обнаружили. «Поймайте их в действии», когда эти качества демонстрируются. В заключение к тому, что говорилось выше, создавайте ситуации, где эти качества будут выставлены не в плохом, а в лучшем свете. Добейтесь в этом успеха, безусловно и в ваших глазах. Поговорите с вашими общими друзьями о том, что ещё можно полюбить — узнайте, как человек находит друзей, что привлекает в нём людей, что люди извлекают из общения с ним. Спросите о добрых делах данного человека. Собирайте сведения, словно вы биограф, который страшится иска за клевету и боится написать слишком мало: вам нужно знать столько хороших фактов, насколько возможно.

В этом деле чрезвычайно важно развивать восхищение, а не зависть. Зависть и негодование приводят к обратным результатам, в то время как восхищение и уважение — какими бы сдержанными они ни были — являются шагом в верном направлении. Кроме того, вы постараетесь использовать эти особенности человека. Это не отдалит ваши цели, если вы не примете во внимание их значимость для огромного плана. Не думайте: «У неё классная причёска, почему же у неё такая классная причёска, хотя она ужасный человек и не заслуживает этого? Гр-р-р!» Вместо этого: «У неё такая классная причёска. На неё приятно взглянуть, вот почему здорово, когда она рядом. Интересно, у неё есть время научить меня укладывать волосы так же?» Или вместо «Конечно, он умеет говорить на латыни, но чёрт возьми, какой от этого прок? Он что, думает, что нас захватят легионеры и захотят, чтобы он был дипломатом?» будет полезнее для создания симпатии подумать «У многих людей нет терпения и стремления выучить какой-нибудь второй язык, тем более такой, у которого не осталось носителей, чтобы помочь и научить его тонкостям. Уверена, что он приложил к этому много усилий.»

3. Получите постоянный результат.

Будьте добры и внимательны к человеку. Велика вероятность. что ему что-то в вас не нравится (придирки чаще возникают у обеих сторон, а не у одной). Если вам удалось выяснить, что именно и делать это меньше — по крайней мере при нём — у вас возникнет смешанное чувство, что вы можете заставить себя полюбить этого человека. Иначе говоря, я думаю, почему бы вам не потрудиться не стучать пальцами в его присутствии, или не делать ошибок в его замысловатом имени, или помнить, на что у него аллергия, чтобы не приносить еду для всех, кроме него? Это то, что вы делаете, когда вам не наплевать на его чувства, а если вам не наплевать на них, значит он вам хотя бы немного нравится. (Берегитесь: если вы видите, что то, что вы делаете, раздражает его, и вы отвечаете с негодованием, что у него завышенные предпочтения насчёт глубоко укоренившейся части вашей личности и как он смеет, то вы что-то делаете не так. Главное не измениться до неузнаваемости, пытаясь быть его идеальным другом. Вам не нужно делать всё. Но сделайте хоть что-то.)

Стремитесь проводить время с этим человеком. Это должно естественно продолжать предыдущие шаги: вам нужно всё же добыть где-то всю информацию. Но узнавайте его мнение по разным вопросам, особенно из его области знаний и предпочтений; выполняйте небольшие задания; спрашивайте о его планах, интересах, любимых людях; встречайтесь на его территории, даже если вы никогда не взаимодействовали. (Берегитесь: не делайте этого, если чувствуете, что ненавидите его ещё больше в каждой проведённой вместе минутой, или если это напрягает вас достаточно, чтобы воздержаться от вышеупомянутых умственных упражнений. Лучше больше работать над симпатией на расстоянии, если вы на этой стадии, а потом стремиться проводить больше времени с ним. Кроме того, если вы его раздражаете, то не делайте ничего, что расценивалось бы как приставание и слежка.)

Постарайтесь узнать что-то от человека — например, не хочет ли он чему-то вас научить, или без обиняков, хочет ли. Возможно учиться даже у тех людей, чьи умения не намного лучше ваших. Если он рассказывает о том, что сделал, то вы можете учиться на его ошибках; если его умения хуже ваших, но он применяет новый подход, то вы можете научиться его использовать; если вообще ничего, то он знает кое-то о себе, а эта информация важна для проекта симпатии, о котором писалось выше. Наложите то, что о нём знаете, на его собственные представления о себе.

Берегитесь общей ошибки: используя возможности изложенной стратегии, очень легко выработать самодовольство, фарисейство, высокомерие и другое непристойное поведение. Остерегайтесь таких внутренних монологов, как: «Он ушёл и опять сломал раковину, но я слишком добрый и терпимый, чтобы злиться. Не стоит выражать недовольство — в конце концов, он не выносит критики, не мне осуждать его, конечно. Я лучше заблокирую кран и вызову водопроводчика, чтобы тот исправил за него поломку, чем буду ворчать на него, я же знаю, что он рассердится, если я напомню ему — не каждому дано спокойно воспринимать такое, как мне, а я так и веду себя с ним прямо сейчас, не расстраиваюсь…»

Автору этого монолога не нравится разрушитель раковины. Автор этого монолога презирает его, она высокого мнения о себе, потому что скрывает своё презрение (хотя это вполне может быть и он). Она терпит его общество, потому будет ниже её достоинства не делать этого; ей не нравится быть с ним, потому что она понимает, что он понимает суть важных вопросов или даже потому декоративен в какой-то степени. Если вы в итоге не имеете действительной, искренней, честной симпатии к человеку, которого планировали полюбить, то вы что-то сделали не так. Это недоверие вашему своеволию, и полагать, что это так, не поможет вам победить.

Семь Сияющих Историй

Ханна Финли

Я поняла, что содержимое цепочки об осознанности чересчур абстрактно и что было бы полезно показать на вымышленных примерах, как применять мои идеи. Вот эти истории.

1. Слова (идея взята из «Да будет свет», в котором я советую собирать предварительную информацию о себе из внешних источников)

Марии нравятся комплименты. Она без ума от комплиментов. А когда ей становится мало, она начинает напрашиваться на похвалу, задавать наводящие вопросы, смотреть большими глазами — делать все, чтобы получить их. Это всех раздражает. И часто вместо одобрения она получает язвительные замечания, критику и брюзжание. Она обижается; это ранит ее сильнее, чем других в таком же положении. Мария хочет знать, что с ней происходит. Поэтому она начинает проходить личностные тесты, изучает различные стили управления отношениями и их оценки, ищет то, что характерно именно для нее. Со временем она встречает понятие «языки любви» и осознает, что она «вербальный» человек. Ее друзья не хотят обидеть ее, они не представляют, как много для нее значат комплименты, как грубость может глубоко ранить таких, как она. С этим знанием она может толковать особенности своего поведения; она также может объяснить себе, что друзья действительно ее любят, и получать необходимые словесные подтверждения этому.

2. Виджеты (идея взята из «ЭПО — основы осознанности», в которой я объясняю ценность соотношения эмоций, поведения и обстоятельств)

Рабочая производительность Тони ужасна. Почти каждый день он слишком опустошен и невнимателен, чтобы хорошо делать виджеты. Выполнение плана по изготовлению виджетов под угрозой, и Тони хочет понять причину. Он только что прочитал увлекательные, блестяще написанные посты об осознанности на LessWrong, и вот он решает отследить свое состояние и действия в те моменты, когда он ощущает опустошенность и не ощущает ее. Через неделю он получает вполне устойчивую зависимость: хуже всего те дни, когда он пропускает завтрак, потому что слишком долго валяется в постели, постоянно отключает сигнал будильника и потом мчится на работу. Получается, что из-за рассеянности в течение дня он работает медленно, поэтому он меньше устает к вечеру и позже ложится спать. Чтобы справиться с этим, он начинает подолгу бегать в те дни, когда его работа не слишком утомительна, и запасается мелатонином; он легко засыпает, если ложится в нужное время, хорошо высыпается, завтракает и приезжает на работу полным энергии и сконцентрированным.

3. Текст (идея взята из «Свет, камера, мотор!», в которой я отстаиваю агрессивный и частый самоанализ, который позволяет собрать больше данных)

Дот читает об эксперименте, во время которого субъектам звонят в случайные моменты времени; они должны рассказывать исследователям, счастливы ли они в тот момент. Судя по всему, во время эксперимента были выявлены некоторые оптимальные модели поведения, и Дот любопытно, что она может использовать для улучшения жизни. Она просит друга организовать доставку смс на ее телефон в случайные моменты времени и обещает себе замечать, что она делает, думает и чувствует, когда получает смс. Вскоре она обнаруживает, что не так сильно любит смотреть телевизор, как ей казалось; что готовить вкуснее, чем разогревать в микроволновке; что ей не нравится ее соседка по кабинету; что она думает о своем бывшем больше, чем признается себе. Эти мысли обычно слишком поверхностны и не отражаются на её поведении; если она пытается вспомнить их через несколько часов, события складываются в одну длинную историю, в которой эти мимолетные эмоции вторичны. Но если их замечать и принимать их во внимание, они не ускользают. Дот кладет книгу на пульт от телевизора, напоминая себе, что такой отдых приносит больше удовлетворения. Она покупает меньше полуфабрикатов и необходимое количество основных продуктов. Она договаривается поменяться офисами с коллегой, чтобы не терпеть неприятное соседство. С бывшим не так просто, но когда ее друзья спрашивают о том, все ли у них в порядке, она может ответить более точно.

4. Набор текста (идея взята из статьи «Луч света», в которой я рекомендую переносить мысли в визуальную или звуковую форму, чтобы в дальнейшем их можно было исследовать, не затрагивая самоанализ)

Джордж старается понять, кто же он. Действительно старается. Но когда он пытается объяснить свои поступки и мысли в рамках общих моделей, которые могли бы ответить на его вопрос, результат выглядит подозрительным, требующим пересмотра и корыстным, как будто он привычно забывает некоторые детали и умышленно преувеличивает другие. Он думает, что он великодушен, что он звезда вечеринок, хороший семьянин, честный человек, с которым легко иметь дело. Джордж решает, что нужно честно и решительно отлавливать то, что он думает в каждый момент времени, чтобы работать с правдивыми данными. Он запускает текстовую программу и начинает записывать поток своего сознания. Напечатав несколько параграфов, почти полностью состоящих из «я тут пишу то, что думаю» и «это какая-то глупость, и ничего путного из этого не выйдет», он наконец набивает руку и начинает накапливать материал. Вскоре у Джорджа появляется несколько минут зафиксированного внутреннего диалога. Он записывает то, как хвалит себя, но в скобках также делает отметки о тех случаях, когда он действовал вопреки этим славным шаблонам (однажды он взял три порции торта, хотя на всех не хватало; он пропустил половину вечеринки, болтая по телефону; он пропустил прошлый день рождения дочери; он бросил друга в день соревнований; он вышел из себя, когда коллега несколько раз напомнил ему доделать таблицы). Джордж записывает свои плохие привычки и свои недостатки. Важно то, что он сопротивляется желанию стереть написанное, хотя он легко спорит с собой о том, хочет ли он что-то исправить. Потом он сохраняет документ, запихивает его подальше в папку и выжидает неделю. В следующий вторник он перечитывает напечатанное, как если бы это были записи незнакомого человека и думает, что бы он мог ему посоветовать.

5. Противоречия (идея взята из статьи «Блики и тени», в которой я объясняю, как поддерживать и отвергать мысли и склонности)

Пенни знает, что она не совершенна. Более того, некоторые ее склонности и замыслы противоречат друг другу, и она знает об этом. Она хочет питаться лучше, но любит пиццу; она пытается научиться самообладанию, но иногда люди так себя ведут, что единственный выход — накричать на них; она старается усмирить желание пилить своего парня, но если он не в состоянии научиться опускать за собой сиденье унитаза, то, возможно, он заслуживает упреки. Пенни решает внимательно разобраться с несоответствиями и принять, наконец, одну из сторон. И вот она приходит к честному выводу, что без пиццы жизнь кажется мрачной и беспросветной; она делает это официальным исключением из правила и старается питаться лучше — кроме тех случаев, когда дело касается пиццы. Она понимает, что злость — даже на людей, которые ошибаются — никому не поможет, так что она прикладывает больше сил, чтобы справиться со злостью, и ищет другие, более продуктивные методы выражения своих оценок. И ей ясно, что нытье не решает проблемы. Она не одобряет ворчание, но и некультурное поведение своего молодого человека она поддерживать не собирается. Она соглашается больше не пилить его, когда он допускает ошибку, и надеется, что он исправится.

6. Коллектив (идея взята из статьи «Город огней», в которой я предлагаю разделить себя на субагентов, чтобы разрешить сложную ситуацию)

У Билли есть возможность на год уехать в Австралию учиться, и он настолько озадачен, что едва может ясно мыслить. Он не может решить, хочет ли он ехать, почему он хочет ехать, и что он чувствует при мысли, что он откажется. Наконец он решает, что будет легче дать имя каждому из докучающих ему голосов и позывов и позволить им говорить друг с другом. Он определяет основных участников (субагентов) как «Привязанность», которая хочет остаться в знакомой обстановке; «Авантюриста», который хочет узнать что-то новое и путешествовать по миру; «Верность наставнику», которая подчиняется рекомендациям его профессора; «Знатока», который хочет сделать все, чтобы у Билли в будущем было как можно более впечатляющее резюме; и «Боязнь пауков», которая мечтает оказаться подальше от австралийских членистоногих и жутких снов с их участием. Когда у этих голосов появляется возможность спорить, они обнаруживают друг у друга сомнительные мотивы: например, Знатоку понятно, что профессор рекомендует Билли остаться только потому, что Билли работает у него помощником, а не потому, что хочет, чтобы он рос в интеллектуальном плане, и это снижает важность Верности наставнику. Авантюрист возражает Боязни пауков, указывая на то, что черная вдова родом из США. Наконец, Знаток и Авантюрист вместе побеждают Привязанность (с которой Билли себя не отождествляет), и вот Билли отправляется покупать билет.

7. Эксперимент (идея взята из статьи «Тени от лампы», где я описываю возможность успешно измениться, принимая другую модель поведения, и определить то, что лежит в основе нежеланных поступков)

Ева начинает плакать каждый раз, когда сталкивается со сложной задачей вроде нового проекта на работе или бурного скандала среди ее друзей. Конечно же, это очень непродуктивно — на деле, в случае скандала это еще больше усугубляет ссору — и Ева хочет остановить это. Для начала она должна осознать, почему так происходит. Является ли грусть причиной слез? Похоже, что нет. Она плачет, даже если ничего грустного не происходит. Последний проект на работе был увлекательным, он открыл для нее много возможностей, но все таки она плакала. Разбираясь с причиной, которая заставляют ее плакать, Ева понимает, что слезы появляются из-за давления, которое она ощущает, решая проблему; к примеру, если над проектом вместе с ней работает команда, Ева реже реагирует подобным образом; и если друзья в своих ссорах обращаются к ней за помощью, она плачет чаще, чем когда она только наблюдает со стороны. Теперь ей нужно помочь себе не плакать. Она получает поддержку в своих начинаниях: если босс дает ей поручение, она обращается к другому сотруднику:»Я, скорее всего, с этим справлюсь, но если мне понадобиться помощь, могу ли я рассчитывать на вас?» Таким образом она снимает с себя часть ответственности. Она может думать, что задача не полностью на ней. Когда разражается очередной скандал, Ева переосмысливает свое участие в размолвке. Она выражает вслух согласованное мнение всех участников ссоры вместо того, чтобы в одиночку пытаться найти наилучшее решение. Однако даже при том, что с таким новым подходом слезы появляются реже, структура, которая лежит в основе данной привычки, сохраняется. С этим справиться сложнее. Ева подолгу думает над тем, почему ответственность так эмоционально нагружает ее, и ищет пути увеличить чувство поддержки в тех ситуациях, с которыми она не может справиться самостоятельно. В конце концов, не страшно, если Ева всплакнет, когда столкнется со сложной ситуацией.

Политика и ужасное искусство

Элиезер Юдковский

Одно из наименее ценных моих воспоминаний — это как на обращении «О положении страны» или, возможно, на инаугурации президента, один нобелевский лауреат встал и стал читать ужасно торжественным голосом политически верную длинную скучную речь о том, как хорошо живется у нас всем нациям — «Афроамериканцам, эфиопам, этрускам» или типа того. Эта «поэма», если можно так выразиться, была просто невыносимо ужасна. Если верить моим ушам, то в ней не было абсолютно никаких достоинств вообще.

Время от времени к какому-нибудь атеисту приходит потрясающая идея, что и у атеистов должен быть гимн, наподобие тех, что есть у религиозных людей. После этого они берут существующую песню на религиозную тематику и переделывают ее под атеизм. И такой «атеистический гимн» практически всегда получается просто отвратительным. Однако автор не видит, насколько ужасно его произведение как стихотворение. Он слишком занят восхвалением себя, думая «Религия отстой, аминь». Он ощущает себя так, словно нанес удар Злейшему Врагу. Его настолько переполняет воодушевление от этого, что атеист не видит, что у его гимна вообще никаких других достоинств. Стихи того же качества о чем-то, не касающемся политики, смотрелись бы чем-то вроде записок на холодильнике у домохозяйки.

В литании против гуру, которая приводилась в предыдущей статье, есть две строки, которые можно классицировать как стихи, а не просто как строфу. Когда я сочинял конец литании, строки, которые первые пришли мне на ум, были следующими:

I was not your destination (Я не цель, куда нужно придти)

Only a step on your path (А только шаг на твоем пути)

Которые в принципе звучали не особо. Заменить «путь»(pathway) на «дорогу»(road), чтобы совпадало по слогу? Тогда звучит еще хуже, теряется ритм.

Настоящая проблема была в слове destination (место назначения) — которое состояло из четырех слогов и было ужасно громоздким. Его надо было убрать. «Я не твоя цель» («I was not your goal») было первое что пришло в голову и это было коротким и отлично звучало. Однако мне не нравилось слово «цель» («goal»), оно было слишком абстрактным. Вслед за ним мне в голову пришло слово «город» («city») и я понял — вот оно.

«I was never your city» («Я никогда не был твоим городом») пришло ко мне не когда я думал о рациональности, а когда я размышлял о просодии. Ограничения искусства заставляют нас отбрасывать устаревшие шаблоны построения фраз, и в поисках менее очевидных фраз мы часто натыкаемся на менее очевидные мысли.

Если я скажу «Ок, это отличная мысль о рациональности, так что нет нужды волноваться о просодии», тогда я бы не смог получить преимущество ограничения.

Другая строка первоначально звучала как «Laugh once, and never look back,» («Посмейся и никогда не оглядывайся») что было не слишком рационально, хотя с просодией тут проблем не было. «Laugh once» («Посмейся») звучало слишком глумливо, это было не то, что требовалось. «Never look back» («Никогда не оглядывайся») было еще хуже, поскольку память о прошлых ошибках может быть полезна даже годы спустя. Так что «Look back, laugh once smile, and then,» и, «look forward» («Оглянись,Улыбнись,И иди вперед!»)? Теперь, если бы я восторгался рациональностью, я бы сказал «Как хорошо звучит „look forward“ » и простил бы лишний слог.

«Eyes front!» а вот тут было два слога. Они звучали четко и ясно, говорят прекратить витать в облаках, выйти из оцепенения и приступить к работе! Никаких мягких клише вроде «look forward, look upward, look to the future in a vaguely admiring sort of way…»

Взгляд вперед! Это лучшая мысль в качестве рациональной, которую я бы никогда не нашел, если бы стремился исключительно писать о рациональности, так чтобы забыть о просодии или лишних слогах.

Если вы позволяете утверждению о Вашей Любимой Идее компенсировать недостаток ритма в песне, недостаток красоты в картине, недостаток остроты в произведении, то ваше искусство неизбежно будет крайне убого. Когда вы стараетесь рассказать через искусство свою Любимую Идею, то вы должны придерживаться тех же стандартов, что при рассказе о бабочке.

Существует направление политизированного искусства, наподобие рисования икон. При этом высокое качество в таком искусстве скорее исключение чем правило. Большинство из них работает по принципу «Советского Человека, Который Побеждает Змей Капитализма». Такое легко сделать и легко защищать — если кто-то критикует ваше искусство при этом, то получается, будто он на стороне Змей Капитализма.

Толерантность по отношению к ужасному искусству, проявляемая только потому, что оно наносит удары по вашим Врагам, или потому что оно взывает к Великой Истине — опасный знак. Это свидетельствует о том, что аффективная смертельная спираль входит в сверхкритическую фазу, где вы больше не сможете критиковать любой аргумент, который говорит в пользу «вашей» стороны.

И в следующий момент вы осознаете, что уже пишете ужасные гимны или вставляете гигантские философские лекции в кульминацию вашего романа…

Фальшивый смех

Элиезер Юдковский

Существует так называемый глумливый или подлый смех, который возникает у человека, когда он видит, как его Злейший Враг получает пинок под зад. Это может быть ожидаемым и быть вообще не смешно на самом деле, главное — чтобы Врагу при этом было больно. Похоже на юмор, только без юмора.

Если вы знаете, что ненавидит ваша аудитория, то не составляет труда добиться подобного смеха — который служит признаком одного из подвидов ужасного политического искусства.

Существуют, конечно, и хорошие образцы сатиры, да; не все политическое искусство плохо. Однако от сатиры требуется нечто большее, нежели простой удар Врагу по носу. На деле не то что сатира — даже обычный юмор требует усилий.

Представьте политическую карикатуру: здание с вывеской «Наука» и годзиллоподобного монстра с табличкой «Буш», который ломает это здание. Есть люди, которые будут смеяться и над этим — хе-хе, Буш теряет баллы, хе-хе — однако такую карикатуру можно сделать почти без усилий. На деле, это вообще первое, что пришло мне в голову в ответ на мысль «политическая карикатура о Буше и науке». Такая степень очевидности и простоты — плохой знак.

Если я хочу создать смешную политическую карикатуру, я должен приложить больше усилий. Выйти за пределы шаблонных «запасенных» мыслей. Использовать свою креативность. Изобразить Буша монстром с тентаклями, а науку — японской школьницей.

Есть множество форм искусства, которые страдают от очевидности. Однако юмор страдает больше остальных, поскольку он держится на сюрпризе — нелепом, неожиданном, абсурдном.

(Сатира добивается этого говоря вслух те мысли, которые вы не осмеливаетесь даже думать. Фальшивая же сатира повторяет мысли, которые вы уже думали.)

Вы можете сказать что предсказуемый кульминационный момент имеет слишком большую энтропию, чтобы быть смешным, по той же самой логике, которая говорит, что вы будете меньше удивлены обнаружив на градуснике 30 градусов, нежели 29.

Общий тест, который позволяет распознать ужасное политическое искусство — спросить, казалось бы данное искусство нужным, не будь оно политическим. Если кто-то пишет песню о космическом путешествии, и песня достаточно хороша, что я слушал бы ее, даже будь она о бабочках, тогда и только тогда ей можно начислить бонусные баллы за прославление великой идеи.

Так что один тест на подлый смех — спросить, была бы шутка столь же смешна, если пинок получил не Злейший Враг. Билл Гейтс однажды получил внезапно пирогом в лицо. Было бы это по-прежнему смешно (пусть даже менее смешно) если бы пирогом получил Линус Торвалдьс?

Разумеется я не предлагаю вам сидеть и весь день спрашивать, какие шутки на самом деле смешные, а над какими вам «позволено» смеяться. Как говорится, анализировать шутку все равно, что препарировать лягушку — лягушку это убивает, да и вам не особо весело.

Так зачем нужен данный пост? Разве мы уже не знаем, какие из шуток смешны?

Первое приложение: если вы обнаруживаете себя в компании людей, которые рассказывают несмешные шутки о Злейшем Враге, будет хорошей идеей смыться оттуда, пока вы не начали смеяться вместе с ними…

Другое приложение: и вы и я должны иметь право не смеяться над определенными шутками — даже шутками, нацеленными на наши любимые мишени — на основании того, что шутка слишком предсказуема, чтобы быть смешной. Мы должны быть способны это делать без того, чтобы быть обвиненными в отсутствии чувства юмора, «неспособности въехать в прикол» или защите священных коров. Если Годзилла-с-табличкой-топчущий-здание-с-табличкой не смешно для «Буша» и «Науки», то это также не смешно и для «либеральных экономистов» и «Американской национальной соревновательности» и т.д.

Наиболее едкое обвинение, которое я когда-либо слышал против Объективизма, это что хардкорные объективисты лишены чувства юмора; однако никто не может это доказать только показывая объективисту карикатуру о Годзилле «Рэнде», разрушающем здание «юмор» и требуя, чтобы человек смеялся.

Требуя, чтобы кто-либо смеялся для доказательства, что человек не принадлежит к культу — ну, как и большинство подневольного смеха, оно не особо работает. Смех, о любой вещи, должен приходить естественно. Самое большее, чего вы можете добиться — это вызвать страх и сомнения в их пути.

Если объективист, который просто просматривает странички в Интернете, натыкается на изображение Айн Рэнд в виде японской школьницы, которая читает лекцию монстру с тентаклями, и при этом даже не улыбается — это вполне может быть проблемой. Однако решить эту проблему, пытаясь смеяться нарочно, не получится.

Проблемы с юмором — знак ужасных вещей. Однако делать юмор обязательным или постоянно волноваться, достаточно ли вы смеетесь — значит усугублять и добавлять таких проблем. В таком виде это похоже на Дзен. Есть вещи, из которых вы можете сами сделать шутку, однако очень мало вещей, которые вы можете сделать, чтобы осознанно поверить что шутка смешна.

Что такое байесианство

Кай Сотала

Эта статья является попыткой сжато изложить базовый материал, и таким образом, возможно, не несет ничего нового для продвинутого читателя. Будет интересно узнать, не пропустил ли я чего-то важного здесь.

Вы, должно быть, часто встречали слово «Байесианство» на этом сайте, но, вероятно, не до конца уверены в том, что мы имеем в виду под этим понятием. Вы могли прочитать интуитивное объяснение, но там похоже, только объясняются некоторые математические формулы. На эту тему есть статья в википедии, но и она не сильно помогает. Можно было подумать, что люди на LW вкладывают в «байесианство» смысл навроде «вы же знаете, есть частотная школа статистики, и есть байесовская школа статистики; так вот, мы говорим про байесовскую» — но нет, это не совсем то. Насколько я могу сказать, не существует статьи, точно говорящей, что означает «байесианство».

Центральные идеи просматриваются на протяжении большого набора постов, «байесианство» имеет свой тэг, но нет отдельного поста, который точно увязывал все связи и говорил «вот это и есть байесианство». Так что позвольте мне попробовать предложить моё определение, которое сводит байесианство к трём ключевым принципам.

Мы начнем с короткого примера, иллюстрирующего теорему Байеса. Предположим, что вы врач и к вам пришел пациент, который жалуется на головную боль. Далее предположим, что есть две причины, по которым может болеть голова: опухоль мозга и простуда. Опухоль мозга всегда вызывает головную боль, однако она является крайне редким заболеванием. И наоборот, головная боль редко возникает при простуде, однако множество людей простужается каждый год. Если нет другой информации, что вероятнее — что человек простудился или у него опухоль мозга?

Если вы решили, что вероятнее всего простуда, то это был ответ, которого я ждал. Даже если опухоль вызывает боль каждый раз, а простуда только в одном проценте случаев, случаев простуды настолько больше, что случаев головной боли, вызванной простудой, куда больше, чем болей, вызванных опухолью мозга. Теорема Байеса, в основном, говорит что если причина А может быть источником симптома Х, то тогда мы должны учеть обе вероятности, что А вызывает Х (находится, грубо, умножением частоты А на шанс, что А вызовет Х) и вероятность что что-то еще вызовет Х (для досконального математичесого объяснения теоремы Байеса обратитесь к интуитивному объяснению от Элиезера).

Нет ничего удивительного в этом, конечно же. Предположим, что вы идёте по улице и видите бегущих людей. Они могут быть на пробежке, куда-то торопиться или же они таким образом хотят согреться. Чтобы понять, какое из предположений верно, вы пытаетесь определить какое из объяснений истинно чаще всего и лучше всего подходит по ситуацию.

Ключевой принцип 1: У любого полученного наблюдения есть множество различных возможных причин.

Признание этого, однако, ведет к кое-чему менее интуитивно представляемому. Для любого полученного наблюдения, как вы должны интерпретировать его, всегда основываясь на предыдущей информации. Простое наблюдение того что человек бежит, не будет достаточным, чтобы сказать что он торопится или что он просто на утренней пробежке. Или предположим что вы должны выбрать между двумя соперничающими теориями о движении планет: есть теория о законах физики, предложенная сэром Исааком Ньютоном или теория, гласящая что Летающий Макаронный Монстр просто подталкивает планеты Своей Макароннейшей Десницей. Если эти две теории делают одинаковые предсказания, то вы должны основываться на своих исходных знаниях (на своём приоре, коротко говоря), чтобы решить, какая из них более вероятна. И даже в случае, когда их предсказания отличаются, вам всё равно требуются какие-то знания, на основании которых можно определить, которое из предсказаний лучше; не говоря о том, что из-за каких-то соображений нас интересуют именно предсказания, а не степень элегантности теории.

Или возьмём обсуждение теорий заговора. Некоторые люди считают, что необъяснённые или подозрительные вещи в официальных отчётах означают, что существует государственный заговор. Другие считают, что априорная вероятность гипотезы «правительство готово проводить массовые рискованные операции с тысячами невинных жертв для того, чтобы ввести публику в заблуждение» очень мала и думают, что куда вероятней есть что-то ещё, вызывающее данные подозрительные вещи.

Опять же, это может казаться очевидным. Но есть ряд хорошо знакомых примеров, в которых люди забывают применить данную информацию. Возьмем феномен сверхъестественного: да, если существовали духи или боги, влияющие на наш мир, некоторые из вещей, входящих в человеческий опыт, могли бы подпадать под категорию вещей, которые могли бы вызываться данными силами. Но также есть бесчисленное количество обыденных объяснений, от совпадений до психических расстройств при богатом воображении, что могли привести к восприятию данных вещей. Большую часть времени постулирование сверхъестественного объяснения не должно даже возникать у вас в сознании, поскольку у обыденных причин есть уже множество свидетельств в их пользу, а у сверхъестественного — ни одного.

Ключевой принцип 2: Наша интерпретация любого события, а также любая новая информация, которую мы получаем, зависит от информации, которая у нас уже есть.

Подпринцип 1: если вы наблюдаете явление, которое может быть, по вашему мнению, вызвано только причиной А, спросите себя: «что если данной причины не существовало бы — мог бы я ожидать независимо наблюдать то же явление с той же вероятностью?» Если ответ «да», то, возможно, причиной является вовсе не А.

Данное понимание ведет нас к…

Ключевой принцип 3: Мы можем использовать концепцию вероятности для измерения наших субъективных убеждений в чём-то. Более того, мы можем применять математические законы, имеющие отношение к вероятности, для выбора между различными убеждениями. Если мы хотим, чтобы наши убеждения были верными, мы обязаны так делать.

Факт, что любое явление может иметь бесконечный ряд причин объясняет то, почему байесианцы так строги при подтверждении теорий. Недостаточно, чтобы теория объясняла феномен; если она может объяснить слишком много, она не является хорошей теорией. Помните: явление, которое имело бы место даже в случае, когда предполагаемая вами причина отсутствует, — слабое подтверждение вашей гипотезы. Подобным образом, если теория может объяснить любое наблюдаемое явление, то есть если теория разрешает любое возможное событие, тогда ничего из того, что вы наблюдаете, не будет свидетельством для данной теории.

По своей сути, байесианство не представляет собой ничего более сложного чем это: мышление при помощи набора из трех ключевых принципов, полностью принимаемых во внимание. Добавим капельку идеализма: совершенным байесианцем является тот, кто обрабатывает всю информацию в совершенстве, и всегда приходит к лучшим заключениям, которые только можно сделать из имеющихся данных. Когда мы говорим о байесианстве, это идеал, к которому мы стремимся.

Полностью усвоенное, это мышление имеет тенденцию окрашивать ваши мысли в свой, особенный цвет. Как только вы осознаете, что все ваши убеждения, которые у вас есть, основаны — в механическом, законном смысле — на убеждениях, которые вы имели вчера, которые основаны на убеждениях что были у вас последний год, которые основаны на убеждениях которые были у вас, когда вы были еще ребенком, которые основаны на тех предположениях о мире, что были встроены в ваш мозг, когда вы росли в утробе матери… То это заставит вас задуматься о ваших убеждениях в большей степени. Забеспокоиться о том, все ли из этих предыдущих убеждений в действительности максимально соответствовали действительности.

И вот, по существу, зачем нужен этот сайт: чтобы помочь нам стать хорошими байесианцами.

Записи о фактах: как и зачем

Sarah Constantin

Самый полезный навык из области мышления, которому я научилась и который, по моему мнению, стоит широко распространять, — это написание «записей о фактах». Вы можете найти множество таких записей в моём блоге. (А ещё у меня есть блог с записями о фактах про беременность и деторождение.)

Чтобы создать запись о фактах, вы начинаете с эмпирического вопроса или общей темы. Чего-то вроде «Как часто происходят преступления на почве ненависти?» или «Эпидуральная анестезия действительно опасна?» или «Почему увольняют рабочих на фабриках?»

Совершенно нормально, если вы мало что знаете о выбранной теме. Это упражнение предназначено, чтобы разбираться в сути и показывать ход ваших мыслей, а не для того, чтобы найти официальное последнее слово по данной теме и сделать лучший анализ в мире.

Затем вы открываете Гугл-документ и начинаете делать заметки.

Вы ищете количественные данные из источников, признанных достоверными: данные CDC [Центры по контролю и профилактике заболеваний США — Прим.перев.] для информации о распространении болезней и прочих рисков для здоровья в США, данные ВОЗ для информации, связанной с вопросами здоровья в мире, данные Бюро трудовой статистики для вопросов трудовой занятости в США, и так далее. Опубликованные в научных журналах статьи, особенно из признанных журналов и из больших рандомизированных исследований.

Вы определённо не ищете мнения, даже мнения экспертов. Вы избегаете новостей и очень осторожно подходите к отчётам разнообразных комиссий. Вы ищете сырые данные. Вы принимаете подход «только Писание» со всеми его достоинствами и недостатками.

А затем позволяете данным показать вам что-нибудь.

Вы обращаете внимание на то, что вас удивляет или кажется странным, и отмечаете это.

Вы обращаете внимание на факты, которые вроде бы не согласуются друг с другом, и лезете в источники данных и методологию, пока не разберётесь с загадками.

Вы ориентируетесь на незнакомое. На то, что для вас совершенно непривычно. Одна из наибольших статей экспорта из Германии — клапаны?! Когда в последний раз я вообще думала о клапанах? Почему клапаны, для чего вообще используются клапаны? Ладно, покажите мне список всех различных запчастей для машин в процентах от общего экспорта.

И таким образом вы закапываетесь чуточку дальше в ту часть мира, куда вы раньше не заглядывали. Вы выращиваете в себе способность поворачивать легковесное любительское навязчивое любопытство туда, где может обнаружиться что-то важное.

Вы делаете заметки, записываете впечатления. При этом не забываете в ваших заметках отслеживать все числа и их источники.

Вы проделываете немного вычислений, чтобы сравнить найденное с чем-нибудь знакомым. Насколько этот источник риска сравним с риском от курения или с риском свалиться с лошади? Насколько это лекарство эффективно, если сравнить с результатами психотерапии?

На самом деле вы не хотите заниматься статистикой. Вы можете считать проценты, средние, стандартные отклонения, может быть, величину эффекта, но ничего более сложного. Вы просто пытаетесь понять, что происходит.

Часто бывает очень неплохо отсортировать найденное по абсолютной шкале. Что отвечает за основную часть смертей, на что пошла основная часть ушедших денег, и так далее? Что в данном вопросе «много»? А затем обратить большее внимание и задать больше вопросов про то, чего «много». (Или что обладает непропорционально высокой значимостью.)

Иногда этот процесс может привести к изменению ваших убеждений. Но обычно такого не происходит, вы просто получаете более серьёзное обоснование тому, почему именно вы убеждены в чём-то естественном.

У убеждений, основанных на фактах, есть «обычность». Нельзя сказать, что они не могут удивлять — они удивляют довольно часто. Но если вы сверяетесь с фактами достаточно часто, то, даже когда вы обнаруживаете новые факты, у вас появляется ощущение, будто мир «остаётся на месте», а не кружится со страшной силой при появлении каждого нового раздражителя. К примеру, после того, как я прочитала очень-очень много книг по биомедицине, у меня появилось ощущение, будто я «чувствую мир» в этой области. Я понимаю, что я ожидаю увидеть и чего я не ожидаю увидеть. Моё «чувство мира» не означает, что мир сам по себе скучен — на самом деле, я убеждена, что мир полон открытий и «низко-висящих плодов». Но у меня есть ощущение стабильности, я чаще думаю: «ага, вот как всё устроено», а не: «о, боже, что вообще происходит».

В областях, которые мне менее знакомы, я чаще сталкиваюсь с ситуацией: «о, боже, что вообще происходит». И это иногда мотивирует меня собирать больше фактов.

В какой-то момент у вас скапливается пачка фактов, и они «доносят до вас» какие-тот выводы или ответы на ваши вопросы. Вы записываете их в блог, чтобы другие люди могли проверить ваши рассуждения. Если у вас изменилась точка зрения или вы узнали больше, вы пишете ещё одну запись в блог. В любой теме, в которой вы продолжаете учиться, вы будете смущаться наивности ваших старых записей. Это нормально. Именно так работает обучение.

Преимущество записей о фактах в том, что вы обретаете способность формировать независимое мнение, основанное на свидетельствах. В каком-то роде вы учитесь видеть. Скорее всего, это не лучший способ получить самые точные убеждения. Почти наверняка для этого было бы лучше слушать самых лучших экспертов. Однако лично вы можете не знать, какие именно эксперты являются лучшими, или можете путаться во множестве противоречий между ними. Записи о фактах — это относительно дешёвый способ составить информированное мнение. Они делают вас пресловутым «образованным мирянином».

Став «образованным мирянином», вы сможете живее придумывать идеи — для исследований, бизнеса, творчества или чего-нибудь ещё. Если у вас в голове будут крутиться факты, вы свободно сможете думать о решаемых задачах, о вопросах, требующих ответа, о возможностях исправить что-нибудь в мире, о приложении ваших умений.

В идеальном случае группа людей, создающих записи о фактах по связанным темам, могла бы учиться друг у друга и разделять друг с другом свои мысли. Моя интуиция настаивает, что это было бы очень ценно. Это более активное сотрудничество, чем «журнальный клуб», и чуть более несерьёзное, чем «исследования». Это просто активность, которая даёт возможность учиться и показывать свою работу другим.

Как лучше понимать людей

pwno

Я делаю заметки о том, как работает моя эмпатия: мне кажется, что я более сильный эмпат, чем окружающие. Я разобрал паттерны своих мыслей, неявные убеждения и приёмы, надеясь раскрыть механизм, спрятанный под вуалью кажущейся магии. Затем я рассказал о своих находках друзьям и обнаружил то, что они заметно улучшили способности к эмпатии.

Я понял, что путь к совершенствованию способности понимать, что думают и ощущают люди открыт для всех. Эмпатия — не врождённый талант, дарованный одним и чуждый для других. Это навык, и радикальные его улучшения требуют лишь практики и руководства.

Я хочу поделиться наиболее плодовитыми методами, подходами и упражнениями из числа тех, что я накопил за это время.

Рабочие определения

Проецирование: убеждение в том, что остальные ведут себя также, как и вёл бы себя ты в соответствующих обстоятельствах.

Модель: убеждение или «карта», позволяющее предсказывать и объяснять поведение людей.

Не думай, что ты не эмпат

Это первый шаг к развитию навыка эмпатии — или просто к тому, чтобы проявлять хоть какую-нибудь эмпатию. Негативные самосбывающиеся пророчества действительно существуют, и их действительно можно избежать. Мозг пластичен; нет никаких причин считать, что для тебя закрыты все возможные пути к совершенствованию.

Если кому-либо не понятно поведение окружающих, то это его проблема, а не окружающих людей

Когда ты узнаёшь, что твой сосед по дому 9 часов подряд занимался уборкой, то в своём замешательстве тебе стоит обвинить свою несовершенную карту. Возможно, сосед смертельно боится тараканов, и этим утром обнаружил несколько под шкафом, возможно он пассивно-агрессивно намекает тебе о том, что надо убираться чаще, или возможно, он просто изо всех сил откладывает начало какого-то важного дела (прокрастинирует). Твоей модели соседа ещё предстоит начать учитывать подобные склонности.

Как правило, люди объявляют непонятные им поступки окружающих глупостью, злым умыслом, неврозом или подобными понятиями, обычно ассоциированными с психическими болезнями. Если трезво посмотреть на эти объяснения, не забывая об изначальной редкости подобных характеристик и об бритве Оккама, то становится понятно, что, скорее всего, нездоровы именно эти критики; наличие ошибки в модели намного более вероятней, чем чьё-то безумие.

Также, как и ошибочная оценка поведения, этот дефект мышления чаще проявляется в отношении людей, к которым мы испытываем неприязнь. Из этого вытекает интересная задача: попытаться понять странное поведение конкретных нелюбимых людей или представителей нелюбимых субкультур. Если сделать всё правильно, то в результате неприязнь к ним должна немного ослабнуть.

Руководствуясь примерно теми же соображениями, можно попытаться отыскать притягательные стороны в нелюбимых тобой популярных видах деятельности. Например, если ты не выносишь музыкальных видео, попробуй смотреть их до тех пор, пока не придёт понимание того, что в них находят люди. Желание воскликнуть «Ага!» — верный признак того, что всё сделано правильно.

Чем больше манер поведения ты способен объяснить, тем больше развита твоя модель людей, и тем лучшим эмпатом ты становишься.

Проекция работает, но не позволяет разобраться с моментами замешательства

Обычно голос интуиции правильно угадывает, что ощущает другой человек, но в менее однозначных ситуациях интуиции требуется помощь сознания. К сожалению, люди слишком привыкли полагаться на мантру «поставь себя на его место». Все люди непохожи друг на друга, и иногда два человека, помещённые в одинаковые условия, ведут себя очень по-разному. Проекция естественна и срабатывает автоматически; поэтому сознательная постановка себя на чужое место редко меняет первоначальные оценки. Недоумение по поводу чьих-то поступков, как правило, говорит о том, что проекция не увенчалась успехом.

Вместо этого строй правдивые модели людей и пытайся понять, способна ли твоя модель объяснить наблюдаемое поведение. Если ей это не под силам, то собирай надёжные свидетельства, говорящие о том, что человек чувствует на самом деле и вноси в модель нужные изменения. Это уже начинает походить на научный метод, что обнадёживает.

Лучше понимай себя

Как я уже говорил выше, обычно проекция работает (скорее всего, именно поэтому люди так предрасположены к её использованию). Однако, она не очень полезна в тех случаях, когда ты не можешь предсказать свои действия в искомой ситуации.

Обращай внимание на свои эмоциональные реакции, пытайся разобраться, как выглядит вызвавшая их сеть убеждений. В качестве примера могу привести историю о том, как я попытался обнаружить убеждения, заставлявшие меня прокрастинировать на работе. Достаточно пристально изучив те подзадачи, к которым я испытывал наибольшее неприятие, я обнаружил, что в каждом случае присутствовало убеждение о том, что для завершения работы мне не хватало навыков либо знаний. И сейчас, пытаясь объяснить прокрастинацию окружающих, я интересуюсь, выполнение какой именно часть работы требует особенного напряжения силы воли, а затем пытаюсь понять, насколько они верят в собственные силы в этой области. В результате такого анализа я с удивлением узнал, что прокрастинация окружающих вызвана теми же самыми убеждениями, что и у меня.

Лучшее понимание себя ведёт к большему числу нетривиальных гипотез-кандидатов.

Предупреждение: если ты сильно отличаешься от большинства людей, то эта стратегия будет не столь продуктивной. В этом случае, возможно, стоит использовать какого-нибудь более обычного человека в качестве прокси. Узнай его достаточно хорошо для того, чтобы его модель могла объяснять/предсказывать поведение других обычных людей.

Поставь других на своё место и пойми, что говорит им их эмпатия

Представь себе ситуацию, в которой тебе нужно объяснить, почему окружающие среагировали на твои действия определённым образом. В этих случаях эмпатия часто подводит нас. Обычно люди размышляют о том, как они восприняли бы своё поведение, если оно исходило бы от другого человека; и именно поэтому так трудно ответить на вопросы навроде «Почему она обиделась на мои шутки?» и «Почему он решил, что я не хочу его видеть?», используя лишь проецирование.

Знание о том, что большинство людей проецируют, можно использовать в своих целях. Если кто-то пытается понять тебя, то, скорее всего, он проецирует, то есть представляет себя на твоём месте.

Представь себе мужчину и женщину на свидании в роскошном ресторане, только что закончивших свою трапезу. Официант приносит счёт, женщина бросает на него быстрый взгляд. Она восторженно произносит: «Ого! Здесь замечательны не только блюда, но и цены!». Мужчина оплачивает счёт, и его настроение меняется, становясь заметно мрачнее и тише. Женщина знает, что он более апатичен и застенчив, чем она, но всё равно удивлена его поведением.

Как выяснилось после, мужчина представил себе ситуацию, в которой он мог бы упомянуть о «замечательной цене» еды и понял, что такими словами он описал бы дешёвую еду. Он пригласил её в модный ресторан для того, чтобы произвести хорошее впечатление, и после этой фразы понял, что его попытка провалилась. Женщина не считала еду дешёвой; она имела в виду то, что цена блюд была более чем разумной, учитывая её превосходный вкус и хорошую репутацию ресторана. Если бы она сочла еду дешёвой, то она произнесла бы это явно. Поскольку ей известно, что мужчина более застенчив, она могла бы сделать вывод о том, что он считает окружающих примерно настолько же застенчивыми. Во время анализа произошедшего ей следовало бы подумать о том, как бы люди восприняли бы её реплику, будь у неё репутация застенчивого человека.

Ещё один урок, который я получил после применения этой техники состоит в том, что тактичные люди сильнее реагируют на нетактичное поведение. Они постоянно следят за своими поступками, и из этого следует вывод о том, что окружающие настолько же обдуманно относятся к своим действиям. Поэтому, посчитав чей-то поступок невежливым, они скорее воспримут его как знак нерасположения или безразличия, чем как последствие рассеянности.

Знание о том, что другие проецируют, может помочь узнать больше и о себе. Если друзья постоянно спрашивают «у тебя всё в порядке?», несмотря на то, что ты чувствуешь себя нормально, то, возможно, они замечают, что ты ведёшь себя так, как ведут себя они, ощущая сильный дискомфорт. И, может быть, ты действительно испытываешь дискомфорт, но не осознаёшь этого на сознательном уровне.

Обычно справедливо простейшее объяснение

В процессе разработки ментальных моделей людей ты заметишь, что между этими моделями есть много общего. К примеру, примитивные мотивы наподобие привлекательности, внимания и статуса могут объяснить определённые действия вне зависимости от того, кто именно их совершает. Эти «всеобщие» компоненты моделей часто приносят плоды довольно правдоподобных гипотез. Между людьми, очевидно, больше сходств, чем различий.

Иногда какой-то вид поступков постоянно объясняется при помощи одного и того же механизма; пытайся это не упускать. Например, полезно знать, что большинство поведения из разряда «господство/подчинение» вызвано неравенством статуса, а не какой-то своеобразной чертой характера. Используя это знание, ты можешь предсказывать то, как поведут себя люди, столкнувшиеся с неравенством статуса; или, хотя бы, выдвинуть отличную начальную гипотезу.

С каждым слиянием моделей ты становишься всё ближе и к ближе к открытию единой теории людей!

Действуй как учёный: строй модели людей

Начни разрабатывать модели индвидов и групп, позволяющие предсказывать их поведение в определённых условиях. Если практическая ценность модели низка, то попробуй внести в неё поправки. Довольно полезно бывает комбинировать модели.

Допустим, ты не можешь понять, отчего твой брат беспрекословно слушается своего нового «друга». Раньше он никогда не вёл себя таким образом (не только по отношению к этому другу, но и вообще); твоей модели брата чего-то недостаёт. К счастью, раньше ты уже видел подобное поведение — это очень похоже на одного из твоих коллег — и объяснил его внутри одной из моделей. Посмотрев на модель коллеги, ты осознаёшь, что твой брат — точно также, как и твой коллега — считает, что статус его нового друга намного превышает его статус, и очень радуется тому, что такой человек обращает на него внимание. В итоге ты не только укрепил модель брата, но и собрал ещё немного свидетельств в пользу того, что подобное поведение чаще имеет отношение к статусу, чем к личным особенностям; и это упрочняет уже все твои модели.

Собирай впечатления

Для того, чтобы понять, что ощущает профессиональный футболист, забивший решающий гол, я воспользуюсь своим воспоминанием о том, как я забил решающий гол в какой-нибудь дворовой игре и мысленно усилю свою эйфорию в несколько раз. Если дело касается ситуации, в которой ты никогда не находился, то представить себе чьи-то эмоции нелегко. Твоё лучшее приближение может опираться на похожую ситуацию, с которой ты уже познакомился. Поэтому чем шире опыт за твоими плечами, тем лучше ты в качестве эмпата.

Перечень приёмов эмпатии

Вот краткий перечень различных техник, призванных помочь в моменты, когда чьи-то действия приводят тебя в замешательство. Просматривай его до тех пор, пока у тебя не появится уверенности в своём заключении.

Представь себя на их месте

Вспомни о похожих ситуациях, в которых был ты. Объясни свою реакцию.

Возможно ли объяснить это поведение, обратившись к «универсальной», а не к индивидуальной модели?

Что скажет их эмпатия, если они попытаются проецировать?

Если тебе известно, как они воспринимают окружающих, то какие выводы касательно их эмпатии можно сделать из этого?

Какую успешную модель ты использовал, чтобы объяснить похожие поступки похожих людей?

Не искажён ли твой вывод твоим отношением к рассматриваемому человеку?

Как стать тысячелетним вампиром

Вольф Тиви

Это основано на идее, разработанной на Ванкуверской встрече рационалистов.

Разный опыт развивает человека с разной скоростью. Вы можете провести всю свою жизнь на скучной работе и в 60 лет оставаться примерно на том же уровне развития, какой у вас был в подростковом возрасте. С другой стороны, некоторые люди имеют настолько разнообразный и богатый жизненный опыт, что уже к 30 годам они круты как тысячелетний вампир.

Это напоминает мне, что в зависимости от способа проводить свою жизнь, в эффективности разница может достигать нескольких порядков. Конечно, поскольку у нас нет способа продлить жизнь, то мы можем заботиться только о ее содержании. Если вы можете изменить ваши привычки так, чтобы делать в три раза больше, то фактически получите утроение вашей эффективной продолжительности жизни.

Так как же может человек достигнуть 100х скорости и стать похожим на тысячелетнего вампира всего за 10 лет? Это звучит амбициозно до абсурда, но мы можем попробовать:

Делайте трудные вещи

Определенный опыт просто катапультирует вас далеко вперед в личном развитии. Возможно, вы можете систематически получать такой опыт, чтобы набрать значительность как можно быстрее.

Пол Грэм говорит, что множество стартаперов, которых он видит (как глава YC) становятся куда круче очень быстро, поскольку их заставляет необходимость. Это выглядит правдоподобным и по результатам из других областей. Банальное «учиться плавать, прыгнув в глубокое место»; люди имеют склонность выбирать легкий путь, что приводит к меньшим шансам на прогресс, поэтому вариант, при котором нет возможности отступить, может дать куда больше пользы.

Это подтверждается и моим личным опытом. У меня на работе главный инженер заболел раком мозга и де-факто мне пришлось управлять двумя проектами, для чего мне следовало стать на уровень выше. В начале это было весьма страшно, однако сейчас мне даже скучно и я ищу чего-то, что бросило бы мне вызов. (добавление: прямо сейчас не скучаю; у группы, которой я помогаю в данный момент, просто бешеная запарка) Это выглядит реально трудным - просто делать лучше без необходимости; насколько я могу сказать, я в силах работать куда лучше, чем это есть сейчас, однако силы воли в принципе не хватает, так что я не делаю этого.

К слову, мой друг получил огромный результат, когда пошел в армию и побывал под воздействием слезоточивого газа в окопе, мокрый, холодный, уставший, долго не спавший и голодный. Это дало ему опыт, о котором он никогда даже не думал. И похоже это значительно изменило его представления о том, насколько хорошо следует действовать и как трудны определенные вещи - теперь он миллионер и весьма крут.

Похоже, что механизм, который отвечает за это, заключается в повторной калибровке представлений о том, насколько страшны или трудны, или находятся вне ваших возможностей некоторые вещи. У меня так было с боязнью телефонных звонков или проделывания странных вещей перед незнакомыми людьми, наподобие лазанья по деревьям; такое ощущение, что я просто забыл, что они были страшными. В случае со звонками было несколько раз, когда у меня не было времени бояться, а нужно было, чтобы дела были уже сделаны. В случае с лазаньем по деревьям я делал достаточно для того, чтобы со стороны это выглядело нормально, так что даже если меня кто-то видел, это не казалось странным.

Возвращаясь к теме, есть виды опыта, которые вы можете заставить себя пережить, чтобы нормализовать трудные для вас вещи и привыкнуть к ним. Например, некоторые люди, которые так делают, называя это «терапия отказа» или «выход за пределы зоны комфорта», просто выходя наружу и делая стыдные или страшные вещи осознанно для повторной калибровки интуитивных представлений и чтобы научить мозг не бояться подобных вещей.

Да, проекты по саморазвитию склонны заканчиваться неудачей, когда они требуют постоянного приложения силы воли. Это простой факт, что вы потерпите неудачу во множестве таких вещей. Так что вы должны сделать неудачу в этом множестве невозможной. Вы должны сделать провал страшнее, чем развитие и переход на новый уровень, чтобы преуспеть в этих вещах. Эта идея лежит в основе Beeminder, который забирает ваши деньги, если вы не делали то, что задумали.

Я предполагаю, что тезис, который лежит в основе всего этого - это что все эти повышения уровней станут постоянными, что они заставят вас быть более похожим на тысячелетнего вампира и вы просто не захотите возвращаться обратно к старому скучному смертному себе. Если это и правда так, то подразумевается, что вы должны искать трудные вещи, которые кажутся достаточно интересными и важными.

Широта опыта

Задумайтесь о тысячелетних вампирах; они бы умели все. Сражаться в битвах, водить армии, строить великие здания, любить, побывали бы повсюду, наблюдали бы за большинством аспектов человеческой жизни и в общем видели бы почти все.

Вещи, которые вы делаете, имеют резко убывающую полезность; первые несколько раз, когда вы смотрите выдающиеся фильмы, дают вам больше всего впечатлений, точно так же дело обстоит с видеоиграми, 4chan, большинством работ и вообще это можно отнести почти к любому опыту. Так что важно постоянно переключаться с одного вида деятельности на другой, чтобы оставаться в этой резко растущей области обучения. Вы можете получить 90% вампирского опыта, вложив всего 10% его времени, если сумеете сконцентрироваться на этих наиболее просветляющих частях каждого опыта.

Так что между работой над трудными вещами, которые поднимают вас на уровень выше, вы можете получить немало выгоды посредством занятия множеством вещей, переключаясь между ними как только они начинают казаться скучными (предполагается, что вы уже откалибровали себя так, чтобы скучными казались те вещи, которые не бросают вам вызов).

Вы можете вспомнить ранее произошедшие арабские революции в Либии, американский студент взял каникулы в колледже, чтобы сражаться в революции. Я мог бы поспорить что он многому научился. Если вы можете сделать достаточно вещей, подобных этой, вы существенно продвинетесь по пути подражания вампиру.

На самом деле все это идет рука об руку с выполнением трудных вещей; когда вы не ощущаете вызова (вы на плоской части кривой этого опыта), вероятно лучше поместить себя лицом к лицу с каким-то новым проектом, как потому что он новый, так и потому что он трудный.

Переключение часто имеет дополнительное преимущество в виде нормализации стратегических изменений и практики мыслей вида «что я должен делать», которые не могут доставлять вам неудобство, если вы намерены на самом деле делать что-то полезное со своей жизнью.

Есть множество случаев, когда переключение не лучший выбор. Для примера, вы не можете стать экспертом в Х, переключаясь с Х как только узнали основы. Вполне вероятно, что вы хотите часто переключаться на второстепенные вещи, но развивать свое понимание Х углубленно. Или, как вариант, вы, возможно, хотите определенным образом переключаться то и дело внутри самого Х, возможно смотреть на вещи с другой точки зрения, браться за другую проблему или типа того. Это теория экспертизы умышленной практики.

Так что не забывайте о форме кривой опыта. Как только вы начали ощущать, что выходите на плоскую ее часть, найдите способ снова оказаться на «интересном» ее отрезке.

Делайте вещи быстро

Другое большое поле деятельности открывает идея, что каждый час - это возможность, и вы должны выжать из этой возможности как можно больше. Это кажется весьма очевидным, однако я определенно «выжал» из этой идеи больше, когда подумал о ней с точки зрения тысячелетнего вампира.

Великолепным примером является прокрастинация. У меня есть множество вещей, которые висят в моем списке дел уже достаточно давно, давя на меня своим присутствием. Я не могу расслабиться и заняться чем-то новым, пока в моем списке дел висит какая-нибудь глупая штука. Ключевая идея в том, что если вы обработаете мусор в вашем списке дел сейчас, вместо того, чтобы расслабиться и отложить это на потом, вы будете свободны и сможете сделать позже еще что-либо, таким образом став тысячелетним вампиром быстрее.

Так, я и мой друг усвоили эту идею тщательней и начали на самом деле замечать эти пропуски возможностей, и на самом деле начали делать вещи быстрее. Я уверен, что где мы бы не были, мы все еще далеки от оптимума Делания Этого Прямо Сейчас, так что будет хорошо еще помедитировать на эту тему побольше.

Как конкретный пример, я пишу сегодняшней ночью потому что я понимаю, что мне нужно записать все мои идеи, чтобы освободить место для более улетных идей.

Обратная сторона этой идеи в том, что много вещей являются пустой тратой времени, в том смысле что они просто сжигают нашу жизнь, ничего не привнося в нее или даже ослабляя вас.

Плохие привычки, наподобие пустого серфинга в интернете, просмотра телевизора, просмотра порно, сиденья за видеоиграми, лишнего сна и так далее - очевидные потери времени. Реально трудно усвоить это, но эта концепция тысячелетнего вампира была полезна для меня тем, что сделала размер цены более заметным. Вы хотите проснуться в тридцать лет и осознать что вы потратили большую часть молодости на мусор или поднимете свою задницу и напишете то, чего бы хотели в этой жизни и все таки станете гребаным вампиром через десять лет?

Однако это не просто плохие привычки; большая часть этого является вашим образом жизни, вследствие которого вы либо тратите свою жизнь впустую, либо нет. Для примера, монотонная работа за зарплату не ставит перед вами вызовов и в действительности представляет собой просто обмен куска вашей жизни на небольшое количество денег. Очевидно, что иногда это неизбежно, однако следует осознавать, что обмен половины жизни - не особо хорошая сделка, которой лучше бы избежать. Вы даже не получаете ничего для поездок на работу и дома. Возможно я на самом деле должен бросить вскоре свою работу…

У меня есть 168 часов в неделю, из которых только 110 возможно использовать (из-за сна) и в этот период времени входят все эти дела, наемная работа, плохие привычки, прокрастинация - полноценной жизнью для себя я живу максимум 30 часов в неделю. Это полная фигня; три четверти моей жизни просто вылетели в трубу. Я бы мог прожить в четыре раза больше, если бы выкинул из жизни этот хлам.

Так что это просто концепция временных издержек возможностей, просто переформулированная для большей актуальности. Базовые концепции экономики кажутся действительно значимыми на этом пути.

Сделайте сейчас то, что можете сделать когда-либо потом. Избегайте бесполезной работы.

Социальное окружение и стимуляция

Я заметил, что я по большей части живу и делаю интеллектуальную работу лучше всего когда общаюсь с другими людьми, которые умны и заинтересованы в том, чтобы вести глубоко технические беседы. Другие вещи наподобие определенных моделей цейтнота по времени создают эффект, когда я работаю во много раз интенсивней и более эффективно, чем в любом другом случае. Хорошим примером будут технические экзамены; я могу давать ответы на сотни технических вопросов с достаточно большой скоростью.

Пожалуй, вполне хорошей идей будет индуцировать такое состояние, где вы живете на полную (состояние «потока»?) если вы хотите жить более полноценной жизнью. Также кажется вполне возможным делать это куда чаще - встречаться с правильными людьми, ставить себя в нужные условиях для работы и так далее.

Тут может возникнуть только трудность с тем, что это достаточно утомительно, так что я иногда ощущаю себя опустошенным и не могу ничего больше делать после дня более интенсивной работы. Реальная ли это проблема? Наверное. Однако для меня это все еще не предел, даже учитывая общую необходимость в отдыхе.

Я должен провести исследования, чтобы узнать побольше об этом явлении. Если это связано с «потоком», то можно воспользоваться исследованиями состояния потока, которых не так уж и мало, насколько я знаю.

Мне также следует поторопиться и двигаться в Калифорнию, где есть правильное интеллектуальное сообщество, которое стимулирует меня лучше, чем скромная группа мозгов, вместе с которыми я скриплю в Ванкувере.

Еще одно преимущество хорошего интеллектуального сообщества это то, что они могут вдохновлять, делая более крутые вещи. Когда все твои друзья открывают свои компании или вообще проделывают огромную работу, сидеть просто на диване ощущается реально плохой идеей.

Так что если мы хотим жить более полноценной жизнью, то мы должны находить больше путей для входа в стимулированное состояние потока, например делать более разумные вещи, в независимости от того, будет ли это созданием пути для этого в ваших рабочих привычках, помещением себя в социальные и интеллектуальные среды, которые дают вам возможность ставить перед собой больше вызовов, или что угодно в этом духе.

Подводя итог

Насколько быстро мы будем продвигаться в общем, если мы делаем все это?

Постоянно выискивая множество новых опытов, чтобы продолжать учиться, я думаю, что мы можем получить достоверное 10х увеличение скорости по сравнению с тем, что мы делаем обычно. Очевидно, это увеличение может быть меньше или больше, в зависимости от обстоятельств и вещей, которые я не учел.

Кроме того, похоже что я могу делать в четыре раза больше, чем обычно путем следования привычке делать все сразу и избегать бесполезной работы. Как это сделать я не знаю, но это вполне возможно.

Я не знаю как оценить реальные преимущества от стимулирующего окружения. Похоже, что они весьма и весьма большие, или же просто дают возрастающий прирост эффективности, в зависимости от того, насколько эти преимущества реализуются. Давайте примем, не считая всего остального, что мы можем реально получить ускорение в 2х или 3х от социальных эффектов и эффектов окружения.

Делать трудные вещи кажется грандиозным, однако это достаточно тесно связано с деланием нового, что мы уже принимали во внимание. Так сколько мы получаем от них, без учета остального? Может 5х? Это снова зависит большей частью от того, какие возможности вы способны найти и неизвестных факторов, однако предположение в 5х кажется достаточно безопасным, учитывая уровень изобретательности и силы воли смертных.

Так что все вместе, все кто:

Часто думает о том, где они на кривой опыта для всего, что они делают и прилагают усилия, чтобы она была подходящей,

Придерживаются привычки делать все сразу и представлять стоимость различных возможностей,

Организуют себе стимулирующую среду наподобие интеллектуального сообщества и окружают себя стимулирующими людьми и событиями,

Ищут опыт, который в наибольшей степени закалит их характер, наподобие побывать под слезоточивым газом в окопе или построить компанию с нуля,

Достоверно могут получить 500х ускорение и прожить 1000 обычных лет всего за два года. Это кажется достаточно безумным, однако ни одна из этих вещей не является чем-то из ряда вон выходящим, и люди наподобие Элона Маска или Элизера Юдковского кажется делают на порядки больше, чем какой-нибудь средний Джо.

Возможно данные способы ускорения не перемножаются таким способом или есть еще какие-то факторы, однако цель кажется достижимой и все эти методы способны помочь. С другой стороны они почти определенно способны усиливать сами себя; тысячелетний вампир осваивал бы искусство жить все более полной жизнью со все увеличивающейся эффективностью.

Разумеется, все эти вещи распределены таким образом, что достаточно трудно свести их все к определенной цифре наподобие 500.

Финальный вопрос, конечно же, состоит в том, каково реальное ускорение, которое мы можем ожидать от вас или меня от написания или прочтения этого поста. Ускорение в два или три раза уже кажется почти невообразимым, что уж говорить о 500х. Однако законы умножения существуют. Хотя, возможно, придется принять множество допущений, чтобы воспринять эту идею всерьез.

Корень разногласия — стратегия для разрешения споров

Дункан Сабьен

1.Преамбула

2.Для чего применяется «Корень разногласия»

3.Необходимые условия

4.Как играть

5.Способы поиска

6.Подводные камни

7.Алгоритм

8.Заключение

Преамбула

«Корень разногласия» (Double Crux) — это одна из новейших идей CFAR. Из-за неё мы пересмотрели и изменили многое в нашем расписании (она повлияла на всё примерно в той же степени, что и введение триггеров «если-то» или внутреннего симулятора ранее). Эта стратегия быстро стала частью нашей жизни. Также мы считаем, что ожидаемая полезность от распространения «корня разногласия» - очень велика. Поэтому давно уже настала пора публично и строго описать, что это такое.

Замечу, что хотя суть стратегии уже более менее устаканилась, её реализация пока несколько варьируется. Джулия Галеф, Кензи Амодей, Эндрю Критч, Эли Тайр, Анна Саломон, я и другие продолжаем экспериментировать. В связи с этим данную статью стоит рассматривать не как «готовое блюдо», а скорее как «народный рецепт». Поскольку мне кажется более важным описать не саму идею, а то, как она строится, я умышленно буду здесь приводить длинные разветвлённые рассуждения. Соответственно, если вам кажется, что вы видите здесь что-то неправильное, или, по-вашему, тут чего-то не хватает, то, вероятно, вы наткнулись на какую-то важную мысль, и мы будем рады, если вы оставите об этом комментарий. [Речь о комментариях к оригинальной статье — Прим.перев.]

Для чего применяется «Корень разногласия»

В первом приближении человека можно рассматривать как «чёрный ящик», который на вход принимает информацию из своего окружения, а на выходе даёт свои убеждения и поведение. Конечно, этот ящик не совсем закрыт для нас, у нас есть доступ ко многому, что внутри него происходит, однако наше понимание собственных мыслительных процессов определённо неполно.

Когда два человека не соглашаются друг с другом — то есть, их «чёрные ящики» дают разные ответы, как показано ниже — часто можно наблюдать множество непродуктивных явлений.

Самое распространённое (и утомляющее) из них выглядит так: люди просто вместе повторяют результаты вывода своего «чёрного ящика» (вспомните большинство разногласий по поводу спорта или политики - люди на картинке выше просто выкрикивают «треугольник!» и «круг!» громче и громче). Никакого прогресса при этом не происходит. На втором уровне люди часто воспринимают различия в выводах как свидетельство, что «чёрный ящик» их собеседника сломан (то есть, собеседник плохой, тупой или сумасшедший) или собеседник неправильно видит вселенную (например, он предвзят, рассеян или ненаблюдателен). На третьем уровне люди часто соглашаются не соглашаться. Этот ход позволяет сохранять социальное взаимодействие, но при этом люди жертвуют поиском правды и прогрессом.

Стратегия «корень разногласия» в идеале решает все упомянутые проблемы. На практике даже неумелые и неуклюжие попытки приблизиться к идеалу, судя по всему, довольно полезны. Собеседники лучше понимают друг друга, и количество конфликтов из-за несогласий уменьшается.

Необходимые условия

Эта статья в общих чертах описывает две версии «корня разногласия»: сильную версию, в которой обе стороны понимают описанную стратегию и в явном виде соглашаются сотрудничать в её рамках, и слабую версию, в которой только одна сторона знакома со стратегией и пытается улучшить качество дискуссии в одностороннем порядке.

В обоих случаях, насколько мы представляем, необходимо следующее:

Эпистемическое смирение. Умение подумать: «Возможно, в этом случае неправ именно я». С моей точки зрения это первооснова рациональности. Также это можно считать способностью воспринимать убеждения как объект, а не идти у них на поводу. Это умение отложить собственные убеждения в сторону, а затем взять чужие и представить, каким был бы мир, если бы правдой оказались именно они.

Вера в добрую волю собеседника. Принятие того, что люди верят во что-то по естественным причинам. Осознание факта, что воздействие того же набора стимулов на другого человека вызвало бы примерно те же самые убеждения. Умолчальный скептицизм ко всему, что кажется свидетельством в пользу некачественности или злонамеренности собеседника (поскольку нам, как обезьянам, несложно убедить себя в том, что у нас есть такие свидетельства, в то время как на самом деле их нет).[1]

Уверенность в существовании объективной истины. У меня было искушение назвать это «объективностью», «эмпиризмом» или «принципом Малдера», но эти названия не совсем подходили. В сущности речь идёт об убеждении, что практически на любой грамотно сформулированный вопрос действительно существует чёткий ответ. Возможно, этот ответ слишком дорого или даже невозможно найти и поэтому нам придётся всё-таки обходиться эвристиками (например: сколько кузнечиков живёт сейчас на Земле, лучше ли оранжевый цвет, чем зелёный, почему не существует аудиокниги «Бойцовский клуб», озвученной Эдвардом Нортоном), но, тем не менее, он существует.

Любопытство и/или желание найти истину. Первоначально я писал только о поиске истины, но мои коллеги указали, что кто-нибудь может двигаться в правильном направлении просто из любопытства в отношении другого человека и содержания его карты, не фокусируясь при этом на территории.

На воркшопах CFAR мы добиваемся первого и второго благодаря специальным лекциям, третьего — благодаря общей атмосфере, четвёртого — благодаря атмосфере и множеству совместной работы, которая приводит к тому, что людям комфортно общаться друг с другом и проявлять любопытство. Другие качества (такие как умение регулировать и подавлять эмоции в пылу момента или способность прибегать к мысленным экспериментам и разрешать их) тоже полезны, но не настолько важны, как перечисленные выше.

Как играть

Предположим, у вас есть убеждение, которые мы обозначим A (например, «ученики средней школы должны носить форму»), и вы спорите с кем-то, чьё убеждение сводится к ¬A. Поиск «корня разногласия» с этим человеком означает поиск второго утверждения B, которое обладает следующими свойствами:

Вы и ваш собеседник не согласны и по поводу B (вы считаете, что B, ваш собеседник считает, что ¬B).

Убеждение B является «корнем убеждения» для A: если выяснится, что B не верно, этого будет достаточно, чтобы вы посчитали, что А тоже ложно.

Аналогичным образом убеждение ¬B является «корнем убеждения» для ¬A.

В примере про школьную форму утверждением B, например, может быть утверждение «школьная форма может помочь сгладить классовые различия между богатыми и бедными учениками благодаря тому, что им будет сложнее судить друг о друге по одежде». Ваш собеседник может посчитать это «оптимистическим бредом». В идеале утверждение B должно быть ближе к реальности, чем утверждение A — то есть, более конкретным, более обоснованным, более чётко сформулированным, легче проверяемым и так далее. Оно должно быть в меньшей степени о принципах, обобщениях и выводах, и в большей степени позволять заглянуть в структуру, которая ведёт к этим выводам.

(Впрочем, оно не обязано быть проверяемым. Часто после нахождения B продуктивней начать искать C, а затем D, а после этого E и так далее, пока в итоге вы не дойдёте до чего-нибудь, что можно проверить или разрешить с помощью эксперимента).

На первый взгляд может быть неясно, почему нахождение B само по себе расценивается как победа. Ведь если вы не знаете, истинно ли B, вы не можете окончательно выбрать между A и ¬A. Однако, важно понимать, что если вы дошли до B, то вы уже разобрались со значительной частью ваших разногласий, и в этой части убеждения о причинно-следственных связях вселенной у вас и вашего собеседника теперь совпадают.

Если B, то A. Более того, если ¬B, то ¬A. Вы оба согласились, что из состояния B следует состояние A, и таким образом ваше «согласие не соглашаться» не обычное «ладно, оставайся со своей правдой, а я останусь со своей», а скорее «хорошо, посмотрим, что покажут свидетельства». Прогресс! И (что более важно) сотрудничество!

Способы поиска

Способы поиска - это самое слабое место упражнений CFAR на поиск «корня разногласия». Для поиска «корней убеждений» применяется какой-то вид «магии», с которым мы пока не разобрались. В целом метод сводится к «перебирайте корни ваших убеждений в поисках тех, с которыми ваш собеседник, скорее всего, не согласится, а затем сравните списки». Некоторым людям в случае некоторых тем очень легко определить, из чего проистекают их убеждения. В других случаях людям очень быстро начинает казаться, что их позиция объективная и незыблемая.

Советы:

Старайтесь замечать оттенки вкусов и мнений. Часто люди не озвучивают множество своих взглядов и мнений из-за социальных условностей или прочих подобных явлений. Обычно, если ослабить внутреннего цензора, становится проще замечать, почему мы считаем, что X, Y или Z.

Смотрите вперёд, а не назад. В случае, когда на вопрос «почему?» не удаётся получить осмысленный ответ, часто более продуктивно попробовать сделать предсказание по поводу будущего. Например, я могу не понимать, почему я считаю, что школьная форма — это хорошая идея, но если я включу свою «повествовательную машину» и начну описывать лучший мир, который, по моему мнению, получится в результате, скорее всего, я смогу разобраться какие причинно-следственные механизмы лежат в основе моих убеждений.

Сужайте масштаб. С частным примером «Стиву следовало поздороваться с нами вчера, когда он вышел из лифта» разобраться легче, чем с общим «Стиву стоит быть более общительным». Аналогично, зачастую проще ответить на вопросы вроде «Какую часть из наших 10 тысяч долларов нам стоит потратить на исследования, а какую на рекламу?» чем на вопросы вроде «Что более важно для нас сейчас: исследования или реклама?»

Применяйте «фокусирование» и другие похожие техники. Часто полезно гипотетически оценить перспективу, а затем обратить внимание на интуицию и заново оценить свою позицию. Например: (предположение сходу) «Я уверен, что если все будут носить школьную форму, то количество случаев травли уменьшится на пятьдесят процентов». (Пауза, слушаем собственные сомнения.) «Хотя нет, теперь, когда я произнёс это вслух, это кажется неверным. Однако, быть может, такие меры уменьшат случаи явной травли?»

Ищите корни своих убеждений независимо, чтобы не привязываться к мыслям своего собеседника. Здесь, по-моему, всё просто. Также стоит заметить, что если вам сложно вообще найти разногласия (например, чтобы попрактиковаться в поиске «корня разногласия» с друзьями»), то есть прекрасный способ начать: дайте каждому одинаковый список из 10-15 открытых вопросов, и пусть каждый запишет свои ответы, зафиксировав свою точку зрения до начала дискуссии.

В целом полезно держать перед мысленным взором идеальный «корень разногласия». Но стоит его разделять с реалиями существующего диалога. Мы обнаружили, что направлять разговор к поиску «корня разногласия» всегда полезно, однако, беспокойство по поводу того, как вы далеки от идеала, наоборот вредно. Следует задумываться о том, что полезное и продуктивное вы для диалога вы можете сделать прямо сейчас, и зачастую это означает, что вам стоит идти на здравые компромиссы — если у одного из вас есть хорошо сформулированные «корни убеждений», а другого — нет, то вполне нормально сфокусироваться на том, что есть. Если же никто из вас не может сформулировать единый «корень убеждения», но вместо этого у каждого из вас есть восемь совместных «корней», из которых любых пяти будет достаточно, так и скажите, и затем продвигайтесь туда, куда вам кажется оптимальным.

(Вариант: три одновременных поиска «корня разногласий» между тремя людьми и в каждый отдельный момент наименее активный участник занимается тем, что наблюдает за двумя другими собеседниками, пытается моделировать, что они говорят, и понимать, что именно они пытаются донести до собеседника и где именно у них не получается. Если он может предложить грубый «перевод» чьих-то слов, ему стоит так и сделать. В этот миг, вероятно, он займёт более важную роль для беседы, и роль наблюдателя/переводчика перейдёт к кому-то другому.)

В конечном счёте каждый ход должен быть направлен на то, чтобы отойти от свойственных большинству разногласий антагонизма, враждебности и стремления к «победе любой ценой». Обычно мы тратим огромную часть наших мыслительных ресурсов на то, чтобы понять структуру убеждений оппонента, сформировать гипотезу о том, что в этой структуре важно, и бросаться в эти важные части аргументами в надежде повалить всё здание. И в это же время мы стремимся скрывать собственную структуру убеждений, чтобы атаки противника оказались неэффективными.

(Это всё ужасно ещё и потому, что мы зачастую не можем даже понять, на чём базируется аргумент, и тратим время впустую. Если у вас был опыт неловкости, когда вы наблюдали за тем, как кто-то тратил десять минут, конструируя убедительное доказательство какого-то не имеющего прямого отношения к теме подпункта, которое совершенно точно не заставило бы вас изменить свою точку зрения, то вы понимаете цену чьего-то желания сказать: «Нет, для меня этот вопрос не имеет отношения к теме, давайте поговорим вот о чём».)

Если же мы можем перевести дебаты в состояние, где вместо битвы за истину мы сотрудничаем в поисках понимания, то значительная часть ресурсов окажется потраченной не зря. Вы знаете структуру собственных убеждений и в этом ваше громадное преимущество. Если мы можем переключаться в режим, в котором мы вместе можем заглядывать внутрь неё и искренне делиться находками, мы сможем продвигаться вперёд более эффективно, чем если бы мы были заняты догадками относительно убеждений оппонента. Для этого требуется, чтобы мы хотели знать настоящую правду (в частности, чтобы у нас был стимул искать пробелы в рассуждениях и фальсифицировать неверные убеждения не только у других, но и у себя) и чтобы мы чувствовали себя эмоционально и социально в безопасности с нашим собеседником. Однако, обоюдное стремление к маячащему впереди отблеску «корня разногласий» может создать безопасность и стремление к истине, которое может приблизить нас к предмету наших поисков, что в свою очередь даст ещё больше безопасности и стремления к истине, и так далее.

Подводные камни

Самое главное: важно различать, участвуете вы в сильной версии «корня разногласия» (кооперативной, с согласием обоих участников) или слабой версии (вы как агент пытаетесь улучшить качество беседы, возможно, сталкиваясь с прямым противодействием). В частности, если кто-то в данный момент рассержен на вас и рассматривает вас как врага, заявления вроде «Я просто считаю, что мы добьёмся большего, если будем разговаривать о скрытых причинах наших убеждений» не будут восприняты как призыв к кооперации. Они будут восприняты как ловушка.

Поэтому, если вы участвуете в слабой версии, основная стратегия заключается в том, чтобы задавать вопрос: «Что вы видите, а я нет?» Другими словами, демонстрируя собеседнику явно смирение и доброжелательность, разворачивайте структуру его убеждений ради его же блага, чтобы её понять и принять во внимание, а не для того, чтобы её разрушить. По моему опыту, люди «носом чуют», когда вы лишь изображаете доброжелательность, а на самом деле просто хотите, чтобы они раскрылись. Если вам сложно войти в нужный настрой, я советую вспоминать вам случаи из вашего прошлого, когда вы оказывались неправы настолько, что вам было неуютно — как вы себя чувствовали перед тем, как это выяснилось, и как после.

(Если вы не способны или не желаете проглотить свою гордость или отложить достаточно далеко в сторону своё чувство справедливости, в этом нет ничего плохого. Не каждый спор выигрывает от применения в нём стратегии «корень разногласия». Но если ваша настоящая цель — улучшить качество беседы, то вам лучше быть готовым заплатить эту цену. Вам придётся пройти лишнюю милю, потому что: а) то, что вам кажется необходимым расстоянием, практически наверняка — «недолёт», б) необходимое расстояние может оказаться недостаточным, чтобы разрушить укоренившуюся у собеседника модель, в которой вы — Враг. Рекомендуются ритуалы, вызывающие терпение и здравомыслие.)

Также в обеих версиях — но особенно в слабой — очень хорошо вести себя так, как вы бы хотели, чтобы себя вёл ваш собеседник. Раскрывайте собственную структуру убеждений, показывайте, как теоретически можно фальсифицировать ваши собственные убеждения, подчёркивайте пункты, в которых вы не уверены, и так далее. В частности, если вы не хотите, чтобы люди вас бесили неверными моделями того, что происходит в вашей голове, позаботьтесь о том, чтобы не выглядеть как авторитет в области того, что происходит у них в головах.

Старайтесь не заблудиться в тумане. Первый шаг «корня разногласия» всегда должен сводиться к прояснению терминов. Старайтесь привязывать всё к числам, не пользоваться словами вроде «много» или «мало», которые можно понять по-разному. Старайтесь говорить о наблюдаемых в реальном мире последствиях, а не о том, хороши они или плохи. В примере со школьной формой можно сказать в самом начале: «ученики в форме будут чувствовать себя лучше», но останавливаться на этом не стоит. Гораздо лучше попытаться выразить это утверждение в числах (если вы считаете, что однажды вы сможете эти числа получить). Часто после устранения двусмысленности разногласие «рассеивается». И это успех, а не провал!

И последний совет. Используйте бумагу и карандаш, или маркерную доску, или ещё что-нибудь для того, чтобы участники рассматривали конкретные предсказания и выводы как неизменяемые объекты (если кто-то хочет изменить или подправить формулировку, то это только приветствуется, но позаботьтесь о том, чтобы в каждый момент вы работали с ясным недвусмысленным утверждением). Во многих дискуссиях, например, в публичных политических дебатах, поощряется увёртливость, «борьба за очки», стратегия «прячься за двусмысленные формулировки и выгляди умнее». Ценность «корня разногласия» помимо прочего и в том, что здесь всего этого стараются избежать. Цель заключается в том, чтобы в любой момент все как можно лучше понимали, что именно пытается сказать оппонент, а не в том, чтобы сделать «соломенное чучело» из его аргументов и заставить его выглядеть глупо. Отслеживайте, когда у вас появляется искушение скатиться к привычному высмеивающему стилю поведения, и удерживайте себя в «настрое разведчика», а не в «настрое солдата».

Алгоритм

Ниже приводится алгоритм «корня разногласия» в том виде, в каком он даётся в нашем учебнике. Этот текст не слишком связан с тем, что написано выше, предполагалось, что его будут читать в контексте часовой лекции и нескольких практических занятий (поэтому в нём есть некоторые пробелы и странности). Здесь он приводится скорее для полноты и как пища для размышлений, а не как попытка подытожить написанное выше.

Найдите разногласие с другим человеком.

Вопрос, относительно которого вы верите во что-то одно, а ваш оппонент — во что-то другое.

Вопрос, относительно которого у вас с вашим оппонентом разные степени уверенности (например, вы убеждены, что X истинно с вероятностью 60%, а оппонент — что с вероятностью 90%).

Проясните сущность разногласия.

Определите используемые термины, чтобы не запутаться в семантических противоречиях, которые отвлекут вас от реального смысла.

Найдите конкретные примеры. Например, оценивайте, стоило ли вам вчера в утром в офисе поздороваться со Стивом, а не стоит ли вам быть более дружелюбным.

По возможности старайтесь рассуждать на языке действий, а не на языке убеждений. Легче оценивать аргументы вида «делать X более предпочтительно, чем Y», чем сокращённый вариант «X лучше Y».

Ищите «корни разногласия».

Ищите собственные «корни убеждений» независимо. Затем сравнивайте с тем, что нашёл ваш собеседник и ищите пересечения.

Ищите «корни убеждений» совместно, делая утверждения «Я считаю, что произойдёт X, потому что Y» и фокусируйтесь на фальсифицируемости («Потребуется A, B и C, чтобы я перестал считать, что X»).

Проверьте, что у вас получилось.

Потратьте время, чтобы «вжиться» в позиции обеих сторон и убедиться, что вы действительно нашли сущность разногласия (а не что-то, что в итоге не сможет продвинуть вас дальше).

Представьте вывод в виде утверждения «если-то». Воспользуйтесь своим внутренним симулятором и другими способами проверки, чтобы понять, нет ли каких-то невысказанных сомнений по поводу истинности этого утверждения.

Повторите!

Заключение

Мы считаем, что «корень разногласия» — это суперкруто. Если вы видите в этой стратегии какие-то недостатки, мы хотим о них узнать и исправить. На данный момент мы уверены, что исправление и улучшение «корня разногласий» гораздо выгодней, чем попытки внедрить какую-то совершенно другую стратегию. В частности, мы полагаем, что в принятии духа этого мыслительного приёма кроется гигантский потенциал, позволяющий людям более эффективно бороться со сложными и плохо понимаемыми темами (например, с вопросами экзистенциальных рисков), потому что эта стратегия позволяет одновременно удерживать в голове множество частично-неверных моделей и при этом выделять самое ценное из каждой.

Комментарии приветствуются. Критика очень приветствуется. Очень-очень-очень приветствуются рассказы из личного опыта о попытках научиться «корню разногласия», или попытках научить ему других, или попытках использовать его втайне от собеседника.

[1] Одна из важных причин верить в добрую волю собеседника заключается в том, что даже когда люди «неправы», они обычно правы частично. Среди их неверных убеждений есть крупицы золота, которые агент, заинтересованный в том, чтобы получить всю картину, может успешно добыть. Привычный способ разбираться с несогласиями зачастую приводит к тому, что это золото выбрасывается — или позволяя каждому защищать свой исходный набор убеждений, или заменяя взгляды всех на те, что считаются «лучшими». При этом выбрасываются данные, происходит каскадная передача информации, люди не стремятся «замечать замешательство» и так далее.

Основная идея здесь в том, что вселенная похожа на большой и сложный лабиринт, и каждый из нас видит лишь его часть. Расширение собственного языка и коммуникация позволит нам собрать информацию о частях этого лабиринта, не исследуя их самостоятельно. И это здорово! Но когда мы не согласны, что делать, из-за того, что мы видим разные слои реальности, неплохо бы пользоваться методами, которые позволяют нам объединять и синтезировать информацию, а не методами, которые заставляют нас выбирать часть и выкидывать остальное. Вспомните притчу о трёх слепцах и слоне. По возможности воздерживайтесь от подведения итогов, пока вы не получили все доступные данные.

Агент сверху ошибочно считает, что следует двигаться налево, поскольку ему кажется, что это кратчайший путь к цели. Агент справа понимает, что это ошибка, но сам он бы никак не смог дойти до этой точки.

Разум как меметическое иммунное расстройство

Фил Гоэц

1.Есть пророки в своём отечестве

2.Культурный иммунитет

3.Разум как подавитель иммунитета

4.Вакцины: обновление убеждений и эмоции

Есть пророки в своём отечестве

Я читаю книгу «Год, прожитый по Библии» А. Дж. Эйкобса. Он пытался следовать всем заповедям в Библии (Старый и Новый завет) буквально в течение одного года. Он быстро обнаружил, что:

многие из правил в Библии невозможны, нелегальны или следовать им сегодня просто стыдно; например, ношение бородки, привязывание денег к телу, забивание камнями изменщиков, запрет есть плод с дерева моложе 5 лет, запрет прикасаться ко всему чего касалась женщина во время менструации;

это не беспокоит почти никого из числа тех американцев1, что считают Библию словом Божьим.

Вы могли заметить что люди, принявшие религию в возрасте после 20 лет в целом более ревностно относятся к соблюдению её правил, чем люди, выросшие в той же самой религии. Те, кто вырос в религиозной семье, уже умеют справляться с неудобными частями веры, отделяя их, рационализируя отказ от них или просто о них забывая. Религиозные сообщества на самом деле в каком-то смысле защищают своих членов от религии — они создают набор неписанных правил о том, какие части религии участники сообщества могут легитимно игнорировать. Новообращённые же иногда пытаются всерьёз делать всё то что говорит им религия.

Я слышал, как миссионеры описывали разные безумства, которые проделывали их неофиты из каких-нибудь глухих мест, прочитав Библию в первый раз: они отказывались учиться у миссионеров-женщин; они настаивали на дословном соблюдении ветхозаветных заповедей; они вдруг решали что все в их деревне обязаны прилюдно признаться во всех своих грехах; они молились Богу и ожидали, что он сделает всё то о чём они его просят; они считали, что христианский Бог вылечит их болезни. Мы всегда немного смеялись над наивностью таких новообращённых; я с трудом слышал тихий голос в моей голове, повторяющий: «Но они просто верят в то что Библию надо воспринимать буквально…»

Как можно объяснить слепоту людей по отношению к религии, в которой они выросли?

Культурный иммунитет

Европа жила в христианстве почти 2000 лет. Европейская культура эволюционировала бок о бок с христианством. Культурно, меметически, она выработала устойчивость к христианству. Неофиты, обращённые в эту религию в Уганде, Новой Гвинее и других отдалённых местах, впервые столкнулись с христианскими мемами, не имея к ним иммунитета.

История религий часто напоминает историю вирусов. Иудаизм и ислам были очень вирулентны, когда только появились, заставляя первые поколения своих людей завоёвывать (ислам) или просто убивать (иудаизм) соседей за грех непохожести на них. Обе этих религии со временем стали более спокойными (Христианство было мирным с самого начала, так как возникло среди завоёванных людей. Когда его приняли римляне, оно не сделало их более воинственными, чем они были до этого).

Этот механизм не полностью повторяет аналогичный механизм болезней, слишком вирулентные из числа которых рискуют убить всех своих носителей. Обычно, религии не убивают своих носителей. Я подозреваю что с течением времени естественный отбор благоволит менее ярым фанатикам. Иными словами, культура со временем вырабатывает антитела против тех религий, с которыми она сосуществует — набор отношений и практик, делающий их менее вирулентными.

У меня есть теория о том, что «радикальный ислам» — это ислам, развившийся на Западе (а «местный» ислам не бывает радикальным). Больше половины из 75 исламских террористов, исследованных Бергеном и Пэнди в 2005 году(English), посещали западный колледж (только 9% учились в медресе). В целом, традиционное западное образование в колледже получил очень маленький процент мусульман. Человек, проживший всю свою жизнь в мусульманской стране, вряд ли испытает жгучее желание поехать заграницу и взорвать там чего-нибудь. Но когда кто-то из мусульманской нации едет в европейский колледж, возвращается с идеями эпохи Просвещения, — о разуме и о том, что оглядываться нужно не только на свои убеждения, но и на всё, что из них выводится — и применяет эти идеи к Корану… Вот тогда начинаются неприятности. Он потерял свой культурный иммунитет.

Я также вспоминаю о выступлении, которое проводил один из ассистентов Далай-Ламы. Это был не приглаженный западный буддизм; это был оригинальный буддизм, буддизм в шафранных робах прямиком с самолёта из Тибета. Этот человек говорил о своих убеждениях, и отвечал на вопросы присутствующих. Люди начали спрашивать его о некоторых последствиях его убеждений о том, что жизнь, любовь, чувства (и даже Вселенная в целом) в самой своей основе плохи и нежелательны. Он с большим трудом понял вопрос — не из за плохого знания языка, я полагаю; просто идея о том, что можно взять убеждение в одном контексте и применить его к другому контексту, была для него совершенной диковинкой. Его знание состояло из отдельных единиц. Каждая единица имела свою историю с собственным выводом и ограниченной областью применения (неудивительно, что многие считают, что для понимания буддизма требуется несколько десятилетий). Ему была незнакома мысль о том, что эти единицы могут как-то взаимодействовать; мысль о том, что можно взять идею из одного контекста и изучать её следствия в совершенно другом контексте. Возможно, это была одна из крайних форм культурного иммунитета.

Мы считаем буддизм мирной, заботливой религией. Религия, которая учит, что борьба и статус бесполезны, определённо должна быть более мирной, чем та, что учит, что весь мир должен склониться перед её влиянием; и религии, за которыми не стоят государства, (например, таким было раннее христианство) обычно спокойнее тех, у которых есть власть казнить и миловать. Но многое из традиционных представлений о буддизме появилось благодаря культурным нормам, мешающим буддистам соединить все точки в своём мировоззрении. Сегодня мы беспокоимся об исламских террористах. Через сто лет мы, возможно, будем беспокоиться о физиках-буддистах.

Разум как подавитель иммунитета

Я говорю обо всём этом потому, что интеллектуально развитые люди иногда совершают поступки, затмевающие своей глупостью всё, на что способны глупые люди. У этого много причин, но одна из них в том, что во всех культурах циркулируют как опасные мемы, так и культурные антитела к этим мемам. Проблема в том, что эти антитела не логичны. Напротив, они часто могут вообще отрицать логику. Это слепые пятна, которые позволяют нам жить с опасным мемом, не испытывая потребности действовать в соответствии с ним. Опасные эффекты этих мемов наиболее очевидны на примере религий, но я думаю, что какая-то часть этого есть во всех социальных нормах. В Америке есть сильная культурная норма, говорящая о том, что все люди равны (что бы это ни значило); изначально, это сильное и неоднозначное убеждение было сбалансировано набором настолько больших слепых пятен, что оно не побудило нас сразу освободить рабов или дать право голоса женщинам и людям, не владеющим землёй. Можно вспомнить и другую норму, говорящую о том, что только тяжёлый труд гарантированно приводит к успеху, и связанный с ней набор слепых пятен, который не даёт этому убеждению сделать из нас всех объективистов.

Даже небольшое количество разума может быть опасным грузом. Ландшафт рациональности не гладок; нет никакой гарантии, что удаление одного ошибочного убеждения улучшит ваши рассуждения вместо того, чтобы ухудшить их. Иногда разум позволяет нам видеть опасные аспекты наших мемов, но не те слепые пятна, которые нас от них защищают. Иногда он позволяет нам замечать слепые пятна, но не опасные мемы. В обоих случаях разум может привести человека к дисбалансу, подорвать его адаптацию к меметическому окружению и уничтожить цепи, мешающие дремлющим мемам довести себя до логического завершения (перефразируя Стива Вейнберга, можно сказать: «Для того, чтобы умный человек сделал что-то по-настоящему глупое, ему нужна теория». Вообще говоря, можно было бы цитировать и без изменений, ведь «глупое» — это просто слабый оттенок «злого». Коммунизм и фашизм начали с установки полного контроля над меметическим окружением, что позволило им создать свободного от культурного иммунитета человека, который будет делать то что ему скажут).

Вакцины: обновление убеждений и эмоции

Как можно понять, что ты удалил набор белых пятен из своего разума, не удалив одновременно их противовесы? Один из способов предотвратить такую потерю иммунитета — внимательно следить за тем, не отклоняешься ли ты от всех, кто находится рядом с тобой. Я постоянно отклоняюсь от мнения окружающих, так что для меня такая эвристика оказалась не очень полезной.

Другая эвристика — слушать свои чувства. Если ваши заключения совершенно вам не нравятся, то, возможно, вы потеряли когнитивный иммунитет к чему-то опасному.

1.Их доля составляет от трети до половины всего населения Америки.

Так ли очевидно «очевидное»?

Джордж Колэсрик

Эта статья посвящена теме, которую я уже несколько раз затрагивал в обсуждениях(English) и которая заслуживает большего внимания. Как правило, то, что само собой разумеется для одного человека, вовсе не обязательно будет таковым для другого. Очевидно ли это для вас? Возможно, да, и утверждение было для вас очевидным и до того, как был задан вопрос. Возможно, что вы ответили так только потому, что сработало суждение задним числом.

Представьте себе комментарий на Less Wrong — проницательный, вежливый, понятный — в общем, прекрасный во всех отношениях. А теперь представьте себе тот же комментарий, но только предваряемый словами «Общеизвестно, что». Казалось бы, это не меняет сути дела, но на деле единственное слово меняет комментарий к худшему в той степени, которую я не берусь определить.

Будь я настроен недоброжелательно, я мог бы свести описанный эффект к частному случаю ошибки, связанной с проекцией собственных представлений (English). Подразумеваемое умозаключение выглядит примерно так: «Я нахожу такое-то суждение очевидным. Следовательно, это суждение будет очевидным для всех». Трудность состоит в том, что оценка суждения как очевидного или вероятного — только порождение ума(English).

Клеймо «очевидности» идей связано с другой проблемой: «очевидное», скорее всего, не будет сказано вслух. Я не знаю, насколько универсально это утверждение, но точно могу сказать, что когда я проговариванию то, что мне кажется очевидным, я боюсь. Я боюсь, хотя пренебрежение этими опасениями не обязательно вызовет шквал презрительных комментариев. (Именно поэтому, на самом деле, я и пишу эту статью).

Даже те идеи, которые ретроспективно кажутся очевидными, бывает трудно предсказать. Сколько людей смогли бы со всей ясностью понять слабый антропный принцип1 без помощи Ника Бострома?

А как быть с теми предпосылками или убеждениями, которых вы уже придерживаетесь? Они должны быть очевидными, и иногда таковыми и являются, но не секрет, что наш мозг плохо складывает два и два. История Люка2 (English) показывает пример осознания того, что «Большой взрыв» идей, посетивших Люка, не был неизбежным. По крайней мере до тех пор, пока Люк не наткнулся на абзац из статьи И. Дж. Гуда. Я рад, что Люк снабдил меня примером, и я избавлен от необходимости придумывать собственный.

Перефразируя Элизиера, это вовсе не была «молния инсайта».

Я поднимаю вопрос об «очевидном», поскольку предлагаю сообществу ввести ряд норм:

Не бойтесь говорить что-то только потому, что оно «очевидно». Что-то вроде этого всегда говорили учителя: глупых вопросов не существует.

Не снабжайте классные идеи оговоркой «это общеизвестно, но все же стоит сказать, что…».

Не «минусуйте» без раздумий комментарий потому, что он сообщает нечто «очевидное». Не избегайте «очевидных» идей.

Не называйте идею очевидной, так, будто очевидность — ее неотъемлемое свойство. Может быть, в какой-то ситуации назвать нечто «очевидным» — это самый точный способ высказать то, что вы думаете, однако довольно трудно сделать это так, чтобы не выглядеть высокомерным. (Подозреваю, что на самом деле это одна из причин, по которой мы в таких ситуациях избегаем «я» и выбираем безличные формы: «это очевидно» или «общеизвестно, что…»).

Я не утверждаю, что предложенные нормы безусловно хороши, но полагаю, что их осуществление уменьшит количество мыслей, которые нельзя думать и слов, которые нельзя произносить.

1.Даже если вы далеки от философии и физики, вы могли слышать о связанной с антропным принципом «проблемой наблюдателя». Вкратце ее можно сформулировать так: наблюдатель влияет на наблюдаемое. Результаты эксперимента, исследования и т.д. всегда зависят от условий наблюдения, одним из которых является наблюдатель.

Сегодня влияние наблюдателя на объект и результат наблюдения общеизвестно и кажется простой и логичной идеей, до которой может додуматься всякий, однако чтобы сформулировать этот принцип и его следствия, понадобилось создать и усвоить теорию относительности. Идеи, которая время спустя кажутся простыми и логичными, далеко не всегда очевидны в момент их рождения (Прим. перев.).

2.В статье идет речь о столкновении (автор буквально говорит об ошеломляющем столкновении «лоб в лоб») Люка, одного из активных авторов Less Wrong, с поразившей его работой И. Дж. Гуда. Люк приводит цитату, которую можно свести к следующему утверждению: как только человек изобретет машину, более умную, чем ее создатель, это станет последним изобретением человечества. Люк всерьез задумался над этим утверждением, и попытка опровергнуть идею, высказанную в цитате, и ряд следствий этой идеи перевернула его жизнь (Прим. перев.).

Table of Contents

Ложные убеждения

Замечая замешательство

Загадочные ответы

Простая истина

Предисловие автора

Простая истина

Чрезвычайно удобные оправдания

Политика и рациональность

Против рационализации

Обновляй себя шаг за шагом

Один довод против армии

Нижняя строчка

О чём свидетельствуют отсеянные свидетельства?

Рационализация

Рациональное обоснование

Мотивированная остановка и мотивированное продолжение

Фальшивое оправдание

Это ваша настоящая причина отказа?

О лжи и Черных Лебедях

Эпистемология темной стороны

Против двоемыслия

Серьёзно, я обманул себя

Вера в самообман

Парадокс Мура

Не верь, что самообман удался

Свежий взгляд на вещи

Якорение и корректировка

Прайминг и контаминация

Мы верим всему, что нам говорят?

Кешированные мысли

Стандартный «нестандарт»

Страннее истории

Ошибка обобщения на основе вымышленного свидетельства

Добродетель узости

Генетическая логическая ошибка

Аффективная эвристика

Просто мессии

Сопротивление аффективным смертельным спиралям

Некритичная сверхкритичность

Любая деятельность хочет быть культом

Хранители истины

Хранители Айн Рэнд

Два коана о культах

Первый коан

Второй коан

Эксперимент Аша о конформизме

Умение отпускать

Важно уметь сказать «Упс»

Предложение спятить

Хватит уже надеяться

Как правильно сомневаться

Размышление о любопытстве

Законы рациональности беспристрастны

Оставь путь к отступлению

Кризис веры

Машина в призраке

Простая математика эволюции

Чуждый Бог

Чудо эволюции

Эволюции неразумны (но всё равно работают)

Эволюция к вымиранию

Трагедия группового отбора

Исполнители адаптаций, а не максимизаторы приспособленности

Эволюционная психология

Суперстимулы и крах западной цивилизации

Суть твоя - осколки бога

Ценности терминальные и инструментальные

Как люди понимают слова

Притча о болиголове

Слова как скрытые умозаключения

Экстенсионалы и интенсионалы

Типичность и асимметричное подобие

Замаскированные вопросы

Нейронные категории

Как алгоритм ощущается изнутри

Споры об определениях

Ощути смысл

Аргумент к традиционному пониманию

Пустые ярлыки

Табуируй свои слова

Замени символ на суть

Ошибки сжатия

У классификации есть последствия

Контрабанда характеристик

Аргумент «по определению»

Где проводить границу?

Общая информация и плотность в пространстве вещей

Слова как мысленные кисти

Когда слова ошибочны

Просто реальность

Реальность безобразна?

Вне лаборатории

Второй закон термодинамики и двигатели познания

Основы редукционизма

Распутывание вопроса

Неверные вопросы

Исправление неверного вопроса

Ошибка проецирования ума

Вероятность находится в голове

Цитата — не референт

Качественное замешательство

Думай как реальность

Редукционизм

Объяснение против разобъяснения

Лжередукционизм

Поэты саванны

Наслаждение обыденностью

Обыденная магия

Красота устоявшейся науки

Физикализм для продвинутых

Рука или пальцы

Злые атомы

Тепло или движение

Когда антропоморфизм стал глупым

Априори

Редуктивная отсылка

Зомби! Зомби?

Исключая сверхъестественное

Просто доброта

Раскладывание камней в правильные кучи

Настоящая дилемма заключенного

Количественный гуманизм

Пренебрежение масштабом

Парадокс Аллэ

Чувство морали

Стать сильнее

Бросая вызов сложностям

Цуёку наритаи («Хочу стать сильней!»)

Создание сообщества

Общий уровень здравомыслия

Чувство, что большее возможно

Прочие материалы

Прочие материалы с lesswrong.com

Пример мотивированного продолжения

Атеизм = не-теизм + анти-теизм

Забудьте кое-что, чему вас учили в школе

Непередаваемое превосходство

Пацифизм губит ухоженные сады

Полезная идея истины

Предполагая красоту

Против адвокатуры дьявола

Рациональность — это систематизированное выигрывание

Ученые уже всё это знают?

Учи невыучиваемому

Не выходи из комнаты

Обобщение на одном примере

Презумпция типичности — худший аргумент в мире?

16 видов полезных предсказаний

Научные основы самопомощи. Что мы о них знаем?

Индустрия самопомощи и научная литература

Некоторые научные советы

Методы обучения

Продуктивность

Счастье

Заключение

Список литературы

Как перестать откладывать дела

Введение

Уравнение прокрастинации

Уравнение прокрастинации в действии

Как побороть склонность откладывать дела на потом

Оптимизация оптимизма

Спирали успеха

Заместительная победа

Мысленное сравнение

Предостережение против чрезмерного оптимизма

Увеличение ценности

Поток

Значение

Энергия

Награды

Страсть

Управление импульсивностью

Самоограничение на данный момент

Постановка целей

Заключение

Как быть счастливым

Влияние на счастье

Счастье, личность и навыки

Счастье является субъективным и относительным понятием

Поток и внимательность

Как быть счастливее

Стратегическое мышление не свойственно нам по умолчанию

Живя осознанно

Вас может съесть гру

Да будет свет

Как получить удовольствие от неприятной компании

Семь Сияющих Историй

Что такое байесианство

Записи о фактах: как и зачем

Корень разногласия — стратегия для разрешения споров

Преамбула

Для чего применяется «Корень разногласия»

Необходимые условия

Как играть

Способы поиска

Подводные камни

Алгоритм

Заключение

Разум как меметическое иммунное расстройство

Есть пророки в своём отечестве

Культурный иммунитет

Разум как подавитель иммунитета

Вакцины: обновление убеждений и эмоции

Так ли очевидно «очевидное»?