LessWrong

Материал из РациоВики
Перейти к навигации Перейти к поиску

LessWrong – коллективный блог и интернет-сообщество, нацеленное на “совершенствование мастерства человеческой рациональности”. Для достижения этой цели сообщество занимается идентификацией и преодолением предубеждений, улучшением суждений и процесса решения проблем, а также спекуляциями на тему будущего. Сообщество основано на идеях Элизера Юдковски, научного сотрудника Института Исследований Машинного Интеллекта (Machine Intelligence Research Institute, до недавнего времени известный как Сингулярный Институт Искусственного Интеллекта, Singularity Institute for Artificial Intelligence). Многие члены сообщества LessWrong разделяют интерес Юдковски к трансгуманизму, искусственному интеллекту, сингулярности и крионике.

Контент LessWrong порой оказывается чётко сформулированным, новаторским и глубокомысленным. Однако, ограниченная демографическая база сообщества и его узкие интересы также создали изолированную культуру, наполненную собственным странным жаргоном и укоренившимися идеями – иногда близость этих идей к реальности оставляет желать лучшего.

История

В июле 2000 года Элизер Юдковски основал некоммерческую организацию “Сингулярный Институт Искусственного Интеллекта” (Singularity Institute for Artificial Intelligence, SIAI) с целью “создания дружественного, самоулучшающегося искусственного интеллекта”. [1] В 2006 году Юдковски начал участвовать в ведении коллективного блога Overcoming Bias вместе с экономистом Робином Хэнсоном. Через несколько лет популярность Юдковски выросла, и он запустил коллективный блог (сообщество), сосредоточенный на нескольких темах, которые особенно интересовали его и SIAI, таких как рациональность, философия, ИИ и трансгуманизм. [2] Overcoming bias остаётся “родственным блогом” для LessWrong, Хэнсон и другие обсуждают в нём идеи, вытекающие из экономических спекуляций Хэнсона.

SIAI (теперь известный как MIRI), где Юдковски остаётся научным сотрудником, содержит и поддерживает LessWrong [3], потому что он даёт “введение в темы когнитивных искажений и рациональности, релевантные для аккурантного размышления об оптимальной филантропии и многих проблемах, которые должны быть решены до создания доказуемо дружественного к людям мощного искусственного интелекта”. [4] Юдковски считает LessWrong полезным постольку, поскольку он помогает работе SIAI, [5], и сайт является ключевым ресурсом для рекрутинга[6] and и фандрайзинга[7] SIAI. Например, самый популярный пост за всё время на LessWrong посвящён оценке SIAI оценщиком благотворительной деятельности GiveWell. [8]

Изначально LessWrong привлёк наибольшее число пользователей из сообществ с трансгуманистическими интересами. Кроме Overcoming bias, это была рассылка SL4 [9] и экстропианские рассылки [10] (существующие с 1990-х годов). Соответственно, долгое время LessWrong был по существу трансгуманистическим сообществом, делающим акцент на рациональности как таковой с целью привлечь тех, кто в ином случае был бы настроен скептически к апокалиптическому ИИ. [11]

С 2010 года всё больше новых участников LessWrong приходят на сайт с ресурса "Гарри Поттер и методы рациональности",[12][13] популярного фанфика, написанного Юдковски. Будущий фокус LessWrong неясен, однако дискусии на тему рациональности привели к формированию в 2012 году Центра Прикладной Рациональности (Center For Applied Rationality, CFAR). CFAR нацелен на исследование методов обучения рационализму, и организует семинары и летние лагеря, чтобы передать эти методы другим.[14]

Контент

Ядро LessWrong — множество притч, метафор и объяснений понятий психологии и философии. Популярность таких эссе как «Логическая ошибка происхождения» («The Genetic Fallacy») Юдковски (которое хорошо объясняет логическую ошибку происхождения и прорабатывает некоторые её потенциальные осложнения[15]), помогла привлечь растущее сообщество, в том числе даже и тех, кто не был бы заинтересован трансгуманизмом в противном случае. Хотя некоторые критики предположили, что это, вероятно, способ введения в заблуждение, своеобразные интересы наиболее выдающихся членов сообщества LessWrong не отражаются на полезности некоторых его замечательных ресурсов. Другими словами: то, что Элизер Юдковски хочет стать роботом, не означает, что его объяснение теоремы Байеса не является интересным и хорошо написанным.

Байесианизм, который использует эту теорему для оценки вероятностей при принятии решений, стал одним из отличительных признаков LessWrong и его самым употребляемым термином. Большая часть жаргона LessWrong [16] происходит из сильно почитаемых "Последовательностей", длинных серий эссе Юдковски, которые, по мнению членов сообщества, обязательны к прочтению. Однако, препятствием может оказаться их чрезвычайная длина (превосходящая длину «Властелина колец» Толкина). Время, необходимое для их прочтения, может быть с большей пользой потрачено на ознакомление с книгами, написанными реальными исследователями тех понятий, которым посвящены эти Последовательности; такими как «Думай медленно... решай быстро» Даниэля Канемана, «Чёрный лебедь» Нассима Талеба или «Thinking and Deciding» Джонатана Бэрона — все эти книги легко читать. Это не означает отрицания ценности Последовательностей, особенно если вам интересны трансгуманистические цели, к которым многие из них обращаются (ни Канеман, ни Талеб, ни Бэрон не обсуждают потенциально возможные, но очень умозрительные будущие проблемы богоподобного ИИ). Однако это предполагает, что «обязательный к прочтению» статус Последовательностей может частично быть вызван тем же когнитивным диссонансом, что помогает увековечивать эксклюзивные клубы: было трудно прочесть их, но я сделал это, поэтому они должны быть хороши.[17]

Ключевая часть подхода LessWrong к человеческой рациональности — это избежание «ошибок сжатия» и принятия карты за территорию, результата человеческих попыток вместить громадную Вселенную в относительно небольшой кусок мяса между ушами. Согласно Юдковски, убеждения должны ограничивать наши ожидания, и те убеждения, что истинны независимо от того, что мы видим, являются слепой верой. Например, два человека, спорящих, «производит ли звук падающее в лесу дерево, когда вокруг нет никого, кто мог бы его услышать», могут выступать за и против, основываясь на разных определениях «звука», но на самом деле не будут ожидать ничего другого. Поэтому необходима точность, и она достигается через определённые ожидания, а не с помощью только провозглашения чего-то истинным и умной игры слов в поддержку этого.

Лучшие статьи LessWrong действительно ясно выражают важные аспекты человеческого сознания. Такие идеи, как «поле тьфу» («ugh field») - инстинктивное отвращение нашего мозга к сложным решениям — и «аффективная спираль смерти» [18] в которой восхваление чего-либо превращается в бесконечный цикл ещё большего восхваления — являются ценными инсайтами, и любому, желающему принимать решения лучшим образом, стоит прочесть о них. Столь же полезны такие техники как рационалистическое табу, требующее от говорящего точно определять, что он имеет ввиду, вместо использования более кратких терминов, значение которых может быть неясным; или «Правила Крокера» («Crocker Rules»), согласно которым участвующий в дебатах воодушевляет отвечать откровенно и декларирует, что он не будет оскорблён. Все эти усилия направлены на улучшение мышления и процесса принятия решений, и потому они похвальны.

Предостережение

Читая Последовательности, старайтесь различать факты и персональное мнение самого Юдковски. Например, последовательность на тему квантовой физики смешивает действительно полезное интуитивное объяснение базовых понятий квантовой физики; аргументы в поддержку многомировой интерпретации (которая является одной из ведущих, но не общепризнанной), как если бы она являлась доказанным фактом; чрезмерные упрощения, представленные в виде общей теории [19]; необузданные спекуляции на тему идентичности сознания и плохо определённые понятия вроде «Тао физики» (про последние, по крайней мере, сказано, что они спекулятивны); и истории из научной фантастики, где Юдковски дебатирует с чучелами оппонентов (главный элемент большинства его писаний). Некритичный читатель, вероятно, или ещё больше запутается в квантовой физике, несмотря на обещание Юдковски понятно объяснить её, или, что хуже, воспримет личные крайние взгляды Юдковски наряду с общепризнанной наукой, формируя связь между ними двумя в своём мировоззрении.

Важно помнить, что хорошие вещи здесь не оригинальны, а оригинальные — не хороши; идеи о когнитивных искажениях взяты прямо у Канемана, и последовательность о квантовой физике не только заставит реальных физиков и химиков биться головой о стену, она ещё ведёт к эссе, доказывающем, что вы должны использовать версию Байесианизма от Юдковски вместо эмпирической науки. Смотрите на всё критически, и читайте комментарии, в которых часто излагаются детальные опровержения (часто против таких комментов голосуют пользователи).

Культура

Культура LessWrong напоминает, в большинстве отношений, обычную культуру преимущественно мужского сообщества интернет-либертарианцев из среднего класса [20], так знакомую по другим ресурсам; так, здесь можно найти даже дискуссию о достоинствах расизма.[21] Однако стоит отметить, что члены сообщества LessWrong необычайно озабочены темой благотворительных пожертвований и активны в ней. [22] Похвально и то, что они ценят точное мышление выше своих персональных мнений: нередко можно видеть, как кто-то действительно меняет свою точку зрения, увидев хороший аргумент; обычно такое происходит не так часто, как можно подумать.

Внутренняя сфера LessWrong может становиться немного... изолированной. Вот что Майкл Вэссэр, бывший президент MIRI и активный участник трансгуманистического сообщества области залива Сан-Франциско (Калифорния), говорил Harper's в 2014 году:

Становилось поздно. Я спросил его о сообществе рационалистов. Они действительно собираются спасти мир? От чего? «Представьте, что есть набор навыков», сказал он. «Существует миф, что ими обладает вся популяция, и существует циничный миф, что ими обладает 10 процентов популяции. На самом же деле их лишились все, кроме порядка одного человека из трёх тысяч». Важно, сказал Вэссер, чтобы эти люди, «фрагменты мира», вели остальных за собой во время «вполне предсказуемого, совершенно всеобщего культурного перехода, который предсказуемо наступит между 2020 и 2035 или около того»

Примерно с 2013 года Юдковски прекратил активно участвовать в работе сайта, поскольку это его больше не забавляет (хотя иногда он и оставляет комментарии). Его примеру последовали многие другие. Юдковски и многие люди, участвующие в LessWrong в настоящее время или участвовавшие в нём в прошлом, формируют общность, которую неформально называют Диаспорой LessWrong. С членами этой диаспоры можно встретиться в их собственных блогах, на Tumblr[23] и в блоге участника LessWrong Скотта Александера Slate Star Codex. [24] Александер называет участников 2015 года «каким-то видом беспокойных духов, ставших посещать сообщество после того, как его покинули основатели».[25]

Финансы

LessWrong работает под покровительством MIRI (в прошлом Сингулярный Институт Искусственного Интеллекта, SIAI). Среди известных спонсоров основатель PayPal Питер Тиль, вносивший пятизначные суммы в течение нескольких лет. Меньшие пожертвования также собираются и принимаются.[26] В 2009 было сообщено о пропаже $118000 долларов в результате хищения, и деньги не удалось вернуть.[27] MIRI использует фонды для вознаграждения своих должностных лиц (Юдковски получает около $80000 в год) и финансирования исследований, хотя ни одной статьи в рецензируемых журналах не было опубликовано до 2012 года. В том году было опубликовано две статьи, одна в «Международном журнале машинного сознания» («International Journal of Machine Consciousness»)[28] и другая в «Журнале исследований сознания» («Journal of Consciousness Studies»)[29]. Оба этих журнала уступают в сравнении с более престижными журналами в этой области, такими как «Искусственный интеллект» («Artificial Intelligence»)[30]. Просьбы помочь с финансированием регулярно публикуются на сайте LessWrong и озвучиваются на конференциях; это оправдывается тем, что только один MIRI работает ради спасения мира от угрозы для самого его существования. Юдковски с радостью принимает финансовые пожертвования даже у небогатых людей, чтобы «спасти» их от умозрительного сценария выхода Искусственного Интеллекта из-под контроля.

Критика

LessWrong главным образом нацелен на достижение правильных убеждений об окружающем мире, а не на достижение целей. В этом сообществе считается, что отказ от вникания в современную политику похвален, поскольку таким путём сохраняется объективная рациональность.[31] Одна из самых популярных и самых цитируемых фраз - «политика есть убийца разума»; она взята из эссе Юдковски с таким названием[32], в котором утверждается, что в политическом контексте никогда не может быть реальной дискуссии, поскольку превыше всего становится не достижение оптимального решения, но «победа» в дискуссии «своих».[33] Хотя это и логичная позиция и правильная критика по отношению к политическому дискурсу, в то же время это по существу признание поражения: «Сложно оставаться рациональными в политике, так что мы сдаёмся». Если участники LessWrong действительно менее склонны к предубеждениям, чем обычные люди, как они утверждают, [34] то чем больше людей они привлекут, тем в большей мере уступят сферу политики иррациональному. Также это ведёт к (a) преобладанию либертарианства Кремниевой долины (которого участники сообщества обычно придерживаются) в качестве предполагаемой нейтральной «не-политики», и к (b) большому числу неореакционеров, для которых Overcoming bias и LessWrong по большей части и являются инкубаторами.

Сайт также обвиняли в культе личности Элизера Юдковски, и в том, что он не отражает других эссеистов, ставших почти столь же влиятельными. Культизм активно обсуждается на сайте, как Элизером, так и другими.[35] Забавно, что из-за этого некоторые поисковики стали предлагать слово «культ» как имеющее отношение к «Less wrong»... в ответ на что некоторые пользователи стали использовать кодовое слово «phyg»[36] в качестве слова «культ».[37]

Хотя внешняя видимость культа и поблекла, единомыслие, послужившее причиной этой критики, никуда не делось. LessWrong имеет очень глубокую, но узкую демографическую базу, которая лишь немного улучшилась за прошедшие годы.[38] Та же проблема является общей для академической психологии, она известна как "WEIRD": "Western, Educated, Industrialized, Rich, and Democratic" (западные, образованные, индустриализированные, богатые и демократические) или также "White, Educated, Intelligent, Rich, and Democratic" (Белые, образованные, умные, богатые и демократические)[39]

Другая проблема LessWrong — это что его изоляционизм является проблемой, созданной самим сообществом (в отличие от демографии). Несмотря на интенсивные философские спекуляции, участники склоняются к гордому презрению к мейнстримной и древней философии[40], что приводит их к изобретению велосипедов. Когда эта тенденция совмещается с метафорами и притчами, играющими ключевую роль для привлекательности LessWrong, становится понятно, почему они изобретают новые названия для уже существующих понятий.[41] Компатибилистская позиция по поводу свободной воли/детерминизма называется «реквайридизмом» («requiredism»), и ошибка непрерывности называется «ошибкой серого». Конечным результатом являются последовательности ненужных неологизмов в духе сериала «Seinfeld».

Оценка SIAI от GiveWell

В 2012 году GiveWell сделал оценку SIAI как благотворительной организации [8], указывая на ряд проблем с организацией, сайтом и его целями в сопоставлении с проверяемыми результатами:

  • Аргументы SIAI в пользу его работы плохо развиты;
  • Его аргументы включают огромные последствия событий небольшой вероятности (в духе пари Паскаля);
  • Выдвигаемые предложения в области искусственного интеллекта не относятся к ведущимся в этой области мейнстримным исследованиям и не одобряются ключевыми исследователями в этой области;
  • Группа уклоняется от того, чтобы подвергнуть проверке свои утверждения;
  • Очевидно слабо обоснованное убеждение в превосходящей общей рациональности группы (ключевой момент LessWrong);
  • Общее отсутствие связи между целями SIAI и его деятельностью.

Выводом GiveWell на этой стадии (в 2012 году) было, что внесение пожертвований SIAI будет работать против декларируемых целей организации. Это является почти что худшей вещью, которую вы можете сказать о благотворительной организации.

Василиск Роко

Основная статья: Василиск Роко

Наиболее известная критика в адрес LessWrong относится к инциденту с Василиском Роко. Абсурдность этого инцидента столь велика, что в его реальность сложно поверить.

Юдковски уже долгое время проявляет интерес к идее того, что вы должны действовать так, как если бы ваши решения могли определить поведение не связанных причинно симуляций вас:[42] если вы можете правдоподобно предсказать существующего в прошлом или будущем агента, симулирующего вас, и после этого предпринять действия в настоящем, исходя из этого предсказания, то вы этим «определяете» предсказания этого агента относительно вас, в некотором смысле.

Идея состоит в том, что ваше решение, решение вашей симуляции, и любое предсказание вашего решения имеют одну и ту же причину: выполняемое абстрактное вычисление. Точно так же и как насчёт калькулятора, и любой его копии, может быть предсказано, что он выдаст один и тот же ответ на одни и те же введённые данные. Вывод калькулятора, и вывод его копии, косвенно связаны между собой этим абстрактным вычислением. Вневременная теория принятия решений (Timeless Decision Theory) утверждает, что вместо того, чтобы действовать, как если бы вы определяли свои индивидуальные решения, вы должны действовать исходя из того, что вы определяете результат этого абстрактного вычисления.

Размышления в подобном духе становятся странными, когда вы представляете сверхинтеллекты, поскольку включается много крайностей: предсказания этих сверхинтеллектов относительно человеческого поведения могут быть почти совершенны, как в парадоксе Ньюкома, их могущество может быть почти бесконечным, и последствия их действий могут быть почти вечными. Юдковски также выступает за утилитаризм, утверждая, что было бы оправданным подвергать пытке одного человека в течение 50 лет, чтобы предотвратить попадание пылинки в глаза достаточно большого числа людей.[43]

В июле 2010 года Роко (Roko, один из ведущих участников LessWrong в то время) задался вопросом, будет ли будущий Дружественный ИИ наказывать людей, которые не сделали всё, что было в их силах (не пожертвовали, хотя бы, все свои средства), чтобы продвинуть исследования в области ИИ, благодаря которым этот ИИ появился на свет. Ведь каждый день без Искусственного Интеллекта происходят плохие вещи (более 150000 людей умирает ежедневно, идут войны, миллионы голодают), и будущий дружественный ИИ хотел бы предотвратить подобное, и для этого он мог бы наказать тех, кто понимал важность внесения пожертвований, но не пожертвовал всё, что мог. Затем Роко задумался, будут ли будущие ИИ более склонны наказывать тех, кому приходила в голову мысль, что будущие ИИ накажут их. Эта финальная мысль оказалась слишком тяжёлой для некоторых читателей LessWrong, которым начали сниться кошмары о том, как их будут пытать за недостаточные пожертвования в пользу SIAI.

Юдковски ответил на пост Роко руганью, утверждая, что публикация таких вещей на интернет-форуме может «потенциально давать суперинтеллектам увеличенный мотив делать чрезвычайно злые вещи, пытаясь шантажировать нас», и что другие пользователи сказали ему о своих ночных кошмарах после прочтения поста. Через четыре часа он удалил пост Роко,[44] включая и все комментарии. Роко в ответ покинул LessWrong, удалив тысячи своих постов и комментариев[45] (позднее он ненадолго вернулся[46] и запостил помимо других вещей, что «я согласен, что тот пост не должен был появиться в публичном доступе» [47] и что «хотел бы я никогда не узнать о какой-либо из этих идей»[48]).

Юдковски позднее утверждал, что василиск на самом деле не будет работать так, как это описал Роко; но вместо того, чтобы просто объяснить, почему такая реакция неуместна или в чём ошибка в ведущих к василиску идеях, Юдковски попытался запретить любое обсуждение этой темы посредством цензуры. Эта проблема теперь иногда становится темой искажённых постов на LessWrong, в которых люди пытаются обсуждать её, не называя прямо, о чём они говорят,[49][50] и также является надёжным наполнителем текстов для журналистов, пишущих на тему LessWrong.[51]

Суматоха вокруг василиска также оттолкнула сторонников крионики.[52][53]

Рациональный способ борьбы с критиками

Один осведомлённый критик LessWrong сначала соглашался с утверждениями членов сообщества, но потом реакция на инцидент с Василиском Роко вызвала у него отвращение, и он создал популярный сайт на эту тему. После этого различные члены LessWrong стали преследовать его в интернете и изводить его, называя его везде лжецом. Он написал на LessWrong, что продолжающееся преследование плохо сказывается на его здоровье, и спросил, как можно остановить это.[54]

Юдковски ответил ему следующее (что, несомненно, совершенно разумно требовать от кого-то):[55]

Вы можете разместить в шапке каждого поста своего блога слова «Я писал в этот блог во время тёмной полосы моей жизни. Я теперь понимаю, что Элизер Юдковски — приличный и честный человек без злых намерений, и что кого угодно можно выставить в ужасном виде, если односторонне собирать его цитаты, как я это сделал. Я сожалею о создании этой страницы, и оставляю её в качестве архива для этого сожаления». Если вы так думаете и если вы так сделаете, я буду относиться к вам с чистого листа во любых будущих начинаниях. Я тоже бывал глупым в моей жизни. (Если вы вернётесь к прежнему поведению, второго шанса вы не получите).

Заметьте, что большая часть постов этого блога даже не упоминают Юдковски, и тем более не цитируют его вне контекста. Но всё равно Юдковски хочет свой собственный заголовок наверху каждого поста.

В результате уточнения от критика, действительно ли необходимо размещать такой заголовок во всех постах, даже не связанных с LW, Юдковски согласился на размещение хэдера только в связанных постах.

В популярной культуре

  • В Zendegi Грега Игана (2010) есть Нейт Каплан, который хочет, чтобы его сознание было загружено. «Мой IQ — сто шестьдесят... Вы всегда можете найти меня через мой блог, Преодоление лжи точка ком, сайт номер один в области рационального мышления о будущем». Также в новелле присутствует «Проект создания доброго суперинтеллекта», который убеждает миллиардера пожертвовать всё своё состояние в надежде, что «подлинно богоподобное могущество» даст ему бессмертие, когда придёт Сингулярность. Он умирает в разочаровании, и проект «превращает пять миллиардов долларов в ничто, тратя их только на большие зарплаты и пустое словоблудие».[56]
  • В четвёртой серии третьего сезона сериала Elementary показаны искусственный интеллект и теория, что член Ассоциации Исследований Экзистенциальной Угрозы убил его создателя, чтобы увеличить правдоподобие выступлений ассоциации против ИИ. Также представлены дискурс «ужаса смертности» и дискуссии в духе «Я знаю, что ты знаешь, что я знаю» между Шерлоком и его подозреваемым.[57]

Внешние ссылки

Примечания

  1. SIAI's year 2000 990-EZ
  2. "About", Overcoming Bias
  3. "2012 Winter Fundraiser for the Singularity Institute", LessWrong
  4. SIAI's year 2009 990
  5. "important and interesting in proportion to how much it helps construct a Friendly AI"
  6. http://web.archive.org/web/20110621192259/http://singinst.org/achievements
  7. http://lesswrong.com/lw/3gy/tallinnevans_125000_singularity_challenge/
  8. 8,0 8,1 "Thoughts on the Singularity Institute," LessWrong
  9. http://sl4.org/
  10. http://www.extropy.org/emaillists.htm
  11. Michael Vassar, the former president of Singularity Institute, who stepped down in January to pursue his idea for a personalized medicine startup–later bringing on Mr. Mowshowitz and Ms. Vance–admitted the nonprofit had learned to hide some of its more radical ideas, emphasizing rationality instead. As Mr. Yudkowsky put it, “There are plenty of people out there who would be interested in cognitive science-based thinking skills who wouldn’t necessarily buy into the whole ‘save humanity’ thing.”
  12. "Survey Results," LessWrong
  13. "2011 Survey Results," LessWrong
  14. "What We Do," CFAR
  15. "The Genetic Fallacy", LessWrong
  16. "Jargon", Lesswrongwiki
  17. Effort justification
  18. "Affective Death Spirals", LessWrong
  19. например, утверждается, что обмен частиц «одного и того же вида» (имеющих одну и ту же волновую функцию) всегда приведёт к идентичной конфигурации и потому не имеет смысла. Однако, это верно только для бозонов, тогда как для фермионов принцип исключения Паули утверждает, что такие две частицы не могут существовать
  20. "2012 Survey Results", LessWrong
  21. Comments on "Rationality Quotes, November 2012", LessWrong
  22. "Giving What We Can: 80,000 Hours and Metacharity", LessWrong
  23. Rationalist Masterlist (yxoque, 9 June 2015)
  24. http://slatestarcodex.com
  25. http://slatestarscratchpad.tumblr.com/post/126960878071/su3su2u1-uncrediblehallq-nostalgebraist
  26. I just donated to the SIAI
  27. [1]
  28. http://www.scimagojr.com/journalsearch.php?q=19900192593&tip=sid&clean=0
  29. http://www.scimagojr.com/journalsearch.php?q=15435&tip=sid&clean=0
  30. http://www.scimagojr.com/journalsearch.php?q=23675&tip=sid&clean=0
  31. FAQ
  32. "Politics Is the Mind-Killer", LessWrong
  33. "A Fable of Science and Politics", LessWrong
  34. "Participation in the LW Community Associated with Less Bias", LessWrong
  35. Every Cause Wants To Be A Cult
  36. The simple Caesar cipher widely known since the days of usenet as ROT13 transforms "cult" to "phyg" and back again.
  37. Our Phyg Is Not Exclusive Enough
  38. "Survey Results", LessWrong
  39. http://lesswrong.com/lw/17x/beware_of_weird_psychological_samples/
  40. "Train Philosophers with Pearl and Kahneman, Not Plato and Kant", LessWrong
  41. "Eliezer's Sequences and Mainstream Academia", LessWrong
  42. http://lesswrong.com/lw/15z/ingredients_of_timeless_decision_theory/
  43. http://lesswrong.com/lw/kn/torture_vs_dust_specks/uf7
  44. Though a google cache of it survived - please do not read if you are prone to nightmares or OCD and/or are worried about causing incalculable harm to yourself.
  45. http://lesswrong.com/user/Roko
  46. http://lesswrong.com/user/formallyknownasroko
  47. http://lesswrong.com/lw/38u/best_career_models_for_doing_research/33w7
  48. http://lesswrong.com/lw/38u/best_career_models_for_doing_research/344l
  49. http://lesswrong.com/lw/39z/should_lw_have_a_public_censorship_policy/img
  50. http://lesswrong.com/lw/ds4/article_about_lw_faith_hope_and_singularity/73ao
  51. http://betabeat.com/2012/07/singularity-institute-less-wrong-peter-thiel-eliezer-yudkowsky-ray-kurzweil-harry-potter-methods-of-rationality/?show=all
  52. Mark Plus. A question about Less Wrong's Basilisk . The Life of Man Qua Man on Earth, by a Senior Cryonicist. 2012 October 31.
  53. Mark Plus. Re: A surprisingly positive response. New Cryonet. Yahoo! Groups. 2012 November 2.
  54. http://lesswrong.com/lw/lb3/breaking_the_vicious_cycle/img
  55. http://lesswrong.com/lw/lb3/breaking_the_vicious_cycle/bnrrimg
  56. http://gareth-rees.livejournal.com/31182.html
  57. http://buddy2blogger.blogspot.co.uk/2014/11/bella-elementary-artificial-intelligence-review-recap-summary-plot-spoilers-season-3-episode-4.html