В начале октября компания OpenAI, создатель самого известного и мощного чат-бота на основе искусственного интеллекта ChatGPT, получила очередной раунд инвестиций $6,6 млрд при общей оценке $157 млрд. Это сделало ее третьим самым дорогим стартапом в мире после китайской ByteDance, которой принадлежит TikTok, и космической компании SpaceX Илона Маска. Казалось бы, остается только поздравить гендиректора OpenAI Сэма Альтмана с очередным успехом. Однако, если разобраться, то оказывается что OpenAI — это очень, очень необычный стартап, что может создать в будущем немало проблем и ему самому, и его инвесторам.
Религия миллиардеров
Осенью 2022 года в офис компании OpenAI в Сан-Франциско кто-то прислал тысячи скрепок в форме ее логотипа. Кто это сделал, никто поначалу не знал, но все поняли, что эти скрепки означают. В высокотехнологичной индустрии ИИ, как ни странно, простая скрепка — важный и довольно зловещий символ.
Чтобы и нам понять это, нужно вернуться к моменту возникновения концепции «эффективного альтруизма».
В ноябре 2009 года два философа из Оксфордского университета Уилл Макаскилл и Тоби Орд вместе с женой Орда Бернадетт Янг основали группу под названием Giving What We Can («Дать то, что мы можем»). Участники группы дают клятву жертвовать не менее 10% своего дохода наиболее эффективным благотворительным организациям. Ключевое слово здесь «эффективным».
В ходе исследований они обнаружили, что люди часто жертвуют на благотворительность, руководствуясь эмоциями или привычкой, а не фактами. А между тем эффективность различных благотворительных начинаний может различаться в 100 раз, а следовательно, даже $1000, пожертвованные в эффективную организацию, принесут гораздо больше блага, чем $10 000, вложенных в неэффективную.
Так что группа занялась поиском оптимальных целей для пожертвований, используя, что важно, объективные измеряемые параметры оценки результатов. Аналогичные группы появились и в США — например Give Well в Нью-Йорке. Постепенно это движение сформировало целую философию эффективного альтруизма (ЭА).
Первая заповедь ЭА — давать, вторая заповедь — делать это эффективно, третья заповедь — делать это там, где проблема поддается решению. То есть там, где на самом деле возможно хотя бы частично решить основную проблему, посвятив ей больше времени и ресурсов, пишет автор портала Vox Дилан Мэтьюз, который сам состоит в Giving What We Can.
В 2011 году произошло важное для движения ЭА событие: к Give Well присоединились один из основателей Facebook Дастин Московиц и его жена Кари Туна. Сейчас состояние Московица, по оценке Bloomberg Billionaires Index, – $26,6 млрд. Cозданный ими ЭА-фонд Open Foundation раздает более $750 млн грантов в год.
Идея ЭА — высокоэффективная, основанная на исследованиях и точных данных филантропия — очень «зашла» технологическим магнатам Кремниевой долины. «На самом деле, не будет преувеличением назвать ЭА культом», — пишет Spike.
Среди сторонников ЭА The Wall Street Journal называет основателя Skype, миллиардера Яана Таллинна, а Илон Маск сказал однажды, что труды Макаскилла «близко соответствуют» его философии. Миллиарды пожертвовал на ЭА и Сэм Бэнкман-Фрид, создатель криптобиржи FTX, который говорил, что он «зарабатывает, чтобы отдавать». Сейчас, правда, его возможности заработка весьма ограничены — после краха FTX он получил 25 лет тюрьмы за хищение средств клиентов.
Хотя среди сторонников идеи эффективного альтруизма немало обычных людей с хорошими зарплатами, полные энтузиазма техномиллиардеры так накачали ЭА деньгами, что начал ощущаться острый дефицит не финансов, а проектов, куда эти средства можно было бы вложить в соответствии с принципами движения, отметил в 2022 году Vox.
И тут сооснователь движения ЭА Уилл Макаскилл очень вовремя подкинул эффективным альтруистам новую идею.
Скрепкалипсис
Ее суть он суммировал в вышедшей 2022 году книге «Что мы должны будущему», в которой развил принципы ЭА, задаваясь вопросом — а что же считать по-настоящему большим благом, на которое могли бы потратить свои немалые средства убежденные эффективные альтруисты?
Согласно его подсчетам, наши моральные обязательства перед триллионами людей, которые еще не родились, гораздо больше, чем перед миллиардами живущих сегодня. Любые угрозы, которые из-за вымирания или технологической стагнации (ее Макаскилл считает не менее ужасной опасностью) могут помешать будущим поколениям раскрыть свой полный потенциал, являются приоритетом номер один на устранение.
Экзистенциальные риски, которые он излагает, конкретны: «Будущее может быть ужасным, достаться авторитарным режимам, которые используют ИИ, чтобы закрепить свою идеологию навсегда, или даже самим системам ИИ, которые стремятся получить власть, а не способствовать процветанию общества. Или будущего может вообще не быть: мы можем убить себя биологическим оружием или развязать тотальную ядерную войну, которая приведет к краху цивилизации». Такой взгляд на будущее в движении эффективного альтруизма получил название «лонгтермизм» (от английского long term — долгосрочный).
Идея об опасности ИИ возникла из мысленного эксперимента другого философа из Оксфордского университета, Ника Бострома, проведенного в 2014 году. Предположим, что кто-то программирует и включает ИИ, цель которого — производить скрепки, рассуждает Бостром. Поскольку ИИ сверхразумен, если есть способ превратить что-то в скрепки, он его найдет. ИИ целеустремлен и более изобретателен, чем любой человек, поэтому он присвоит ресурсы из всех других видов деятельности. Скоро мир будет завален скрепками. Включение такого ИИ может оказаться последним, что мы, как человечество, сделаем в своей жизни. Эта гипотетическая проблема и получила название «скрепкалипсиса» (Paperclip Apocalypse).
Идеи лонгтермизма упали на благодатную почву. Было создано несколько исследовательских организаций, изучающих долгосрочные риски ИИ и способы привести его в соответствие с человеческими представлениями о том, что есть благо для человечества. Например, среди топовых спонсоров Института исследования машинного интеллекта (MIRI) мы видим знакомые имена — фонд Open Foundation Московица, Таллинна, а также фонд техноинвестора Питера Тиля и основателя криптовалюты Ethereum Виталика Бутерина. Илон Маск тоже среди сторонников лонгтермизма.
Теперь понятно, почему в офис OpenAI были подкинуты скрепки. Как позднее оказалось, это сделал сотрудник конкурирующей компании Anthropic, основанной в 2021 году Дарио Амодеи, который до этого был ведущим научным сотрудником OpenAI и покинул компанию из-за разногласий по поводу безопасности ИИ.
Раскол
В свете всего этого неудивительно, что OpenAI была основана весьма необычным образом для стартапа – в виде некоммерческой организации. И в ней, по-видимому, работало множество эффективных альтруистов-лонгтермистов, провозгласивших своей основной целью не прибыль, а создание универсального и безопасного ИИ на благо всего человечества.
Однако вскоре оказалось, что разработка современного ИИ требует огромного количества вычислительных мощностей, иными словами — много денег.
Идея работать только за счет благотворительных взносов не оправдалась. Компания рассчитывала получить $1 млрд спонсорских взносов, но удалось привлечь только $130,5 млн.
Нормальный стартап, когда ему нужны средства, привлекает инвесторов. Но тут возникла проблема: инвесторы вкладываются во что-то в расчете на будущую прибыль, а некоммерческая организация не имеет права делиться ею с учредителями.
В итоге в качестве компромисса в 2019 году было создано коммерческое подразделение OpenAI Global LLC, которое могло привлекать инвестиции и зарабатывать. Но оно оставалось под полным контролем некоммерческой компании. А прибыль инвесторов была ограничена заранее оговоренным пределом. Все заработанное сверх этого направляется на некоммерческие проекты, в том числе на создание универсального ИИ (AGI), который должен стать умнее человека, а также на поиск способов его «выравнивания», чтобы он же и не устроил нам воображаемый скрепкалипсис.
Но разногласия между «коммерсантами» и «эффективными альтруистами» никуда не делись. И в 2023 году вылились в знаменитую историю с внезапным увольнением и последующим триумфальным возвращением Сэма Альтмана. По данным WSJ, трое проголосовавших за его уход членов совета директоров были связаны с движением эффективного альтруизма. «Мы — компания, ориентированная на ценности, которая стремится создавать безопасный, полезный AGI, и эффективный альтруизм не входит в число этих ценностей», — заявила OpenAI после анонса возвращения Альтмана.
В итоге OpenAI получила свои инвестиции. К текущему моменту их общий размер составляет $17,9 млрд (включая последний раунд).
Однако проблемы никуда не делись.
С одной стороны, из компании продолжается исход топ-менеджеров. Только в этом году ушло семь человек, включая одного из основателей компании Илью Суцкевера, который был инициатором отстранения Альтмана в прошлом году. «Из 13 человек, которые помогли основать OpenAI в 2015 году, остались только трое», — написал TechCrunch в начале октября.
С другой, по данным The New York Times, убыток OpenAI, буквально пожирающей компьютерные мощности и активно набирающей новый персонал, в этом году может составить $5 млрд. Такими темпами ей скоро могут снова понадобиться деньги, а странная половинчатая структура препятствует их привлечению и создает напряженность между OpenAI и самым щедрым инвестором — Microsoft, которая вложила в компанию без малого $14 млрд из общей суммы $17,9 млрд.
Microsoft ведет собственные ИИ-разработки, и эта команда не очень хорошо уживается с командой OpenAI, пишет газета.
OpenAI, со своей стороны, ищет возможность арендовать вычислительные мощности не только у Microsoft, а также надеется расширить круг инвесторов, чтобы не зависеть от одного игрока.
Одним из условий последнего раунда инвестиций стало то, что OpenAI за два года должна превратиться в нормальную коммерческую компанию, иначе инвесторы могут потребовать свои средства назад, пишет WSJ. Сейчас стороны напряженно обсуждают распределение долей в компании, в частности, какую долю получат сотрудники OpenAI, включая самого Альтмана, а какую – некоммерческая структура, от которой компания не собирается отказываться, несмотря на свое заявление об отказе от идей эффективного альтруизма. Это «еще один нюанс в и без того сложных переговорах с Microsoft», — резюмирует газета.
