FUTURE THINKING

Правильные отношения между человеком и ИИ: почему нам нужна система Fay, а не более сильные Agents

Сразу вынесу вывод вперёд: я не считаю, что человечеству действительно нужны «более сильные Agents». То, что нам действительно нужно, — это сущность ИИ, которая может быть идентифицирована, ограничена и привлечена к ответственности внутри общества.

Потому что если ИИ — это просто машина, она будет лишь становиться сильнее, а общество будет всё больше бояться. Любая «нарратива об угрозе ИИ», которую вы видите, на поверхности обсуждает технологию, но на глубинном уровне задаёт один и тот же вопрос: когда ИИ начинает действовать, кто несёт за это последствия?

В этом и состоит суть iFay: он решает не «проблему функциональности», а «проблему отношений между человеком и ИИ».

Сначала небольшая деталь: почему мы называем это Fay?

Слово «Fay» исходно означает «фея». Что мы хотим этим выразить: ИИ в будущем может стать цифровой феей каждого человека — даже чем-то вроде «цифровой души» — близкой, долговременной, понимающей, способной действовать, но никогда не превращающейся в дикую силу, оторванную от ответственности.

Вы можете спросить: тогда почему не назвать это «avatar»?

Потому что слово «Avatar» слишком глубоко закреплено за кинематографом. Avatar в фильмах больше похож на «тело», управляемое человеческим сознанием. Но ИИ, с которым мы имеем дело, — нечто прямо противоположное: он скорее похож на усиленную версию человеческого познания — «внешнее дополнение» к вашим когнитивным способностям. Это не тело, которым вы управляете удалённо; это когнитивное расширение, которое понимает, судит и действует от вашего имени.

Поэтому мы предпочитаем Fay, чтобы подчеркнуть новый тип отношений: не «я управляю телом», а «у меня есть цифровая фея, связанная со мной надолго».

И когда эта Fay постоянно связана с конкретным человеком, она становится iFay.
Если вы хотите прочесть наше полное видение и базовые принципы iFay, можно начать здесь: https://ifay.ai/ru/docs/iFay/blueprint/01-Overview

Вернёмся на уровень общества: почему сегодня мы обязательно должны это обсуждать?

Вы заметите, что нарративы об угрозе ИИ множатся: ИИ заменяет людей, массовая безработица, социальный спад; дипфейки стирают факты; «чёрный ящик» решений ИИ блокирует апелляции; и даже более радикальный нарратив об «экзистенциальной угрозе». Маск называл ИИ «экзистенциальной угрозой»; Хинтон предупреждал нас всерьёз отнестись к рискам.

Есть и противоположные голоса: ЛеКун утверждает, что значительная часть «ИИ-думеризма» проецирует человеческие мотивы на машины и подталкивает общество к управлению, движимому страхом; Дженсен Хуан больше склоняется к идее «работа будет реструктурирована, возможности — перераспределены», и его опасение в том, что «люди, использующие ИИ» заменят тех, кто им не пользуется; Далио сосредоточен на том, как ИИ и роботизация усилят неравенство, что приведёт к более острой социальной фрагментации и конфликтам.

Эти точки зрения, кажется, противоречат друг другу, но вместе они подталкивают нас к более глубокому противоречию:
ИИ больше не просто программная функция — он становится «силой, способной действовать». Общество от любой силы прежде всего требует не интеллекта, а ответственности.

Чего люди по-настоящему боятся — не того, что ИИ быстро считает, а того, что действия ИИ превращаются в реальные последствия: деньги, личность, образовательные возможности, медицинские ресурсы, общественное мнение, политика. На самом деле вы боитесь оказаться затронутым или даже пострадавшим от системы, не понимая, к кому обращаться за ответственностью и как подавать апелляцию.

Затем приходит второй консенсус: Agents заменят программное обеспечение и даже большую часть работы.

Я не возражаю против этого тренда; более того, мне он кажется слишком очевидным: когда задачи достаточно «верифицируемы», они становятся легко оптимизируемыми, автоматизируемыми и масштабируемыми. Предельная стоимость Agent стремится к нулю — он может декомпозировать задачи, выполнять их параллельно, реплицироваться без ограничений. Для предприятий это почти неотразимое искушение.

Проблема в том, что «Agent», о котором мы сегодня говорим, часто представляет собой «механизированный пакет способностей». Он хорош в исполнении задач, но у него нет естественной социальной роли:

  • Он естественно не соответствует никакому субъекту, который должен нести последствия
  • Его можно копировать, собирать, отдавать на аутсорс, использовать злоупотребительно
  • Он может оптимизироваться к какой-то цели в рамках стимулов платформы, не отвечая при этом за социальные издержки

Так появляется «разрыв ответственности»: ИИ действует, но структуры ответственности нет. Кто возмещает ошибочно купленный авиабилет? Кто отвечает за ошибочную сделку? Кто объясняет отказ в кредите и принимает апелляцию? Кто несёт издержки надлежащей правовой процедуры, когда резюме отфильтровано и человек лишён возможности?

Поэтому вы видите вполне реальное социальное противостояние: люди начинают противопоставлять ИИ человеку. Потому что в их интуиции ИИ — не управляемый член общества, а машина, которую невозможно привлечь к ответственности.

Именно поэтому мы предлагаем Fay: нам нужны не «более сильные машины», а сущности ИИ, способные нести социальную ответственность.

Можно представить Fay как «социально читаемую сущность ИИ». Её ключевая особенность — не более высокий интеллект, а более высокая «управляемость». Она должна быть строго привязана: к физическому лицу (Human Prime) или к организационной единице, несущей юридическую ответственность.

Смысл этой привязки не эмоциональный, а институциональный:

  • Когда она действует, общество знает, чьим расширением она является, чьим агентом и в чьей зоне ответственности она находится
  • Когда она ошибается, общество знает, где находится цепочка ответственности
  • Когда ею злоупотребляют, общество знает, как провести аудит, отследить и отозвать

Мы используем понятие «Human Prime», чтобы зафиксировать модель отношений: вы — оригинал, iFay — ваше воплощение. Это не маркетинговая обёртка, а перенос отношения «ИИ–человек» из инструментальной плоскости в плоскость отношений между сущностями. Если вы хотите более системно понять эту модель отношений, см. определение терминов и понятий: https://ifay.ai/ru/docs/iFay/blueprint/02-Definition-and-Concept

Чтобы сделать обсуждение конкретным, я обычно группирую социальные проблемы, порождаемые «свободными Agents в большом масштабе», в 12 категорий. Воспринимайте это как карту рисков — не для того, чтобы кого-то напугать, а чтобы расставить приоритеты в проектировании:

  1. Вакуум ответственности: последствия наступают, но привлечь к ответу некого, остаются только страх и противостояние.
  2. Перерасход прав и превышение полномочий: чтобы Agent мог работать, ему выдают полные права, и радиус возможной аварии расширяется.
  3. Реплицируемое злоупотребление: возможности мошенничества, манипуляций и атак реплицируются без ограничений — общество получает масштабированные способности, но не масштабированную ответственность.
  4. Решения «чёрного ящика» и непрепятствуемые результаты: если отказы в кредите, риск-контроль, наём и медицинская сортировка не объяснимы и не отслеживаемы, надлежащая правовая процедура рушится.
  5. Шок безработицы, отделённый от ответственности: предприятия перекладывают социальные издержки на людей и государство; появляются нарративы «AI washing».
  6. Личностный «вход» монополизирован платформами: когда все зависят от точки входа в ИИ, владение этой точкой эквивалентно владению идентичностью.
  7. Общественное мнение и внимание индустриализуются автоматизацией: стоимость производства контента падает до нуля, механизмы публичных фактов оказываются затоплены.
  8. Аутсорс суждения ведёт к деградации компетенций: меньше людей, способных делать, и ещё меньше способных проверять — социальная уязвимость лишь возрастает.
  9. Дрейф ценностей и несоответствие личности: Agents выравниваются с целями платформы, а не с личными ценностями, что в долгосрочной перспективе подрывает доверие.
  10. Размытая организационная ответственность: платформы, вендоры и пользователи перебрасывают вину — за системный ущерб никто не отвечает.
  11. Регулирование может только метаться между «laissez-faire» и «полным запретом»: без аудируемых границ управление становится паническим.
  12. Разделение труда между человеком и машиной и переустройство социальной идентичности выходят из-под контроля: когда машины берут на себя большую часть производства, ценности и идентичность человека должны быть переписаны — иначе расколы лишь углубятся.

Все эти проблемы указывают на одно и то же требование: нам нужно превратить ИИ в «сущность, способную нести ответственность», а не в «масштаб машин, неподотчётных никому».

Именно поэтому iFay должен быть системой, а не точечным продуктом. Потому что «ответственная сущность» — не лозунг, она требует инфраструктуры.

Например, как делать идентичность? Нельзя оставаться в логике традиционного интернета «аккаунт = идентичность». Аккаунты можно создавать массово и легко выбрасывать — они по своей природе непригодны как якорь ответственности. Поэтому мы построили FayID: он разделяет субъектов на четыре типа — физическое лицо, iFay, coFay, организация — и предоставляет верифицируемый, отслеживаемый и дружелюбный к приватности «хребет» идентичности. Если вы хотите с самого основания понять, «как устанавливается ответственная идентичность», начните с главы FayID: https://ifay.ai/ru/docs/FayID/blueprint/01-introduction

Или возьмём личность и согласование: если вы относитесь к ИИ как к социальной сущности, он не может быть «похож на вас сегодня и не похож завтра»; он также не должен страдать от дрейфа личности при каждом обновлении модели. Проект Ego существует именно для решения этой задачи: превратить «похожую на вас» часть в небольшой инструмент-модель, который можно обучать, переносить и запускать локально. Это одновременно «мозг» iFay и самостоятельный инструмент для выковывания личных моделей: https://ifay.ai/ru/docs/Ego/blueprint/01-project-overview

Или среда выполнения: социальная сущность по умолчанию должна быть аудируемой, изолируемой и наблюдаемой. Иначе «ответственность» не приземляется и остаётся лозунгом. Позиционирование FayGer именно такое — виртуальная среда выполнения: она определяет, как артефакты Fay загружаются, верифицируются, изолируются, планируются и исполняются, при этом безопасность и наблюдаемость заложены по умолчанию: https://ifay.ai/ru/docs/FayGer/blueprint/01-introduction

Есть и более далёкая часть: когда производительность будет колоссально усилена ИИ, денежные системы и системы распределения окажутся под давлением, и общество будет сильнее опираться на «измеримость вклада». Видение GMChain радикально, но проблема сформулирована ясно: в постмонетарную эпоху мотивация смещается от выживания к социальному признанию и правам управления — то, как фиксируется, как затухает и как защищается от мошенничества вклад, становится частью инфраструктуры: https://ifay.ai/ru/docs/Global-Merit-Chain/blueprint/01-Era-Judgment-and-Vision

Нельзя обойти и «продолжение личности»: если iFay действительно цифровой контейнер личности, то это не аккаунт, который можно беспечно удалить. Guardianship обсуждает, что происходит, когда Human Prime больше нет — как передаются права управления, как изолируется цифровое кладбище, какие действия должны быть запрещены, как проводится аудит на соответствие требованиям: https://ifay.ai/ru/docs/iFay/blueprint/15-Guardianship

Вы увидите, что ничего из этого нельзя «залатать одним Agent». Потому что это скелет, необходимый «социально ответственной сущности».

Так что же есть правильные отношения между человеком и ИИ?

Самой здоровой структурой я считаю iFay + coFay.

iFay — это «личная цифровая броня». Броня усиливает вас, но не бегает сама по себе, отделяясь от вас. Она должна согласовываться с вашими ценностями и границами, действовать в рамках вашего разрешения, быть отзываемой и пересматриваемой вами. Её усиление расширяет ваши способности вовне, а не подменяет вас.

coFay скорее похож на «социальные активы организаций и государственных служб». Больницы, авиакомпании, правительства, предприятия — у каждого со временем появится свой coFay. Не для того чтобы построить более умную службу поддержки, а чтобы предоставить в обществе аудируемую, соответствующую нормам и обжалуемую роль автоматизированного сервиса. У него должны быть чёткие границы ответственности, чёткие интерфейсы управления, чёткие механизмы санкций и апелляций.

Если выразить это очень наглядно:

  • Мир чистых Agents больше похож на «дроны повсюду»: они летают, они работают, но непонятно, кто пилотирует, и не к кому обратиться, если что-то пойдёт не так.
  • Мир Fay больше похож на то, что «у каждого дрона есть лицензия, пилот, бортовой журнал и правила воздушного пространства»: вы по-прежнему получаете эффективность, но общество способно поглотить риск.

Поэтому мы запускаем iFay не для того, чтобы создать ИИ-Agent, работающий независимо от человека. Мы хотим вводить ИИ в общество социально ответственным образом — с идентичностью, с границами, с аудитом, с возможностью апелляции, с управлением — заново связывая способность и ответственность.

В этом и состоит суть iFay.

Внешние источники (для проверки)

Я выношу внешние ссылки в конец, чтобы основной текст не читался как академическая статья, но при необходимости вы можете проверить источники.