9. Слой взаимодействия — Восприятие
Подсистема восприятия слоя взаимодействия — это «органы чувств» iFay — она позволяет iFay видеть экран, воспринимать окружающую среду и читать ваши намерения.
9.1 Трекер от первого лица
Определение в одну строку
Трекер от первого лица — это глаза и уши iFay — он позволяет iFay видеть изображения, которые видите вы, и слышать звуки, которые слышите вы, давая ему точно такую же перспективу от первого лица, как у вас.
Зачем это нужно
Представьте, что вы наняли помощника для заполнения веб-формы. Если бы этот помощник был слеп — не мог видеть поля ввода, кнопки и сообщения об ошибках на экране — как бы он мог помочь?
Вот чем был бы iFay без Трекера от первого лица.
Когда люди работают с компьютерами и телефонами, они полагаются на глаза, чтобы видеть экран, и уши, чтобы слышать звуки уведомлений. iFay нуждается в тех же возможностях. Трекер от первого лица — это модуль, дающий iFay эту способность — он позволяет iFay видеть экран как вы, а не читать код как программист.
Здесь есть ключевое различие: iFay видит то, что вы видите невооружённым глазом, а не скрытый код за веб-страницами (HTML-теги, SEO-ключевые слова — вещи, которые вы вообще не видите). Как когда вы читаете книгу, вы видите текст и изображения, а не файлы вёрстки типографии. iFay работает так же — он приоритизирует «визуальное» понимание интерфейсов над разбором структурированных документов.
Его место в архитектуре
Четырёхслойная архитектура iFay
├── Социальный слой
├── Слой взаимодействия ← Трекер от первого лица здесь
│ ├── Восприятие (Sense)
│ │ ├── 👉 Трекер от первого лица ← Смотрит наружу, видит экран
│ │ ├── Сенсор ← Воспринимает среду
│ │ └── Самосознание ← Смотрит внутрь, читает вас
│ └── Действие
│ ├── Имитация операций
│ ├── Вызов навыков
│ └── Автономное поведение
├── Когнитивный слой
└── Слой Ego
Трекер от первого лица находится в подсистеме Восприятия Слоя взаимодействия. Если бы iFay был человеком, Слой взаимодействия был бы «телом», через которое iFay взаимодействует с внешним миром, а Трекер от первого лица — глазами и ушами на этом теле.
Как это работает
1. Видение дисплея iFay захватывает то, что в данный момент отображается на вашем экране — текст, изображения, кнопки, поля ввода, всплывающие окна… всё, что вы можете видеть, iFay тоже может видеть.
2. Слышание звуков Если интерфейс имеет звуки уведомлений, голосовые объявления или аудио видео, iFay может их захватить.
3. Отслеживание изменений в реальном времени Когда iFay выполняет операцию на экране (например, нажимает кнопку), ему нужно немедленно увидеть результат — перешла ли страница? Появилось ли сообщение об ошибке? Всё ещё крутится анимация загрузки?
4. Координация «рука-глаз» Трекер от первого лица и модуль Имитации операций — тесно связанные «партнёры» — как глаза и руки человека. Глаза видят, где кнопка, руки могут точно нажать; после нажатия глаза проверяют результат. Этот цикл «увидеть → сделать → увидеть снова» — это способность координации «рука-глаз» iFay.
5. Сообщение «Не вижу» Если по какой-то причине Трекер не может захватить дисплей, он честно сообщает Когнитивному слою: «Я не вижу». Когнитивный слой затем решает, что делать дальше.
Связи с другими модулями
| Связанный модуль | Связь | Аналогия с телом |
|---|---|---|
| Имитация операций | Тесная связь, координация «рука-глаз» | Глаза ↔ Руки |
| Когнитивный слой | Сообщает статус восприятия (нормальный/деградированный/сбой) | Глаза → Мозг |
| Сенсор | Оба в подсистеме Восприятия, но разные роли: Трекер видит экран, Сенсор воспринимает среду | Глаза vs. нервы на коже |
| Самосознание | Оба в подсистеме Восприятия, но разные направления: Трекер смотрит наружу, Самосознание смотрит внутрь | Глаза vs. эмоциональный интеллект |
Сценарии
Сценарий 1: Заполнение формы на государственном сайте
Вам нужно заполнить форму заявления на устаревшем государственном сайте. У этого сайта нет адаптации для ИИ — нет API, нет структурированного интерфейса, просто обычная веб-форма.
Трекер от первого лица iFay «видит» форму: поле ввода имени, поле ввода номера паспорта, выпадающее меню, изображение CAPTCHA, синяя кнопка «Отправить». Он передаёт эту визуальную информацию модулю Имитации операций, который заполняет поля одно за другим, выбирает опции, вводит CAPTCHA и нажимает отправить.
После отправки Трекер немедленно «смотрит» на результат — если появляется красное сообщение об ошибке «Неверный формат номера паспорта», он захватывает это изменение, и iFay знает, что нужно исправить и отправить повторно.
Сценарий 2: Мониторинг акций в реальном времени
Вы просите iFay следить за графиком акции в реальном времени. Трекер непрерывно «наблюдает» за графиком свечей и изменениями чисел на экране. Когда цена достигает вашей целевой цены, iFay немедленно уведомляет вас.
Для разработчиков
Трекер от первого лица относится к Фазе 1 (Имитация действий человека) как основной модуль.
- ID требования: Требование 4 (Трекер от первого лица)
- Спецификация интерфейса: Интерфейс
FirstPersonTracerс четырьмя основными методами:captureVisual(),captureAudio(),trackChanges(),getPerceptionStatus() - Связанные протоколы: Фаза 1 не зависит от протоколов CAP/DTP; с Фазы 2 более глубокая информация об интерфейсе может быть получена через протокол CAP
- Тестирование соответствия: iFACTS L1 верифицирует способность визуального захвата; L2 верифицирует интерфейс координации «рука-глаз» с модулем Имитации операций
9.2 Сенсор
Определение в одну строку
Сенсор — это нервная система iFay — он позволяет iFay воспринимать все изменения в окружающей среде, от температуры и местоположения до пульса и освещённости, как нервные окончания, распределённые по всему телу.
Зачем это нужно
Если Трекер от первого лица — это глаза и уши iFay, то Сенсор — это вся нейронная сеть iFay.
Ваш телефон и умные часы: GPS знает, где вы находитесь, акселерометр знает, идёте вы или бежите, датчик освещённости знает, в помещении вы или на улице, датчик пульса знает, как быстро бьётся ваше сердце. Всё это — «сенсоры» — нервные окончания устройства.
Модуль Сенсора iFay унифицирует доступ ко всем этим сенсорам на устройствах, давая iFay полную нервную систему. И эта нервная система непрерывно расширяема — любой новый тип сенсора, появляющийся в будущем, может быть интегрирован.
Его место в архитектуре
Четырёхслойная архитектура iFay
├── Социальный слой
├── Слой взаимодействия ← Сенсор здесь
│ ├── Восприятие (Sense)
│ │ ├── Трекер от первого лица ← Смотрит наружу, видит экран
│ │ ├── 👉 Сенсор ← Воспринимает среду (температура, местоположение, движение…)
│ │ └── Самосознание ← Смотрит внутрь, читает вас
│ └── Действие
├── Когнитивный слой
│ ├── Мышление
│ │ ├── Куча персональных данных ← Данные сенсоров хранятся здесь
│ │ └── ...
│ └── Навыки
│ ├── Хаб драйверов устройств ← Аппаратные интерфейсы сенсора управляются им
│ └── ...
└── Слой Ego
Сенсор находится в подсистеме Восприятия Слоя взаимодействия. Но у Сенсора есть особая характеристика: он обрабатывает только регулировку чувствительности (решая, когда собирать больше данных, а когда меньше), тогда как фактические аппаратные подключения и хранение данных обрабатываются Хабом драйверов устройств и Кучей персональных данных Когнитивного слоя соответственно.
Как это работает
Рабочий процесс Сенсора можно резюмировать тремя ключевыми словами: Мост, Регулировка, Расширение.
1. Мост — Подключение сенсоров устройств
Модуль Сенсора действует как «переводчик», единообразно переводя данные от всех различных устройств и типов сенсоров в формат, понятный iFay. Он использует CAP (Протокол управления полномочиями) и DTP (Протокол туннелирования данных) для достижения этого моста.
2. Регулировка — Динамическая чувствительность
iFay не нужно собирать данные со всех сенсоров на максимальной точности постоянно. Например:
- Когда вы тихо работаете в офисе, GPS не нужно обновлять позицию каждую секунду
- Но когда вы едете с навигацией, GPS нужны высокочастотные обновления
- Когда вы спите, датчик пульса может снизить частоту выборки
- Но при обнаружении аномального пульса частота выборки немедленно увеличивается
3. Расширение — Будущие сенсоры тоже могут быть интегрированы
Дизайн модуля Сенсора открыт — когда появляются новые типы сенсоров, нужно лишь зарегистрировать новый драйвер через Хаб драйверов устройств.
Связи с другими модулями
| Связанный модуль | Связь | Аналогия с телом |
|---|---|---|
| Хаб драйверов устройств | Фактические аппаратные интерфейсы Сенсора управляются Хабом | Нервные окончания → пути проведения нервов |
| Куча персональных данных | Данные, собранные сенсорами, хранятся в Куче | Сенсорные сигналы → хранение памяти |
| Трекер от первого лица | Оба в подсистеме Восприятия: Трекер видит экран, Сенсор воспринимает физическую среду | Глаза vs. нервы всего тела |
| Самосознание | Сенсор предоставляет данные среды; Самосознание использует их для вывода состояния Human Prime | Нервная система предоставляет ощущения → мозг интерпретирует эмоции |
| Протоколы CAP / DTP | Сенсор реализует мост данных на основе этих двух протоколов | Протокол передачи нервных сигналов |
Сценарии
Сценарий 1: Умное напоминание о здоровье
В 15:00 вы сидите за компьютером три часа. iFay обнаруживает через данные сенсоров умных часов: акселерометр показывает почти полное отсутствие движения, пульс повысился с нормальных 72 до 85 ударов в минуту, температура кожи запястья немного повышена.
Модуль Сенсора агрегирует эти данные и передаёт Когнитивному слою iFay. После комплексного анализа iFay мягко напоминает: «Вы сидите уже 3 часа, и пульс немного повышен. Как насчёт встать и размяться?»
Сценарий 2: Автономный полёт дрона
iFay развёрнут на дроне для аэросъёмки. Дрон имеет множество сенсоров: GPS, IMU, камера, ультразвук/LiDAR, барометр, датчик скорости ветра. Модуль Сенсора унифицирует все эти потоки данных и динамически регулирует чувствительность в зависимости от условий полёта.
Для разработчиков
Модуль Сенсора относится к Фазе 2 (Прямой захват клиента) как основной модуль, зависящий от протоколов CAP и DTP.
- ID требования: Требование 7 (Модуль Сенсора)
- Спецификация интерфейса: Интерфейс
SensorModuleс четырьмя основными методами:registerSource(),adjustSensitivity(),getDataStream(),getActiveStatus() - Связанные протоколы: CAP для захвата аппаратных сенсоров; DTP для двунаправленной передачи данных
- Тестирование соответствия: iFACTS L1 верифицирует способность регулировки чувствительности; L2 верифицирует интеграцию интерфейсов с Хабом драйверов устройств и Кучей персональных данных
9.3 Самосознание
Определение в одну строку
Самосознание — это эмоциональный интеллект iFay — оно не смотрит на экран и не воспринимает среду. Вместо этого оно смотрит внутрь на вас, выводя ваши чувства и намерения через ваши реакции, как старый друг, отлично разбирающийся в людях.
Зачем это нужно
Подсистема Восприятия iFay имеет три модуля, каждый смотрящий в своём направлении:
- Трекер от первого лица смотрит наружу — видит, что на экране
- Сенсор воспринимает среду — ощущает температуру, местоположение, движение
- Самосознание смотрит внутрь — наблюдает за вами
Самосознание повышает iFay от «вы говорите, я делаю» до «вы не говорите, я всё равно понимаю». Оно наблюдает за вашими микровыражениями, изменениями в операционных привычках и эмоциональными колебаниями, затем выводит, что вам может понадобиться — даже до того, как вы сами это осознаете.
Его место в архитектуре
Четырёхслойная архитектура iFay
├── Социальный слой
├── Слой взаимодействия ← Самосознание здесь
│ ├── Восприятие (Sense)
│ │ ├── Трекер от первого лица ← Смотрит наружу, видит экран
│ │ ├── Сенсор ← Воспринимает среду
│ │ └── 👉 Самосознание ← Смотрит внутрь, читает вас
│ └── Действие
│ └── Автономное поведение ← Выводы самосознания запускают автономное поведение
├── Когнитивный слой
│ └── Мышление
│ └── Согласованное сознание ← Самосознание корректирует его в реальном времени
└── Слой Ego
Особенность Самосознания в том, что его выход идёт в двух направлениях одновременно:
- Вниз к модулю Автономного поведения — запуская проактивные действия iFay
- Внутрь к модулю Согласованного сознания — обновляя понимание вас iFay в реальном времени
Как это работает
1. Наблюдение за вашими реакциями — изменения скорости операций, поведение при просмотре, выражения и тон, паттерны принятия/отклонения предложений iFay.
2. Вывод вашего намерения — интеллектуальный вывод, комбинирующий множество сигналов.
3. Передача результатов вывода — модулю Автономного поведения и модулю Согласованного сознания.
4. Корректировка в реальном времени — непрерывный пересмотр выводов на основе ваших последних реакций.
Связи с другими модулями
| Связанный модуль | Связь | Аналогия с телом |
|---|---|---|
| Автономное поведение | Выводы самосознания запускают проактивные действия | EQ → проактивная забота |
| Согласованное сознание | Самосознание корректирует профиль Human Prime в реальном времени | Понимание вас углубляется со временем |
| Когнитивный слой | Результаты вывода передаются для более глубокого понимания | Интуиция → рациональное мышление |
| Трекер от первого лица | Трекер смотрит наружу, Самосознание смотрит внутрь — дополняют друг друга | Глаза видят мир vs. сердце читает людей |
| Сенсор | Данные среды от Сенсора помогают выводам Самосознания | Телесные ощущения помогают эмоциональному суждению |
Сценарии
Сценарий 1: Вы читаете статью, iFay проактивно находит материалы
В выходной день вы просматриваете длинную статью о «устойчивом строительном дизайне». Самосознание замечает, что вы быстро прокручиваете первую половину, но на разделе «технология энергосбережения пассивного дома» скорость прокрутки заметно снижается, вы прокручиваете назад один раз и задерживаетесь на этом разделе почти две минуты.
Самосознание выводит: вас особенно интересует тема «технология энергосбережения пассивного дома». Оно передаёт этот вывод модулю Автономного поведения, который проактивно находит несколько углублённых статей и тихо помещает их в ваш список чтения.
Сценарий 2: Внимательный помощник во время видеовстречи
Вы на видеовстрече. Самосознание захватывает изменения ваших микровыражений через камеру: когда коллега начинает обсуждать сокращение бюджета проекта, ваши брови слегка хмурятся. Самосознание выводит дискомфорт и тихо подготавливает отчёт по анализу бюджета и черновик вежливого извинения — на случай, если они вам понадобятся.
Для разработчиков
Модуль Самосознания относится к Фазе 4 (iFay + coFay Полная персонификация) как основной модуль.
- ID требования: Требование 13 (Самосознание)
- Спецификация интерфейса: Интерфейс
SelfAwarenessс тремя основными методами:inferIntent(),monitorHostReaction(),adjustAlignment() - Связанные модули: Автономное поведение (
SelfDrivenBehavior) получает результаты вывода; Согласованное сознание (AlignedConsciousness) получает обновления профиля - Тестирование соответствия: iFACTS L1 верифицирует способность вывода намерений; L2 верифицирует интерфейсы; L4 верифицирует точность вывода и защиту конфиденциальности