Реальная производительность LLM в 2023 глазами разработчика

17 февраля 2024 · Jah Guo

Недавно OpenAI выпустила Sora, что ещё больше подогрело интерес к большим языковым моделям (LLM). Как продуктовый менеджер, глубоко вовлечённый в работу с LLM в течение года, я поделюсь своим практическим опытом работы в более широком контексте LLM.

1. LLM стал стандартом политкорректности у технологических гигантов

После социальных сетей, мобильного интернета, блокчейна и метавселенной 2023 год вновь провозглашён первым годом четвёртой промышленной революции — эры ИИ. Крупные технологические компании обнаружили новые возможности за пределами традиционных концепций и начали ожесточённую конкуренцию. OpenAI, Microsoft, Google и Meta стремительно продвигаются вперёд с чёткими стратегиями. В отличие от прежних времён, крупные китайские интернет-компании сейчас проявляют осторожность и неуверенность в своих следующих шагах из-за ограниченных вычислительных мощностей и неясных сценариев применения.

2. Руководители испытывают любовь, страх и беспомощность

Руководители и ИТ-директора также подвергаются массированному воздействию независимых медиа. Несмотря на то что большинство лиц, принимающих решения о продуктах, не понимают, как работают большие модели, они всё равно решают опередить других во внедрении больших моделей как внутри компании, так и за её пределами. После того как ChatGPT был представлен как собственный ассистент, выяснилось, что внутренняя корпоративная информация отправлялась не только за пределы компании, но даже за рубеж, что повлекло юридические риски. А медленное взаимодействие практически непригодно для использования.

3. Крупнейшие технологические гиганты мира копируют ChatGPT

С тех пор как ChatGPT запустил режим взаимодействия «диалог + промпт», технологические гиганты практически полностью скопировали его интеллектуального ассистента. За этим последовали API, мультимодальные приложения и магазин. Хотя следующая прорывная функция OpenAI остаётся неизвестной, одно можно сказать наверняка: все с нетерпением ждут, чтобы последовать примеру.

4. Это может быть «Новое платье короля»

Будь то в социальных сетях, на отраслевых форумах или на презентациях продуктов, многие утверждают, что большие модели оживили их продукты и даже создали отраслевые модели для тысяч предприятий. Однако никто не осмеливается признать, что эти большие модели в профессиональных областях часто демонстрируют недостаточное понимание и не способны выполнить множество задач. Приобретение профессиональных или специализированных знаний большими моделями часто сопряжено со значительными затратами.

5. Пока СМИ в восторге, продуктовые менеджеры, программисты и бизнес-эксперты подавлены

Значительная часть времени, около 90%, уходит на задачи, связанные с данными: сбор, написание, очистку, форматирование, нарезку, обучение и разметку. Этот процесс продолжается изо дня в день, из недели в неделю, из месяца в месяц. Часто команда разработки не уверена в точности информации. Бизнес-эксперты не знают, как обучать модель. Продуктовые менеджеры размышляют о способах обеспечения прямого общения между бизнес-экспертами и LLM. Конец этого процесса не ясен никому.

6. Быстро стал новой точкой роста для облачных платформ

Традиционные поставщики облачных платформ представили платформы для обучения LLM на основе ML. Вслед за MLOps появилась концепция LLMOps. Несмотря на технические проблемы и проблемы с вычислительными мощностями, облачная платформа превращает LLM в инфраструктуру нового поколения. Однако её дизайн часто воспринимается как грубый и сложный для непосредственного использования бизнес-экспертами. Похоже, что продуктовые менеджеры облачных сервисов ещё не полностью поняли, как пользователи будут использовать возможности LLM.

7. Постепенный переход с переднего плана на задний план с фокусом на бизнес

После полугода интенсивной работы я осознал, что большие модели сами по себе не могут решить всё. Построение бизнес-процессов с большими моделями в качестве основного метода не обеспечивает своевременных, экономически эффективных решений, отвечающих потребностям бизнеса и обеспечивающих надёжную окупаемость инвестиций. Многие продуктовые менеджеры теперь используют большие модели офлайн для помощи в асинхронной обработке знаний и данных. Чтобы эти модели могли эффективно изучать и комбинировать новые формы знаний, мы дали этому фрагменту кода, содержащему бизнес-логику, новое название — Agent.

8. Отрасль начинает определять новую форму приложений следующего поколения

Представьте будущее, в котором людям больше не нужно решать, какой сайт или приложение использовать. Вместо этого они просто сообщают ИИ свои намерения, и ИИ напрямую находит ответ или выполняет операцию. Этот интерактивный ИИ может представлять следующее поколение форм приложений. В настоящее время многие продуктовые менеджеры проектируют его как чат-бот, иногда называемый интеллектуальным ассистентом. Однако, к сожалению, даже при наличии нескольких ассистентов пользователям по-прежнему приходится принимать решения или выполнять поиск.

9. Регулирование приходит раньше, чем когда-либо

Лидеры мнений заявили: «Если вы не будете использовать ИИ в будущем, вы станете неудачником», и вскоре начали извлекать прибыль, предлагая курсы. OpenAI далее продемонстрировала, что миллионы новых «приложений», или Agent-ов, могут появиться всего за неделю. В результате огромные объёмы конфиденциальных данных загружаются в дата-центры по всему миру, что приводит к неконтролируемому смешению противоречивых ценностей. Ни один другой тип продукта не привлекал внимание правительства так быстро.

10. ИИ спустился с технологического пьедестала и стал доступен обычным людям

Обучение ИИ когда-то было исключительной прерогативой инженеров-алгоритмистов. Однако после развёртывания модели теперь требуется большее участие бизнес-экспертов и пользователей в процессе обучения. С помощью инструмента генерации промптов и платформы обучения вы можете завершить обучение модели без каких-либо знаний алгоритмов. Даже небольшие модели можно легко развернуть на серверах или персональных компьютерах, подобно установке программного обеспечения. Это значительный сдвиг, который вызывает беспокойство у инженеров-алгоритмистов.