Rendimiento real de LLM en 2023 desde la perspectiva del desarrollador

17 de febrero de 2024 · Jah Guo

Recientemente, OpenAI lanzó Sora, sumándose al creciente interés en los Modelos de Lenguaje Grande (LLMs). Como gerente de producto que ha estado profundamente involucrado con LLMs durante un año, compartiré mi experiencia laboral práctica en el contexto más amplio de los LLMs.

1. LLM se ha convertido en el estándar de corrección política en los gigantes tecnológicos

Después de las redes sociales, internet móvil, blockchain y metaverso, 2023 es una vez más aclamado como el primer año de la cuarta revolución industrial: la era de la IA. Las principales empresas tecnológicas han descubierto nuevas oportunidades más allá de los conceptos tradicionales y han iniciado una competencia feroz. OpenAI, Microsoft, Google y Meta avanzan rápidamente con estrategias claras. A diferencia de antes, las grandes empresas de internet chinas ahora son cautelosas e inciertas sobre sus próximos pasos debido a la capacidad de cómputo limitada y los escenarios de aplicación poco claros.

2. Los jefes experimentan amor, miedo e impotencia

Los jefes y CIOs también están siendo lavados de cerebro por los medios independientes. A pesar de que la mayoría de los tomadores de decisiones de producto no entienden cómo funcionan los modelos grandes, aún deciden dar un paso adelante en la implementación de modelos grandes, tanto interna como externamente. Después de etiquetar ChatGPT como su propio asistente, descubrieron que la información corporativa interna no solo se enviaba fuera de la empresa, sino incluso al extranjero, generando riesgos legales. Y la interacción lenta es casi inutilizable.

3. Los mayores gigantes tecnológicos del mundo están copiando ChatGPT

Desde que ChatGPT inició el modo de interacción de diálogo + Prompt, los gigantes tecnológicos han replicado su asistente inteligente de manera casi idéntica. Las APIs, aplicaciones multimodales y una tienda le siguen. Aunque la próxima función revolucionaria de OpenAI sigue siendo desconocida, una cosa es segura: todos esperan ansiosamente para seguir el ejemplo.

4. Podría ser "El traje nuevo del emperador"

Ya sea en redes sociales, foros de la industria o lanzamientos de productos, muchas personas afirman que los modelos grandes han revitalizado sus productos e incluso han incubado modelos específicos de la industria para miles de empresas. Sin embargo, nadie se atreve a admitir que estos modelos grandes en campos profesionales a menudo carecen de comprensión y hay muchas tareas que no pueden realizar. La adquisición de conocimiento profesional o especializado por parte de los modelos grandes a menudo conlleva un costo significativo.

5. Mientras los medios están emocionados, los PMs, programadores y expertos de negocio están desanimados

Una porción significativa del tiempo, alrededor del 90%, se consume en tareas relacionadas con datos como recopilación, escritura, limpieza, formateo, segmentación, entrenamiento y etiquetado. Este proceso continúa día tras día, semana tras semana, mes tras mes. A menudo, el equipo de investigación de producción no está seguro de la precisión de la información. Los expertos de negocio no saben cómo entrenar el modelo. Los gerentes de producto contemplan formas de facilitar la comunicación directa entre los expertos de negocio y el LLM. El final de este proceso no está claro para nadie.

6. Rápidamente se convirtió en un nuevo punto de crecimiento para la plataforma en la nube

Los proveedores tradicionales de plataformas en la nube han introducido plataformas de entrenamiento para LLMs basadas en ML. Después de MLOps, se introdujo el concepto de LLMOps. A pesar de los desafíos técnicos y de capacidad de cómputo, la plataforma en la nube transforma los LLMs en infraestructura de próxima generación. Sin embargo, su diseño a menudo se percibe como tosco y difícil de usar directamente por los expertos de negocio. Parece que los gerentes de producto de servicios en la nube aún no han comprendido completamente cómo los usuarios utilizarán las capacidades de los LLMs.

7. Transición gradual del primer plano al segundo plano, enfocándose en el negocio como núcleo

Después de seis meses de esfuerzo intenso, me di cuenta de que los modelos grandes por sí solos no pueden lograr todo. Construir procesos de negocio con modelos grandes como método principal no logra entregar soluciones oportunas y rentables que satisfagan las necesidades del negocio y proporcionen un retorno de inversión sólido. Muchos gerentes de producto ahora usan modelos grandes fuera de línea para ayudar en el procesamiento asíncrono de conocimiento y datos. Para permitir que estos modelos aprendan y combinen efectivamente nuevas formas de conocimiento, le hemos dado a este fragmento de código que contiene lógica de negocio un nuevo nombre — Agent.

8. La industria está comenzando a definir una nueva forma de aplicaciones de próxima generación

Imagine un futuro donde las personas ya no tengan que decidir qué sitio web o aplicación usar. En su lugar, simplemente le dicen a la IA sus intenciones, y la IA encuentra directamente la respuesta o realiza una operación. Esta IA interactiva podría representar la próxima generación de formas de aplicación. Actualmente, muchos gerentes de producto la diseñan como un chatbot, a veces denominado asistente inteligente. Sin embargo, es lamentable que incluso con múltiples asistentes, los usuarios aún necesiten tomar decisiones o realizar búsquedas.

9. La regulación llega antes que nunca

Los líderes de opinión declararon: "Si no utilizas IA en el futuro, serás un perdedor", y pronto comenzaron a obtener ganancias ofreciendo cursos. OpenAI demostró además que millones de nuevas "apps", o Agents, pueden surgir en solo una semana. Como resultado, una gran cantidad de datos sensibles se está cargando en centros de datos a nivel mundial, lo que lleva a una mezcla descontrolada de valores contradictorios. Ningún otro tipo de producto ha atraído la atención del gobierno tan rápidamente.

10. La IA ha descendido del pedestal tecnológico para ser accesible a la gente común

Entrenar IA fue una vez el dominio exclusivo de los ingenieros de algoritmos. Sin embargo, después de que el modelo se despliega, ahora exige más participación de los expertos de negocio y usuarios en el proceso de entrenamiento. Con la herramienta de generación de prompts y la plataforma de entrenamiento, puedes completar el entrenamiento del modelo sin ningún conocimiento algorítmico. Incluso los modelos a pequeña escala pueden desplegarse fácilmente en servidores o computadoras personales, similar a instalar software. Este es un cambio significativo que tiene a los ingenieros de algoritmos en alerta.