Introducción
Los ingenieros de IA están creando cada vez más sistemas que combinan grandes modelos de lenguaje (LLM), agentes de IA, lógica de software tradicional y modelos especializados de aprendizaje automático. Sin embargo, no todas las tareas requieren un modelo para generar texto o realizar razonamientos complejos.
Aquí es donde el modelo Jev de TypeSafe AI introduce un enfoque diferente. Diseñado como un modelo de Sistema 1 de primera generación para la automatización de software, Jev se centra en tomar decisiones rápidas y estructuradas en lugar de generar texto de formato libre.
Al devolver resultados, probabilidades y puntuaciones de confianza predefinidos, Jev está diseñado para aplicaciones como enrutamiento, clasificación, verificación, mecanismos de control y toma de decisiones en tiempo real. Su arquitectura de muestreo paralelo también busca reducir la latencia de inferencia y optimizar los flujos de trabajo de IA de alto volumen.
Entonces, ¿qué es exactamente el modelo Jev, cómo funciona y qué podría significar para los ingenieros de IA que están creando la próxima generación de agentes de IA?
Un vistazo a las últimas actualizaciones de IA: Lanzamiento del modelo Jev de TypeSafe AI.
TypeSafe AI anunció el lanzamiento de su primer modelo avanzado, llamado Jev. Se trata de la primera generación de modelos System One, diseñados específicamente para la automatización de software. Toma decisiones rápidas y estructuradas con el mismo nivel de inteligencia que los modelos de lenguaje a gran escala (LLM), pero con un mecanismo operativo completamente diferente.
Características clave del modelo Jev
- Eliminación de cadenas no estructuradas para obtener resultados con tipos seguros: El modelo no genera texto libre. En cambio, recibe datos no estructurados y produce valores estructurados predefinidos junto con puntuaciones de probabilidad y confianza. Este enfoque está diseñado para reducir los errores tipográficos y los riesgos de alucinaciones mediante un marco de software.
- Arquitectura de muestreo paralelo: En lugar de generar texto token por token de forma secuencial, el modelo produce resultados mediante una arquitectura de consulta paralela. TypeSafe AI afirma que esto puede reducir la latencia de respuesta a aproximadamente 70-500 ms, dependiendo de la tarea.
- Algoritmo de entrenamiento (RLCD): El modelo se basa en un método de entrenamiento denominado Aprendizaje por Refuerzo para Decisiones Calibradas (RLCD, por sus siglas en inglés), en lugar de los enfoques tradicionales de Aprendizaje por Refuerzo y Análisis de la Familia (RLHF, por sus siglas en inglés). Se centra en la toma de decisiones estructurada, en lugar de en las respuestas conversacionales.
- Costo y velocidad:
- Datos de entrada: 0.042 dólares por millón de tokens.
- Datos de salida: $0.00.
Por qué Jev podría ser importante para los agentes de IA
En el desarrollo de sistemas de IA, los ingenieros suelen utilizar grandes modelos generativos para tareas que en realidad no requieren la generación de texto. Un agente de IA puede necesitar un modelo de lenguaje natural (LLM) para razonar sobre un problema complejo, pero el siguiente paso podría requerir simplemente responder a una pregunta sencilla como:
¿Debe el sistema guardar este archivo? Sí o no.
El uso de un modelo generativo grande para cada decisión pequeña puede introducir latencia adicional, consumo de tokens y complejidad en el procesamiento de la salida.
Jev está diseñado para solucionar esta deficiencia, proporcionando decisiones estructuradas que pueden integrarse directamente en los flujos de trabajo del software.
1. El impuesto oculto de los modelos generativos
Al crear agentes de IA, un sistema podría utilizar un modelo de razonamiento extenso para generar código complejo o analizar un problema, y luego usar otra llamada al modelo simplemente para determinar la siguiente acción.
Por ejemplo:
¿Debe el agente guardar el archivo?
¿Debería la solicitud ser dirigida a una persona?
¿Esta entrada es potencialmente maliciosa?
¿Debería recurrirse a otro modelo de IA?
Estas decisiones no requieren necesariamente una respuesta textual extensa.
Generar texto extenso o JSON para una simple decisión booleana puede aumentar el consumo de tokens e introducir problemas de validación de salida. Los ingenieros también podrían necesitar ingeniería de mensajes adicional, lógica de análisis, mecanismos de reintento y manejo de errores.
Un modelo de decisión estructurado ofrece una arquitectura alternativa para estas situaciones.
2. Por qué las alternativas tradicionales también pueden generar problemas
Cuando los equipos quieren reducir el coste y la latencia de los modelos generativos, pueden recurrir a modelos de clasificación más pequeños como BERT o DeBERTa.
Estos modelos pueden ser eficaces para tareas de clasificación, pero la implementación y el mantenimiento de modelos especializados pueden introducir requisitos adicionales, entre ellos:
- Etiquetado continuo de datos.
- Pipelines de entrenamiento específicos para cada modelo.
- Seguimiento y recapacitación.
- Manejo de la deriva de datos.
- Mantener modelos separados para diferentes tareas de toma de decisiones.
El enfoque de Jev está diseñado para proporcionar una toma de decisiones estructurada sin que los ingenieros tengan que construir un modelo separado para cada decisión simple.
Arquitectura técnica: Cómo funciona Jev
Uno de los conceptos clave detrás de Jev es la distinción entre el procesamiento del Sistema 1 y el del Sistema 2.
Los sistemas de IA generativa suelen realizar una generación autorregresiva, prediciendo un token tras otro. Jev, en cambio, se centra en evaluar directamente un estado de entrada en función de preguntas predefinidas y posibles resultados.
1. Rompiendo el ciclo autorregresivo
En lugar de predecir el siguiente token a partir de un vocabulario muy extenso, Jev restringe las posibles salidas antes de que comience la inferencia.
Esto permite que el modelo se centre en la decisión en sí misma en lugar de generar una explicación textual.
2. Tres tipos de preguntas específicas
Jev evalúa los estados de entrada utilizando tres tipos principales de preguntas estructuradas:
Opción: Seleccionar una opción de una lista cerrada de hasta 255 opciones y obtener una puntuación de confianza.
Puntuación: Evaluación de un estado en una escala graduada, como por ejemplo la determinación de un nivel de riesgo.
Nulo/Booleano: Devuelve una probabilidad entre 0.0 y 1.0 para una decisión lógica como verdadero o falso.
3. Distribución especulativa
El estado de entrada se puede codificar una sola vez en la memoria de la GPU, mientras que varias preguntas específicas se procesan en paralelo.
Esta arquitectura implica que evaluar varias preguntas puede tener un perfil de latencia similar al de evaluar una sola pregunta, dependiendo de la implementación y la carga de trabajo.
Para los ingenieros de IA, esto podría ser particularmente útil cuando una aplicación necesita tomar varias decisiones sobre la misma entrada antes de continuar su flujo de trabajo.
Casos de uso directos para el modelo Jev
La arquitectura estructurada de Jev la hace potencialmente útil para diversas aplicaciones de ingeniería de IA.
Reglas de decisión inteligentes
Jev se puede utilizar para decisiones de software que tradicionalmente dependerían de sistemas complejos. if/else lógica.
Algunos ejemplos son:
- Enrutamiento de solicitudes.
- Clasificación de entradas.
- Selección de flujos de trabajo.
- Priorizar tareas.
- Determinar si se debe ejecutar una acción.
Aplicaciones en tiempo real
Las aplicaciones que requieren respuestas rápidas pueden beneficiarse de una toma de decisiones con menor latencia.
Entre las posibles aplicaciones se incluyen la toma de decisiones en tiempo real sobre el estado del juego, los sistemas interactivos y otras aplicaciones en las que esperar a que un modelo generativo grande complete una respuesta crearía una demora innecesaria.
Procesamiento de Big Data
La arquitectura paralela también podría ser útil para procesar grandes volúmenes de datos.
En los flujos de trabajo de estilo MapReduce, las organizaciones podrían utilizar decisiones de IA estructuradas para convertir grandes conjuntos de datos en características, clasificaciones o señales predefinidas.
Barandillas y verificación
Otra posible aplicación es utilizar Jev junto con otros modelos de IA.
Por ejemplo, un sistema podría usar un modelo de lenguaje extenso para generar una salida y luego usar Jev para evaluar si esa salida cumple con condiciones predefinidas antes de permitir que el sistema la ejecute.
Esto podría hacer que Jev sea útil como capa de verificación para:
- Detección de inyección inmediata.
- Detección de jailbreak.
- Validación de salida.
- Clasificación de riesgo.
- Aprobación de flujo de trabajo automatizada.
Restricciones de ingeniería: cuándo Jev puede no ser adecuado
A pesar de sus posibles aplicaciones, Jev no pretende reemplazar los modelos de IA generativa.
Los ingenieros de IA deben comprender sus limitaciones antes de incorporarla a los sistemas de producción.
Ventana de contexto limitada
Jev admite hasta 64 000 tokens en total, con un máximo de 32 000 tokens para el estado de entrada. Por lo tanto, los documentos o conjuntos de datos grandes pueden requerir la división en fragmentos o el preprocesamiento.
Límite de opciones
Una pregunta no puede contener más de 255 opciones. Por lo tanto, las tareas que requieren espacios de clasificación extremadamente grandes pueden necesitar una arquitectura diferente o un procesamiento adicional.
Sin generación de texto
Jev no reemplaza a un LLM cuando la tarea requiere generar contenido.
No está diseñado para:
- Escribe código.
- Escribir artículos.
- Resumir documentos.
- Generar conversaciones.
- Elaborar explicaciones extensas.
En cambio, su valor reside en la gestión de las decisiones estructuradas que rodean esas tareas.
La intersección de la IA y la ciencia de datos
El desarrollo de modelos como Jev pone de relieve una tendencia más amplia en la ingeniería de IA: no todos los componentes de un sistema de IA tienen que ser generativos.
Los sistemas de IA empresariales modernos combinan cada vez más múltiples tecnologías, entre las que se incluyen:
- Grandes modelos de lenguaje.
- Modelos especializados de aprendizaje automático.
- Canalizaciones de datos.
- Modelos de decisión estructurados.
- Sistemas de recuperación.
- Flujos de trabajo con intervención humana.
- Capas de verificación automatizadas.
El objetivo no es necesariamente utilizar un único modelo masivo para cada tarea. En cambio, los ingenieros pueden asignar diferentes componentes a diferentes partes del flujo de trabajo.
Transformando los datos en activos estratégicos
Las organizaciones modernas procesan enormes volúmenes de datos estructurados y no estructurados. El procesamiento del lenguaje natural (PLN), el aprendizaje automático y los flujos de datos basados en inteligencia artificial (IA) pueden transformar esta información en conocimientos prácticos.
Las aplicaciones incluyen:
- Mejorar la precisión de las predicciones: Utilizar modelos estadísticos y de aprendizaje automático para mejorar las previsiones.
- Mejorar la eficiencia del procesamiento: Construir sistemas de procesamiento de datos capaces de procesar grandes volúmenes de información.
- Seguridad y gobernanza: Aplicar mecanismos automatizados de detección y verificación de anomalías para mejorar la integridad y la seguridad de los datos.
Este cambio hacia componentes de IA especializados podría adquirir cada vez más importancia a medida que las organizaciones amplíen su infraestructura de IA.
Conclusión
El modelo Jev de TypeSafe AI representa un enfoque diferente para la inferencia de IA. En lugar de centrarse en la generación de texto, está diseñado para tomar decisiones rápidas y estructuradas que se pueden integrar directamente en sistemas de software.
Para los ingenieros de IA, la oportunidad interesante no reside necesariamente en reemplazar los modelos de lenguaje natural (LLM), sino en utilizar el modelo adecuado para cada tarea. Los modelos de lenguaje de gran tamaño pueden gestionar el razonamiento y la generación complejos, mientras que los modelos de decisión especializados, como Jev, pueden gestionar de forma más eficiente el enrutamiento, la clasificación, la verificación y otras decisiones estructuradas.
A medida que los agentes de IA se vuelven más sofisticados, las arquitecturas que combinan modelos generativos con componentes especializados de toma de decisiones pueden adquirir una importancia creciente para controlar la latencia, el coste, la fiabilidad y la complejidad del sistema.
At SO DevelopmentContinuamos siguiendo de cerca los avances en IA, ingeniería de datos, IA generativa y tecnologías de agentes de IA para comprender cómo se pueden aplicar los enfoques emergentes a los sistemas empresariales del mundo real.
