Databricks ha presentado una nueva cartera destinada a ayudar a los usuarios a personalizar aplicaciones productivas de IA con sus datos mediante la fabricación aditiva.
La realidad aumentada de recuperación (RAG) es una capacidad de IA que recopila datos de bases de datos y otros repositorios de almacenamiento de datos para utilizar datos que ya se han utilizado para informar una aplicación y mejorar la productividad de la misma.
Aunque no son nuevos, los canales RAG ganaron popularidad en el año transcurrido desde que OpenAI lanzó su sistema de inteligencia artificial generativa ChatGPT, el primer modelo de lenguaje a gran escala (LLM) importante.
Los LLM como ChatGPT y Google Bard están capacitados en datos públicos y pueden ser útiles para búsquedas de información y generación de contenido. Sin embargo, no tienen los datos para conocer los detalles del negocio de una empresa en particular, por lo que no pueden utilizarse para informar decisiones comerciales.
Como resultado, algunas organizaciones están aumentando los LLM de proveedores como OpenAI y Hugging Face con datos patentados para que el LLM tenga información específica del dominio para ayudar en el proceso de toma de decisiones. Mientras tanto, otras organizaciones están desarrollando sus propios modelos lingüísticos para dominios específicos.
Para hacer ambas cosas, los desarrolladores necesitan crear canales RAG que descubran, recuperen y carguen los datos necesarios.
Presentado el 6 de diciembre, un nuevo conjunto de herramientas de Databricks, que se basan en el reciente enfoque del proveedor en el desarrollo de IA productiva, están diseñados para ayudar a los desarrolladores a hacer precisamente eso. Como resultado, la nueva suite es una incorporación importante para los usuarios de Databricks, según Donald Farmer, fundador y director ejecutivo de TreeHive Strategy.
«Este es un gran paso».
Antes del lanzamiento de su nueva cartera, Databricks adquirió MosaicML por 1.300 millones de dólares en junio para aumentar sus capacidades de desarrollo de IA productiva, y en octubre presentó nuevas capacidades de optimización de LLM y GPU para ayudar a mejorar los resultados de su IA productiva, y anunció planes en noviembre para integrar su plataforma de puntuación existente. con IA y transforma tu herramienta estrella en una plataforma de inteligencia de datos.
Siete beneficios de la IA productiva para la empresa.
La IA generativa tiene el potencial de hacer que los procesos de análisis y gestión de datos sean más eficientes y precisos.
Sin embargo, para hacer esto, los datos utilizados para entrenar una IA productiva deben ser precisos y cuantitativos para garantizar que un modelo o aplicación tenga la información para responder la pregunta de un usuario.
Los modelos y aplicaciones creativos de IA están entrenados para inferir si tienen suficientes datos básicos. A veces, esas respuestas son claramente incorrectas y los usuarios se apresuran a descartarlas. Sin embargo, otras veces, las respuestas incorrectas se parecen mucho al aspecto de un producto real y pueden inducir a error al usuario final a basar su decisión en la respuesta incorrecta.
Por lo tanto, es importante que una IA productiva tenga toda la información que necesita para generar resultados.
La búsqueda de vectores es un componente clave para las canalizaciones RAG que ayudan a los modelos y aplicaciones a proporcionar información. Los vectores son representaciones digitales de datos no estructurados, como texto y audio, que permiten buscar y descubrir datos no estructurados. Vector también permite el descubrimiento de datos similares, de modo que se pueda ver y utilizar una gran cantidad de datos para entrenar una IA productiva.
Las nuevas herramientas de Databricks incluyen búsqueda de vectores, características y funciones para visualización de datos estructurados, modelos base predefinidos que se pueden aumentar con datos propietarios, una herramienta de monitoreo de calidad, para que los usuarios puedan monitorear el desempeño de las canalizaciones RAG, y un conjunto de herramientas de desarrollo incluidas. .
Kevin Petrie, analista de Eckerson Group, señaló que las empresas desarrollan modelos de dominios específicos de varias maneras diferentes. Algunos construyen modelos enteramente sobre sí mismos; otros son modelos preexistentes bien afinados, como LLaMa o Bloom; y otros enriquecen los LLM con proyectos RAG.
Según Petrie, enriquecer los LLM con procesos RAG es, con diferencia, el más popular porque cuesta menos y requiere experiencia en ciencia de datos. Como resultado, las nuevas herramientas de Databricks son ahora una parte importante de su plataforma general.
«RAG tiene sentido para casos de uso que no utilizan el lenguaje de manera especializada y, por lo tanto, no requieren ajustes, pero reducen las alucinaciones al conectar las respuestas LM en un contexto confiable», dijo Petrie. «Databricks ahora facilita a los primeros usuarios la implementación de modelos de lenguaje específicos de dominio con RAG».
Databricks ahora facilita a los primeros usuarios la implementación de modelos de lenguaje específicos de dominio con RAG.
Kevin PetrieAnalista, Grupo Eckerson
Si bien Databricks ha hecho de la IA generativa una prioridad en los últimos meses y está en el proceso de crear un conjunto de herramientas que permitan a los usuarios desarrollar modelos y aplicaciones de IA generativa, no es el único proveedor que lo hace.
Snowflake, quizás el principal competidor de Databricks, también está haciendo de la IA generativa un punto focal, destacado por su adquisición en mayo del proveedor de motores de búsqueda de IA Neeva, capacidades mejoradas de contenedorización y capacidades de búsqueda de vectores. De manera similar, los gigantes tecnológicos AWS, Google y Microsoft han introducido varias funciones productivas de IA.
Sin embargo, Farmer señaló que Databricks, hasta la fecha, ha sido el más agresivo entre ellos al agregar herramientas que permiten el desarrollo de IA generativa.
«En comparación con otros proveedores de gestión de datos, diría que los esfuerzos de Databricks en GenAI parecen muy ambiciosos y se están ejecutando rápidamente», afirmó. «Se centran en técnicas avanzadas de aprendizaje automático, pero las integran con la gestión de datos, enfatizando la garantía de calidad y la gobernanza».
Petrie también señaló que Databricks se encuentra entre un grupo de proveedores que no solo hablan de la IA generativa como una prioridad, sino que la demuestran.
«Al igual que con la hiperescala de la nube, Databricks continúa enriqueciendo su conjunto de soluciones para respaldar el ciclo de vida de GenAI, incluido el desarrollo, la capacitación, la implementación, el monitoreo y la optimización de modelos», dijo.
Planes futuros
Si bien es una adición importante, la nueva suite Databricks que permite a los desarrolladores crear pilas RAG es solo una parte de lo que el proveedor aún necesita desarrollar para permitir a los clientes desarrollar, implementar y administrar aplicaciones productivas de IA, según Farmer.
El nuevo grupo se ocupa del desarrollo pero no del resto.
«En el futuro, seguiremos necesitando más herramientas para personalizar e implementar el modelo más fácilmente», afirmó Farmer.
Mientras tanto, Petrie señaló la gestión de datos como un área donde Databricks aún necesita mejorar su plataforma.
Señaló que las capacidades de series de datos del proveedor ayudan a las organizaciones a garantizar la calidad de los datos utilizados para entrenar modelos y aplicaciones de IA generativa. Pero la secuencia de datos por sí sola no puede garantizar la calidad de los datos.
Según Petrie, Databricks ya ofrece importantes capacidades de gestión de datos. Sin embargo, sería beneficioso adoptar medidas adicionales.
«Me interesará ver qué pasos toma Databricks para ayudar a las empresas a validar y gestionar los datos que atribuyen a los modelos de lenguaje», dijo. «Por ejemplo, las empresas necesitan etiquetar cuidadosamente el contenido no estructurado, como archivos de texto e imágenes, y garantizar un uso adecuado de los datos maestros».
Eric Avidon es redactor senior de noticias de TechTarget Editorial y periodista con más de 25 años de experiencia. Cubre análisis y gestión de datos.
Educación y ciencia de datos Información de la ciencia de datos global, cursos y carreras que te ayudan a mejorarlo 
