Como prometió, Elon Musk lanzó el modelo detrás del chatbot xAI, Grok-1.
Lanzado bajo la licencia Apache 2.0, los pesos del modelo principal y la arquitectura de red ya están disponibles. El modelo tiene 314 mil millones de parámetros y requiere hardware con suficiente memoria GPU para funcionar. Está bien adaptado para aplicaciones como el diálogo en lenguaje natural y representa el punto de control del modelo de referencia sin procesar de la fase previa a la capacitación, que finalizó en octubre de 2023.
Los críticos han mostrado un desempeño notablemente pobre en los puntos de referencia; Si bien Grok es un gran modelo, funciona peor de lo que algunos ingenieros han visto. «Dado lo pobre que es en comparación con otros modelos, realmente enfatiza lo importante que son los detalles. Los modelos con números mucho más pequeños lo superan en muchas métricas».
Se puede ver que el pequeño Mistral funciona tan bien como, por ejemplo, el Grok-1.
Para poner su tamaño en perspectiva, incluso con 314 mil millones de parámetros, todavía tiene cierta superposición con el GPT-4 de OpenAI, que tenía 1,76 billones de parámetros en el último recuento.
En particular, a diferencia de los LLM actuales, que se entrenan con datos en un momento discreto en el tiempo, Grok tiene acceso al corpus de datos reales de Xeets de todos a través de X.com, lo que debería permitir realizar algunos experimentos interesantes en los próximos días. . «Los datos de los tweets de Twitter en sí son altamente intuitivos y concisos por diseño, lo que simplemente no es útil para la capacitación LLM», señaló el comentarista.
Grok resultará familiar para los usuarios de la plataforma de redes sociales de Musk, X, y los suscriptores pudieron hacer preguntas al chatbot y obtener respuestas. Según xAI, Grok se inspiró en La Guía del autoestopista galáctico. «Su objetivo es responder a casi todo y, lo que es más difícil, incluso sugerir qué preguntas hacer».
Si un usuario busca una copia desgastada de las transcripciones de radio de La Guía del autoestopista galáctico, puede encontrar la siguiente definición en Fit the Tenth: «La Guía del autoestopista galáctico es un compañero constante para todos los que lo deseen. Un universo infinitamente complejo y confuso le da sentido a la vida, porque aunque no puede esperar ser útil o informativo sobre todos los temas, afirma de manera convincente que cuando está equivocado, al menos lo está. definitivamente incompleto
«En el caso de una gran diferencia, siempre es cierto que está mal.»
El lanzamiento se produce en el primer aniversario del lanzamiento del modelo GPT-4 de OpenAI, y la batalla legal de Musk con sus antiguos colegas de IA queda muy atrás. A principios de este mes, Musk demandó a OpenAI, alegando que se ha revelado poco sobre la empresa, incluido su nombre. OpenAI respondió publicando el correo electrónico, afirmando que Musk estaba plenamente consciente de sus planes y quería arruinarlo con Tesla.
Patrik Backman, socio general de OpenOcean, dijo sobre el lanzamiento de Grok-1: «Por una vez, Elon Musk está poniendo en práctica sus principios. Si vas a demandar a OpenAI por convertirse en una organización con fines de lucro, tienes que ser dispuesto a cumplir.» . el mismo ideal.»
qué No publicado por xAI también es interesante. Los pesos Grok-1 están ahí, pero los datos utilizados para el entrenamiento no están bajo la misma licencia, dice el experto en inteligencia artificial Gary Marcus. gritar: «Parcialmente OpenAI».
Las herramientas de inteligencia artificial de código abierto han resultado controvertidas. A algunos desarrolladores les preocupa que proporcionar la tecnología genere riesgos de corrupción, mientras que otros señalan los beneficios inherentes de la transparencia.
Meta compartió sus modelos Llama 2 el año pasado (más o menos) y otras compañías han seguido su ejemplo. OpenAI, por otro lado, ciertamente no lo es.
Al desbloquear los pesos detrás de Grok-1, Musk está tratando de plantar una bandera en el campo opuesto del mundo propiedad de OpenAI.
En cuanto a su desempeño final, como todo lo que comienza Musk, podría ir en cualquier dirección. ®