Los ejecutivos e investigadores que lideraban los esfuerzos de IA de Meta estaban obsesionados con aventajar el maniquí GPT-4 de OpenAI mientras desarrollaban Ardor 3, según mensajes internos revelados por un tribunal el martes en uno de los casos de derechos de autor de IA en curso de la compañía, Kadrey v. Meta.
“Honestamente… Nuestro objetivo debe ser GPT-4”, dijo el vicepresidente de IA generativa de Meta, Ahmad Al-Dahle, en un mensaje de octubre de 2023 al investigador de Meta Hugo Touvron. “¡Tenemos GPU de 64k en camino! Necesitamos ilustrarse a construir fronteras y superar esta carrera”.
Aunque Meta vara modelos abiertos de IA, los líderes de IA de la compañía estaban mucho más centrados en vencer a los competidores que normalmente no liberan los pesos de sus modelos, como Anthropic y OpenAI, y en cambio los encierran detrás de una API. Los ejecutivos e investigadores de Meta consideraron a Claude de Anthropic y GPT-4 de OpenAI como un standard de oro para trabajar.
La startup francesa de IA Mistral, uno de los mayores competidores abiertos de Meta, fue mencionada varias veces en los mensajes internos, pero el tono fue desdeñoso.
“Mistral es una miseria para nosotros”, dijo Al-Dahle en un mensaje. “Deberíamos poder hacerlo mejor”, dijo más tarde.
Las empresas de tecnología están compitiendo para desmerecer unas a otras con modelos de IA de vanguardia en estos días, pero estos documentos judiciales revelan cuán competitivos eran positivamente (y aparentemente siguen siendo) los líderes de IA de Meta. En varios puntos del intercambio de mensajes, los líderes de IA de Meta hablaron sobre cómo fueron “muy agresivos” al obtener los datos correctos para entrenar a Ardor; En un momento, un ejecutor incluso dijo que “Ardor 3 es fielmente lo único que me importa”, en un mensaje a sus compañeros de trabajo.
Los fiscales en este caso alegan que los ejecutivos de Meta ocasionalmente tomaron atajos en su loca carrera para remitir modelos de IA, entrenándose en libros protegidos por derechos de autor en el proceso.
Touvron señaló en un mensaje que la combinación de conjuntos de datos utilizados para Ardor 2 “era mala” y habló sobre cómo Meta podría usar una mejor combinación de fuentes de datos para mejorar Ardor 3. Touvron y Al-Dahle luego hablaron sobre despejar el camino para usar el conjunto de datos LibGen, que contiene obras protegidas por derechos de autor de Cengage Learning, Macmillan Learning, McGraw Hill y Pearson Education.
“¿Tenemos los conjuntos de datos correctos allí?[?]” dijo Al-Dahle. “¿Hay poco que quisieras usar pero no pudiste por alguna razón estúpida?”
El director ejecutor de Meta, Mark Zuckerberg, dijo anteriormente que está tratando de cerrar la brecha de rendimiento entre los modelos de IA de Ardor y los modelos cerrados de OpenAI, Google y otros. Los mensajes internos revelan la intensa presión adentro de la empresa para hacerlo.