Presentamos Code Llama, una herramienta de inteligencia artificial para codificación

Sep 01, 2023

Hoy lanzamos Code Llama, un modelo de lenguaje grande (LLM) que puede usar mensajes de texto para generar y discutir código. Code Llama es lo último en LLM disponibles públicamente sobre tareas de codificación. Tiene el potencial de hacer que los flujos de trabajo sean más rápidos y eficientes para los desarrolladores y reducir la barrera de entrada para las personas que están aprendiendo a codificar. Code Llama tiene el potencial de usarse como una herramienta educativa y de productividad para ayudar a los programadores a escribir software más sólido y bien documentado.

Creemos que un enfoque abierto hacia la IA es lo mejor para desarrollar nuevas herramientas de IA que sean innovadoras, seguras y responsables, por lo que estamos lanzando Code Llama para uso comercial y de investigación bajo la misma licencia comunitaria que Llama 2.

Code Llama es una versión especializada en código de Llama 2 que se creó entrenando aún más a Llama 2 en sus conjuntos de datos específicos de código, muestreando más datos de ese mismo conjunto de datos durante más tiempo. Básicamente, Code Llama presenta capacidades de codificación mejoradas. Puede generar código y lenguaje natural sobre el código, tanto a partir de indicaciones de código como de lenguaje natural (por ejemplo, "Escríbeme una función que genere la secuencia de Fibonacci"). También se puede utilizar para completar y depurar código. Es compatible con muchos de los lenguajes de programación más populares que se utilizan en la actualidad, incluidos Python, C++, Java, PHP, Typescript (Javascript), C#, Bash y más.

Estamos lanzando tres tamaños de Code Llama con parámetros 7B, 13B y 34B respectivamente. Cada uno de estos modelos está entrenado con 500 mil millones de tokens de código y datos relacionados con el código. Los modelos base e instrucción 7B y 13B también han sido entrenados con la capacidad de completar el medio (FIM), lo que les permite insertar código en el código existente, lo que significa que pueden admitir tareas como la finalización de código desde el primer momento.

Los tres modelos abordan diferentes requisitos de servicio y latencia. El modelo 7B, por ejemplo, puede funcionar con una sola GPU. El modelo 34B ofrece los mejores resultados y permite una mejor asistencia de codificación, pero los modelos más pequeños 7B y 13B son más rápidos y más adecuados para tareas que requieren baja latencia, como la finalización de código en tiempo real.

También perfeccionamos dos variaciones adicionales de Code Llama: Code Llama – Python y Code Llama – Instruct.

Code Llama: Python es una variación especializada en lenguaje de Code Llama, optimizada aún más en 100 mil millones de tokens de código Python. Debido a que Python es el lenguaje más evaluado para la generación de código, y debido a que Python y PyTorch desempeñan un papel importante en la comunidad de IA, creemos que un modelo especializado proporciona una utilidad adicional.

Code Llama: Instruct es una variación de instrucción afinada y alineada de Code Llama. El ajuste de la instrucción continúa el proceso de formación, pero con un objetivo diferente. El modelo recibe una entrada de instrucción en lenguaje natural y el resultado esperado. Esto hace que comprenda mejor lo que la gente espera de sus indicaciones. Recomendamos usar Code Llama – Instruct variantes siempre que use Code Llama para la generación de código ya que Code Llama – Instruct se ha perfeccionado para generar respuestas útiles y seguras en lenguaje natural.

Los programadores ya están utilizando LLM para ayudar en una variedad de tareas. El objetivo es hacer que los flujos de trabajo de los desarrolladores sean más eficientes para que puedan centrarse en los aspectos más humanos de su trabajo, en lugar de tareas repetitivas. Creemos que los modelos de IA, y los LLM de codificación en particular, se benefician más de un enfoque abierto, tanto en términos de innovación como de seguridad. Los modelos específicos de códigos disponibles públicamente pueden facilitar el desarrollo de nuevas tecnologías que mejoren la vida de las personas. Al lanzar modelos de código como Code Llama, toda la comunidad puede evaluar sus capacidades, identificar problemas y corregir vulnerabilidades.

Code Llama está diseñado para apoyar a los ingenieros de software en todos los sectores, incluida la investigación, la industria, los proyectos de código abierto, las ONG y las empresas. Pero aún quedan muchos más casos de uso que respaldar. Esperamos que Code Llama inspire a otros a aprovechar Llama 2 para crear nuevas herramientas innovadoras para investigación y productos comerciales.

Obtenga más información sobre Code Llama en nuestro blog de IA o descargue el modelo Code Llama.