В августе 2023 года компания Meta выпустила CodeLlama — крупномасштабную языковую модель, специально разработанную для задач программирования, основанную на предыдущей модели Llama2. Сегодня компания выпустила «новую, более мощную версию» — CodeLlama70B.
CodeLlama70B был обучен на 500 миллиардах байт кода и связанных с ним данных. Он может обрабатывать и генерировать более длинные кодовые последовательности благодаря контекстному окну из 100 000 фраз.
По словам Meta, CodeLlama70B использует технологию самообслуживания для понимания структуры кода. Он может реализовывать алгоритмы, сортировку, поиск и другие функции на основе текстовых или фрагментных подсказок и подходит для нескольких языков, таких как Python, C++, Javascript и Java.
Этот инструмент на базе искусственного интеллекта включает варианты, точно настроенные для конкретных задач. Одним из таких вариантов является CodeLlama-70B-Instruct, который обучен понимать инструкции на естественном языке. Существует также версия, ориентированная на Python, под названием CodeLlama-70B-Python. По словам Meta, благодаря дополнительному обучению на 100 миллиардах токенов кода Python он генерирует код Python с «беспрецедентной плавностью и точностью».
«Написание и редактирование кода сегодня стало одним из наиболее важных применений моделей искусственного интеллекта», — написал генеральный директор Meta Марк Цукерберг в своем сообщении в Facebook. «Оказывается, способность кодирования также очень важна для моделей ИИ, чтобы более строго и логично обрабатывать информацию в других областях».
CodeLlama70B доступен для бесплатной загрузки по той же открытой лицензии, что и предыдущие модели CodeLlama:
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
Мета утверждает, что эта лицензия позволяет академическим и коммерческим пользователям изменять модель.
GitHub, принадлежащий Microsoft, запустил CopilotChat в июле 2023 года. Разработчики могут задавать Copilot вопросы о своем коде, получать объяснения конкретных частей кода и даже просить Copilot исправлять ошибки в коде. Недавно Google также запустила DuetAI и GeminiPro, инструменты завершения и генерации кода на основе искусственного интеллекта.