II.8Инженерия данных и аналитика

Карточка модели TraiNC/vlm_ocr_lora_5e на Hugging Face совпадает с карточкой TraiNC/vlm_ocr_lora, поэтому описание составлено по ней. TraiNC/vlm_ocr_lora — дообученная TraiNC модель на базе мультимодальной Qwen3.5-0.8B от Unsloth. Она предназначена для задач «изображение-текст», в частности для OCR и извлечения текста с изображений и документов. Архитектура — плотная Qwen3.5 с поддержкой зрения; репозиторий содержит веса Safetensors. Модель рассчитана на англоязычные сценарии. Модель принимает изображения и текстовые запросы, а выдаёт текст. Она может подойти для распознавания текста на изображениях, извлечения полей из документов и прототипирования OCR-процессов. В карточке указаны лицензия Apache-2.0 и дообучение с использованием Unsloth и библиотеки TRL; параметры контекста и результаты оценки качества не приведены.

Masterjp123/XOrcaSlimWin-13B — объединённая SLERP-модель на основе Xwin-Lm-13B, Xwin-math-13B, XwinCoder-13B и SlimOrca-13B. Она предназначена для генерации текста и сочетает возможности диалоговой модели, решения математических задач и работы с кодом. Модель построена на архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README предупреждает о возможных проблемах при использовании формата Alpaca. Метаданные указывают лицензию Llama 2. README также упоминает GGUF-квантизацию, хотя в доступных метаданных формат файлов указан как safetensors.

Etelis/YELP_fewshot — модель семейства MPNet, опубликованная пользователем Etelis в формате PyTorch и оформленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Обучение использовало CosineSimilarityLoss. Модель содержит 136,7 млн параметров и рассчитана на входные последовательности длиной до 514 токенов. Её можно применять с библиотекой Sentence Transformers либо через Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130210931-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/00-400-10-1-0-1-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240130211808-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Это модель Sentence-Transformers на базе XLM-RoBERTa, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов и кластеризации; в частности, README описывает дообучение с MarginMSELoss на примерах японско-английского и англо-японского сходства с заданными диапазонами косинусного сходства. Модель принимает текст и выдаёт эмбеддинги. Размер — 305,2 млн параметров, контекст — 514 токенов. Для запуска можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. В карточке указана архитектура XLM-RoBERTa и формат PyTorch. README сообщает о последующей дистилляции отдельной модели, но этот репозиторий описывает исходный этап дообучения. Лицензия в предоставленных данных не указана.

Nhat1904/16-shot-twitter-2classes-new — модель Sentence Transformers на базе MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений по сходству. Модель содержит 136,7 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и распространяется в формате PyTorch. Название указывает на обучение на небольшом количестве примеров из набора Twitter с двумя классами; в карточке также указан CosineSimilarityLoss. Такие векторы можно использовать в семантическом поиске и других системах сравнения текстов. Язык обучения явно не указан. Лицензия в предоставленных данных не указана.

AMPLIFY-B — модель для извлечения признаков, опубликованная в формате Hugging Face Transformers. Она преобразует входные данные в векторные представления, которые можно использовать в downstream-задачах машинного обучения, поиске похожих объектов и построении специализированных классификаторов или регрессоров. Модель содержит около 471,9 млн параметров и распространяется с использованием формата safetensors.

Athene CodeGemma 2 7B v1.2 — дообученная EpistemeAI языковая модель для программирования, основанная на Athene-codegemma-2-7b-it-alpaca-v1.1 и архитектуре Gemma. Это плотная декодерная модель класса GemmaForCausalLM с 8,2 млрд параметров и контекстом 8192 токена; она принимает текстовые запросы и генерирует текст и код. Модель настроена следовать инструкциям и поддерживает диалоговый формат. Модель предназначена для генерации кода по описанию на естественном языке, ответов на вопросы о фрагментах кода и обсуждения задач программирования. При дообучении использовались датасеты с кодом на Python и Java. Карточка приводит пример генерации программы «Змейка» и указывает, что версия v1.1 создала её без ошибок по сравнению с исходной CodeGemma 7B IT; это не является гарантией качества версии v1.2. Поддержка указана для английского языка. Файлы доступны в форматах PyTorch и safetensors. Лицензия в метаданных — Apache-2.0; README также указывает, что на Gemma распространяются условия использования Google Gemma.

Pratima29/autotrain24 — дообученный с помощью AutoTrain энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2. Модель предназначена для преобразования текста в семантические векторы и вычисления сходства между предложениями; её можно применять для семантического поиска, сравнения и группировки текстов. Использует архитектуру BERT и библиотеку Sentence Transformers, содержит 25,9 млн параметров и принимает контекст до 512 токенов. README сообщает значение loss на валидации 0,2786. Модель принимает текст и выдаёт векторы, пригодные для задач сходства предложений. Базовая модель описана каталогом как англоязычный энкодер; данных о дополнительной языковой специализации этой версии нет. Лицензия в предоставленных данных не указана.

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240125221415-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Swanand30/BAAI-arabic-fine-tuned-m — модель эмбеддингов на базе XLM-RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текста. Для обучения использована функция MultipleNegativesRankingLoss с косинусным сходством. Модель содержит около 658,7 млн параметров, поддерживает контекст до 8194 токенов и распространяется в формате safetensors. Название указывает на настройку для арабского языка, однако README не приводит подробностей о данных обучения или сравнительной оценке качества. Модель подходит для поиска и группировки текстов по смыслу; лицензия в предоставленных сведениях не указана.

Модель threehook/bert-base-dutch-cased-sts — Sentence Transformer на архитектуре BERT, дообученный разработчиком на базе GroNLP/bert-base-dutch-cased на наборе sentence-transformers/stsb. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые можно сравнивать косинусной близостью. Максимальная длина входа — 512 токенов; модель использует mean pooling и предназначена для оценки семантического сходства, семантического поиска и поиска перефразировок, а также может применяться для кластеризации и классификации текстов. В README указан язык en, хотя базовая модель нидерландская; поэтому качество для нидерландского текста отдельно не подтверждено. Модель принимает текст и выдаёт векторы, а не готовые текстовые ответы. Лицензия в предоставленных данных не указана.

ricardo-filho/bert-base-portuguese-cased-nli-assin-2 — модель Sentence-Transformers на основе BERT, разработанная Ricardo Filho. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Обучение включало SoftmaxLoss; число параметров модели — 136,1 млн, максимальная длина контекста — 512 токенов. Модель предназначена для работы с португальским текстом. Её можно использовать для семантического поиска, группировки похожих текстов и вычисления сходства между предложениями. Доступны веса PyTorch; в README описано применение через Sentence-Transformers или Transformers с соответствующим pooling. Ограничение контекста — 512 токенов. README не сообщает условия лицензии, поэтому условия использования по имеющимся данным определить нельзя.

BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

Карточка модели hopeawei/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.

akarum/cloudy-large-zh — модель семейства BERT для получения векторных представлений текста и оценки сходства между предложениями. По карточке, она ориентирована на китайский язык, выдаёт эмбеддинги размерностью 1024 и поддерживает последовательности длиной до 1024 токенов; инструкции для поисковых запросов не требуются. Модель содержит 424,3 млн параметров и опубликована в формате safetensors. Модель подходит для семантического поиска, сопоставления запросов с документами и поиска похожих предложений на китайском языке. В метаданных Hugging Face основной задачей указан sentence-similarity, а каталог также отмечает feature-extraction. Сведений о лицензии и конкретных ограничениях применения в предоставленных материалах нет.

CodeGemma 1.1 7B IT — это инструкционно дообученная языковая модель для генерации и работы с программным кодом, разработанная Google. Данная версия опубликована в формате GGUF и квантизирована bartowski с использованием llama.cpp и метода imatrix. Размер исходной модели — 7 миллиардов параметров. Модель предназначена для сценариев, связанных с программированием, включая генерацию кода по описанию задачи; в README приведён пример создания функции на Python для вычисления числа Фибоначчи. Для работы требуется специальный формат prompt с маркерами ролей CodeGemma. Модель не поддерживает system prompt. Сведения о поддерживаемых языках программирования, естественных языках и размере контекстного окна в предоставленных данных отсутствуют. Доступно множество вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 9,07 ГБ до компактных вариантов семейства IQ и Q2. В README наиболее рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации; варианты с более низкой разрядностью экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Gemma, условия которой указаны по ссылке Google.

Code Llama 70B — авторегрессионная языковая модель семейства Llama, разработанная Meta. Этот репозиторий содержит базовую версию модели в формате Transformers с 68,7 млрд параметров; она предназначена для генерации и понимания кода и поддерживает автодополнение кода. Модель принимает текст и генерирует текст, использует плотную архитектуру Transformer и имеет контекстное окно 16 384 токена. Модель подходит для дополнения фрагментов кода и адаптации к задачам синтеза и анализа программ. Это базовая версия: она не настроена для диалогов и следования инструкциям, а специализированная версия для Python и infilling в карточке не отмечены. Модель предназначена для английского языка и языков программирования; README предостерегает от использования на других естественных языках. Возможны неточные или нежелательные ответы, поэтому перед внедрением нужна проверка для конкретного сценария. Использование регулируется лицензией Meta Llama 2, указанной в метаданных; условия лицензии следует соблюдать.

CRAFT (Character-Region Awareness For Text detection) — модель обнаружения текста на изображениях, опубликованная в репозитории Hezarai и предназначенная для использования с библиотекой Hezar версии 0.40.0 или новее. Она выделяет области с текстом и рассчитана на многоязычные изображения; в карточке отдельно отмечена поддержка персидского языка, также заявлена работа с другими языками. Модель подходит для поиска текстовых областей на сканах, фотографиях и других изображениях перед последующим распознаванием текста. Метаданные относят её к задаче object-detection; файлы репозитория представлены в формате PyTorch. README не приводит сведения о размере модели, длине контекста или лицензии.

teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_data_coverage — модель Sentence Transformers на архитектуре MPNet, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает до 514 токенов контекста и распространяется в формате PyTorch. Модель рассчитана на поиск текстов по смыслу и группировку семантически близких фрагментов. Название указывает на дообучение на данных WebNLG2020 с целью охвата данных, но README не раскрывает подробности обучения или специализацию по отдельным областям. Лицензия в предоставленных данных не указана.

Карточка модели TechxGenus/CursorCore-DS-6.7B на Hugging Face совпадает с карточкой TechxGenus/CursorCore-DS-1.3B, поэтому описание составлено по ней. CursorCore-DS-1.3B — модель из серии CursorCore, разработанной Hao Jiang, Qi Liu, Rui Li, Shengyu Ye и Shijin Wang для помощи в программировании. Она дообучена на базе deepseek-ai/deepseek-coder-1.3b-base и предназначена для генерации кода и диалоговой поддержки в сценариях AI-помощника программиста, включая редактирование кода, встроенный чат и автодополнение. Модель использует плотную архитектуру семейства LLaMA с причинно-следственной языковой моделью на 1,3 млрд параметров. Она принимает текстовые запросы и контекст с кодом и генерирует текст, включая программный код; заявленная длина контекста — 16 384 токена. README показывает сценарии обычного чата и взаимодействия с кодом, но примеры для конкретной модели частично используют другие модели CursorCore. Лицензия указана как other, поэтому условия использования следует сверять с карточкой модели.

Карточка модели TechxGenus/CursorCore-Yi-1.5B-SR на Hugging Face совпадает с карточкой TechxGenus/CursorCore-DS-1.3B, поэтому описание составлено по ней. CursorCore-DS-1.3B — модель из серии CursorCore, разработанной Hao Jiang, Qi Liu, Rui Li, Shengyu Ye и Shijin Wang для помощи в программировании. Она дообучена на базе deepseek-ai/deepseek-coder-1.3b-base и предназначена для генерации кода и диалоговой поддержки в сценариях AI-помощника программиста, включая редактирование кода, встроенный чат и автодополнение. Модель использует плотную архитектуру семейства LLaMA с причинно-следственной языковой моделью на 1,3 млрд параметров. Она принимает текстовые запросы и контекст с кодом и генерирует текст, включая программный код; заявленная длина контекста — 16 384 токена. README показывает сценарии обычного чата и взаимодействия с кодом, но примеры для конкретной модели частично используют другие модели CursorCore. Лицензия указана как other, поэтому условия использования следует сверять с карточкой модели.

Карточка модели unsloth/DeepSeek-R1-Distill-Llama-70B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B — компактная языковая модель от Unsloth на архитектуре Qwen2, дообученная на примерах рассуждений, созданных DeepSeek-R1. Она предназначена для генерации текста и диалоговых сценариев, особенно для решения задач по математике, программированию и логическим рассуждениям. Модель содержит 1,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и генерирует текст; в метаданных также отмечен интерфейс для вызова инструментов. В README описано семейство DeepSeek-R1-Distill, обученное на открытых моделях, включая Qwen, однако точная базовая модель этого репозитория указана в метаданных как deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Репозиторий распространяется по лицензии MIT. README рекомендует следовать настройкам запуска семейства для ожидаемого качества.

F2LLM-v2-1.7B-Preview — многоязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-1.7B. Она обучена на корпусе из 27 миллионов примеров на более чем 100 естественных и программных языках и предназначена как основа для задач векторного представления текста и дальнейшего дообучения. Это preview-версия без инструкционного обучения; в карточке указана архитектура Qwen3 с плотными весами, размер 1,7 млрд параметров и контекст до 40 960 токенов. Для работы доступны форматы Transformers и Sentence Transformers; репозиторий содержит веса safetensors. Модель подходит для построения текстовых эмбеддингов в многоязычных системах поиска и других downstream-сценариях, где требуется векторное представление текста. Метаданные перечисляют поддержку 20 языков, включая русский, английский и китайский; README заявляет более 100 естественных и программных языков. Лицензия — Apache-2.0. Качество для конкретных задач следует проверять отдельно: это предварительная версия, обученная без инструкций, и карточка не приводит результатов оценки.

gemmaembmrldistilled128d — компактный многоязычный кодировщик предложений, полученный автором репозитория дистилляцией модели google/embeddinggemma-300m. Модель предназначена для преобразования текстов в эмбеддинги и сравнения семантической близости предложений. Она использует архитектуру gemma3_text и библиотеку Sentence Transformers; содержит 11,2 млн параметров, имеет размерность скрытого представления 128 и контекст до 2048 токенов. Модель сжималась обрезкой слоёв и словаря, уменьшением скрытого размера и двухэтапной дистилляцией знаний. Заявлена поддержка 18 языков, включая русский, английский, китайский, японский и корейский. В приведённой оценке MTEB средний результат составляет 23,8%; качество заметно различается между группами задач, поэтому пригодность для конкретного поиска или сопоставления следует оценивать на собственных данных. Лицензия — Gemma.

Hercules-3.0-Mistral-7B — языковая модель на архитектуре Mistral, дообученная Locutusque на базе Mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с весами используется Transformers, файлы представлены в формате safetensors. Модель предназначена для диалогов и следования сложным инструкциям в научных и технических областях, включая биологию, химию, физику, математику, медицину и информатику. Она также рассчитана на вызов функций и помощь с кодом, в том числе в сценариях, где функции используются для исполнения кода. Обучение проводилось на Hercules-v3.0 и наборе разнообразных диалоговых, инструкционных, медицинских, математических и кодовых данных. Модель может выдавать токсичные ответы, ошибаться и галлюцинировать, особенно в специализированных темах; вызов функций также может быть использован небезопасно. В README рекомендуется предпочесть Hercules-2.5 до выхода Hercules-3.1 из-за ухудшения качества, связанного с одним из наборов обучения. Лицензия — Apache-2.0.

InCoder 6B — авторегрессионная модель семейства XGLM, разработанная командой исследователей во главе с Дэниелом Фридом и Арменом Агажаняном. Это декодерный Transformer с 7,7 млрд параметров, обученный на исходном коде с причинно-маскированной целью. Она поддерживает обычную генерацию продолжения слева направо и заполнение пропусков внутри кода. Модель предназначена для генерации и редактирования программного кода, включая дописывание фрагментов и заполнение пропущенных участков. Обучающие данные включали открытые репозитории GitHub и GitLab с разрешительными лицензиями, а также Stack Overflow; основные языки — Python и JavaScript, всего в данных представлены 28 языков программирования. Контекст модели составляет 2049 токенов. Для запуска доступны веса float32 и float16; README указывает, что версия float16 подходит для инференса на GPU с 16 ГБ памяти при небольшом размере пакета и последовательностях не менее 256 токенов. Репозиторий предоставляет веса PyTorch. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.