II.8Инженерия данных и аналитика

Dist-MPNet-Paracrawl-cs-en — компактная модель семантических эмбеддингов, созданная Seznam.cz. Это BERT-small, дистиллированная из sentence-transformers/all-mpnet-base-v2 и обученная на параллельном чешско-английском наборе ParaCrawl. Модель предназначена для сравнения предложений и применяется для поиска по смыслу, извлечения релевантных текстов, кластеризации и классификации. Модель содержит 27,2 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Указанная лицензия — CC BY 4.0. Количественные результаты оценки и ограничения в доступных материалах не приведены.

DocumentFigureClassifier — модель классификации изображений из проекта Docling, дообученная на базе Google EfficientNet-B0. Она относит изображение к одной из 16 категорий: типы диаграмм и графиков, штрихкод, QR-код, химические структуры, блок-схема, значок, логотип, карта, снимок дистанционного зондирования, скриншот, подпись, печать или прочее. Модель предназначена для распознавания визуальных элементов в документах и может использоваться как этап предварительной обработки при разборе документов, чтобы определить тип изображения и направить его на дальнейшую обработку. Это компактная свёрточная архитектура для классификации изображений; модель принимает изображение и выдаёт метку класса. В репозитории указаны веса safetensors. Лицензия — MIT.

E5 Multilingual FrenchBoost v1 — многоязычная модель эмбеддингов предложений, разработанная AurelPx на основе intfloat/multilingual-e5-base. Она предназначена прежде всего для семантического поиска и ранжирования франкоязычных текстов, сохраняя возможности исходного многоязычного пространства E5. Модель построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт эмбеддинги. Для запросов и документов рекомендуется использовать префиксы «query:» и «passage:». Модель подходит для поиска по коллекциям документов, оценки сходства предложений, переранжирования результатов, кластеризации и обнаружения дубликатов. Внутренняя оценка на 25 задачах MTEB(fra)-safe v2 показала средний результат 0,5636; авторы отдельно отмечают, что это оценка разработки, а не заявление о превосходстве над современными моделями. Модель выпущена под лицензией MIT. Это первая версия модели. Валидация пока ограничена внутренним бенчмарком; авторы планируют проверить устойчивость на более широком наборе задач, особенно для поиска, кластеризации и классификации пар.

E5-small-v2 — англоязычная модель для получения векторных представлений текста, основанная на архитектуре BERT и обученная методом контрастного предварительного обучения со слабой супервизией. В карточке указаны 12 слоёв и размерность эмбеддинга 384; репозиторий содержит веса PyTorch и рассчитан на использование с библиотекой Sentence Transformers. Модель подходит для преобразования запросов и текстовых фрагментов в эмбеддинги для поиска и сравнения сходства, в том числе в задачах ранжирования пассажей. Она работает только с английскими текстами; вход длиннее 512 токенов обрезается. Лицензия — MIT.

jangedoo/embeddinggemma-300m-ne-pruned — обрезанная версия модели эмбеддингов Google embeddinggemma-300m. Она преобразует текст в векторы для сравнения предложений и семантического поиска; использовать её можно через библиотеку Sentence Transformers. Модель построена на архитектуре Gemma 3 Text, содержит около 123,1 млн параметров и поддерживает контекст до 2048 токенов. Разработчик сократил словарь токенов с 262 144 до 28 195, что уменьшило общее число параметров примерно на 58% относительно базовой модели. На STS-B для непальского языка результаты близки к базовой модели, но на NanoClimateFEVER для непальского точность поиска первого совпадения заметно ниже. Модель предназначена для работы с текстом и выдаёт эмбеддинги; лицензия в предоставленных данных не указана.

embeddinggemma-300m-qat-q8_0-GGUF — модель для создания векторных представлений текста, опубликованная ggml-org на основе Google embeddinggemma-300m-qat-q8_0-unquantized. Она предназначена для задач семантического сравнения предложений, поиска по смыслу, извлечения признаков и других сценариев, где текст преобразуется в embeddings. Модель может запускаться через llama-server с API-эндпоинтом /embedding или с помощью утилиты llama-embedding. Из README известно, что модель поставляется в формате GGUF и использует QAT-квантизацию с вариантом q8_0; её базовый размер — 300M параметров. Точные сведения об архитектуре, поддерживаемых языках, модальностях, размерности векторов и длине контекста не указаны. При использовании pooling нормализацию embeddings можно настраивать: по умолчанию применяется евклидова L2-нормализация, также доступны варианты без нормализации, max absolute, taxicab и P-norm. Сильная сторона модели — специализированная ориентация на получение embeddings и совместимость с инструментами llama.cpp, что упрощает локальное развертывание. Ограничения и подробные показатели качества в README не приведены. Лицензия указана как gemma; дополнительные условия её применения следует уточнять в лицензии Gemma.

Ettin encoder 32M — англоязычная модель-энкодер семейства Ettin, разработанная исследовательской группой JHU CLSP. Это версия размером около 31,9 млн параметров на архитектуре ModernBERT, обученная предсказывать скрытые токены (MLM). Она предназначена для извлечения признаков и эмбеддингов, классификации и поиска по тексту; в README отмечены результаты на GLUE и англоязычном поиске MTEB, а также преимущества на задачах классификации и длинного контекста. Модель принимает текст, поддерживает контекст до 7 999 токенов и распространяется в формате PyTorch через Transformers. Лицензия — MIT.

Nessrine9/finetuned-snli-MiniLM-L12-v2-100k-en-fr — модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L12-v2 на 100 000 пар предложений с оценками сходства. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией; преобразует предложения и абзацы в плотные эмбеддинги размерности 384 для сравнения по косинусному сходству. Максимальная длина последовательности в README указана как 128 токенов, а метаданные каталога указывают контекст до 512 токенов. Модель предназначена для семантического поиска и оценки текстового сходства, а также может применяться для поиска перефразировок, кластеризации и классификации текста. Данные обучения и название репозитория указывают на английский и французский языки. В README приведены результаты оценки на SNLI-dev, но они сами по себе не подтверждают высокое качество для всех задач или языков. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Fireball-12B — языковая модель EpistemeAI для генерации текста, дообученная на базе EpistemeAI/Fireball-Mistral-Nemo-Base-2407-sft-v2.2a. Это плотная трансформерная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров. Для ответов рекомендуется формат инструкций Alpaca; модель дополнительно дообучалась методом ORPO на предпочтениях и на наборах с примерами программирования и инструкций. Модель предназначена для ответов на инструкции и помощи с программированием. В карточке указано контекстное окно 128k токенов, а метаданные каталога сообщают native context в 1 024 000 токенов; эти значения расходятся, поэтому фактический доступный контекст следует проверять для используемой версии и программного стека. Доступны веса в формате Safetensors, лицензия Apache 2.0. Автор предупреждает, что встроенных механизмов модерации нет; для развертывания с пользовательским вводом рекомендуется отдельно настроить фильтрацию.

DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL-notrescaled_28000 — модель Sentence-Transformers на основе RoBERTa, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 151,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель подходит для построения поиска по смыслу и группировки текстов по семантической близости. В README указано обучение с MarginDistillationLoss. Доступны веса в формате safetensors; для использования README рекомендует Sentence-Transformers либо Transformers с соответствующим pooling. Лицензия в предоставленных данных не указана.

Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_110000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-notfalcon-notrescaled_90000 — модель на базе RoBERTa, разработанная DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, кластеризации и сравнения семантической близости. Обучение использовало MarginDistillationLoss из gpl.toolkit; модель распространяется в формате safetensors и рассчитана на работу с библиотекой Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 151,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Карточка не сообщает конкретные поддерживаемые языки, поэтому языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.

mlx-community/GLM-OCR-bf16 — конвертированная в формат MLX версия мультимодальной модели GLM-OCR, подготовленная mlx-community на основе zai-org/GLM-OCR. Она предназначена для распознавания текста на изображениях и может применяться для извлечения содержимого из сканов и фотографий документов. Базовая GLM-OCR ориентирована также на распознавание формул и таблиц, разбор документов и извлечение структурированных данных. Модель использует плотную архитектуру GLM-OCR и класс GlmOcrForConditionalGeneration. В карточке указаны языки китайский, английский, французский, испанский, русский, немецкий, японский и корейский. Репозиторий содержит веса safetensors; README описывает конвертацию для MLX с помощью mlx-vlm 0.3.11. Лицензия — MIT. Модель принимает изображения и выдаёт текст. Подробности о размере и длине контекста в предоставленных данных отсутствуют. Указанная задача Hugging Face — image-to-text; характеристики сверх неё и краткого описания базовой модели относятся к исходной GLM-OCR и не раскрыты в этой карточке.

GPT-4o версии от 6 августа 2024 года — мультимодальная модель OpenAI. Карточка указывает на улучшенную поддержку структурированных ответов: можно передать JSON Schema через параметр response_format, чтобы задавать формат вывода. Модель предназначена для генерации ответов в заданной структуре, включая JSON. В метаданных задача классифицирована как image-text-to-text, однако приведённый фрагмент карточки не описывает конкретные сценарии обработки изображений, архитектуру, размер, поддерживаемые языки или длину контекста. Условия лицензии в предоставленных данных не указаны.

h2oai/h2ogpt-32k-codellama-34b-instruct — версия модели h2ogpt от H2O.ai для генерации текста, созданная на архитектуре Llama и ориентированная на работу с кодом. В README указано, что конфигурацию изменили относительно h2oai/h2ogpt-16k-codellama-34b-instruct: значение контекста выставлено на 32K для работы с эмбеддингами и использования через vLLM; автор отмечает, что модель также работает как 16K-модель. Метаданные указывают 33,5 млрд параметров и контекст 32 768 токенов. Модель подходит для генерации и продолжения кода, а также для работы с длинными текстовыми запросами в сценариях разработки. Это плотная авторегрессионная LlamaForCausalLM с весами PyTorch/Safetensors. Лицензия — Llama 2; условия её использования определяются лицензией Llama 2.

Hercules-2.5-Mistral-7B — дообученная Locutusque языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная на основе mistralai/Mistral-7B-v0.1. Она генерирует текст и рассчитана на следование сложным инструкциям, диалог, вызов функций и ответы по научным и техническим темам, включая биологию, химию, физику, математику, медицину и информатику. В карточке указано контекстное окно 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель подходит для специализированных чат-ботов, учебных помощников и генерации кода с вызовом функций. По карточке, при оценке на Open LLM Leaderboard она набрала 63,59 балла в среднем. Лицензия — Apache-2.0. Модель может выдавать токсичный контент, фактические ошибки и галлюцинации, в том числе в специализированных областях. Вызов функций требует подходящей внешней инфраструктуры; результаты и безопасность ответов следует проверять.

carles-undergrad-thesis/indoBERT-Knowledge-distillation-en-id-SBERT — модель Sentence-Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерности 768. Её можно применять для семантического поиска, кластеризации и сравнения сходства текстов. Модель принимает текст и выдаёт эмбеддинги; в метаданных также указаны задачи извлечения признаков и сравнения сходства предложений. Максимальная длина контекста — 512 токенов, всего 194,6 млн параметров. Для использования через Transformers после получения контекстных представлений требуется подходящая операция pooling. Репозиторий содержит веса в формате safetensors. Название указывает на дистилляцию IndoBERT для английского и индонезийского языков и на применение SBERT, однако базовая модель и языковая область прямо не подтверждены приведёнными метаданными и README. Лицензия в предоставленных данных не указана.

Карточка модели dshive/Kimi-K2.7-Code на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.7-Code, поэтому описание составлено по ней. Kimi K2.7 Code — ориентированная на программирование агентная модель компании Moonshot AI, основанная на Kimi K2.6. Она предназначена для выполнения длительных задач разработки ПО и многоэтапных инженерных процессов: от создания и изменения кода до работы с проектами и инструментами. Архитектура — Mixture-of-Experts с общим числом параметров около 1 трлн и 32 млрд активируемых параметров; модель представлена в safetensors и использует нативную квантизацию INT4. Для тестирования заявлен контекст длиной 262 144 токена. Модель поддерживает диалог, вызов инструментов и визуальный ввод изображений и видео; основная специализация — агентное программирование и решение сложных задач разработки. Разработчик сообщает о повышении эффективности на длительных задачах и примерно на 30% меньшем расходе токенов на рассуждения по сравнению с Kimi K2.6. В карточке указана лицензия other; конкретные условия следует сверить с лицензией репозитория и условиями API.

Карточка модели bearzi/Kimi-K2.7-Code-JANGTQ1 на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.7-Code, поэтому описание составлено по ней. Kimi K2.7 Code — ориентированная на программирование агентная модель компании Moonshot AI, основанная на Kimi K2.6. Она предназначена для выполнения длительных задач разработки ПО и многоэтапных инженерных процессов: от создания и изменения кода до работы с проектами и инструментами. Архитектура — Mixture-of-Experts с общим числом параметров около 1 трлн и 32 млрд активируемых параметров; модель представлена в safetensors и использует нативную квантизацию INT4. Для тестирования заявлен контекст длиной 262 144 токена. Модель поддерживает диалог, вызов инструментов и визуальный ввод изображений и видео; основная специализация — агентное программирование и решение сложных задач разработки. Разработчик сообщает о повышении эффективности на длительных задачах и примерно на 30% меньшем расходе токенов на рассуждения по сравнению с Kimi K2.6. В карточке указана лицензия other; конкретные условия следует сверить с лицензией репозитория и условиями API.

yngkyng/klue-roberta-base-sts-nli-ko — модель на базе RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для сравнения семантической близости текстов. Векторы можно использовать для семантического поиска и кластеризации; метаданные также указывают возможность извлечения эмбеддингов и классификации текста. Модель содержит 435,4 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучалась с CosineSimilarityLoss; карточка не сообщает название базовой модели как отдельного репозитория или лицензию. Она подходит для создания эмбеддингов предложений, поиска похожих текстов и группировки по смыслу. По названию репозитория и тегу `ko` модель ориентирована на корейский язык. Полные результаты оценки и подробности обучающего набора в карточке не приведены.

LaBSE-geonames-15K-MBML-5e-v1 — дообученная модель на основе многоязычной BERT-модели LaBSE, опубликованная пользователем dima-does-code. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости; подходит для семантического поиска и кластеризации текстов. В обучении использовалась MegaBatchMarginLoss. Модель принимает текст, поддерживает русский и английский языки и обрабатывает до 512 токенов за контекст. Вес модели составляет 498,1 млн параметров; доступны форматы PyTorch и safetensors. Модель рассчитана на поиск текстов со сходным смыслом и группировку предложений или абзацев. Лицензия — Apache-2.0. Карточка не приводит подробных результатов оценки качества, поэтому пригодность для конкретного набора данных следует проверять отдельно.

Laguna XS 2.1 — текстовая модель семейства Laguna от Poolside, предназначенная прежде всего для агентного программирования и длительных задач разработки ПО. Это архитектура Mixture-of-Experts с 33 млрд параметров в общей сложности и примерно 3 млрд активируемых на токен; в репозитории Hugging Face указано 2,6 млрд параметров. Модель состоит из 40 слоёв, использует смесь скользящего и глобального внимания, поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов. Модель подходит для работы с кодом, выполнения терминальных задач и взаимодействия с инструментами в агентных сценариях. README сообщает об улучшении результатов относительно Laguna XS.2 на SWE-bench Multilingual и терминальных задачах, однако бенчмарки не гарантируют аналогичного качества на конкретных проектах. Модель принимает и выдаёт текст; карточка не указывает поддерживаемые естественные языки. Веса доступны под лицензией OpenMDW-1.1, которую разработчик описывает как разрешающую коммерческое и некоммерческое использование и модификацию. Для применения следует учитывать условия лицензии и политики допустимого использования Poolside. Для локального запуска заявлена поддержка Transformers, vLLM, SGLang, Llama.cpp, Ollama и других перечисленных в карточке средств.

gemasphi/laprador_pt — модель на основе BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для построения эмбеддингов, поиска семантически близких текстов и кластеризации. Модель содержит 79,5 млн параметров, принимает последовательности длиной до 512 токенов и доступна в формате PyTorch. Модель можно использовать через библиотеку Sentence-Transformers или Hugging Face Transformers с подходящей операцией pooling. Она подходит для семантического поиска и группировки текстов по смыслу. README не сообщает языковую специализацию или результаты оценки, поэтому её качество для конкретного языка и предметной области следует проверять отдельно.

Laser-Dolphin-Mixtral-4x7b-dpo — языковая модель семейства Mixtral, опубликованная macadeliccc. Это MoE-модель для генерации текста, созданная на основе cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser; карточка указывает на проект laserRMT и приводит оценки модели на тестах языковых моделей. Метаданные описывают архитектуру как MixtralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель подходит для диалогов и генерации текста, включая написание кода и ответы на запросы; в README приведён пример запроса на Python-код. Веса опубликованы в формате safetensors, а карточка сообщает об оценке в 4-битной квантизации AWQ. Репозиторий распространяется по лицензии Apache-2.0. Данные о поддерживаемых естественных языках не приведены.

LFM2.5-Encoder-230M — разработанный Liquid AI компактный многоязычный двунаправленный энкодер на архитектуре LFM2 с 221,2 млн параметров. Это masked language model с головой заполнения масок, предназначенная прежде всего для дообучения под прикладные задачи обработки текста. Гибридная архитектура чередует блоки коротких gated-свёрток и grouped-query attention; модель доступна в формате safetensors и работает через Transformers с удалённым кодом модели. Энкодер подходит как основа для классификации текста и токенов, извлечения сущностей, поиска и ранжирования, оценки семантического сходства, определения тональности и естественно-языкового вывода. Заявлена поддержка 15 языков, включая русский. README указывает контекст до 8 192 токенов и возможность эффективного запуска на устройстве и в браузере через WebGPU; значение длины контекста в метаданных каталога составляет 128 000 токенов, поэтому фактический рабочий предел следует сверять с используемой конфигурацией модели. Модель ориентирована на низкие требования к памяти и задержке; авторы сообщают о хорошей производительности на длинных последовательностях и приводят сравнения с другими энкодерами. Для перечисленных прикладных задач обычно требуется дообучение: исходная модель не является готовым специализированным классификатором или поисковым ранжировщиком. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

mesolitica/llama2-embedding-1b-8k — текстовая модель для получения эмбеддингов, разработанная Mesolitica на основе архитектуры Llama 2. Она предназначена для извлечения признаков из текста и обучена на малайскоязычных текстах с длиной контекста обучения до 8 тысяч токенов; при инференсе может обрабатывать контекст до 32 768 токенов. Модель содержит около 940,6 млн параметров и распространяется в формате safetensors. Модель подходит для построения векторных представлений текстов, например, для поиска по смыслу, ранжирования и кластеризации. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным установить нельзя.

EpistemeAI/Llama-3.2-3B-Agent007-Coder — дообученная модель для генерации текста и кода на основе Llama 3.2 3B Instruct. Разработчик карточки — EpistemeAI; базовая модель — unsloth/llama-3.2-3b-instruct-bnb-4bit. Это плотный авторегрессионный трансформер семейства Llama с 3,2 млрд параметров, поддержкой диалогового формата и интерфейса вызова инструментов. В метаданных указан контекст до 131 072 токенов. Модель дообучена на Agent dataset, CodeAlpaca-20k и magpie-ultra-v0.1 и предназначена для программирования, диалоговых помощников и агентных сценариев. Она принимает и генерирует текст, включая код; в карточке базового семейства перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Доступна под лицензией Apache 2.0. Показатели качества на задачах кодирования для этой конкретной версии в карточке не приведены.

Llama-3.2-6B-AlgoCode — текстовая плотная авторегрессионная модель семейства Llama, опубликованная prithivMLmods и предназначенная для генерации кода и решения алгоритмических задач. В карточке заявлены обучение следованию инструкциям, многоязычный диалог, суммаризация и ответы с опорой на извлечённые внешние сведения. Метаданные указывают 5,8 млрд параметров, контекст до 131 072 токенов, формат Safetensors и библиотеку Transformers; модель принимает и выдаёт текст. README также упоминает варианты размером 1B и 3B, что расходится с идентификатором и размером этой модели. Модель подходит для генерации и объяснения кода, алгоритмических рассуждений, диалоговых помощников для разработки и суммаризации предоставленных материалов. В карточке заявлена поддержка нескольких языков, а метаданные указывают английский; другие языки не перечислены. Указаны лицензия Llama 3.2 и возможность интеграции через Transformers. README предупреждает о возможных ошибках на неоднозначных запросах, предвзятости, устаревших знаниях и нежелательных ответах; для специализированных медицинских, юридических и финансовых задач может потребоваться дообучение. Для эффективного запуска, согласно карточке, рекомендуется GPU с памятью от 16 ГБ.

RLHFlow/LLaMA3-SFT-v2 — диалоговый чекпойнт с контролируемой тонкой настройкой (SFT) от команды RLHFlow, подготовленный для проекта Online-RLHF и описанный в работе «RLHF Workflow: From Reward Modeling to Online RLHF». Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; веса представлены в safetensors и предназначены для использования через Transformers. Модель дообучена от meta-llama/Meta-Llama-3-8B на RLHFlow-SFT-Dataset-ver2 в течение двух эпох. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, общих рассуждений и задач вроде математических задач и генерации кода. В README приведены результаты академических бенчмарков, включая GSM8K, MATH, HumanEval и MMLU; это результаты оценки, а не гарантия качества для конкретного применения. Карточка не описывает поддержку конкретных естественных языков и не приводит лицензию чекпойнта, поэтому такие сведения здесь не утверждаются. Как и другие языковые модели, она может выдавать фактически неверные ответы; показатели бенчмарков не заменяют проверку на целевых данных.

Llama-Engineer-Evol-7B — языковая модель на архитектуре Llama 2, созданная дальнейшим дообучением чат-модели Meta с настройкой для следования инструкциям. Разработчик дообучил её на более чем 80 тысячах примеров по программированию из наборов Evol-Instruct-Code-80k-v1, CodeAlpaca-20k и GPTeacher-CodeInstruct; QLoRA-адаптер затем объединили с базовой моделью. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и рассчитана на генерацию текста на английском языке. Модель предназначена для ответов на вопросы по программированию, объяснения кода и помощи в решении задач разработки. Для взаимодействия рекомендуется формат запросов Llama 2 с инструкцией для программного ассистента. README отмечает, что формальных оценок качества не проводилось, поэтому возможности модели не подтверждены систематическими бенчмарками. Лицензия — CC BY-SA 4.0.

llama-nv-embed-reasoning-3b — текстовая модель эмбеддингов NVIDIA на основе двунаправленной архитектуры Llama, дообученная на базе meta-llama/Llama-3.2-3B. Модель содержит 3,2 млрд параметров и формирует векторы размерностью до 3072 для предложений и документов. В метаданных указано контекстное окно 131072 токена; при обучении использовалась длина до 512 токенов для запросов и документов, а при оценке — до 8192 токенов. Модель предназначена для векторного поиска и поиска по смыслу, особенно по материалам с многошаговыми рассуждениями, объяснениями и техническими подробностями. Её можно применять в текстовых RAG-системах, для сопоставления коротких запросов с длинными документами, поиска по базам знаний и обращениям в поддержку, а также для кластеризации и удаления дубликатов. Эмбеддинги подходят для использования с векторными базами данных и retrieval-конвейерами. Модель разработана NVIDIA и оптимизирована для вычислений на GPU NVIDIA; в README указана совместимость с Linux и GPU A100 или H100. Для запуска описана интеграция с Transformers и vLLM. Лицензия в метаданных — CC BY 4.0, однако README ограничивает использование исследовательскими и некоммерческими целями.