II.10Разработка и эксплуатация AI/ML-систем

Это конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель принимает аудио и преобразует речь в текст; её можно использовать для транскрибации аудиозаписей и интеграции распознавания речи в приложения на faster-whisper. Веса сохранены в FP16; при загрузке можно выбрать другой compute_type. Репозиторий не описывает отдельное дообучение: это конверсия openai/whisper-medium. Модель распространяется по лицензии MIT. Карточка этой конверсии не приводит подробностей об ограничениях качества; поддерживаемые языки и возможности исходного Whisper medium здесь отдельно не описаны.

Systran публикует конверсию модели распознавания речи OpenAI Whisper medium.en в формат CTranslate2. Её можно использовать через CTranslate2 и совместимые проекты, включая faster-whisper, для преобразования английской речи в текст. Весовые параметры сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий предназначен для автоматического распознавания речи на английском языке. Модель использует лицензию MIT. Карточка описывает конверсию весов, а не новое обучение; подробности об исходной архитектуре и ограничения предлагается смотреть в карточке OpenAI Whisper medium.en.

Systran/faster-whisper-small.en — конверсия модели Whisper small.en от OpenAI в формат CTranslate2, подготовленная для использования в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания английской речи в аудиозаписях и преобразования её в текст. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий создан 23 ноября 2023 года; лицензия — MIT. Это конвертированная версия openai/whisper-small.en, а не самостоятельное дообучение.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.005-128K-code-COT — дообученная EpistemeAI языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она предназначена для генерации текста и кода, выполнения агентных задач и пошагового рассуждения. В карточке заявлены встроенные сценарии поиска, калькулятора и ReAct, а также применение в RAG-системах и интеграция с LangChain и LlamaIndex. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 131 072 токена. Карточка указывает на обучение на наборе данных с кодом и Glaive's CoT Tasks; язык карточки — английский. Модель может подойти для прототипирования кодирующих агентов, которые разбивают задачи на действия, используют поиск или калькулятор, а также для диалоговых приложений с длинным контекстом. Указана лицензия Apache-2.0. Модель обозначена как экспериментальная, а функция самообучения — как находящаяся в разработке; фактическое качество и безопасность выполнения кода требуют проверки в целевом приложении.

FireRedVAD-GGUF — набор моделей FireRedVAD, подготовленных Strg-Alt-Entf-0x00 в формате GGUF для кроссплатформенного инференса через C++. В набор входят потоковая и двунаправленная модели обнаружения голосовой активности, а также модель классификации аудиособытий; для каждой доступны варианты квантования INT8-CH, INT8 и INT16. Исходная модель указана как FireRedTeam/FireRedVAD. Потоковый вариант предназначен для обнаружения речи в реальном времени с обработкой кадров по 10 мс и без необходимости учитывать будущий контекст. Стандартный VAD использует двунаправленный контекст и подходит для пакетной обработки сегментов аудио. AED одновременно выявляет речь, музыку и пение более чем в 100 языках. В README заявлены производительность до 53,6 раза быстрее реального времени для потокового VAD и оценка F1 97,57% для стандартного VAD на FLEURS-VAD-102. Варианты GGUF рассчитаны на компактный инференс на CPU и устройствах с ограниченными ресурсами. Для INT8-CH заявлена близкая к FP32 точность; README также сообщает, что файлы были повторно загружены после исправления ошибки в фильтрах упреждения FSMN и теперь совпадают с реализацией PyTorch. Репозиторий не указывает лицензию, поэтому условия использования следует проверять у исходной модели и в файлах репозитория.

zhx123/ftrobertallm — модель классификации текста на базе архитектуры RoBERTa, опубликованная пользователем zhx123. Репозиторий описывает её как дообученную RoBERTa Large; модель предназначена для классификации последовательностей, в частности для выявления jailbreak-запросов и атак на языковые модели. Модель содержит около 454 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. Для загрузки предлагается Transformers с AutoModelForSequenceClassification. Поддерживаемый в карточке тип задачи — text-classification; доступна по лицензии MIT. Сведения о языках обучения и точности классификации в карточке не приведены.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

GLiClass Instruct Large v1.0 — модель Knowledgator для классификации последовательностей текста с нулевым и малым количеством примеров. Она сопоставляет входной текст с заданными пользователем метками и предназначена для тематической и тональной классификации, определения намерений, проверки логического следования, обнаружения галлюцинаций и классификации безопасности LLM. Модель также можно применять для оценки релевантности пар «запрос — фрагмент». Архитектура относится к семейству GLiClass; веса опубликованы в формате safetensors. Модель поддерживает работу с произвольными метками, а в версии GLiClass V3 описаны иерархические метки, примеры для few-shot, текстовые описания меток и подсказки задачи. В README приведены результаты zero-shot-бенчмарков для large-v1.0, в том числе F1 0,9154 на SST-2 и 0,3387 на SST-5. Модель принимает текст и выдаёт оценки или классы, связанные с заданными метками. В README не перечислены поддерживаемые естественные языки, поэтому языковые поля оставлены пустыми. Лицензия — Apache-2.0. Качество зависит от формулировок меток и задачи; для NLI README рекомендует подавать одну гипотезу за раз. Результаты приведены не для всех наборов данных.

0xSero/GLM-4.7-185B — сжатая версия GLM-4.7, созданная 0xSero методом REAP (Router-weighted Expert Activation Pruning), разработанным Cerebras. Модель построена на разреженной архитектуре Mixture-of-Experts: из исходных 160 экспертов оставлено 80. В карточке указаны 23,4 млрд параметров, тогда как README описывает вариант как 185B; README также приводит исходный размер 358B и сокращение до 179B после обрезки, поэтому оценки размера расходятся. Модель предназначена прежде всего для генерации кода, вызова функций и инструментов, а также многошаговых агентных сценариев. Она принимает текст и генерирует текст, поддерживает диалог и код; максимальная длина контекста по метаданным — 202 752 токена. README заявляет совместимость с vLLM, Transformers и SGLang, а метаданные указывают библиотеку Transformers и формат Safetensors. Калибровка при обрезке экспертов ориентирована на код, структурированный вывод для вызова инструментов и агентные траектории; автор заявляет, что дообучение не проводилось. Модель распространяется по лицензии Apache-2.0. Показатели качества и сохранения возможностей в предоставленных материалах не приведены, поэтому пригодность для конкретной нагрузки следует оценивать отдельно.

GLM-4-9B-0414-GGUF — это квантизированная в формате GGUF версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Квантизация выполнена bartowski на основе llama.cpp, релиз b5228. LM Studio распространяет модель в рамках Community Model Program, но не является её разработчиком. Модель предназначена для генерации текста и ориентирована на продвинутое программирование, создание артефактов, function calling и агентские сценарии. Заявлена сопоставимая с существенно более крупными моделями производительность. Поддерживается контекст до 32 тысяч токенов. В метаданных указаны китайский и английский языки. Архитектура исходной модели и точный размер файлов не описаны подробнее; конкретный вариант квантизации также не указан. Модель может быть полезна для локального запуска задач кодирования, автоматизации и построения LLM-агентов при наличии совместимого ПО для GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и требований к ресурсам от выбранного варианта квантизации. Лицензия модели — MIT.

bartowski/granite-embedding-30m-english-GGUF — квантованная версия модели granite-embedding-30m-english, разработанной IBM под брендом IBM Granite и опубликованной bartowski. Модель предназначена для создания текстовых эмбеддингов на английском языке и решения задач семантического поиска и retrieval, включая поиск по документам, построение RAG-систем и сопоставление запросов с релевантным содержимым. Модель ориентирована на английские тексты. В README указано, что она распространяется в формате GGUF и относится к семейству embedding-моделей; конкретная архитектура, размер эмбеддинга, объём параметров, максимальная длина контекста и поддерживаемые модальности не приведены. В тестах MTEB представлены результаты на наборах ArguaAna, ClimateFEVER и CQADupstack, что подтверждает применимость к задачам информационного поиска, однако показатели заметно различаются в зависимости от предметной области. Сильными сторонами являются компактное квантованное представление GGUF и специализация на англоязычном семантическом поиске. Ограничения включают отсутствие заявленной мультиязычности и недостаток сведений о точных технических характеристиках; качество для других языков и сценариев по README не подтверждено. Модель распространяется по лицензии Apache-2.0.

Grug-35b — дообученная модель семейства Qwen3.5 MoE от ProCreations, созданная на основе deepreinforce-ai/Ornith-1.0-35B. Это чат-модель для генерации текста, написания кода и работы в роли агента с вызовами инструментов. По README, разработчик восстановил исходный шаблон чата без стилевых инструкций и дообучил веса, чтобы лаконичный стиль Grug и рассуждения проявлялись при обычных запросах и агентских сценариях с инструментами. Модель хранится в формате SafeTensors и использует архитектуру Qwen3_5MoeForConditionalGeneration; README описывает BF16 LoRA-дообучение с замороженными MoE-экспертами. В README приведены результаты локальных тестов: 80,5% на HumanEval, 88% на MBPP и до 95% правильных действий в широком тесте выбора инструментов. Автор отмечает компромисс: после корректировки стиля результат HumanEval снизился, а MBPP и выбор инструментов улучшились. Лицензия — MIT. Длина контекста и список естественных языков в доступных данных не указаны.

Grug v2 9B — дообученная модель ProCreations на архитектуре Qwen3.5 с 9 млрд параметров. Это полный объединённый чекпойнт, предназначенный для диалогов, рассуждений, генерации кода и работы с инструментами через XML-вызовы. README описывает исправление стиля внутренних рассуждений и сохранение навыков программирования и выбора инструментов; приведены результаты тестов HumanEval, MBPP и наборов действий с инструментами. Модель дообучена на базе ProCreations/grug-9b с использованием датасетов Grug; в описании также указаны 4 096 токенов контекста для этапа коррекции стиля. Репозиторий содержит веса safetensors и требует Transformers с поддержкой Qwen3.5. Лицензия — MIT. Хотя архитектура поддерживает обработку изображений, карточка не подтверждает соответствующий сценарий применения этой версии; метаданные указывают генерацию текста.

IQuest-Q1 — языковая модель от IQuest для агентного программирования, рассуждений и многошагового использования инструментов. В репозитории Hugging Face указана версия на 3,7 млрд параметров с архитектурой MoE семейства IQuest-Q1; README описывает вариант примерно на 320 млрд параметров, из которых около 15 млрд активируются на каждом токене. Это расхождение означает, что параметры конкретного загруженного чекпойнта не вполне согласуются с описанием карточки. Модель предназначена для генерации текста в диалоговом режиме и может использоваться в агентных сценариях, включая работу с кодом и инструментами через совместимые интерфейсы. Заявлено контекстное окно до 524 288 токенов; поддерживаются английский и китайский языки. По README модель не обладает мультимодальными возможностями. Весовой формат репозитория — safetensors, библиотека — Transformers. Лицензия указана как other, поэтому условия использования следует проверить в самой карточке модели.

Ttimms/KAT-Coder-V2.5-Dev-REAP-50-GGUF — это квантизированная GGUF-версия модели KAT-Coder-V2.5-Dev, разработанной Kwaipilot и подготовленной Ttimms. Модель предназначена для генерации текста и программного кода, агентного программирования и работы через llama.cpp-совместимые приложения. Указан английский язык. В основе лежит гибридная архитектура Gated-DeltaNet и Mixture of Experts (MoE). В результате 50-процентного pruning методом REAP число экспертов сокращено с 256 до 128, общий размер составляет около 19 млрд параметров, а активными при инференсе являются примерно 3 млрд параметров. Vision tower удалён, MTP head отсутствует. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемый Q4_K_M занимает около 11,4 ГБ и рассчитан на запуск в системах с 16 ГБ памяти. Сильные стороны модели — высокая эффективность MoE при относительно умеренных требованиях к вычислениям, поддержка CPU и Apple Silicon, а также хорошие заявленные результаты на HumanEval+ и MBPP+. Для работы требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; поддержка Ollama зависит от обновления встроенной версии llama.cpp. Более качественные кванты требуют больше памяти, а Q8_0 нуждается более чем в 16 ГБ или в выгрузке части вычислений на CPU. Заявленные результаты основаны на одиночных greedy-запусках и имеют заметный разброс между повторными измерениями. Модель распространяется по лицензии Apache-2.0.

Kiwen1.1-27B-align — дообученная beyoru модель на базе Qwen3.8-27B, предназначенная для диалогов с изображениями, генерации кода и следования системным инструкциям. Это плотная мультимодальная архитектура Qwen; модель поддерживает работу с изображениями и интерфейс вызова инструментов. В README приведён запуск с контекстом 262144 токена и использование режимов рассуждения и без рассуждения. Автор сообщает об улучшении HumanEval+ на 6,7 процентного пункта относительно базовой модели и небольшом улучшении GSM8K и строгой точности IFEval на уровне инструкций. Модель также обучали для устойчивого распознавания собственной идентичности и сохранения заданной системным сообщением роли. Проверки идентичности проводились на внутреннем наборе промптов на вьетнамском и английском языках. Среди ограничений — снижение результата MMLU-Pro на 1,4 пункта относительно базы и MBPP на 1,9 пункта; README рекомендует оценивать модель перед использованием в задачах, требующих широких фактических знаний. Лицензия — Apache-2.0.

Корейский энкодер для нейронного разреженного поиска, разработанный на основе klue/roberta-large и дообученный методом SPLADE-max. Модель преобразует запросы и документы на корейском языке в разреженные лексические представления с расширением ключевых слов, которые можно использовать для поиска через neural_sparse-запросы OpenSearch. Модель основана на архитектуре RoBERTa с головой masked language modeling; в README указаны 337 млн параметров, 24 слоя и размер скрытого состояния 1024. Она обучалась и оценивалась на Ko-StrategyQA, MIRACL-ko и Mr.TyDi-ko. В этих тестах показаны более высокие значения Recall@1, чем у BM25 и указанной в карточке модели V33-base. Для использования нужны Transformers и PyTorch либо OpenSearch с поддержкой neural_sparse. Лицензия — Apache-2.0. Метаданные каталога указывают 435,4 млн параметров и контекст до 514 токенов; это расходится с размером модели в README.

SPARSEUP — разреженный текстовый ретривер Linkup Platform, построенный на ModernBERT и дообученный на базе lightonai/LateOn-unsupervised. Модель создаёт разреженные векторы признаков для запросов и документов; релевантность оценивается скалярным произведением. Веса распространяются в формате safetensors, размер модели — 149 млн параметров, контекст — до 8192 токенов. Модель предназначена для поиска документов и семантического retrieval. Она использует префиксы [Q] и [D], а также механизмы ограничения числа активируемых измерений и объединения вариантов словоформ, чтобы сделать представления компактнее. По данным карточки, SPARSEUP показала 56,4 nDCG@10 в среднем на BEIR-13 без MS MARCO; оценка использовала приближённый поиск Seismic. Модель выпущена под лицензией Apache 2.0. Карточка указывает английский язык; результаты и пригодность для других языков не заявлены.

Llama-3-Groq-70B-Tool-Use-GGUF — это GGUF-квантизированная версия дообученной языковой модели Llama 3 с 70 млрд параметров, разработанной Groq. Квантизацию подготовил bartowski на основе llama.cpp. Модель работает с текстом, поддерживает английский язык и предназначена для генерации текста, вызова функций и взаимодействия с инструментами. Основные сценарии применения — интеграция с API, обработка структурированных данных, автоматизация рабочих процессов и сложные последовательности вызовов инструментов. Модель обучена формировать вызовы функций в структурированном формате, включая имя функции и аргументы, а также обрабатывать ответы инструментов. В Berkeley Function Calling Leaderboard она показывает общую точность 90,76%. Сильной стороной модели является специализация на tool use и function calling, что делает её подходящей для агентных приложений и систем, подключённых к внешним сервисам. Ограничения включают работу только с текстом, заявленную поддержку английского языка и возможные ошибки, неточности или небезопасные результаты генерации. Для использования в LM Studio рекомендуется выбрать шаблон Llama 3. Модель распространяется по лицензии Llama 3; условия применения следует проверять в лицензии исходной модели.

Модель potsawee/longformer-large-4096-answerable-squad2 — дообученная Potsawee на Longformer Large для оценки того, можно ли ответить на вопрос по заданному контексту. На вход подаются вопрос и контекст, объединённые в одну последовательность; модель выдаёт вероятность от 0 до 1, где значения ближе к 1 означают, что ответ содержится в контексте, а ближе к 0 — что вопрос неразрешим по нему. Модель дообучена на SQuAD 2.0 с балансировкой обучающих примеров до соотношения 50/50 между ответимыми и неответимыми вопросами. Архитектура — LongformerForSequenceClassification на базе Longformer Large, около 454,1 млн параметров; максимальный контекст — 4098 токенов. Подходит для предварительной фильтрации вопросов в системах ответов по контексту и поиска по документам. Лицензия — Apache-2.0.

Millie-35B-A3B-11GB — мультимодальная MoE-модель для программирования и агентных сценариев, опубликованная llmsforall. Она основана на архитектуре Qwen3.5-35B-A3B и производна от Agents-A1. Всего в модели 35 млрд параметров, из которых на каждый токен активны около 3 млрд; заявленная длина контекста — 262 тыс. токенов. Модель принимает текст и изображения. Веса сжаты примерно до 2,2 бита на параметр, а файлы GGUF занимают около 10,9 ГБ вместе с визуальным проектором. Для запуска требуется форк llama.cpp от llmsforall с поддержкой этого формата и файл mmproj для обработки изображений; upstream-версия llama.cpp не подходит. Выпуск распространяется по лицензии Apache-2.0.

MiniCPM5-2B-GGUF — это GGUF-сборка плотной каузальной языковой модели MiniCPM5-2B, разработанной OpenBMB и опубликованной пользователем prithivMLmods. Модель предназначена для локальных ассистентов, генерации текста, программирования, coding-agent задач, использования инструментов и развёртывания на устройствах с ограниченными ресурсами. Она поддерживает запуск через llama.cpp и совместимые приложения, включая Ollama и LM Studio. Модель содержит около 2,52 млрд параметров и использует архитектуру LlamaForCausalLM с 42 слоями и Grouped-Query Attention: 16 Q-голов и 2 KV-головы. Заявлена длина контекста до 131 072 токенов, а указанным языком является английский. Доступны варианты GGUF с точностями от F32 и BF16/F16 до квантований Q3–Q8, размером примерно от 1,19 до 10,1 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Сильными сторонами заявлены рассуждения, математика, программирование, работа с длинным контекстом, вызов инструментов и агентные сценарии; модель обучалась с использованием специализированного дообучения и reinforcement learning. Ограничения включают компактный размер по сравнению с крупными LLM, заявленную языковую поддержку только английского и зависимость характеристик от выбранного уровня квантования. Модель распространяется по лицензии Apache-2.0.

robro612/modernbert_colbert_contrastive — англоязычная модель поиска на основе ModernBERT, дообученная автором с помощью PyLate на 10 млн триплетов msmarco-10m-triplets. Архитектура ColBERT включает ModernBERT и линейный слой, который преобразует представления размерности 768 в последовательности 128-мерных векторов; релевантность запроса и документа оценивается оператором MaxSim. Модель содержит 149 млн параметров и принимает текст. Метаданные указывают контекст до 8192 токенов, а карточка описывает обработку документов длиной до 512 токенов и запросов до 32 токенов. Модель предназначена для семантического поиска по коллекции документов и повторного ранжирования результатов первичного поиска. Её можно применять для поиска ответов в корпусах вопросов и документов, включая задачи в стиле MS MARCO и наборы Nano BEIR. Векторы создаются на уровне токенов, поэтому модель подходит для поиска с MaxSim и индексации через FastPLAID в PyLate. Карточка приводит результаты оценки на нескольких поисковых наборах, но они не гарантируют качество на конкретной коллекции. Лицензия в предоставленных данных не указана.

tomaarsen/multivector-ModernBERT-base-msmarco-cached-contrastive — англоязычный многовекторный энкодер, дообученный автором на базе answerdotai/ModernBERT-base на 99 000 примерах MS MARCO с помощью Sentence Transformers. Модель кодирует текст в последовательность 128-мерных векторов токенов и оценивает пары запросов и документов по позднему взаимодействию MaxSim; максимальная длина последовательности — 8192 токена. Архитектура основана на ModernBERT, число параметров — 149 млн. Модель предназначена для семантического поиска и информационного поиска, где важна детализация на уровне токенов. Её можно использовать для поиска документов по запросам и ранжирования найденных текстов; README приводит оценки на наборах NanoMSMARCO и NanoBEIR. Модель принимает текст и выдаёт векторы признаков, а не готовые ответы на вопросы. Лицензия — Apache-2.0. Модель обучена на англоязычных данных и рассчитана прежде всего на поиск на английском языке; качество на других языках не подтверждено. Векторное представление токенов и вычисление MaxSim требуют соответствующей логики индексирования и поиска.

feecha/ObjLlama-7b-hf — 7-миллиардная instruct-версия Code Llama, разработанной Meta и сохранённой в формате Hugging Face Transformers. Это авторегрессионная плотная модель на архитектуре Transformer для генерации и понимания кода: она поддерживает автодополнение, заполнение пропусков в коде и выполнение инструкций, в том числе в сценариях чат-ассистента. Модель принимает и выдаёт текст; размер по метаданным — 6,6 млрд параметров, контекст — до 16 384 токенов. README указывает английский язык и языки программирования. Модель подходит для генерации фрагментов кода, редактирования существующего кода и ответов на запросы кода на естественном языке. Она не является специализированной Python-версией. Возможны неточные или нежелательные ответы; перед внедрением рекомендуется тестирование и настройка под конкретное применение. Использование регулируется лицензией Meta Llama 2, а README указывает на коммерческое и исследовательское применение при соблюдении лицензионных условий и правил допустимого использования.

Olmo-3-1125-32B — плотная авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это базовая модель семейства OLMo 3, обученная на 5,50 трлн токенов набора Dolma 3; в карточке также описаны этапы промежуточного обучения и обучения длинному контексту. Модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста на английском языке и может служить основой для прикладных систем, дообучения и экспериментов с языковыми моделями. В обучающих данных представлены веб-страницы, код, математика, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса Safetensors для использования через Transformers версии 4.57.0 или выше. Модель выпущена по лицензии Apache 2.0. Как базовая языковая модель без фильтрации безопасности, она может генерировать вредный или предвзятый контент, а фактические ответы могут быть неточными и требуют проверки.

OpenCoder-8B-Instruct — диалоговая языковая модель для работы с кодом из семейства OpenCoder, разработанного командой OpenCoder-LLM. Это дообученная версия OpenCoder-8B-Base с архитектурой LlamaForCausalLM и плотной конфигурацией; в репозитории указано 7,4 млрд параметров и контекст до 8192 токенов. Модель принимает текстовые запросы и генерирует текст, включая код и ответы на инструкции. Модель предназначена для генерации и дополнения кода, решения задач программирования и ответов на вопросы по коду. Она поддерживает английский и китайский языки. В README приведены результаты на HumanEval(+), MBPP(+) и BigCodeBench, а обучение описано как продолжение предобучения на коде с последующим supervised fine-tuning на более чем 4,5 млн примеров. Лицензия в метаданных обозначена как other, поэтому условия использования следует сверять с лицензией и материалами проекта.

opencsg/opencsg-starcoder2-15b-v0.1 — модель генерации кода, созданная исследовательской командой OpenCSG полным дообучением StarCoder2-15B. Архитектура — плотная авторегрессионная StarCoder2; в метаданных указано 21,7 млрд параметров и контекст до 16 384 токенов. Базовая модель обучалась на более чем 80 языках программирования из The Stack. Модель предназначена для генерации и автодополнения кода по контексту, в том числе для заполнения пропусков внутри кода. В README приведён результат HumanEval для Python: pass@1 42,68% при жадном декодировании и оценке по исходным промптам без дополнительных инструкций. Этот показатель не гарантирует аналогичного качества на других задачах и языках программирования. Модель распространяется под лицензией BigCode OpenRAIL-M.

Модель opensearch-neural-sparse-encoding-doc-v2-distill разработана участниками OpenSearch для поиска по документам. Это разреженный энкодер на базе DistilBERT с 67 млн параметров, обученный для поиска и извлечения документов. Он преобразует документ в разреженный вектор размерности 30 522: индексы ненулевых элементов соответствуют токенам словаря, а значения отражают их важность. Для запроса в описанном сценарии используется токенизатор и таблица весов, а релевантность вычисляется как скалярное произведение векторов запроса и документа. Модель предназначена для семантического поиска и поиска фрагментов в корпусах документов, в том числе в OpenSearch с обратным индексом Lucene. В сравнении на подмножестве BEIR модель показала средний NDCG@10 0,528; результаты различаются по наборам данных. Поддерживается английский язык, контекст — до 512 токенов. Репозиторий предоставляет веса PyTorch и Safetensors, модель совместима с Sentence Transformers и API Hugging Face. Лицензия — Apache 2.0.

opensearch-project/opensearch-neural-sparse-encoding-doc-v3-distill — модель разреженного поиска OpenSearch Contributors. Она преобразует документы в разреженные векторы размерности 30 522, где индексы соответствуют токенам словаря, а веса отражают их важность. Для запросов используются токенизатор и таблица весов; релевантность оценивается скалярным произведением векторов. Модель предназначена для поиска документов, включая работу с инвертированным индексом OpenSearch. Модель основана на DistilBERT и распространяется в формате safetensors; её можно использовать через Sentence Transformers или в кластере OpenSearch. Контекст ограничен 512 токенами. Карточка описывает обучение на наборах данных для поиска и ранжирования, а также сравнение серии v3 с предыдущими версиями на подмножестве BEIR. Репозиторий содержит Apache-2.0 лицензию.