II.10Разработка и эксплуатация AI/ML-систем

deepseek-ai/deepseek-coder-33b-base — базовая языковая модель для кода, разработанная DeepSeek и обученная с нуля. Она содержит 33,1 млрд параметров, использует плотную архитектуру Llama с Grouped-Query Attention и принимает контекст длиной до 16 384 токенов. Модель обучена на 2 трлн токенов: 87% корпуса составляют программный код, а 13% — естественный язык на английском и китайском. Предназначена для генерации и продолжения кода, заполнения пропусков и дополнения кода на уровне проекта. README сообщает о результатах на HumanEval, MultiPL-E, MBPP, DS-1000 и APPS, но эти результаты не гарантируют качество для конкретного языка программирования или сценария. Модель распространяется в форматах PyTorch и Safetensors. В метаданных лицензия указана как «other»; условия использования следует сверить с лицензией в репозитории DeepSeek-Coder.

DeepSeek-Coder-V2-Lite-Base — базовая модель для генерации кода от DeepSeek. Она создана продолжением предобучения промежуточного чекпойнта DeepSeek-V2 на дополнительных 6 триллионах токенов. Модель использует архитектуру Mixture-of-Experts семейства DeepSeek-V2: в репозитории каталога указано 2,5 млрд параметров, а карточка семейства указывает для Lite-версии 16 млрд общих и 2,4 млрд активных параметров. Контекст модели по метаданным — 163 840 токенов. Модель предназначена для генерации и продолжения кода, вставки фрагментов кода, а также задач программирования и математических рассуждений. Семейство поддерживает 338 языков программирования; естественные языки в карточке не перечислены. К сильным сторонам относятся большой контекст и специализация на коде при сравнительно небольшом числе активных параметров. Это базовая, а не instruct-версия, поэтому её поведение в диалоге и следование инструкциям могут быть ограничены. Для локального инференса в BF16 README приводит требование 8 GPU по 80 ГБ. Лицензия в метаданных обозначена как other; конкретные условия следует сверять с лицензией в репозитории.

RedHatAI/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic — квантизированная версия модели DeepSeek-R1-Distill-Llama-70B, разработанная Neural Magic на базе модели DeepSeek. Это текстовая авторегрессионная модель с архитектурой LlamaForCausalLM: принимает текст и генерирует текст. Модель предназначена для задач рассуждения, ответов на вопросы, математических и общих языковых задач, а также для развертывания через vLLM и OpenAI-совместимый сервер. Модель содержит около 70 миллиардов параметров и использует FP8-квантизацию весов и активаций. Квантизации подвергаются линейные операции внутри трансформерных блоков; веса квантизируются по симметричной поканальной схеме, а активации — по симметричной потокенной схеме. Переход с 16-битного представления на 8-битное примерно вдвое сокращает размер модели на диске и требования к памяти GPU. Для квантизации использован LLM Compressor. В README не указаны поддерживаемые языки и максимальная длина контекста. По приведенным оценкам, FP8-версия сохраняет близкую к исходной точность на тестах рассуждения и OpenLLM Leaderboard, включая AIME 2024, MATH-500, GPQA Diamond, GSM8K и MMLU. Основное преимущество модели — снижение требований к памяти и возможность эффективного инференса на GPU, однако фактическая производительность зависит от оборудования и конфигурации vLLM. Модель распространяется по лицензии MIT.

NVIDIA DeepSeek-V3.2-NVFP4 — текстовая авторегрессионная модель на архитектуре Transformer с классом DeepseekV32ForCausalLM, основанная на DeepSeek-V3.2 от DeepSeek AI. NVIDIA выпустила эту квантованную версию с помощью TensorRT Model Optimizer; она предназначена для генерации текста и развёртывания в чат-ботах, агентных системах, RAG и других приложениях на базе ИИ. Модель принимает текст и генерирует текст, поддерживает контекст до 163 840 токенов и насчитывает 37,6 млрд параметров по метаданным Hugging Face. Квантование NVFP4 снижает требования к диску и памяти GPU примерно в 1,66 раза; для запуска README указывает TensorRT-LLM версии 1.2.0rc8 или новее и восемь GPU B200. Оптимизация рассчитана на оборудование NVIDIA Blackwell и Linux. Модель заявлена для коммерческого и некоммерческого использования по лицензии MIT. Она может воспроизводить токсичные формулировки и социальные предубеждения из обучающих данных, а также давать неточные, неполные, нерелевантные или избыточные ответы; перед внедрением её следует проверять на данных конкретного сценария.

DeepSeek-V4-Flash-NVFP4-FP8 — это оптимизированная и квантизованная версия базовой модели DeepSeek-V4-Flash, разработанная Red Hat AI на основе модели deepseek-ai. Модель предназначена для развёртывания и инференса через Transformers и vLLM, в частности для задач общего инструктирования, математического рассуждения, reasoning и генерации кода. Она ориентирована на высокопроизводительное серверное использование с тензорным параллелизмом на нескольких GPU. Ключевая особенность модели — применение формата NVFP4, а также FP8 для KV-кэша. Для запуска рекомендуется использовать четыре GPU и FP8 KV cache; оценивание проводилось на 8 GPU B200. Точные архитектурные параметры, размер модели, поддерживаемые языки, модальности и длина контекста в README не указаны. На GSM8K модель показала точность 91,0%, а на MMLU-Pro — 55,4%. В сравнении с базовой моделью восстановление качества различается по задачам: оно составляет около 91–98% на большинстве указанных бенчмарков, при этом на AIME 2025 результат оказался выше базового. Основные преимущества модели — совместимость с vLLM, использование низкоразрядного представления для эффективного инференса и высокая пропускная способность. Ограничение заключается в заметной потере точности относительно базовой модели, связанной с тем, что исходная модель уже была выпущена в квантизованном формате, а также с различиями между форматами MXFP4 и NVFP4. В README упоминается, что более продвинутые методы, например GPTQ, могут улучшить восстановление точности. Модель распространяется по лицензии MIT.

NVIDIA DeepSeek-V4-Pro-0813-NVFP4 — квантизированная версия модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Это авторегрессионная текстовая языковая модель на архитектуре Transformer с Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 1,65 трлн параметров, из которых при генерации активируется 49 млрд. NVIDIA отдельно указывает, что модель не принадлежит ей и не была ею разработана как исходная модель. Модель предназначена для сложного рассуждения, агентных AI-приложений, использования инструментов и решения задач в математике, программной инженерии и корпоративных AI-ассистентах. Она принимает и генерирует текст, поддерживает многошаговые диалоги, системные инструкции, структурированный JSON-вывод, function calling и выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста заявлена на уровне 1 млн токенов; предусмотрен собственный конвейер кодирования encoding_dsv4 с уровнями усилий рассуждения low, high и max. В составе исходного чекпойнта также заявлен модуль спекулятивного декодирования DSpark. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое использование. Для запуска указаны SGLang и vLLM, Linux и GPU NVIDIA Blackwell B200; практическая производительность ориентирована на ускорение NVIDIA. Ограничения включают требовательность к совместимой аппаратной инфраструктуре, неизвестные сведения об обучающих данных и необходимость дополнительного тестирования на прикладных данных для проверки качества, безопасности и соответствия требованиям конкретного сценария.

facebook/dragon-plus-query-encoder — часть поисковой модели DRAGON+, разработанной командой Facebook. Это плотный двуэнкодерный ретривер на базе BERT-base: данный чекпойнт кодирует запросы, а отдельный контекстный энкодер — документы. Модель инициализирована из Shitao/RetroMAE и дополнительно обучена на данных, расширенных на основе корпуса MS MARCO, по подходу Diverse Augmentation Towards Generalizable Dense Retrieval. Энкодер преобразует текст запроса в векторные признаки для поиска релевантных документов. DRAGON+ рассчитана на асимметричный поиск, где для запросов и контекстов используются отдельные параметры; в README приведены результаты на MS MARCO Dev и BEIR. Архитектура — плотная BERT-модель примерно на 136,7 млн параметров, формат весов — PyTorch, длина контекста — 512 токенов. Карточка не сообщает лицензию, поэтому условия использования определить нельзя.

gabor-hosu/e5-mistral-7b-instruct-bnb-4bit — 4-битная версия модели эмбеддингов e5-mistral-7b-instruct, опубликованная пользователем gabor-hosu на базе модели intfloat. Она предназначена для преобразования текстов в векторные представления и использования в задачах семантического сходства, классификации и информационного поиска. Модель основана на архитектуре Mistral с 7 млрд параметров и рассчитана на работу через экосистемы Transformers и Sentence Transformers. В README указана поддержка оценивания в MTEB и приведены результаты на наборах данных для английского, немецкого, испанского, французского, японского и китайского языков. Максимальный размер контекста и полный перечень поддерживаемых языков не указаны. Ключевое преимущество модели — сниженное потребление памяти благодаря 4-битной квантизации BitsAndBytes, что может упростить локальный запуск по сравнению с полноразмерной версией. Ограничениями являются возможные потери качества из-за квантизации, а также отсутствие в README подробностей о процедуре квантизации, рекомендуемых параметрах использования, лицензии и результатах комплексного сравнения с другими моделями.

naver/efficient-splade-VI-BT-large-doc — компонент асимметричной модели Efficient SPLADE от Naver для поиска релевантных фрагментов текста. Это часть пары отдельных кодировщиков: данный вариант предназначен для кодирования документов, а для запросов требуется соответствующая модель query. Кодировщик на базе DistilBERT преобразует предложения и абзацы в разреженные векторы размерности 30 522; релевантность оценивается скалярным произведением. Максимальная длина последовательности — 512 токенов, а карточка указывает применение для семантического поиска и разреженного поиска по корпусу. Модель рассчитана на индексирование документов и извлечение passages, в том числе в сценариях поиска по MS MARCO. В метаданных указаны Sentence Transformers, английский язык и форматы PyTorch и safetensors. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на совместимых условиях.

Это конверсия модели OpenAI Whisper small в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для автоматического распознавания речи и используется через CTranslate2 или проекты на его основе, например faster-whisper. Репозиторий содержит веса FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на множестве языков, включая русский и английский. Лицензия — MIT.

Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

facebook/fasttext-tr-vectors — предварительно обученная модель векторных представлений слов fastText для турецкого языка. fastText разработана Facebook как открытая лёгкая библиотека для обучения векторов слов и классификаторов текста; эта модель предназначена для получения векторов, которые можно использовать в классификации текста, определении языка и сравнении семантической близости слов. Векторы обучены методом CBOW с позиционными весами на корпусах Common Crawl и Википедии. Размерность векторов — 300, используются символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. Модель принимает текст и выдаёт векторные представления слов. Символьные n-граммы помогают получать векторы для словоформ, в том числе редких. Модель можно применять на обычном оборудовании, в том числе в прототипах и производственных системах. Векторы отражают статистику обучающих корпусов и могут содержать смещения; они не предназначены сами по себе для генерации текста. Лицензия — CC-BY-SA-3.0.

Foresight-135M — компактная модель, созданная автором репозитория TitleOS на основе дообучения HuggingFaceTB/SmolLM2-135M-Instruct на наборе rogue-security/prompt-injections-benchmark. Она предназначена для предварительной проверки пользовательских запросов перед передачей их публичной LLM: модель классифицирует текст как безопасный («safe») или содержащий попытку prompt injection («unsafe»). Архитектура — плотная причинная языковая модель семейства Llama с 134,5 млн параметров и контекстом 8192 токена; принимает текст и выдаёт текстовую метку. В карточке заявлена поддержка английского языка. Модель обучена как causal LM, а не как классификатор последовательностей; для ограничения ответов двумя метками README рекомендует использовать force_words_ids. Обучение проводилось в течение пяти эпох и 680 итераций на Tesla P40 в FP32. Модель распространяется в формате safetensors по лицензии MPL-2.0.

knowledgator/gliclass-instruct-edge-v1.0 — компактная модель классификации последовательностей семейства GLiClass, разработанная Knowledgator. Она предназначена для классификации текста с произвольными метками в zero-shot и few-shot сценариях: метки и их описания задаются при запросе, без обязательного дообучения под каждую задачу. По README модель также применяют для определения тематики, тональности и намерений, проверки следования правилам, обнаружения галлюцинаций и оценки безопасности ответов LLM, NLI и ранжирования релевантности текста. Модель использует архитектуру GLiClass и распространяется в формате safetensors. В версии V3 библиотека GLiClass поддерживает иерархические метки, примеры в контексте, описания меток и промпты задач. В приведённых бенчмарках edge-вариант уступает более крупным вариантам GLiClass по F1 на тестах CR, SST-2 и SST-5, что отражает компромисс между размером и качеством. В карточке не приведены размер модели, контекстное окно и поддерживаемые языки. Лицензия — Apache-2.0.

GLiClass Large v1.0 Init — лёгкая модель классификации последовательностей с нулевым обучением, разработанная Knowledgator и вдохновлённая GLiNER. Она выполняет классификацию одним проходом и, согласно карточке, обеспечивает качество на уровне cross-encoder при меньших вычислительных затратах. Размер модели составляет 438 млн параметров; доступны форматы Safetensors и ONNX. Модель предназначена для классификации тем и тональности, а также для ранжирования текстов в RAG-пайплайнах. В карточке приведены результаты zero-shot тестирования на IMDB, AG_NEWS и Emotions без дообучения на этих наборах. Модель обучалась на синтетических данных MoritzLaurer/synthetic_zeroshot_mixtral_v0.1 и выпущена под лицензией Apache-2.0, допускающей коммерческое использование.

GLM-4.6-REAP-252B-A32B — сжатая версия диалоговой языковой модели GLM-4.6, созданная командой Cerebras методом REAP (Router-weighted Expert Activation Pruning). Это причинная разреженная MoE-модель: из 160 экспертов удалены 30%, осталось 112; на токен активируются 8 экспертов. README указывает 252 млрд параметров всего и 32 млрд активных на токен, тогда как метаданные Hugging Face указывают 23,4 млрд параметров. Контекст — до 202 752 токенов. Модель предназначена для генерации текста и кода, агентных рабочих процессов, понимания больших репозиториев и вызова функций. Карточка заявляет производительность, близкую к исходной GLM-4.6, и снижение требований к памяти примерно на 30%; после однократного прореживания дополнительное дообучение не требуется. Указаны поддержка запуска через vLLM и английский язык. README предупреждает, что для BF16-версии оценки не приведены; результаты доступны для FP8-варианта. Лицензия — MIT.

unsloth/GLM-4.7 — вариант GLM-4.7, опубликованный Unsloth с исправлениями шаблона чата. Это англо-китайская языковая модель для генерации текста и диалогов, рассчитанная в том числе на программирование, агентные сценарии с вызовом инструментов и сложные рассуждения. Модель имеет архитектуру GLM4 MoE и 23,4 млрд параметров; заявленная длина контекста — 202 752 токена. Поддерживаются английский и китайский языки. Модель подходит для многошаговой работы с кодом и терминалом, генерации интерфейсов и слайдов, диалогов и задач, где нужно вызывать инструменты. README описывает чередование рассуждений и действий, сохранение контекста рассуждений между ходами и управление режимом рассуждения на уровне хода. Репозиторий содержит веса safetensors и предназначен для использования с Transformers, vLLM и SGLang; для llama.cpp указано использовать шаблон Jinja. Лицензия — MIT. Заявленные сильные стороны — программирование, агентное использование инструментов и математические рассуждения. Качество ответов и результатов на конкретных задачах может различаться; для агентных сценариев README рекомендует включать сохранение рассуждений. Показатели в карточке приведены на бенчмарках и не гарантируют результат в прикладном сценарии.

RedHatAI/GLM-5.2-NVFP4-FP8 — квантизированная версия модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая авторегрессионная модель для генерации текста, построенная на архитектуре GlmMoeDsaForCausalLM. Она принимает текст и возвращает текст, поддерживает английский и китайский языки и предназначена прежде всего для высокопроизводительного инференса и развёртывания через vLLM, включая сценарии с рассуждениями и вызовом инструментов. Модель использует смешанную точность: веса и активации механизмов внимания представлены в FP8 с блочным масштабированием, а эксперты MoE — в FP4 (NVFP4). Такая оптимизация снижает среднее число битов на параметр примерно с 16 до 4–5, уменьшая размер на диске и потребность в GPU-памяти примерно на 70–75% по сравнению с исходной версией BF16. Контекстная длина в README не указана; для конфигураций с контекстом до 1M токенов предлагается обращаться к рецепту vLLM для GLM-5.2. Главное преимущество модели — существенное сокращение требований к памяти при сохранении большей части качества исходной модели: на GPQA Diamond она набрала 89,1 против 91,2 у незаквантизированной версии, что соответствует восстановлению 97,7% результата. Ограничения включают небольшое снижение точности, зависимость от совместимой версии vLLM и необходимость исправления из pull request #47780. Модель распространяется по лицензии MIT.

Gorilla-7B-HF-Delta-v0 — авторегрессионная языковая модель на архитектуре Transformer и семействе LLaMA, разработанная Gorilla LLM при UC Berkeley. Модель содержит 6,6 млрд параметров и дообучена на APIBench для вызова API Hugging Face по запросам на естественном языке; версия рассчитана на работу без примеров в промпте и предназначена для генерации корректных по смыслу и синтаксису вызовов API. Модель принимает текстовые инструкции и выдаёт текст с вызовами API. В проекте заявлена работа с более чем 1600 API и снижение галлюцинаций при выборе и оформлении вызова. В метаданных указан английский язык; контекст составляет 2048 токенов. Модель распространяется по лицензии Apache-2.0.

Tim2190/granite-278m-kk — компактная модель для создания эмбеддингов предложений на казахском языке, разработанная Тимом2190 на основе многоязычной Granite Embedding от IBM. Модель дообучена для семантического поиска и извлечения документов на казахском; она создаёт векторы размерностью 768 и использует архитектуру XLM-RoBERTa с примерно 305,2 млн параметров. Максимальная длина последовательности — 512 токенов, дополнительные префиксы в запросах не требуются. Модель подходит для поиска по коллекциям казахских текстов, сравнения запросов с документами и построения retrieval-компонента RAG. По оценке авторов, дообучение улучшает результаты базовой Granite на казахских поисковых наборах; качество сопоставимо со специализированной kazakh-e5, но не превосходит её в целом. Данные оценки описывают конкретные бенчмарки и не гарантируют качество на других коллекциях. Веса опубликованы в формате safetensors; лицензия — CC-BY-SA-4.0.

Это модель классификации на базе DeBERTa-v3-base, разработанная авторами карточки и дообученная на наборе HaluEval для обнаружения галлюцинаций в ответах больших языковых моделей. Она оценивает ответ относительно предоставленного контекста знаний и относит его к фактическому или галлюцинированному; вход включает контекст, вопрос и проверяемый ответ. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и поддерживает контекст длиной до 512 токенов. В карточке приведены точность 0,9127, precision 0,8819 и recall 0,9505, а также F1 по задачам QA, суммаризации и диалога. Модель рассчитана на англоязычную проверку ответов. Лицензия — MIT.

Карточка модели lrsbrgrn/HalluGuard-Qwen3-4B-GGUF на Hugging Face совпадает с карточкой lrsbrgrn/HalluGuard-Qwen3-4B, поэтому описание составлено по ней. HalluGuard — разработанная авторами модели небольшая рассуждающая языковая модель на 3,7 млрд параметров для проверки утверждений в системах генерации с дополненным поиском (RAG). Получив документ и утверждение, она определяет, подтверждается ли оно документом, и обосновывает ответ выдержками из источника. Предусмотрены три категории: GROUNDED, HALLUCINATED_INTRINSIC и HALLUCINATED_EXTRINSIC. Модель основана на unsloth/Qwen3-4B и дообучена с помощью LoRA и ORPO на синтетическом наборе предпочтений HalluGuard-Preferences-76k. Архитектура — плотная Qwen3ForCausalLM; вход и ответ представлены текстом. Метаданные указывают контекст до 40 960 токенов, тогда как README сообщает окно 32 768 токенов. Модель рассчитана на англоязычные задачи. Лицензия — Apache-2.0.

HikmaAI DistilBERT PII NER — модель HikmaAI на базе DistilBERT, дообученная для обнаружения персональных данных в тексте. Она выполняет токенную классификацию с BIO-разметкой и распознаёт 17 типов сущностей, включая имена, фамилии, даты рождения, финансовые и контактные данные. Модель обучена на датасете ai4privacy/pii-masking-400k для английского, итальянского, французского, немецкого, испанского и нидерландского языков; максимальная длина последовательности — 512 токенов. Модель подходит для локального выявления PII в системах защиты данных и шлюзах безопасности ИИ. Она выделяет фрагменты и типы сущностей, а прикладная система может использовать результаты для подсчёта, маскирования или фильтрации данных. Доступны веса safetensors и формат ONNX; README описывает динамическую INT8-квантизацию для ONNX Runtime. Лицензия — Apache-2.0. Ограничения: качество для языков, кроме шести языков обучения, не проверено; тексты длиннее 512 токенов нужно делить на фрагменты. Для хорошо структурированных значений, например адресов электронной почты, телефонов и номеров карт, регулярные выражения могут быть эффективнее; INT8-квантизация может немного снизить точность на сложных примерах.

Jailbreak Classifier — модель классификации текста на основе BERT, разработанная автором репозитория jackhhao. Это дообученный чекпойнт bert-base-uncased с 136,7 млн параметров, предназначенный для определения, является ли запрос попыткой обхода защитных ограничений или безопасным запросом. Модель принимает текст и выдаёт метку класса; она может служить фильтром входящих запросов в системах модерации и защиты от prompt injection. Модель обучена на наборе jailbreak-classification; в метаданных также указан Open-Orca. Контекст ограничен 512 токенами. Репозиторий использует формат PyTorch и библиотеку Transformers. Лицензия — Apache-2.0. Классификатор предназначен для английского языка. Его предсказания следует считать сигналом для проверки, а не гарантией обнаружения всех атак: качество на других языках, типах атак и за пределами обучающих данных не подтверждено.

Myric/KAT-Coder-V2.5-Dev-MTP-APEX-GGUF — это квантованная GGUF-сборка модели Kwaipilot/KAT-Coder-V2.5-Dev, разработанной на базе Qwen3.6-35B-A3B. Автор данной сборки в README не указан. Модель предназначена прежде всего для генерации программного кода и агентных сценариев разработки, включая работу с инструментами. В README для исходной модели указана оценка 69,40 на SWE-bench Verified против 64,40 у базовой Qwen3.6-35B-A3B. Архитектура представляет собой MoE-модель с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, а также гибридной архитектурой GatedDeltaNet с периодическими слоями полноценного внимания. Сборка дополнена трансплантированной MTP-головой примерно на 850 млн параметров, взятой из Qwen3.6-35B-A3B, что позволяет использовать speculative decoding в llama.cpp. Рекомендуемая глубина чернового предсказания — n-max 3; в приведённом тесте ускорение достигало 2,03 раза на агентном наборе задач, а в зависимости от настроек и контекста — до 1,44 раза. Используются файлы размером около 19,24 GiB для рекомендуемой версии и около 11,91 GiB для более компактной динамической квантовки. Сильные стороны модели — специализация на программировании, поддержка агентных сценариев, MoE-архитектура и ускорение генерации посредством MTP без изменения проверяемой моделью корректности результата. Ограничения связаны с тем, что MTP-голова перенесена без дополнительного обучения на скрытых представлениях KAT-Coder, поэтому эффективность принятия черновых токенов снижается при чрезмерном увеличении глубины; при n-max 8 производительность может быть ниже, чем без speculative decoding. Точное число параметров, языки программирования и максимальный контекст в README не указаны; для тестов использовался контекст 32768 токенов. Распространение осуществляется по лицензии Apache-2.0. Для запуска требуется совместимое ПО, например llama.cpp, и достаточный объём памяти для выбранного GGUF-файла.

Laguna XS 2.1-INT4 — текстовая модель класса Mixture-of-Experts, разработанная poolside для агентного программирования и длительных рабочих сценариев на локальном компьютере. Она предназначена для генерации и анализа кода, взаимодействия с инструментами и выполнения многошаговых задач разработки, включая работу в терминале и репозиториях. Модель содержит 33 млрд параметров, из которых 3 млрд активируются на каждом токене, и включает 40 слоёв с 256 экспертами и одним общим экспертом. Архитектура сочетает глобальное внимание в 10 слоях и Sliding Window Attention с окном 512 токенов в 30 слоях; используется per-head gating и rotary scales. Контекстное окно составляет 262 144 токена. Модель работает в режиме text-to-text, поддерживает interleaved thinking между вызовами инструментов и сохранение рассуждений. Это вариант INT4 с KV-кэшем, квантованным в FP8. К сильным сторонам относятся сравнительно компактный объём активных параметров, сниженные требования к памяти благодаря архитектуре внимания и FP8 KV-кэшу, а также ориентация на локальный запуск; в README указана возможность запуска на Mac с 36 ГБ оперативной памяти. Ограничения включают специализацию прежде всего на агентном программировании, отсутствие заявленных мультимодальных возможностей и отсутствие сведений о конкретных поддерживаемых языках. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.

redis/langcache-embed-v1 — модель Sentence Transformers, разработанная для Redis и дообученная на Alibaba-NLP/gte-modernbert-base на датасете Quora. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768 и сравнивает их с помощью косинусного сходства; модель предназначена для семантического сопоставления текстов и семантического кэширования, например для поиска похожих запросов и повторного использования кэшированных ответов. Архитектура основана на ModernBERT с пулингом CLS-токена, максимальная длина последовательности — 8192 токена. В метаданных указаны форматы safetensors, ONNX и OpenVINO. В README приведены результаты бинарной классификации на Quora: точность по cosine accuracy 0,90 и F1 0,87. Эти показатели относятся к описанной оценке и не гарантируют такого же качества на других данных. Поддержка языков отдельно не заявлена; датасет Quora и базовая модель указывают на ориентацию прежде всего на английский язык. Условия лицензии в предоставленных данных не указаны.

LFM2.5-ColBERT-350M-fp16 — многоязычная двунаправленная модель для извлечения признаков и поиска документов, подготовленная на базе LiquidAI/LFM2.5-ColBERT-350M и упакованная в формат MLX fp16 для Apple Silicon. Модель формирует векторы размерности 128 для каждого токена, а релевантность запроса и документа оценивает методом позднего взаимодействия MaxSim. Для кодирования используются обязательные маркеры [Q] для запроса и [D] для документа. Модель предназначена для семантического поиска и ранжирования в системах извлечения информации. Архитектура LFM2 включает двунаправленный энкодер; размер модели по метаданным — 443,4 млн параметров, контекст — до 128 000 токенов. Заявлена поддержка английского, испанского, немецкого, французского, итальянского, португальского, арабского, шведского, норвежского, японского и корейского языков. README приводит результаты на подмножестве англоязычного NanoBEIR и указывает на специализированный загрузчик MLX для корректного получения эмбеддингов. Это вариант fp16 без квантизации, рассчитанный на запуск через MLX на компьютерах Apple Silicon. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в файлах репозитория. Результаты бенчмарка охватывают ограниченный англоязычный набор и не характеризуют качество на полном многоязычном наборе.

Sahil Chachra подготовил 8-битную квантованную версию mxfp8 модели LiquidAI/LFM2.5-ColBERT-350M для запуска на компьютерах Apple Silicon через MLX. Это двунаправленный энкодер семейства LFM2.5 с поздним взаимодействием ColBERT: он строит 128-мерные векторы для каждого токена, а релевантность оценивается методом MaxSim. Модель предназначена для многоязычного семантического поиска и ранжирования документов; при кодировании запросов и документов нужны маркеры `[Q] ` и `[D] ` соответственно. В README приведён тест на подмножестве английского NanoBEIR: среднее сохранение NDCG@10 относительно fp16 указано как 99,2%. Веса занимают 365 МБ; пропускная способность кодирования в приведённом тесте на устройстве M-series составляет 12 254 токена в секунду. Метаданные указывают 443,4 млн параметров и контекст до 128 000 токенов. Лицензия обозначена как `other`; условия её использования следует сверить с карточкой модели и базовой моделью.

Agnuxo/Mamba-Codestral-7B-v0.1-instruct-python_coding_assistant-GGUF_16bit — локальная модель генерации кода, опубликованная Франсиско Ангуло де ла Фуэнте под именем Agnuxo. Это плотная модель семейства Mistral с 7 млрд параметров в формате GGUF F16; карточка рекомендует запуск через Ollama и также описывает использование через Transformers. Модель предназначена для помощи в программировании: она генерирует код на Python, JavaScript, TypeScript, Rust, Go и C++, а также поддерживает сценарии научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. В карточке также заявлены возможности декомпозиции задач и взаимодействия с агентами через MCP и A2A. Метаданные указывают английский и испанский языки. Лицензия — Apache-2.0. Описание не приводит результатов независимых тестов качества или подробностей о контекстном окне, поэтому пригодность для конкретных задач стоит оценивать на собственных примерах.