II.8Инженерия данных и аналитика

Salience-27B-R5-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R5, разработанной vectionlabs и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель содержит около 28 млрд параметров и поддерживает обработку текста и изображений; для работы с изображениями требуется файл mmproj. Заявлена поддержка speculative decoding через MTP. Модель предназначена для задач рассуждения, эффективного пошагового анализа, программирования и software engineering, а также для агентских сценариев с использованием терминала и инструментов. В карточке указана поддержка английского языка и большой длины контекста, однако точный размер контекстного окна и подробности архитектуры не приведены. Основное преимущество — широкий выбор вариантов квантизации с разным балансом между качеством, размером и требованиями к памяти. Рекомендуемым универсальным вариантом назван Q4_K_M размером около 17,77 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. Более сильная квантизация экономит память, но может снижать качество ответов; точные результаты тестирования и измерения perplexity или KLD не указаны. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/WizardLM-2-7B-GGUF — это квантизированная версия языковой модели WizardLM-2 7B в формате GGUF. Исходная модель разработана командой WizardLM в Microsoft AI на основе Mistral-7B-v0.1, а конвертацию и публикацию квантизированных файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия с поддержкой многоходовых бесед. Модель содержит около 7 млрд параметров и заявлена как мультиязычная. Она ориентирована на сложные чаты, следование инструкциям, написание текстов, программирование, математические задачи, рассуждения, агентские сценарии и работу на нескольких языках. По данным README, WizardLM-2 7B обеспечивает высокую скорость и сопоставима по качеству с более крупными открытыми моделями; в оценках авторов она сравнивалась с моделями размером до 32B параметров. Конкретное максимальное окно контекста и перечень поддерживаемых языков не указаны. Главное преимущество этой версии — возможность локального запуска благодаря GGUF и нескольким вариантам квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают зависимость характеристик от выбранного уровня квантизации, отсутствие заявленной поддержки мультимодальных входов и недостаток подробных данных о тестах, контекстном окне и безопасности. Модель распространяется по лицензии Apache 2.0.

Ziya2-13B-Chat 是由 Fengshenbang-LM 团队开发的中文和英文对话模型，基于 LLaMA2 系列的 Ziya2-13B-Base 构建。它采用约 12.9B 参数的稠密 LLaMA 架构，以 PyTorch 格式提供，原生上下文长度为 4096 个 token。 模型先经过通用指令和知识增强指令的监督微调，再使用人类偏好数据进行全参数 RLHF 训练，面向问答、推理、写作、代码、常识、对话、自然语言理解和安全相关场景。 README указывает, что в supervised fine-tuning использовалось окно 8k токенов; указанная в метаданных нативная длина контекста модели — 4096 токенов. Модель рассчитана на текстовый ввод и генерацию текста на китайском и английском языках. Карточка сообщает о сравнительных человеческих оценках, но не даёт оснований считать ответы всегда точными или безопасными; длинные запросы сверх нативного контекста могут быть ограничены. Лицензия — Apache-2.0.

Zrald/Zrald-qwen3.8-27b-v2 — выпуск GGUF модели Qwen3.8-27B от Zrald, предназначенный для локального запуска через llama.cpp. Это плотная модель с 27,2 млрд параметров; в репозитории представлены три варианта с разным соотношением размера и точности: accuracy, balance и compressed. README сообщает о сравнительных испытаниях на AMD Instinct MI300X и CPU, однако эти результаты относятся к оценке автора и не гарантируют аналогичное качество на других задачах и системах. Модель рассчитана на генерацию текста в диалогах, программирование, анализ документов, ответы на вопросы и многошаговые рассуждения. README описывает локальное обслуживание через OpenAI-совместимый API и приводит рекомендации по памяти и видеопамяти. В метаданных базовая модель указана как Qwen/Qwen3.8-27B, а формат файлов — GGUF; лицензия — Apache-2.0. Карточка не сообщает длину контекста или языковой охват, поэтому эти характеристики здесь не уточняются.

BrainTransformers-3B-Chat — чат-модель на 3,1 млрд параметров от LumenScopeAI, построенная на архитектуре BrainGPTForCausalLM с использованием спайковых нейронных сетей (SNN). Она предназначена для генерации текста и диалогового взаимодействия; карточка также указывает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, а её контекст составляет до 32 768 токенов. В README приведены результаты на общих, математических, научных, программных и многоязычных бенчмарках, включая MMLU, GPQA, MATH и HumanEval. Текущая версия сохраняет часть вычислений с плавающей точкой; разработчики сообщают о планах оптимизации для более энергоэффективного SNN-оборудования. Лицензия — Apache-2.0.

Dolphin3.0-Mistral-24B-GGUF — это набор квантованных GGUF-версий языковой модели Dolphin3.0-Mistral-24B, разработанной cognitivecomputations и подготовленной quantized_by bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; поддерживается формат prompt с ролями system, user и assistant. В README указан английский язык, однако полного описания языковых возможностей нет. Модель имеет 24 млрд параметров и поставляется в вариантах от F32 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 12,4 до 94,3 ГБ, поэтому требования к памяти зависят от выбранного варианта. Доступны версии, ориентированные на высокое качество, экономию памяти, работу на CPU и Apple Silicon. Среди заявленных наборов данных для обучения или дообучения — OpenCoder, Orca, NuminaMath, Hermes Function Calling, Tulu, Dolphin Coder и другие коллекции инструкций, программного кода и математических задач. Сильные стороны модели — большой размер, широкий набор обучающих данных, поддержка задач генерации текста, программирования, математики и function calling, а также возможность локального запуска с разным компромиссом между качеством и потреблением памяти. Ограничения — отсутствие в README сведений о длине контекста, архитектурных деталях, мультимодальности, результатах тестирования, системных требованиях для конкретных конфигураций и лицензии. Условия лицензирования в предоставленных данных не указаны.

DeepSeek-R1 — большая языковая модель первого поколения моделей рассуждения, разработанная DeepSeek. Модель обучалась с использованием комбинации supervised fine-tuning и крупномасштабного reinforcement learning: перед этапами RL применялись данные cold start, а общий конвейер включал два этапа RL и два этапа SFT. Исследовательская версия DeepSeek-R1-Zero также представлена авторами и обучалась с помощью RL без предварительного SFT. Модель предназначена для сложных задач рассуждения, включая математику, программирование и другие интеллектуальные задачи, требующие многошагового анализа. По заявлению разработчиков, её результаты сопоставимы с OpenAI-o1 в задачах математики, кода и рассуждения. К сильным сторонам относятся способности к самопроверке, рефлексии и построению длинных цепочек рассуждений. При этом README не содержит точных сведений о размере модели, архитектуре, длине контекста, поддерживаемых языках и мультимодальных возможностях. У модели есть ограничения, связанные с особенностями reasoning-моделей: у предварительной версии DeepSeek-R1-Zero отмечались бесконечные повторения, низкая читаемость и смешение языков; для DeepSeek-R1 эти проблемы должны уменьшаться благодаря дополнительным данным и этапам обучения. Модель распространяется по лицензии MIT. README также сообщает о выпуске производных дистиллированных моделей, но они не являются самой моделью DeepSeek-R1.

DFM Mimir v1.5 — это инструкционно настроенная разговорная языковая модель на архитектуре HRM-Text XL с PrefixLM, разработанная Danish Foundation Models. Это продолжение датской и английской линейки Mimir: модель дообучена на последующих смесях данных до финального EMA-чекпойнта 10-й эпохи и не обучалась заново с нуля. В репозитории представлены BF16-веса для инференса; число параметров по README составляет около 1,787 млрд, а нативный контекст — 4096 токенов. Модель предназначена для диалогов и следования инструкциям на датском и английском языках, в том числе для математических и программных задач, а также сценариев с инструментами. Для запуска требуется среда Transformers или vLLM с поддержкой HRM-Text и PrefixLM attention; обычный causal-only декодер не является эквивалентной средой. Модель распространяется по лицензии Apache-2.0. Модель может галлюцинировать, ошибаться в коде и рассуждениях, нарушать требуемый формат и воспроизводить социальные предубеждения; её надёжность для критически важных решений не гарантируется. Выводы бенчмарков зависят от шаблона, токенизатора и настроек оценки, а сведения о безопасности и запоминании для предыдущей версии не подтверждают свойства v1.5.

Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI GGUF — это квантованная GGUF-версия модели на базе Gemma 4 E4B, разработанная RavenX AI. Веса объединяют результаты SFT-дообучения с паттернами рассуждений Opus 4.6, Claude Code и Gemini CLI; LoRA-адаптер слит непосредственно с моделью, поэтому отдельный адаптер и дополнительная конфигурация не требуются. Модель предназначена для диалоговых сценариев, программирования, агентных рабочих процессов и использования инструментов или функций. Она поддерживает форматы рассуждений с тегами <think>, структурированные ответы в стиле Claude и tool calling. В README также заявлена поддержка vision и мультимодальности, однако подробности о поддерживаемых типах входных данных не приведены. Указан английский язык. Модель совместима с Ollama, LM Studio и llama.cpp, а также может работать через OpenAI-совместимые локальные API. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и F16 размером примерно от 2,7 до 8,3 ГБ; Q4_K_M рекомендован как баланс качества и скорости. Сильными сторонами являются встроенное агентное поведение, рассуждения и поддержка вызова инструментов без отдельного адаптера. Ограничения включают отсутствие опубликованных количественных бенчмарков, неполное описание архитектуры и контекстного окна, а также возможные потери качества из-за квантования. Модель распространяется по лицензии Gemma.

LFM2.5-2.6B-etheroi — многоязычная текстовая модель на 2,6 млрд параметров, созданная на базе LiquidAI/LFM2.5-2.6B-Base и дообученная для агентных сценариев. Она использует гибридную архитектуру LFM2: 30 слоёв, включая блоки коротких свёрток и GQA, и поддерживает контекст до 131 072 токенов. Модель предназначена для локального и периферийного развёртывания; карточка указывает поддержку Transformers, vLLM и SGLang. Модель подходит для вызова инструментов, выполнения многошаговых инструкций, извлечения данных, RAG и работы с длинным контекстом. Она поддерживает английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. По карточке, она не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.

Lizzy 7B — открытая по весам разговорная модель-помощник семейства Lizzy, разработанная Flower Labs. Это плотный авторегрессионный трансформер-декодер класса 7B с 6,9 млрд параметров, поддержкой контекста до 65 536 токенов, локальным и скользящим вниманием и собственными токенами для чата и управления. Модель принимает текстовые запросы и рассчитана на диалог, следование инструкциям, рассуждения, работу с кодом и вызов инструментов; её настройка уделяет особое внимание британскому английскому и знаниям о Великобритании. Модель предназначена для британских ассистентских сценариев, а также для общих задач рассуждения и помощи с кодом. В карточке приведены результаты сравнений на внутренних бенчмарках Flower Labs по британской тематике, математике и рассуждениям. Для много GPU-развёртывания через vLLM с тензорным параллелизмом может потребоваться патч, приложенный к поставке. Модель распространяется по лицензии Apache-2.0. Она может выдавать ошибочные, устаревшие или чрезмерно уверенные ответы; британская настройка может смещать тон и предположения к нормам Великобритании. Для рискованных сценариев рекомендуется проверка человеком и собственные меры модерации.

PocketWeights Llama 3.1 8B Instruct abliterated GGUF — это квантизированная версия модели Meta-Llama-3.1-8B-Instruct-abliterated, разработанной huihui-ai на базе архитектуры Meta Llama 3.1. Модель распространяется в форматах GGUF с вариантами квантизации IQ3_M, Q4_K_M и Q6_K, что позволяет запускать её локально на потребительском оборудовании, включая видеокарты с 4–8 ГБ VRAM и компьютеры Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев, творческого письма, работы с кодом, анализа репозиториев, создания синтетических данных и исследовательских задач. Заявлена поддержка контекста до 128K токенов, благодаря чему она подходит для обработки длинных документов и многоходовых диалогов. Основной язык и полный набор поддерживаемых языков в README не указаны. К сильным сторонам относятся компактность, возможность автономного запуска, несколько уровней компромисса между качеством и требованиями к памяти, а также отсутствие стандартных отказов и ограничений, характерных для выровненных моделей. Это одновременно является существенным ограничением: модель лишена защитных механизмов, поэтому требует осторожного применения, особенно при работе с потенциально опасными запросами. Качество зависит от выбранного уровня квантизации. Модель распространяется по Meta Llama 3.1 Community License.

Llama-3.1-Minitron-4B-Depth-Base — базовая языковая модель NVIDIA для генерации текста. Она построена на архитектуре Llama 3.1 с авторегрессионным трансформером, механизмом Grouped-Query Attention и позиционными эмбеддингами RoPE; размер модели составляет 4 млрд параметров, а длина контекста — до 131 072 токенов. Модель принимает и выдаёт текст. Модель создана прореживанием слоёв Llama-3.1-8B, после чего её продолжили обучать с дистилляцией на 94 млрд токенов. Она предназначена для адаптации к задачам генерации естественного языка, включая продолжение текста, ответы на вопросы и генерацию кода. Обучающий корпус включал английские и многоязычные тексты, код, диалоги и документы из разных областей; основным языком карточки указан английский. Модель заявлена как готовая к коммерческому использованию. Метаданные указывают лицензию other, поэтому перед применением следует проверить условия NVIDIA. Возможные ограничения — токсичные ответы и усиление предвзятости из обучающих данных, а также неточные, неполные или избыточные ответы; данные предобучения имеют срез до июня 2023 года.

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

mergekit-community/mergekit-linear-mocebtg — объединённая плотная языковая модель, созданная сообществом с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb. Она предназначена для генерации текста в диалоговом формате; интерфейс также поддерживает вызов инструментов. Модель построена на архитектуре Qwen2 и содержит 32 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. В метаданных указаны формат safetensors и библиотека Transformers. Базовая DeepSeek-R1-Distill-Qwen-32B дообучена для рассуждений и решения задач по математике и программированию, однако отдельные возможности и качество итогового слияния не описаны. Сведения о лицензии в предоставленных данных отсутствуют.

MiMo-V2.6-Flash-RL UNCENSORED GGUF — квантованная сборка модели Xiaomi MiMo-V2.6-Flash-RL, подготовленная cafonez для Framework Desktop с AMD Ryzen AI Max 400 (Gorgon Halo). Это текстовая MoE-модель с 309,8 млрд параметров и 256 экспертами, из которых на токен выбираются 8. Сборка занимает около 154,6 GiB и сочетает исходные веса экспертов MXFP4 с квантованием Q5_K для компонентов внимания и плотных слоёв; заявленный контекст запуска — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, в том числе для задач программирования и использования агентами с инструментами. Это версия без отказов, созданная на уровне весов dealignai. Вариант GGUF содержит только текстовую часть исходной модели: визуальный и аудиокодеры исключены. Для загрузки требуется специальная сборка ROCmFPX; веса рассчитаны на машину с большим объёмом GPU-доступной памяти, а приведённые в карточке скорости измерены на конкретной конфигурации и не гарантируют такую же производительность на другом оборудовании. В карточке указана лицензия MIT.

unsloth/Qwen2.5-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen2.5, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-14B. Она предназначена для генерации и продолжения текста; базовая модель особенно подходит для дальнейшего постобучения, а карточка не рекомендует использовать базовые языковые модели непосредственно для диалогов. Архитектура использует RoPE, SwiGLU, RMSNorm и grouped-query attention; контекст составляет до 131 072 токенов. Модель поддерживает многоязычную генерацию, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Семейство Qwen2.5 заявлено как улучшенное в программировании, математике, следовании инструкциям, работе с длинными текстами и структурированными данными, однако эти характеристики в README описаны для семейства в целом и не подтверждены отдельной оценкой данного чекпойнта. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

Qwen3.6-35B-A3B-MTP-Holo3-Qwopus-BF16 — мультимодальная модель семейства Qwen, опубликованная Nightmedia. Это объединение нескольких моделей, включая Hcompany/Holo3-35B-A3B, Qwen3.6-35B-A3B и варианты Qwopus; в карточке также упоминается MTP. Модель предназначена для диалогов и следования инструкциям, рассуждений, программирования и анализа изображений. Архитектура — Qwen3.5 MoE; в названии указан вариант BF16, а среди файловых форматов метаданные указывают safetensors. Карточка описывает шаблон управления режимом рассуждений, но не приводит длину контекста или независимую оценку качества. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. README содержит отдельные результаты для квантизованного варианта qx86-hi, которые не следует считать характеристиками этого BF16-репозитория. Модель может ошибаться, а приведённые в карточке оценки и хвалебный отзыв не являются независимой проверкой качества.

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Aggressive-i1-IQ4_XS-Smaller-GGUF — это предназначенная для llama.cpp смешанно-квантованная версия модели philbert440/Qwen3.8-27B-Uncensored-Aggressive, опубликованная пользователем aldenw. Модель ориентирована на генерацию текста, включая диалоги, объяснение технических концепций и написание кода. Исходное семейство является мультимодальным, однако в этом репозитории доступен только текстовый вариант без совместимого vision mmproj. Модель содержит 27 млрд параметров, 64 трансформерных блока и поддерживает нативный контекст до 262 144 токенов. Основной GGUF-файл размером 13,34 ГБ использует гибридную схему квантования: FFN-проекции сжаты до IQ3_S, основной набор весов представлен в IQ4_XS, отдельные тензоры внимания — в Q5_K, а output.weight — в Q6_K. Для ускорения методом speculative decoding доступна отдельная MTP-модель Q4_0 размером 1,68 ГБ. К сильным сторонам относятся экономия памяти по сравнению с полноразмерной моделью, сохранение повышенной точности для отдельных важных тензоров и возможность самостоятельного использования основной модели без MTP-компонента. Ограничения связаны с требованиями к памяти: оба файла занимают около 15,02 ГБ без учёта runtime-буферов и KV-кэша, поэтому на видеокартах класса 16 ГБ может потребоваться частичный offload, уменьшение контекста или отказ от MTP. Прирост скорости speculative decoding не гарантирован и зависит от оборудования, контекста и acceptance rate. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Mythos-Class-Agentic — производная 27-миллиардная плотная модель семейства Qwen, созданная на основе OBLITERATUS/Qwen3.8-27B-OBLITERATED и объединённая с Qwen/Qwen3.8-27B. Разработчик позиционирует её как конфигурацию для диалогов и агентных сценариев с вызовом инструментов; в README заявлены исправленный шаблон чата, поддержка интерфейсов Hermes Agent, Aider и OpenCode, разбиение задач на иерархические этапы и протокол самопроверки рассуждений. В README заявлено контекстное окно 131 072 токена и генерация до 16 384 токенов за один ответ. Указаны гибридная архитектура Mamba SSM и линейного внимания, а также варианты весов BF16, FP8 и AWQ в формате Safetensors; метаданные подтверждают dense-архитектуру семейства Qwen3.5 и наличие интерфейса вызова инструментов. Карточка описывает специализацию на программировании, системных задачах и кибербезопасности, но не предоставляет независимой проверки заявленных оценок и характеристик. Поддерживаются английский, китайский и арабский языки по карточке модели. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-V2-bf16 — конверсия модели Jackrong/Qwopus3.8-27B-Flash-V2 в формат MLX BF16, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon. Это мультимодальная модель семейства Qwen3.5 с архитектурой условной генерации; она принимает текст, изображения и видеоматериалы и поддерживает чат, работу с инструментами и генерацию кода. В конверсии сохранены шаблон чата и настройки мультимодального процессора исходной модели. Модель подходит для диалогов и задач с кодом, а также для вопросов по изображениям и видео. Для мультимодального запуска README рекомендует библиотеку mlx-vlm. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной модели; подробности о назначении и ограничениях приведены в её исходной карточке.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

AI21-Jamba-Reasoning-3B — компактная модель рассуждений компании AI21 для генерации текста и диалогов. Она предназначена для решения задач, требующих пошагового анализа, и работы с длинными входными материалами; в карточке заявлено преимущество на совокупности нескольких интеллектуальных бенчмарков по сравнению с рядом моделей сходного размера. Модель содержит около 2,3 млрд параметров по метаданным каталога. Её гибридная архитектура Jamba сочетает слои Transformer и Mamba: 26 слоёв Mamba и 2 слоя внимания, 20 голов внимания с multi-query attention и словарь размером 64 тыс. токенов. Контекст достигает 262 144 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс для вызова инструментов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. AI21 рекомендует запуск через vLLM версии 0.11.0 или выше с настройкой кэша Mamba; README также описывает локальный запуск через отдельную GGUF-сборку. Репозиторий распространяется под лицензией Apache-2.0. Практические ограничения: опубликованные в README сравнительные результаты приведены не для всех конкурентов в доступном фрагменте, а обучение через VeRL на момент карточки ещё описано как будущее расширение.

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

Cohere и Cohere Labs разработали Command R 08-2024 — авторегрессионную языковую модель с открытыми весами на 32 млрд параметров. Она использует оптимизированную архитектуру Transformer с grouped-query attention и после предварительного обучения прошла supervised fine-tuning и обучение на предпочтениях. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и обучена на 23 языках. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она умеет формировать ответы на основе предоставленных фрагментов документов с указанием цитируемых источников, что подходит для grounded generation и этапа генерации ответа в RAG-системах. Также предусмотрен вызов внешних инструментов в один шаг: модель выбирает инструмент и формирует параметры вызова, а выполнение выполняет приложение. В карточке указаны обучение на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, арабском, китайском, русском, польском, турецком, вьетнамском, нидерландском, чешском, индонезийском, украинском, румынском, греческом, хинди, иврите и персидском; оценивание проводилось на десяти языках. Для корректной работы с цитированием и вызовом инструментов нужны рекомендованные шаблоны запросов. Лицензия CC-BY-NC-4.0 требует соблюдения Acceptable Use Policy Cohere Labs и ограничивает коммерческое использование.

CortexLM выпустила Cortex-Mini-1-Preview — предварительную версию модели Qwen/Qwen3.8-27B, дополнительно обученную методом post-training. Это плотная причинная языковая модель с нативной обработкой изображений и видео, содержащая 27 млрд параметров. Репозиторий использует Transformers и формат Safetensors. Модель предназначена для диалогов, программирования, агентных сценариев и задач «изображение—текст», а также для исследований и дальнейшей адаптации. Она принимает текст, изображения и видео и генерирует текст. Унаследованный от базовой модели контекст составляет 262 144 токена; с YaRN он может расширяться до 1 000 000 токенов. В карточке указаны английский и китайский языки. Лицензия — Apache 2.0. Это preview-чекпойнт: веса, рецепт обучения, API, дополнительные элементы токенизатора и шаблон чата могут меняться. До замены базовой Qwen3.8-27B следует сравнить поведение, поскольку post-training может повлиять на стиль, отказы и использование инструментов. Настройки длинного контекста и обработки видео унаследованы от Qwen и отдельно не перенастраивались; публичные метрики качества не представлены.

Это дообученная компанией Austin Patrick на базе BAAI/bge-small-en-v1.5 модель Sentence Transformer для представления предложений и абзацев в виде плотных векторов. Архитектура основана на BERT; модель содержит около 40 млн параметров, выдаёт эмбеддинги размерности 384 и обрабатывает последовательности длиной до 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. В примерах обучающих данных пары вопросов и фрагментов документации, что подходит для поиска ответов по документам и информационного поиска. Модель англоязычная и принимает текст, возвращая векторные представления; также может применяться для извлечения признаков. В README приведены результаты оценки информационного поиска, включая точность cosine_accuracy@1 0,6682 и @5 0,9119. Карточка не содержит сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

Это 4-битная MXFP4-квантизация инструкционной модели Google Gemma 4 12B-it, подготовленная FreedomAISVR в формате GGUF. В основе лежит плотный декодерный трансформер Gemma4ForCausalLM с 12,08 млрд параметров; README указывает размер файла 6,3 ГБ и целевую платформу — видеокарты NVIDIA Blackwell, включая RTX 50-й серии. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений и задач по коду. Базовая Gemma 4 поддерживает мультимодальное понимание, однако в этой карточке репозитория заявлена задача text-generation и возможность чата; другие входные модальности для данной сборки не подтверждены. README сообщает о контексте до 256 тыс. токенов и приводит результаты скорости на RTX 5060 Ti 16 ГБ. Квантизация уменьшает требования к памяти и ориентирована на запуск локально с llama.cpp на совместимом оборудовании; качество и скорость могут зависеть от реализации и аппаратуры. Модель распространяется по лицензии Apache-2.0. Sведения о поддерживаемых естественных языках в карточке ограничены английским языковым тегом.