IV.5Образование и развитие навыков

Dolphin 2.6 Mixtral 8x7b — языковая модель для диалогов и генерации текста, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообученная версия Mixtral-8x7b с архитектурой MixtralForCausalLM типа Mixture of Experts; в обучении использовались qLoRA и Axolotl, а карточка указывает 7,1 млрд параметров. Модель принимает текст и выдаёт текст, использует формат диалога ChatML и поддерживает контекст до 32 768 токенов по метаданным; автор сообщает, что дообучение проводилось на последовательностях длиной 16 тыс. токенов. Модель предназначена для диалогового помощника, написания и объяснения кода, а также ответов на общие вопросы. Автор характеризует её как особенно сильную в задачах программирования и отмечает, что она следует инструкциям; обучение охватывало наборы данных для диалогов, программирования и инструкций. Модель не проходила DPO-настройку и описана автором как uncensored и highly compliant, поэтому для публичного сервиса потребуется отдельная настройка безопасности. Лицензия — Apache 2.0.

GLM-4.5-Air-AWQ-FP16Mix — квантизированная версия модели GLM-4.5-Air, разработанной командой Z.ai и опубликованной QuantTrio. Модель предназначена для генерации текста, сложного рассуждения, кодирования, использования инструментов и агентских сценариев. Она поддерживает гибридные режимы: thinking mode для многошагового рассуждения и работы с инструментами и non-thinking mode для быстрых ответов. Модель построена на архитектуре MoE и содержит 106 млрд параметров, из которых 12 млрд активируются при обработке запроса. Данная версия использует смешанную квантизацию AWQ и FP16Mix, занимает около 69 ГБ и рассчитана на запуск через vLLM. В README приведена конфигурация с контекстом до 32 768 токенов и использованием экспертного параллелизма на нескольких GPU. Языки и мультимодальные возможности явно не указаны; по описанию это текстовая модель. Сильными сторонами являются сочетание рассуждения, генерации кода и агентских возможностей при меньшем числе активных параметров, чем у полной GLM-4.5, а также экономия памяти благодаря квантизации. Ограничения связаны с требованиями к инфраструктуре: для корректной загрузки необходимо включить expert parallelism, использовать vLLM версии 0.10.0 и применить временный патч для поддержки смешанной квантизации MoE. В README указана лицензия MIT для моделей GLM-4.5 и GLM-4.5-Air, допускающая коммерческое использование и вторичную разработку.

GLM-4.5-Air-GGUF — это квантизированная в формате GGUF версия гибридной reasoning-модели GLM-4.5-Air, подготовленная Unsloth на базе модели Z.ai (Zhipu AI). Модель предназначена для создания интеллектуальных агентов, сложного рассуждения, программирования, использования инструментов и генерации текста. Она поддерживает два режима работы: thinking mode для задач, требующих многошагового рассуждения и tool usage, и non-thinking mode для быстрых ответов. GLM-4.5-Air использует архитектуру с 106 миллиардами общих параметров и 12 миллиардами активных параметров. Модель относится к текстовым моделям и заявлена для работы на английском и китайском языках. GGUF-версия ориентирована на локальный запуск, в том числе через llama.cpp; для него в README рекомендуется использовать параметр --jinja. Вариант Unsloth включает исправления chat template и использует подход Unsloth Dynamic 2.0, направленный на сохранение высокой точности при квантизации. Сильными сторонами модели являются сочетание рассуждения, программирования и агентных возможностей, а также более компактная и эффективная конфигурация по сравнению с GLM-4.5 при сохранении конкурентных результатов на заявленных тестах. Ограничения включают отсутствие в README подробностей о конкретном типе квантизации, поддерживаемой длине контекста, полном наборе языков, требованиях к оборудованию и результатах для всех отдельных бенчмарков. Модель и исходные версии GLM-4.5-Air выпускаются под лицензией MIT, допускающей коммерческое использование и вторичную разработку.

Llama-3.3-Nemotron-Super-49B-v1.5-GGUF — квантованное представление большой языковой модели NVIDIA, производной от Meta Llama-3.3-70B-Instruct. Модель предназначена для рассуждений, многоходового чата, следования инструкциям, программирования, математических и научных задач, а также для создания RAG-систем, AI-агентов и приложений с вызовом инструментов. Версия GGUF подготовлена Unsloth и включает исправления шаблона чата; для llama.cpp рекомендуется использовать параметр --jinja. Модель представляет собой плотный decoder-only Transformer с архитектурными изменениями, полученными методом Neural Architecture Search: в отдельных блоках внимание пропускается или заменяется линейным слоем, а коэффициент расширения FFN может различаться между блоками. Такой подход уменьшает требования к памяти и повышает эффективность инференса при сохранении качества. Указаны размер 49B параметров, контекст до 128K токенов и поддержка английского языка, включая задачи с кодом. Модель обучалась на данных с отсечкой по 2023 году, поэтому её знания могут быть устаревшими. Сильными сторонами являются сочетание качества рассуждений и эффективности, поддержка агентных сценариев, RAG и tool calling, а также возможность применения в коммерческих проектах. Ограничения включают специализацию преимущественно на английском языке, отсутствие заявленной мультимодальности и зависимость характеристик от конкретного GGUF-кванта и оборудования. Использование регулируется NVIDIA Open Model License, а также дополнительными условиями Llama 3.3 Community License Agreement.

Llama-3_1-Nemotron-51B-Instruct — разработанная NVIDIA языковая модель для диалогов и генерации текста. Это производная Llama-3.1-70B-Instruct: NVIDIA применила поиск архитектуры NAS и дистилляцию, чтобы повысить эффективность инференса и сократить требования к памяти при небольшом снижении качества. По метаданным, модель содержит 87 млрд параметров и поддерживает контекст до 131 072 токенов; в описании дистилляции указана длина последовательности 8 192 токена. Модель предназначена для англоязычных одно- и многоходовых диалогов общего назначения, а также задач, связанных с кодом; README отмечает поддержку других языков, но не перечисляет их. Она принимает и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. Архитектура — авторегрессионный трансформер-декодер с неодинаковыми блоками: переменным числом KV-голов, пропуском или упрощением внимания и переменным коэффициентом расширения FFN. NVIDIA указывает, что модель оптимизирована для высокопроизводительного запуска на одной H100 80 ГБ; для BF16 README приводит требования в две H100 80 ГБ или две A100 80 ГБ. Модель подходит для коммерческого применения согласно README. Метаданные указывают лицензию other, поэтому перед использованием следует ознакомиться с условиями NVIDIA. Модель может выдавать неточные, нерелевантные или токсичные ответы, отражать смещения обучающих данных и быть уязвимой к атакам на выравнивание; разработчик рекомендует применять защитные механизмы.

Qwen2.5-VL-32B-Instruct — мультимодальная инструктивно настроенная модель семейства Qwen, опубликованная в репозитории Unsloth и основанная на Qwen/Qwen2.5-VL-32B-Instruct. Это плотная модель на 32 млрд параметров с архитектурой Qwen2_5_VLForConditionalGeneration, предназначенная для диалога по изображениям и видео и генерации текстовых ответов. Контекст модели по метаданным составляет до 128 000 токенов; в README описаны обработка изображений с динамическим разрешением и видео с выборкой кадров по времени. Модель распознаёт объекты и текст на изображениях, анализирует диаграммы и макеты, локализует объекты с помощью координат, отвечает на вопросы о содержимом изображений и видео и формирует структурированные данные, например из счетов и форм. Также README отмечает улучшенные математические рассуждения и поддержку сценариев визуального агента с использованием инструментов. В README указано, что для длинных текстов свыше 32 768 токенов применяется YaRN; это следует учитывать при настройке обработки контекста, поскольку конфигурация README задаёт именно эту длину до экстраполяции. Для видео описана поддержка локальных файлов, а совместимость URL зависит от версии сторонней библиотеки. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-7B-Instruct — мультимодальная инструкционная модель семейства Qwen, представленная в репозитории Unsloth на основе Qwen/Qwen2.5-VL-7B-Instruct. Это плотная архитектура Qwen2.5-VL с 7,1 млрд параметров, поддерживающая диалоговую работу с изображениями; длина контекста составляет 32 768 токенов. Модель принимает изображения и текстовые запросы, а отвечает текстом, в том числе может выдавать структурированные данные и координаты объектов. Модель предназначена для анализа изображений и документов, распознавания текста, таблиц, диаграмм и макетов, визуальных вопросов и ответов, а также понимания видео и локализации событий. Карточка описывает возможности визуального агента для взаимодействия с интерфейсами и инструментами. Динамическое разрешение позволяет настраивать баланс качества, скорости и расхода памяти. В README приведены результаты на бенчмарках изображений, видео и экранных интерфейсов. Для обработки изображений высокого разрешения требуется больше вычислений; поддержка видео зависит от используемой библиотеки, а видеофайлы подаются локально. Увеличение контекста с YaRN может ухудшить временную и пространственную локализацию. Лицензия — Apache-2.0.

Smoffyy/Qwen3.6-27B-Instruct-Revised-GGUF — производная от Qwen3.6-27B, разработанного командой Qwen, и конвертация в формат GGUF, выполненная Smoffyy с использованием llama.cpp. Модель предназначена для диалоговых задач, программирования, агентских сценариев, работы с репозиториями и frontend-разработки. Она также поддерживает обработку изображений при использовании файла mmproj-f16.gguf. В основе лежит каузальная языковая модель с vision-энкодером на 27 млрд параметров, 64 слоями и нативным контекстом до 262 144 токенов; заявлена возможность расширения контекста до 1 010 000 токенов. Доступны различные уровни квантования GGUF. Вариант Revised сохраняет возможности исходной модели, но содержит исправленный и улучшенный шаблон чата с поддержкой роли developer, управлением режимом reasoning и другими исправлениями. По умолчанию используется режим без рассуждений; включение и отключение reasoning задаётся через системный промпт. Для запуска рекомендуется выбирать q5_k_m и выше при наличии от 48 ГБ VRAM, q4_k_m как сбалансированный вариант при наличии от 24 ГБ, а q3_k_m для систем с 8–12 ГБ. Ограничения зависят от выбранного уровня квантования и доступной памяти; для мультимодальной работы требуется дополнительный mmproj-файл. Модель и производные распространяются по лицензии Apache 2.0.

sahilchachra/Unlimited-OCR-AWQ — это квантизированная 4-битная версия мультимодальной модели baidu/Unlimited-OCR, разработанная пользователем sahilchachra. Модель предназначена для multilingual OCR и разбора документов: преобразования изображений документов в Markdown или обычный текст, извлечения текста с координатами, анализа макета, обработки рисунков, графиков и диаграмм, визуального вопросно-ответного взаимодействия, а также разбора многостраничных документов и PDF. Архитектура включает vision tower DeepEncoder на базе SAM-ViT-B и CLIP-L/14 с входом 1024×1024 и 16-кратным уменьшением, линейный projector и текстовый декодер DeepSeek-V2 MoE. Декодер содержит 12 слоёв, скрытое состояние размером 1280, 64 маршрутизируемых и 2 общих эксперта, при этом на токен выбираются 6 экспертов; нулевой слой является dense. Текстовые линейные слои квантизированы методом AWQ по схеме W4A16 с int4, симметричными группами по 128 элементов, тогда как vision tower, projector, embeddings, lm_head, маршрутизатор, нормы и отдельные слои сохранены в BF16. Модель поддерживает мультиязычные сценарии и работает с изображениями. К сильным сторонам относятся существенное уменьшение размера весов при сохранении совместимости с архитектурой Transformers, поддержка распознавания текста вместе с координатами ограничивающих рамок и долгого разбора документов. В README указано, что на тестовом документе результат OCR совпал с BF16-версией. Для запуска требуется custom remote code с параметром trust_remote_code=True, transformers 4.57.x, compressed-tensors и CUDA GPU; также возможен запуск в совместимых средах, включая vLLM. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Devstral-Small-2-24B-Instruct-2512-GGUF — квантизированная в формат GGUF версия модели Devstral-Small-2-24B-Instruct-2512 от Mistral, подготовленная ByteShape с использованием ShapeLearn. Метод ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и задач, связанных с программированием, включая function calling, а также поддерживает мультимодальные сценарии с обработкой изображений. Доступны варианты с эффективной разрядностью от 2,34 до 4,04 бит на вес и размером от 6,9 до 11,9 ГБ. Качество оценивалось на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K-V, Math500, GSM8K и MMLU; в README также указана оценка vision-возможностей. Модели оптимизированы для GPU NVIDIA RTX 40-й и 50-й серий при использовании llama.cpp и могут запускаться через Ollama. Для работы с изображениями в llama.cpp необходимы файл модели и соответствующий мультимодальный projector-файл; размер контекста в приведённом примере составляет 8192 токена. Основные преимущества — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также поддержка низкобитной квантизации и мультимодального использования. Ограничения включают возможное снижение качества на наиболее компактных вариантах и необходимость совместимого окружения для запуска; конкретные языки, полная архитектура и точные характеристики контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.

Devstral-Small-2-24B-Instruct-2512-OptiQ-4bit — это локальная 4-битная MLX-квантизация модели Devstral-Small-2-24B-Instruct-2512 от Mistral, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель относится к семейству Mistral и предназначена для генерации текста, программирования, агентских сценариев и вызова инструментов. Модель имеет размер 24 млрд параметров и использует смешанную точность: 102 слоя работают в 4-битном формате, а 179 наиболее чувствительных слоёв — в 8-битном. Средняя эффективная разрядность составляет 5,01 бит на вес, размер группы — 64, объём на диске — около 15,4 ГБ. Квантизация оптимизирована для Apple Silicon и поддерживается библиотеками MLX и mlx-lm; для многошагового использования инструментов рекомендуется сервер mlx-optiq. Языки, точный размер контекстного окна и дополнительные модальности в README не указаны. Сильными сторонами являются качество работы с кодом, инструкциями, вызовами инструментов и длинноконтекстным многошаговым поиском. В сравнении с равномерной 4-битной квантизацией модель показала более высокий результат на 5 из 6 метрик, включая BFCL 89,5%, HumanEval 83,5% и HashHop 62,0%; итоговый Capability Score составил 78,60. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, увеличенным по сравнению с обычной 4-битной версией размером и возможными потерями качества из-за квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

openbmb/MiniCPM5-1B-MLX — компактная языковая модель из серии MiniCPM5, разработанная OpenBMB. Это causal language model на архитектуре LlamaForCausalLM, адаптированная в формате MLX с 4-битным представлением для локального запуска на устройствах Apple Silicon и в условиях ограниченных ресурсов. Модель предназначена для локальных ассистентов, coding agents, генерации кода, сценариев tool use, агентских рабочих процессов и задач, требующих рассуждений. Она поддерживает английский и китайский языки, контекст до 131 072 токенов и два режима работы в одном чекпойнте: быстрый режим без рассуждений и режим с пошаговым рассуждением через параметр enable_thinking. Заявлены сильные результаты среди открытых моделей класса около 1B параметров, особенно в использовании инструментов, генерации кода и сложных рассуждениях. Модель содержит 1 080 632 832 параметра, 24 слоя, 16 attention heads для Q и 2 KV-heads в конфигурации GQA. К преимуществам относятся небольшой размер, поддержка длинного контекста и пригодность для on-device и edge-сценариев. Ограничениями являются компактный масштаб модели по сравнению с крупными LLM и ориентация MLX-версии прежде всего на устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0.

Карточка модели Lostsoulfs/Qwen2.5-VL-7B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen2.5-VL-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-VL-7B-Instruct — мультимодальная инструкционная модель семейства Qwen, представленная в репозитории Unsloth на основе Qwen/Qwen2.5-VL-7B-Instruct. Это плотная архитектура Qwen2.5-VL с 7,1 млрд параметров, поддерживающая диалоговую работу с изображениями; длина контекста составляет 32 768 токенов. Модель принимает изображения и текстовые запросы, а отвечает текстом, в том числе может выдавать структурированные данные и координаты объектов. Модель предназначена для анализа изображений и документов, распознавания текста, таблиц, диаграмм и макетов, визуальных вопросов и ответов, а также понимания видео и локализации событий. Карточка описывает возможности визуального агента для взаимодействия с интерфейсами и инструментами. Динамическое разрешение позволяет настраивать баланс качества, скорости и расхода памяти. В README приведены результаты на бенчмарках изображений, видео и экранных интерфейсов. Для обработки изображений высокого разрешения требуется больше вычислений; поддержка видео зависит от используемой библиотеки, а видеофайлы подаются локально. Увеличение контекста с YaRN может ухудшить временную и пространственную локализацию. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash — дообученная модель, опубликованная Jackrong на базе Qwen3.8-27B. Она предназначена для практических агентских сценариев, в которых модель многократно взаимодействует с инструментами: анализирует данные, генерирует и редактирует код, вызывает функции, наблюдает результаты и выполняет итеративные задачи. Модель ориентирована на снижение задержки, вычислительных затрат и склонности к избыточно длинным рассуждениям при сохранении широких общих возможностей. Модель имеет размер 27B параметров и распространяется в формате GGUF для локального запуска, в том числе через llama.cpp. Заявлена поддержка текстово-визуальных задач и обработки изображений, а также генерации текста, рассуждений, программного кода, tool use и function calling. В метаданных указаны английский, китайский, испанский, русский и японский языки. Контекстное окно и точные архитектурные характеристики не указаны. Обучение включало качественную выборку данных supervised fine-tuning и усиление рассуждений с использованием NVIDIA NeMo-RL и GSPO. К сильным сторонам относятся более быстрая генерация, заявленные 80,7% принятия токенов MTP, снижение неэффективных рассуждений и пригодность для длительных агентских цепочек. При этом README указывает на компромисс в качестве: результат на смешанном наборе MMLU-Pro ниже, чем у базовой модели. Известно ограничение в виде возможных ошибок отступов в Python в отдельных задачах программирования. Модель распространяется по лицензии Apache-2.0.

Dolphin3.0-R1-Mistral-24B-GGUF — это квантизированная версия языковой модели Dolphin3.0-R1-Mistral-24B, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста на английском языке и запуска локально через llama.cpp, LM Studio и другие совместимые приложения. Модель основана на архитектуре Mistral и содержит 24 миллиарда параметров. Она обучалась на смесях данных для инструкционного следования, рассуждений, математики, программирования, function calling и агентных сценариев, включая наборы Dolphin, OpenCoder, Orca, Hermes, NuminaMath, Tulu и CodeFeedback. Доступны варианты квантизации от Q4 до Q8 и полноточный вариант f32; размер файлов варьируется примерно от 13,5 до 94,3 ГБ. Квантизация уменьшает требования к памяти, сохраняя приемлемое качество, однако более компактные варианты могут уступать исходной модели по точности. Сильными сторонами являются поддержка локального запуска, широкий выбор уровней квантизации и ориентация на рассуждения, математические задачи, код и выполнение инструкций. README не содержит данных о длине контекста, мультимодальности, подробных результатах оценки, системных требованиях или лицензии, поэтому эти характеристики нельзя достоверно определить.

GLM-4.7-REAP-218B-A32B-GGUF — GGUF-версия разреженной языковой модели GLM-4.7, подготовленная Unsloth. Модель с архитектурой Sparse Mixture-of-Experts (SMoE) создана методом REAP (Router-weighted Expert Activation Pruning), который удаляет избыточные эксперты, сохраняя независимое управление маршрутизатора оставшимися экспертами. Модель содержит 218 млрд параметров, из которых 32 млрд активируются для каждого токена, включает 92 слоя, 96 экспертов с активацией 8 экспертов на токен, использует GQA с 96 Q- и 8 KV-головами и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации текста и кода, агентских рабочих процессов, понимания репозиториев, многошаговых сценариев и function calling. Заявлена близкая к исходной GLM-4.7 производительность при сокращении размера примерно на 40% по сравнению с полной моделью на 355 млрд параметров. Это делает её привлекательной для локального развертывания, сред с ограниченными ресурсами и исследовательских задач. Поддерживаются текстовые сценарии; заявленный язык в карточке — английский. К сильным сторонам относятся сохранение возможностей генерации кода, агентного программирования и вызова функций, отсутствие необходимости в дополнительном дообучении после pruning, а также совместимость с llama.cpp при использовании параметра --jinja. Для запуска требуется значительный объём памяти из-за общего размера модели; конкретные характеристики квантования GGUF, результаты оценки именно этой версии и требования к оборудованию в карточке не указаны. Модель распространяется по лицензии MIT.

Omni-Reasoner3-Merged — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. В основе объединения лежит prithivMLmods/Llama-Deepsync-3B; также включены модели Codepy-Deepthink-3B, Llama-Doctor-3.2-3B-Instruct, Llama-Magpie-3.2-3B-Instruct и Llama-Sentient-3.2-3B-Instruct. Использован метод Model Stock, веса сохранены в формате bfloat16. Модель предназначена для генерации текста и диалоговых сценариев; среди объединённых моделей есть варианты для медицинских диалогов, программирования и инструктивных ответов. Архитектура — плотная LlamaForCausalLM, размер — 3,2 млрд параметров, нативное контекстное окно — 131 072 токена. Поддерживает текстовый ввод и выдаёт текст. Лицензия и конкретные ограничения в предоставленных данных не описаны. Результаты объединения могут различаться по качеству в зависимости от задачи; профиль одной из базовых моделей указывает на медицинские диалоги, но это не гарантирует точность медицинских ответов.

unsloth/OpenReasoning-Nemotron-32B-GGUF — GGUF-версия большой языковой модели OpenReasoning-Nemotron-32B, разработанной NVIDIA и подготовленной Unsloth. Модель является производной от Qwen2.5-32B-Instruct и дообучена для рассуждений при решении математических, программных и научных задач. Она предназначена для генерации текста, включая ответы, решения и исходный код, а также может использоваться в исследовательских и коммерческих сценариях. Модель имеет 32 млрд параметров и работает с текстовыми данными на английском языке. В README не указаны точная архитектура в терминах компонентов, размер контекстного окна и конкретный вариант GGUF-квантизации. Заявлена оценка сгенерированных последовательностей длиной до 64K выходных токенов. Для повышения качества можно применять режим GenSelect с несколькими параллельными генерациями и выбором лучшего решения; этот подход особенно ориентирован на математические и программные задачи. К сильным сторонам относятся специализация на сложном рассуждении, математике, коде и науке, а также высокие результаты на приведённых бенчмарках, включая GPQA, MMLU-PRO, LiveCodeBench, SciCode и AIME. Ограничения включают высокие требования к ресурсам, свойственные модели такого размера, неопределённость характеристик конкретной квантизованной сборки и отсутствие заявлений о мультимодальности: в доступных данных указана только текстовая генерация. Модель распространяется по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0); дополнительно упомянута лицензия Apache 2.0 базовой модели Qwen2.5-32B-Instruct.

DeepSeek-V4-Flash-0731-dwarfstar-q2-gguf — это 2-битная квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Сборка создана сообществом Rednalreden с использованием инструментов DwarfStar (ds4) и предназначена для запуска на машинах с 96 или 128 ГБ оперативной памяти, где 4-битная версия не помещается. Модель относится к задачам генерации текста и может применяться для написания кода, работы с длинным контекстом, агентских сценариев, вызовов инструментов, анализа исходного кода и подготовки связного текста. Модель использует архитектуру MoE с 43 слоями, 256 маршрутизируемыми экспертами, из которых для каждого запроса выбираются 6, а также одним общим экспертом. Файл GGUF занимает около 80,8 GiB, резидентная модель — около 80,76 GiB; при контексте 32 768 токенов требуется примерно 0,86 GiB дополнительной памяти. Маршрутизируемые эксперты квантизированы в 2 бита с использованием importance matrix, тогда как attention-проекции, общие эксперты и выходной слой используют Q8_0, а отдельные компоненты — F16. Заявлена поддержка контекста до 100 000 токенов при использовании ds4-server. Importance matrix улучшила среднюю оценку по отрицательной логарифмической правдоподобности на 1,42% относительно аналогичной Q2-сборки без importance matrix. Основное преимущество — существенная экономия памяти при сохранении большей части качества; ограничение — заметная потеря качества по сравнению с 4-битными или смешанными q2/q4-сборками. Модель требует runtime DwarfStar (ds4) и несовместима с llama.cpp. Лицензия — MIT, унаследованная от базовой модели.

Luong23/e5-finetune-embedding — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-base, созданная для преобразования предложений и абзацев в плотные текстовые эмбеддинги размерности 768. В архитектуре используются XLM-RoBERTa, mean pooling и нормализация; близость векторов можно оценивать косинусным сходством. По метаданным модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов, а карточка указывает максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. Обучающие примеры состоят из пар anchor-positive; в карточке приведён пример поиска по вьетнамским товарным запросам и описаниям, поэтому она подходит для семантического поиска по каталогу на вьетнамском языке. Вход и выход — текст и его векторное представление. Языковая поддержка унаследована от многоязычной базовой модели; конкретный полный перечень языков в предоставленных данных не приведён. Лицензия в метаданных и README не указана.

GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

GLM-5.3-Flash-TQ3_4S — текстовая GGUF-квантизация модели zai-org/GLM-5.3-Flash, подготовленная автором репозитория для запуска через llama.cpp с поддержкой TurboQuant. Используется архитектура Mixture of Experts: активны 8 из 288 маршрутизируемых экспертов на токен. Формат TQ3_4S имеет номинальную точность около 4 бит на вес; маршрутизируемые эксперты хранятся в 2-битном формате, внимание и общие эксперты — в 6-битном, а нормализации и смещения — в FP32. Веса занимают около 101,6 ГиБ и распределены по четырём GGUF-файлам. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов. Сохранённая MTP (NextN) голова позволяет использовать спекулятивное декодирование без отдельной черновой модели. README приводит результаты тестов на NVIDIA GB10/DGX Spark и рекомендует контекст 40 960 токенов в поставляемой конфигурации; заявлена проверенная работа до 512 тыс. токенов на этом оборудовании. Поддерживаются английский и китайский языки. Эта сборка не содержит vision tower, поэтому не принимает изображения, хотя базовая модель поддерживает обработку изображений. Для работы необходима публичная ветка TurboQuant runtime: основной llama.cpp не поддерживает тип тензора TQ3_4S. README отмечает необходимость пользовательского шаблона чата. Квантизация сокращает размер весов, но её влияние на качество может зависеть от задачи и оборудования; приведённые оценки получены на одной конфигурации и не гарантируют аналогичных результатов в других условиях. Лицензия — MIT.

HunyuanOCR-1.5-GGUF-Updated — GGUF-сборка мультимодальной модели HunyuanOCR-1.5, разработанной Tencent на базе tencent/HunyuanOCR. Это специализированная vision-language модель для распознавания и анализа документов: извлечения текста, разбора структуры и макета, обработки таблиц, графиков и формул, text spotting, информационного извлечения, а также перевода текста с изображений между китайским и английским языками. Поддерживаются английский и китайский языки. Модель использует архитектуру HunYuanVLForConditionalGeneration и рассчитана на работу с изображениями и текстом. Заявлены максимальное разрешение изображения до 4K и контекстное окно до 128K токенов. Версия 1.5 сохраняет архитектурную основу HunyuanOCR-1.0 и добавляет DFlash speculative decoding для ускорения генерации длинных структурированных результатов, включая плотные документы, таблицы и формулы. Доступны варианты точности BF16, F16, F32 и квантизации Q3–Q8, что позволяет запускать модель на CPU, потребительских GPU и ноутбуках через llama.cpp, а также использовать Transformers и vLLM. Сильные стороны модели — объединение нескольких OCR-сценариев в одном VLM, поддержка структурированного разбора документов, длинного контекста, 4K-изображений и локального запуска в GGUF-формате. Ограничения включают заявленную специализацию преимущественно на китайском и английском языках, необходимость совместимых инструментов и компонентов для отдельных режимов инференса, а также возможные компромиссы между качеством и ресурсами при использовании квантизированных вариантов. Распространяется по Tencent Hunyuan Community License Agreement; в метаданных также указана лицензия Apache-2.0.

soof выпустил дообученную на 41 454 примерах модель Sentence Transformers для сопоставления категорий по смыслу. Она основана на sentence-transformers/paraphrase-multilingual-mpnet-base-v2 и использует архитектуру XLM-RoBERTa с mean pooling. Модель преобразует предложения и абзацы в плотные векторы размерностью 768; близость текстов можно оценивать косинусным сходством. Максимальная длина входной последовательности в README — 128 токенов, а метаданные указывают контекстное окно 514 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Базовая модель многоязычная, поэтому область применения не ограничена одним языком. Для использования нужны Sentence Transformers или совместимый движок эмбеддингов. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

olmOCR-7B-0225-preview-bf16 — конверсия модели allenai/olmOCR-7B-0225-preview в формат MLX, подготовленная сообществом mlx-community с помощью mlx-vlm версии 0.1.14. Это мультимодальная модель на архитектуре Qwen2-VL с 7,1 млрд параметров, дообученная на базе Qwen/Qwen2-VL-7B-Instruct. Она предназначена для преобразования изображений документов в текст и ответа на запросы по их содержимому. Модель принимает текст и изображения, выдаёт текст; поддерживаемая длина контекста составляет 32 768 токенов. В карточке указан английский язык и лицензия Apache-2.0. Для подробностей о назначении и качестве авторы отсылают к карточке исходной модели.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это GGUF-версия языковой модели DeepSeek-R1-0528-Qwen3-8B, подготовленная Unsloth на базе модели DeepSeek AI. Модель ориентирована на задачи, требующие рассуждений, включая математику, программирование, общую логику и работу с функциями, а также на сценарии локального запуска через совместимые инструменты, например Ollama и llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF. В README указаны улучшения глубины рассуждений, качества вывода на математических и логических тестах, снижение частоты галлюцинаций, расширенная поддержка function calling и улучшенный опыт vibe coding. Рекомендуется использовать температуру 0,5–0,7, оптимально 0,6, и Top_P 0,95. Сведения о точной архитектуре, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Формат GGUF удобен для локального вывода и позволяет выбирать варианты квантования, однако конкретный уровень квантования зависит от используемого файла и в данной карточке не указан. Для корректной работы требуется соблюдать рекомендованный chat template и настройки инференса. Модель распространяется по лицензии MIT.

Dolphin 2.9.1 Yi 1.5 9B — языковая модель для диалогов и генерации текста, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе 01-ai/Yi-1.5-9B. Модель с плотной архитектурой семейства Llama содержит 8,6 млрд параметров и распространяется в формате Safetensors с точностью 16 бит. Модель предназначена для ответов на инструкции, общения, задач по программированию и начальных агентных сценариев; заявлена поддержка вызова функций. Использует шаблон ChatML и обучалась на последовательностях длиной до 12 тысяч токенов. В README авторы описывают её как «uncensored» и рекомендуют добавить собственный слой выравнивания перед предоставлением сервиса. Лицензия Apache 2.0 разрешает коммерческое использование.

Gemini 3.5 Flash — мультимодальная модель Google для работы с текстом и изображениями. В карточке она описана как высокопроизводительная модель уровня Flash, ориентированная на скорость и низкую стоимость при решении задач рассуждения и программирования. Модель подходит для анализа изображений и текста, помощи с кодом и сценариев с параллельным выполнением агентных задач. Подробности об архитектуре, размере, поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.

JiRack Ultra 14B — 14-миллиардная языковая модель CMSManhattan для генерации текста и диалогов, рассчитанная на запуск на CPU. В карточке она описана как модель на архитектуре DeepSeek R1-14B с поддержкой BitNet-подобных тернарных весов и токенизатором JiRack, в который добавлены специальные маркеры для маршрутизации, мультимедиа, зрения, звука, вызова инструментов и робототехники. Метаданные указывают архитектуру Qwen2 и контекст до 131 072 токенов; доступны веса safetensors и варианты GGUF с разными уровнями квантования. Модель предназначена для диалоговых приложений, локального CPU-инференса, использования в RAG-системах, кодирования и сценариев с вызовом инструментов. Карточка также описывает её как основу для агентных и робототехнических сценариев, однако наличие специальных токенов само по себе не подтверждает полноценную работу с изображениями, аудио или управлением роботами. Заявленное преимущество — возможность запускать 14B-модель с меньшими требованиями к памяти в квантованных вариантах; производительность и качество зависят от выбранного формата и оборудования. Основные веса опубликованы под лицензией MIT, допускающей коммерческое использование, изменение и распространение. При этом Docker-образ, пользовательский интерфейс и готовые сборки для Ollama могут распространяться на отдельных коммерческих условиях.