II.10Разработка и эксплуатация AI/ML-систем

Это GGUF-сборка модели llmfan46/gpt-oss-120b-ultra-heretic, подготовленная независимым автором llmfan46. В README указано, что исходная модель прошла abliteration: изменялись слои 15–32 с целью снизить частоту отказов при сохранении возможностей. Доступны варианты BF16, Q8_0 и Q5_K_M; метаданные классифицируют эту копию как дообученную модель в формате GGUF. Модель предназначена для диалоговой генерации текста, рассуждений и сценариев с использованием инструментов. README также заявляет поддержку вызова функций, веб-браузинга и структурированных ответов, а запуск описан через llama.cpp, LM Studio и Ollama. Указанные в карточке показатели — 3 отказа из 100 и KL-дивергенция 0,0703 — относятся к оценке автора и не гарантируют результаты на других запросах. Лицензия — Apache 2.0. Сборка ориентирована на пользователей, которым нужна модель с меньшим числом отказов; такие ответы могут быть менее ограничены. Размер параметров и длина контекста для этой GGUF-копии в предоставленных данных не указаны.

LFM2.5-1.2B-Thinking — текстовая модель общего назначения от Liquid AI, созданная для локального запуска на устройствах с ограниченными ресурсами. Это дообученная версия LFM2.5-1.2B-Base, основанная на гибридной архитектуре LFM2: 16 слоёв, включая блоки свёрток и GQA. В README указано 1,17 млрд параметров, а в метаданных Hugging Face — 1,5 млрд; заявленная длина контекста в README составляет 32 768 токенов, тогда как метаданные указывают 128 000 токенов. Эти значения расходятся, поэтому их следует сверить перед настройкой развёртывания. Модель предназначена для рассуждений общего назначения, агентных сценариев, извлечения данных и ответов по документам в RAG-системах. Она поддерживает вызов инструментов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Карточка описывает исходный чекпойнт в формате Safetensors и указывает поддержку Transformers и vLLM; семейство LFM2.5 также ориентировано на запуск на устройстве. README не рекомендует модель для задач, требующих обширных знаний, и программирования; дата отсечения знаний — середина 2024 года. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели на Hugging Face.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

GSAI-ML разработала LLaDA-MoE-v2-30B-A3B-Instruct как инструкционно дообученную модель семейства LLaDA MoE v2 — языковых моделей на основе диффузии с архитектурой mixture-of-experts. Модель использует ту же открытую реализацию архитектуры, что и LLaDA-MoE-v2-Base, но имеет отдельные веса, настроенные для следования инструкциям. Репозиторий содержит веса Safetensors и рассчитан на работу с библиотекой Transformers. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также указывают поддержку извлечения признаков и интерфейса вызова инструментов. Контекст составляет 32 768 токенов. Указанный общий размер — 4,8 млрд параметров. Веса распространяются по лицензии Apache-2.0. Карточка не сообщает о целевых языках или специализированных предметных областях, поэтому модель следует рассматривать как универсальную. Качество и ограничения в README не охарактеризованы; сведения о её возможностях опираются на указанные задачи и интерфейсы.

Llama-3.1-Storm-8B-IMat-GGUF — это GGUF-версия модели Llama-3.1-Storm-8B, разработанной akjindal53244 и квантизированной legraphista с использованием llama.cpp и IMatrix. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она относится к семейству Llama 3.1 и имеет размер 8B параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, причём часть вариантов использует IMatrix для улучшения качества квантизации. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель ориентирована на локальный запуск через совместимое с GGUF программное обеспечение, например llama.cpp; конкретный размер контекста в README не указан. Основные преимущества — широкий выбор уровней квантизации, уменьшенный объём файлов и возможность подобрать баланс между качеством и требованиями к памяти. Низкобитные варианты могут уступать полноформатным по качеству, а сведения о результатах тестирования, мультимодальности и ограничениях безопасности отсутствуют. Лицензия указана как llama3.1.

duyntnet/Llama-3.2-3B-Instruct-imatrix-GGUF — набор квантизированных версий инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий распространяет модель в формате GGUF с использованием imatrix и предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель представляет собой авторегрессионную текстовую модель на оптимизированной архитектуре Transformer с примерно 3 млрд параметров. Она работает по схеме «текст на входе — текст на выходе» и поддерживает английский язык; исходная модель описывается как мультиязычная, однако для этой конкретной публикации в карточке указан только английский. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback и ориентирована на диалоги, агентный поиск и извлечение информации, суммирование и другие задачи генерации текста. К сильным сторонам относятся компактный размер, возможность локального запуска и совместимость с распространёнными инструментами инференса. Ограничения включают текстовую модальность, отсутствие в README сведений о размере контекста, конкретных параметрах квантизации и результатах бенчмарков. Лицензия указана как other; дополнительные условия использования в карточке не приведены.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

Meno-Tiny-0.1 — компактная языковая модель на 1,5 млрд параметров, разработанная как дообученная версия Qwen/Qwen2.5-1.5B-Instruct на специальном русскоязычном наборе инструкций. Это декодерная Transformer-модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; для работы используется библиотека Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и ориентирована прежде всего на русский язык. Модель предназначена для диалогов и генерации текста, в частности для ответов на вопросы по документам в RAG-сценариях. Среди описанных задач — суммаризация, разрешение анафоры, оценка токсичности и детоксикация текста, а также исправление ошибок распознавания речи. Компактный размер рассчитан на сценарии с ограничениями по памяти и вычислениям или требованиями к низкой задержке. Модель выпущена под лицензией Apache-2.0. Карточка предупреждает о возможных неточностях, предвзятости и небезопасных или оскорбительных ответах; качество на языках, отличных от русского, может быть ниже. Для старых версий Transformers до 4.37.0 указана несовместимость с архитектурой qwen2.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Ministral 3 3B Instruct 2512 — компактная мультимодальная модель компании Mistral AI, постобученная для выполнения инструкций. Она сочетает языковую модель на 3,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров; веса представлены в формате FP8. Модель предназначена для локального и периферийного развёртывания, а для работы в FP8 достаточно 8 ГБ видеопамяти согласно карточке модели. Поддерживается контекст до 256 тысяч токенов. Модель принимает текст и изображения, отвечает на вопросы о визуальном содержимом, создаёт короткие тексты, классифицирует текст, извлекает данные и помогает с переводом. Также заявлены поддержка системных инструкций, вызова функций и вывода JSON. Указаны английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский языки. Модель можно применять для лёгких приложений реального времени на устройствах с ограниченными ресурсами. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию. Результаты могут зависеть от выбранных настроек и качества входных изображений; автор рекомендует для визуальных задач изображения с соотношением сторон, близким к 1:1. Заявления о характеристиках и бенчмарках приведены разработчиком; таблицы README преимущественно показывают результаты более крупной модели Ministral 3 14B, поэтому их нельзя напрямую считать оценкой версии 3B.

Ministral-8B-Instruct-2410-GGUF — квантизированная версия инструкционной языковой модели Ministral-8B-Instruct-2410, разработанной Mistral AI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии на поддерживаемых языках: английском, французском, немецком, испанском, итальянском, португальском, китайском, японском, русском и корейском. Из доступных данных известен размер базовой модели — 8B параметров; сведения о конкретном типе квантизации, архитектуре, размере контекста и численных характеристиках отсутствуют. Ключевые достоинства модели — инструкционная настройка, мультиязычность и возможность использования квантизированной сборки в совместимой с GGUF инфраструктуре. При этом README не содержит результатов тестирования, поэтому качество на отдельных языках и задачах оценить нельзя; также не указаны точные требования к памяти и производительности. Модель распространяется по Mistral AI Research License (MRL-0.1), которая ограничивает использование модели, производных моделей и результатов исследовательскими целями и устанавливает дополнительные требования к распространению, атрибуции и уведомлению о модификациях.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

Jackrong/MLX-Qwen3.5-9B-DeepSeek-V4-Flash-4bit — языковая генеративная модель, разработанная Jackrong и преобразованная в формат MLX из базовой модели Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и может применяться в сценариях, требующих рассуждений, дистилляции, работы с длинными цепочками рассуждений, агентных задач и эффективного инференса на совместимом оборудовании Apple MLX. Модель имеет размер 9B параметров, использует 4-битное квантование и поддерживает библиотеку MLX. Заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Доступная модальность — текст; модель относится к классу text generation. Максимальная длина контекста и точные архитектурные характеристики в README не указаны. Для запуска требуется mlx-lm, предусмотрена работа через chat template. Модель удобна для локального и эффективного вывода в экосистеме MLX, а 4-битное представление снижает требования к памяти. Ограничения включают отсутствие данных о результатах оценки, качестве на отдельных языках, производительности и максимальном контексте. Модель распространяется по лицензии Apache-2.0; в качестве датасета указано Jackrong/DeepSeek-V4-Distill-8000x.

FreedomAISVR/Muse-Glimmer-30B-NVFP4-GGUF — квантованная сборка Muse-Glimmer-30B от Meta в формате GGUF для локального запуска через llama.cpp. Это плотный причинный трансформер с интегрированным визуальным энкодером; базовая модель насчитывает 27,8 млрд параметров и принимает изображения, в том числе снимки экрана, диаграммы и документы. Контекст достигает 131 тыс. токенов. Сборка использует NVIDIA NVFP4: 4-битные значения E2M1 с масштабированием E4M3 на группы из 16 значений; размер файла — 15,6 ГБ. Модель предназначена для генерации текста и диалогов, а также анализа изображений при локальном инференсе. Для работы с изображениями README рекомендует llama-mtmd-cli или llama-server с mmproj. Проверенная конфигурация использует llama.cpp 1647+ с поддержкой CUDA и видеокарту NVIDIA с 16 ГБ видеопамяти; NVFP4 рассчитан на GPU NVIDIA Blackwell, например RTX 50-й серии. В README приведены результаты на RTX 5060 Ti 16 ГБ: 80,2 токена/с обработки входа и 8,7 токена/с генерации. README указывает лицензию Apache 2.0 для базовой модели. Среди ограничений — требования к совместимому GPU и CUDA-ядрам; отключение рассуждений через конфигурацию не гарантируется, поэтому автор рекомендует параметр --reasoning off при запуске.

QRWKV-72B — крупная разговорная языковая модель от Featherless AI, представленная в работе RADLADS о дистилляции быстрого внимания для декодеров с линейным вниманием. Это плотная архитектура RWKV6Qwen2 с 71,5 млрд параметров, полученная преобразованием Qwen 2.5 72B в вариант RWKV без предварительного обучения базовой модели заново. Модель генерирует текст, поддерживает чат и интерфейс вызова инструментов; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов, генерации ответов и задач рассуждения с длинным контекстом. В README приведены результаты бенчмарков ARC и HellaSwag, где QRWKV-72B в некоторых сравнениях превосходит Qwen2.5-72B-Instruct, но это не гарантирует такого же качества в других задачах. Модель унаследовала знания и обучение языкам от Qwen и рассчитана примерно на 30 языков. Файлы опубликованы в формате safetensors; для Transformers требуется включить удалённый код. Лицензия указана как other, конкретные условия в доступных сведениях не раскрыты.

Qwen2.5-3B-Instruct-MLX-4bit — текстовая языковая модель для генерации ответов и диалогового взаимодействия. Она основана на Qwen2.5-3B-Instruct, разработанной командой Qwen, и подготовлена в формате MLX с 4-битным квантованием bartowski для запуска на Mac с Apple Silicon. Модель предназначена для чат-сценариев, генерации и обработки текста, а также работы со структурированными данными. Она поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер около 3 млрд параметров, возможность локального запуска на совместимых компьютерах Apple и поддержка длинного контекста. README не содержит результатов бенчмарков и подробностей об ограничениях квантования; как и другие языковые модели, система может генерировать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Qwen Research; для точных условий использования следует обратиться к указанному в README тексту лицензии.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Thinking-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и локального запуска в сценариях, где важны совместимость с экосистемой Apple и сниженное потребление памяти по сравнению с полноразмерной версией. Архитектура, поддерживаемые языки, размер контекстного окна, модальности и специализированные задачи в README не указаны. Известно, что модель относится к семейству Qwen3 и имеет конфигурацию 30B-A3B, а 4-битное представление обеспечивает более эффективное развертывание, потенциально с компромиссом между требованиями к ресурсам и точностью. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что квантованная версия может наследовать ограничения исходной модели, включая вероятность неточных, вредных или неподходящих ответов.

OnlyTextLLMs/Qwen3.5-2B-OnlyText — текстовая причинно-следственная языковая модель на базе Qwen/Qwen3.5-2B. Разработчик репозитория удалил из исходной модели компоненты обработки изображений и аудио и мультимодальные специальные токены, сохранив текстовую основу, языковую голову и черновую MTP-голову; дополнительного обучения не проводилось. Модель имеет плотную архитектуру Qwen3_5ForCausalLM, около 1,7 млрд параметров по метаданным и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный интерфейс также поддерживает вызов инструментов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Удалённые аудио- и визуальные компоненты исключают обработку изображений и аудио; сведения о языках в предоставленных данных не приведены.

trymirai/Qwen3.6-27B-L — квантизированная версия языковой модели Qwen3.6-27B, подготовленная Mirai Labs для эффективного локального вывода на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования большой языковой модели, включая задачи, поддерживаемые исходной Qwen3.6-27B. Точные сведения о назначении, языках и контекстном окне в этой карточке не приведены. Модель содержит 27 млрд параметров и использует посттренировочную 8-битную симметричную целочисленную квантизацию с масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms с размером блока 32. По размеру и уровню квантизации checkpoint сопоставим с Unsloth UD-Q8_K_XL в формате GGUF. Ключевые преимущества — сохранение качества при уменьшенном размере и ориентация на эффективный локальный запуск. Основное ограничение — на данный момент поддерживается только inference на Apple silicon; характеристики, оценки и ограничения исходной модели Qwen3.6-27B следует уточнять в её оригинальной карточке. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-uncensored-abliterated-i1-IQ4_XS-GGUF-Smaller — квантованная GGUF-версия модели Qwen3.6-27B, опубликованная lemonyins. В основе используется abliterated-версия Huihui-Qwen3.6-27B от mradermacher, ориентированная на локальный инференс и исследовательское использование. Модель поддерживает обработку текста и, опционально, изображений при подключении vision-модуля mmproj-BF16.gguf. В модели применена гибридная квантование: ключевые attention-слои используют IQ4_XS, а FFN-слои — более компактный IQ3_S. Это уменьшает размер весов и позволяет эффективнее использовать память под KV-кэш; при поддержке TurboQuant заявлен контекст до 160–200 тысяч токенов при потреблении около 15,3–15,4 ГБ VRAM. На NVIDIA RTX 4060 Ti 16GB скорость текстового инференса составляет примерно 18–20 токенов в секунду. Основные преимущества — существенно больший доступный контекст и сохранение внимания к качественно важным attention-слоям, однако снижение точности FFN-квантования может ухудшать результаты отдельных задач, включая некоторые сценарии фактического запоминания. Приведённые показатели памяти требуют сборки llama.cpp с поддержкой TurboQuant; без неё расход VRAM будет выше. Лицензия — Apache-2.0.

Elsephire/Qwen3.6-35B-A3B-Agents-A1-80-20-Beta — бета-версия мультимодальной модели, созданная слиянием Qwen3.6-35B-A3B и Agents-A1-35B методом Task Arithmetic с весами 80/20. В метаданных указана архитектура семейства Qwen3.5 MoE и поддержка изображений; модель предназначена для диалогов, агентных сценариев и анализа изображений. Модель принимает текст и изображения и генерирует текст. Она доступна в формате Safetensors и распространяется по лицензии MIT. README обозначает выпуск как бета-версию и приглашает к тестированию и обратной связи.

Qwen3.8-27B-ROCmFP4-STRIX-MTP-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с визуальным вводом, прежде всего на системах AMD Ryzen AI Max+ 395 со встроенной графикой Radeon 8060S (gfx1151, Strix Halo). README не указывает разработчика базовой модели отдельно от идентификатора Qwen/Qwen3.8-27B. Используется формат ROCmFP4 с тремя вариантами квантизации и размером файлов 13,33–13,75 GiB; эффективная точность составляет 4,25–4,39 бит на вес. В комплект включена MTP-голова для speculative decoding. Контекст проверен до 65 536 токенов. Для варианта STRIX заявлены скорость декодирования до 30,30 токена/с при настроенном MTP, perplexity 5,8877 на отложенной выборке wikitext-2, успешные тесты зрения 4/4 и tool calling 7/7, включая режим reasoning. Языки README не перечисляет. Сильные стороны модели — высокая скорость на поддерживаемом оборудовании AMD, небольшие требования к дисковому пространству, сопоставимая с Q4_K_M perplexity и опубликованная настройка глубины MTP. Ограничения включают зависимость от AMD Strix Halo и специализированной сборки llama.cpp с поддержкой ROCmFP4; стандартная сборка llama.cpp эти типы тензоров не принимает. Приведённые показатели относятся к конкретной конфигурации и могут не воспроизводиться на другом оборудовании. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной для распространения Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая мультимодальные и агентские сценарии. Для запуска рекомендуется использовать llama.cpp или Unsloth Desktop; также заявлена поддержка ускорения инференса с помощью MTP. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при работе, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибридную связку Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и 10 маршрутизируемыми плюс одним общим активным экспертом, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся разреженное внимание на уровне блоков, рассчитанное на снижение задержки при длинном контексте, экономичное масштабирование параметров и малая доля активных параметров относительно общего размера модели. Ограничения связаны с экспериментальным статусом архитектуры, потенциально высокими требованиями к памяти и вычислительным ресурсам, а также отсутствием в предоставленном README подробных результатов бенчмарков и описания языкового покрытия. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.2 и SciPhi/SciPhi-Mistral-7B-32k. Разработчик в карточке не назван. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в диалоговом формате. Контекст модели составляет до 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Объединение сочетает instruct-модель Mistral с вариантом SciPhi, рассчитанным на длинный контекст; конкретные преимущества и результаты сравнительной оценки в карточке не приводятся. Модель работает с текстом; список поддерживаемых естественных языков в карточке не указан.

Карточка модели binant/whisper-small на Hugging Face совпадает с карточкой openai/whisper-small, поэтому описание составлено по ней. Whisper Small — модель распознавания речи семейства Whisper, разработанная OpenAI. Это мультиязычная модель Transformer типа encoder-decoder с 153,1 млн параметров, обученная на размеченных аудиоданных. Она преобразует речь в текст на языке исходного аудио и может переводить речь с разных языков на английский. Для обработки аудио в Transformers используется вместе с WhisperProcessor. Модель подходит для транскрибирования записей, в том числе длинных: базовая обработка рассчитана на фрагменты до 30 секунд, а разбиение на фрагменты позволяет обрабатывать аудио произвольной длины и получать временные метки. Whisper демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, но точность различается между языками, диалектами и группами говорящих. Возможны галлюцинации, повторы и ошибки распознавания. Модель распространяется по лицензии Apache-2.0.