I.6Перевод и языковая адаптация

sasa2000/cosmos-reason2-2b-text-only — неофициальная текстовая версия NVIDIA Cosmos-Reason2-2B, подготовленная автором репозитория sasa2000. Это плотная причинная языковая модель Qwen3ForCausalLM: из исходной мультимодальной модели оставлены языковой блок и выходной слой lm_head, а компоненты обработки изображений и видео удалены. В метаданных указано 1,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогового использования. Она загружается через Transformers как Qwen3ForCausalLM; README сообщает об успешной загрузке и проверочном прямом проходе. В отличие от исходной Cosmos-Reason2-2B, этот чекпойнт не принимает изображения или видео и не включает соответствующие процессоры и проектор. Репозиторий помечен лицензией other; конкретные условия README не приводит. Это производный чекпойнт, созданный не NVIDIA, поэтому перед использованием следует проверить условия исходной модели и репозитория.

mlx-community/DeepSeek-V3.1-4bit — это 4-битно квантованная версия языковой модели DeepSeek-V3.1, разработанная сообществом mlx-community на основе модели deepseek-ai и преобразованная в формат MLX с использованием mlx-lm 0.26.3. Модель предназначена для генерации текста и локального запуска в экосистеме MLX. Она поддерживает сценарии диалогового взаимодействия и текстовой генерации через библиотеку mlx-lm; README также указывает на наличие chat template, совместимого с сообщениями ролей user и assistant. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны, поэтому нельзя достоверно оценить эти характеристики. Ключевая особенность модели — 4-битное представление, потенциально снижающее требования к памяти по сравнению с полной точностью, а также адаптация к MLX. Ограничения и результаты бенчмарков в README не приведены. Модель распространяется по лицензии MIT.

anemll публикует пакет SSD Flash-MoE для DeepSeek V4 Flash, предназначенный для запуска в совместимых сборках llama.cpp. Это квантованное представление модели: общие и плотные тензоры хранятся в GGUF в формате FP8, а тензоры маршрутизируемых экспертов — в отдельных бинарных банках sidecar в формате FP4. Архитектура deepseek4 содержит 43 блока и 256 экспертов, из которых для каждого токена активируются 6; заявленная длина контекста — 1 048 576 токенов. Пакет предназначен для генерации текста и диалогового использования. Он требует Flash-MoE-совместимого runtime llama.cpp с поддержкой DeepSeek V4 Flash, режима slot-bank и указанных типов тензоров; обычной загрузки одного плотного GGUF недостаточно. Репозиторий указывает лицензию MIT. В карточке не заявлены специальные ограничения по языкам или предметным областям.

KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Enbeddrus v0.2 — модель эмбеддингов предложений на основе BERT, разработанная автором репозитория evilfreelancer. Она кодирует предложения и абзацы на русском и английском языках в плотные векторы размерности 768, обученные сближать представления сопоставимых фраз на двух языках. Модель подходит для семантического поиска, сравнения текстов и кластеризации, в том числе для поиска русских формулировок по английскому запросу и наоборот. В карточке указана архитектура BERT uncased с 12 слоями, размером скрытого состояния 768 и максимальной длиной последовательности 512 токенов. Обучение проводилось 20 эпох на параллельных англо-русских корпусах, включая технические тексты о PHP и Go, а также книги. Метаданные указывают 194,6 млн параметров и формат весов Safetensors. README сообщает о тестировании на небольшом наборе из 100 пар предложений по PHP, поэтому результаты этой оценки не гарантируют качество на других темах. Лицензия в предоставленных данных не указана.

quantumaikr/falcon-180B-WizardLM_Orca — плотная авторегрессионная модель Falcon с архитектурой causal decoder-only, созданная quantumaikr на основе Falcon-180B-chat и обученная с использованием данных WizardLM-Orca. Она предназначена для генерации текста и диалоговых сценариев; среди указанных в карточке языков — английский, немецкий, испанский и французский. В метаданных размер модели указан как 283,2 млрд параметров. Для запуска в полной точности bfloat16 README указывает потребность примерно в восьми A100 с 80 ГБ памяти или эквивалентном оборудовании. Модель опубликована в формате safetensors; условия лицензии в доступных данных не приведены.

Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

bartowski/gemma-2-27b-chatml-GGUF — это набор GGUF-квантизаций 27-миллиардной текстовой модели IntervitensInc/gemma-2-27b-chatml. Квантизации подготовлены bartowski с использованием llama.cpp версии b3615 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а запускать её рекомендуется в совместимых приложениях, включая LM Studio. Доступны варианты от исходных весов F16 размером 54,46 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 11,55 до 28,94 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, тогда как компактные варианты снижают требования к оперативной памяти; отдельные Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 оптимизированы для ARM и CPU-инференса. Точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильная сторона набора — широкий выбор квантизаций для разных ограничений по памяти и производительности, включая варианты высокого качества и версии для малоресурсного запуска. Ограничения включают неизвестный формат промптов, отсутствие в README подробностей о возможностях базовой модели и потенциальное снижение качества у низкоразрядных вариантов. Для доступа требуется принять лицензию Google на использование Gemma на Hugging Face; конкретные условия лицензии следует проверить перед применением.

gemma-2-27b-it-IMat-GGUF — это GGUF-квантизированная версия модели Gemma 2 27B Instruction Tuned, разработанной Google. Версия подготовлена пользователем legraphista с помощью llama.cpp и предназначена для локального запуска задач генерации текста и диалогового взаимодействия в совместимых средах, включая llama.cpp. Модель основана на исходной версии google/gemma-2-27b-it с исходным форматом BF16. Доступны варианты от BF16 и FP16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-вариантов размером примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера. README не содержит достоверных сведений о поддерживаемых языках, длине контекста, модальностях помимо текста или конкретных результатах тестирования. Основное преимущество сборки — широкий выбор уровней квантизации для подбора компромисса между качеством, требованиями к памяти и скоростью локального вывода. Ограничения связаны с большими требованиями к ресурсам даже у компактных вариантов, а качество низкобитных версий может отличаться от исходной модели. Для доступа и использования действует лицензия Gemma от Google; на Hugging Face требуется принять условия лицензии.

GLM-4.7-Flash-UD-Q4_K_XL-layers — пакет слоёв GGUF, подготовленный Mesh LLM для распределённого запуска модели GLM-4.7-Flash на локальном кластере. Пакет получен из unsloth/GLM-4.7-Flash-GGUF: веса разделены на артефакты по слоям для распределения вычислений и памяти между несколькими машинами. Модель предназначена для локального приватного чат-инференса, в том числе на нескольких компьютерах, если полный файл GGUF не помещается на одном узле. Mesh LLM позволяет обслуживать запросы через локальный API, совместимый с OpenAI Chat Completions. В метаданных указаны GGUF и возможность chat; задача — генерация текста. Архитектурные подробности, размер контекста и перечень языков следует сверять с карточкой исходной модели. Квантизация варианта обозначена как UD-Q4_K_XL. Пакет ориентирован на запуск через Mesh LLM и сам по себе не описывает качество ответов или аппаратные требования. Условия лицензии наследуются от исходной модели unsloth/GLM-4.7-Flash-GGUF; в доступных данных они не приведены.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.

ibm-granite/granite-4.1-8b-GGUF — это версия модели IBM Granite 4.1 с 8 млрд параметров, преобразованная в формат GGUF. Модель разработана IBM и предназначена для задач генерации текста; репозиторий содержит варианты с различными уровнями квантования, созданные на основе модели ibm-granite/granite-4.1-8b в формате Safetensors. Формат GGUF удобен для локального запуска и совместим с программными средствами, поддерживающими этот формат, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантованной версии. В предоставленной карточке не указаны архитектурные детали, поддерживаемые языки, размер контекста, дополнительные модальности и специализированные сценарии применения, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0. Для подробной информации о возможностях, ограничениях и базовых характеристиках следует обратиться к полной карточке базовой модели ibm-granite/granite-4.1-8b.

KafkaLM-13B-German-V0.1 — языковая модель Seedbox, обученная Dennis Dickmann. В её основе Llama 2 13B, дополнительно дообученная на немецком корпусе, а также на наборах инструкций, переведённых с английского на немецкий. Модель предназначена для повседневных задач и бизнес-сценариев, где нужны ответы на немецком языке. Модель использует архитектуру Llama с плотной causal language model на 12,9 млрд параметров и контекстом до 8192 токенов. Она принимает текст и генерирует текст; карточка приводит формат диалога с дружелюбным ассистентом, который отвечает точно и по существу. Лицензия — Llama 2, действуют её ограничения и ограничения использованных датасетов.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

win10/Llama-3.1-13.3B — текстовая генеративная модель, созданная слиянием весов через mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель с длинным контекстом до 131072 токенов. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 12,7 млрд параметров; опубликована в формате safetensors для библиотеки Transformers. Карточка не описывает отдельную специализацию или результаты оценки качества. Базовая модель Llama 3.1 предназначена для многоязычной генерации текста, однако конкретные поддерживаемые языки этой сборки не перечислены. Лицензия в предоставленных данных не указана.

Dampfinchen/Llama-3-8B-Ultra-Instruct — объединённая модель на базе Llama 3 8B, созданная Dampfinchen с помощью mergekit и метода DARE TIES. В состав слияния вошли инструкционная Llama 3, модели для диалогов и ролевых сценариев, Bagel, модель с немецкоязычными возможностями и OpenBioLLM. В репозитории указаны 7,5 млрд параметров, архитектура LlamaForCausalLM, формат safetensors, библиотека Transformers и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста общего назначения, в том числе для ответов на вопросы, поддержки RAG и ролевого общения. В README заявлены усиленные знания по биологии и медицине, немецкоязычные возможности и поддержка vision, однако метаданные классифицируют модель как текстовую, поэтому мультимодальную поддержку нельзя считать подтверждённой. Модель объединяет компоненты с uncensored-ролевой настройкой и может выдавать вредные или недостоверные ответы; медицинские сведения требуют проверки. Лицензия — Llama 3 License.

M7Yamshadowexperiment28_Strangemerges_32Shadow — объединённая методом SLERP модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель создана объединением automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Shadow-7B. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

MeliodasPercival_01_Inex12Neural — объединённая модель для генерации текста и диалогов, созданная на основе automerger/MeliodasPercival_01-7B и automerger/Inex12Neural-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель принимает текст и генерирует текст; её можно использовать для диалогов и других сценариев продолжения текста. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache 2.0.

mistral-NeuralHermes-7B-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Это плотная модель MistralForCausalLM на 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Она принимает текст и выдаёт текст; заявленный размер контекста — до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка описывает состав и настройки слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

OWSM v4 base 102M — открытая мультиязычная модель распознавания речи из серии Open Whisper-style Speech Model, разработанная командой ESPnet под руководством Yifan Peng из CMU. Это encoder-decoder модель с 102 млн параметров, обученная на 320 тысячах часов публичных аудиоданных. Она предназначена для распознавания речи, определения языка, перевода речи и предсказания временных меток высказываний; поддерживает также длинные записи и перевод. Модель принимает аудио с частотой 16 кГц, обрабатывает его фрагментами до 30 секунд и доступна для запуска через ESPnet. OWSM v4 улучшает качество определения языка и мультиязычного распознавания по сравнению с OWSM v3.1. Она использует восьмикратное прореживание log-Mel-признаков, что даёт разрешение энкодера 80 мс. В карточке модели не перечислены отдельные поддерживаемые языки, поэтому конкретные языки здесь не указаны. Лицензия — CC BY 4.0.

Карточка модели Silin1590/Qwen-0d5B-Int-AbstraL-v2 на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели JMullings/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели pcuenq/Qwen2.5-0.5B-Instruct-with-new-merges-serialization на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

AiCloser/Qwen2.5-32B-AGI — дообученная диалоговая языковая модель на архитектуре Qwen2.5, созданная на основе Qwen/Qwen2.5-32B-Instruct. Разработчик описывает её как первую донастройку Qwen2.5 32B для снижения чрезмерных отказов отвечать; для этого использованы наборы инструктивных и предпочтительных данных, включая датасеты с токсичным содержимым. Модель предназначена для диалога и генерации текста по инструкциям. Она содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В метаданных заявлены китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Распространяется в формате safetensors по лицензии Apache-2.0. Настройка на снижение отказов может приводить к ответам на запросы, которые базовая модель отклоняет; степень такого эффекта и качество модели для отдельных задач в карточке не измерены. Модель сохраняет ограничения базовой языковой модели, включая возможность ошибок и недостоверных утверждений.

lmstudio-community/Qwen2-VL-2B-Instruct-GGUF — это квантизированная версия мультимодальной модели Qwen2-VL-2B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b4327; LM Studio представляет её как общественную модель, но не является её создателем или владельцем. Модель предназначена для генерации текста и анализа изображений, включая изображения различных разрешений и соотношений сторон. Она поддерживает задачи визуального понимания, мультимодального рассуждения и агентской автоматизации с использованием зрения, а также заявляет многоязычную поддержку. Максимальная длина контекста составляет 32 тысячи токенов. Известно, что размер исходной модели — 2B, однако конкретный метод и уровень квантизации в README не указаны. К сильным сторонам относятся сочетание обработки текста и изображений, поддержка длинного контекста, многоязычность и возможность локального использования через совместимый стек GGUF/llama.cpp. Ограничения включают малый размер по сравнению с более крупными мультимодальными моделями и отсутствие подробных данных о языках, точности, производительности и требованиях к оборудованию. Лицензия в README не указана; перед использованием необходимо проверить условия лицензирования исходной модели Qwen2-VL-2B-Instruct и данной квантизированной версии.

Qwen3-30B-A3B-Base — базовая языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная причинная MoE-модель для генерации текста: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; архитектура включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель рассчитана на контекст до 32 768 токенов и работает через библиотеку Transformers. Модель предназначена для продолжения текста и служит основой для дообучения под диалоговые и прикладные сценарии. Обучающий корпус охватывает 119 языков и включает материалы по программированию, STEM, рассуждениям, книгам и многоязычным данным. Карточка также отмечает интерфейсы для чата и вызова инструментов, однако конкретные инструкции по использованию этих возможностей в базовой модели не описаны. Лицензия — Apache-2.0. Для запуска требуется актуальная версия Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3_moe. Это базовая, а не специализированно настроенная на выполнение инструкций модель; качество в конкретных задачах зависит от промптинга и возможного дообучения.

Qwen3.5-35B-A3B-APEX-GGUF — набор GGUF-квантований базовой модели Qwen3.5-35B-A3B, подготовленный командой LocalAI. Модель относится к семейству MoE: в исходной версии 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; заявлены 256 экспертов в MoE-слое и выбор восьми экспертов вместе с общим экспертом. APEX распределяет точность квантования по слоям и типам тензоров, а варианты с индексом I используют калибровку imatrix для разных сценариев. В репозитории есть несколько конфигураций для баланса качества, размера и скорости, включая файлы около 12–24 ГБ, а также проектор зрения mmproj. Модель предназначена для локального диалога и генерации текста, в том числе для интерактивного использования и развёртывания через llama.cpp или LocalAI. README сообщает о сравнительных метриках квантований и заявляет, что некоторые варианты близки к Q8_0 и F16 по качеству при меньшем размере; эти результаты относятся к экспериментам авторов. Метаданные указывают поддержку чата и лицензию Apache-2.0. Хотя базовая модель описана как мультимодальная, карточка этой сборки определяет главную задачу как генерацию текста; наличие mmproj само по себе не уточняет поддерживаемый визуальный сценарий в данной конфигурации.

Это GGUF-квантизация модели Qwen3.5-4B-Instruct от Alibaba Cloud в формате MXFP4 — четырёхбитном формате с плавающей точкой по спецификации OCP Microscaling Formats. В репозитории есть файл весов модели и отдельный проектор зрения SigLIP в F16; для обработки изображений требуется подключить проектор. По карточке исходная модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео и поддерживает 201 язык. Контекст исходной модели — 262 тысячи токенов с возможностью расширения до миллиона. Модель предназначена для генерации текста и диалогов по инструкциям; также README показывает сценарий описания изображений. По умолчанию режим рассуждений отключён, его можно включить параметром. README заявляет совместимость формата MXFP4 с CPU и GPU разных производителей, но фактическая поддержка зависит от используемого ПО. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-VQ-3.8bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная TheDrainFlorist для Apple Silicon. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; поддерживает запуск через MLX, mlx-lm и mlx-vlm. В README указан английский язык. Архитектура включает MoE с 35 млрд параметров и активной частью около 3 млрд параметров, а также vision tower; точный размер контекста не указан. Модель занимает около 15,7 GiB и использует равномерное vector quantization экспертных слоёв с геометрией d=4, K=8192, 13-битными индексами и fp16 codebook, тогда как неэкспертные тензоры имеют 8-битное представление. По сравнению с bf16-версией она заметно компактнее и демонстрирует меньшее расхождение с эталонным распределением, чем распространённая 4-битная сборка, однако уступает 8-битной по совпадению наиболее вероятных токенов. Скорость именно этого артефакта не измерялась; модель комфортно работает на машинах с 24 ГБ памяти и может запускаться на 16 ГБ при коротком контексте. Для изображений требуется mlx-vlm версии 0.6.16 или новее, а загрузчик должен поддерживать ключ model_file. Лицензия — Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.