I.6Перевод и языковая адаптация

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT8 — производная версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; модель предназначена для совместного использования с Transformers, vLLM, SGLang и KTransformers. По идентификатору это вариант с представлением AWQ-BF16-INT8, однако подробности процедуры квантования в предоставленных данных не описаны. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она рассчитана на рассуждения, программирование, агентские сценарии, визуальное понимание, обработку документов и другие мультимодальные задачи. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Размер языковой части — 9 млрд параметров, используется 32 слоя, размер скрытого представления — 4096, а нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Сильными сторонами являются мультимодальность, большой контекст, высокая заявленная эффективность инференса и широкая языковая поддержка. Ограничения конкретной квантованной сборки, требования к оборудованию, точные характеристики vision encoder и результаты именно этой версии в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

lovedheart/Qwen3.5-9B-FP8 — мультимодальная причинная языковая модель с визуальным энкодером, основанная на Qwen3.5-9B и разработанная командой Qwen. Она предназначена для генерации и анализа текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В архитектуре сочетаются Gated DeltaNet, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась на стадиях предварительного и последующего обучения и совместима с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, длинный контекст, высокая эффективность архитектуры и широкое языковое покрытие. README не приводит подробных ограничений, требований к аппаратному обеспечению или результатов независимого тестирования для данной FP8-сборки, поэтому фактическая производительность и качество могут зависеть от среды запуска и сценария использования. Указана лицензия Apache 2.0.

Квантизированная 4-битная версия большой языковой модели Command R+ от CohereForAI, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm. Модель предназначена для генерации текста в диалогах, ответов на вопросы, работы с внешними инструментами и генерации ответов, основанных на предоставленных документах и источниках.

Карточка модели ckoozzzu/d3 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

google/flan-t5-base — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Она преобразует текстовый запрос в текстовый ответ и подходит для генерации, ответов на вопросы, рассуждений и выполнения разнообразных NLP-задач, в том числе в режимах zero-shot и few-shot. Модель имеет архитектуру T5 encoder-decoder с 123,8 млн параметров и контекстом до 512 токенов. Карточка описывает поддержку множества языков, включая русский, английский, французский, немецкий и румынский; метаданные также отмечают многоязычность. Доступны версии для PyTorch, TensorFlow и Flax, лицензия — Apache 2.0. Карточка сообщает о сильных результатах на широком наборе задач, но модель не проверялась в реальных приложениях. Она может воспроизводить предвзятость и неподходящее содержание из обучающих данных, поэтому перед применением требуется оценка безопасности и справедливости для конкретного сценария.

unsloth/gemma-4-26B-A4B-it-qat-GGUF — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF. Она принимает текст и изображения и генерирует текст, поэтому подходит для диалоговых приложений, анализа визуального содержимого, генерации текста, программирования и задач рассуждения. Модель имеет размер 26B параметров с архитектурой Mixture-of-Experts и обозначением A4B. Это QAT-чекпойнт с квантизацией Q4_0, рассчитанный на снижение требований к памяти при сохранении качества, близкого к bfloat16. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; для данной версии README отдельно не уточняет полный перечень языков и поддерживаемые помимо текста и изображений модальности. В комплекте также доступен Multi-Token Prediction drafter для speculative decoding в llama.cpp, который может ускорять генерацию без изменения проверяемого моделью результата. Сильные стороны модели — мультимодальность, большой контекст, поддержка многоязычных сценариев, возможности рассуждения и совместимость GGUF с широким спектром инструментов локального запуска. Ограничения связаны с требованиями к вычислительным ресурсам, обусловленными размером 26B, а также с возможными особенностями качества и точности, возникающими при квантизации. Модель распространяется по лицензии Apache 2.0.

Mungert/gemma-4-31B-it-GGUF — это GGUF-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и преобразованной автором Mungert с использованием llama.cpp. Модель предназначена для локального запуска задач генерации и понимания текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текста. Модель имеет плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и контекстным окном до 256 тысяч токенов. Она поддерживает текст и изображения, но не аудио в варианте 31B. Gemma 4 заявлена как мультиязычная модель с поддержкой более 140 языков. В архитектуре используется гибридное внимание: локальное скользящее окно чередуется с глобальным вниманием; размер скользящего окна для 31B составляет 1024 токена. Модель поддерживает режимы рассуждений, системные инструкции и встроенный вызов функций. Главная особенность этой публикации — GGUF-квантизация, подготовленная на основе llama.cpp с выборочным повышением точности важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при заданном уровне квантизации, особенно у моделей с большим числом параметров, но увеличивает размер файлов. В README нет результатов бенчмарков, конкретных вариантов квантизации или требований к оборудованию, поэтому фактические скорость, качество и потребление памяти зависят от выбранного файла и среды запуска. Лицензия — Apache 2.0.

unsloth/gemma-4-E4B-it-MLX-8bit — это 8-битная MLX-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной Unsloth для локального запуска. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для выполнения инструкций, генерации текста, рассуждений, программирования и агентских сценариев с поддержкой function calling. Модель использует плотную архитектуру с примерно 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embedding-слоёв, 42 слоями и словарём размером 262 тысячи токенов. Она принимает текстовые и визуальные данные, а также аудио; генерирует текст. Для обработки контекста применяется гибридный механизм внимания с локальным sliding window размером 512 токенов и глобальным вниманием. Контекстное окно E4B составляет до 128 тысяч токенов, а мультиязычная поддержка охватывает более 140 языков. К сильным сторонам относятся мультимодальность, развитые возможности рассуждения и программирования, поддержка системных промптов и эффективное локальное выполнение на устройствах с ограниченными ресурсами. 8-битное представление снижает требования к памяти, но может сопровождаться некоторой потерей точности по сравнению с полноточными версиями. README не приводит подробных результатов бенчмарков, требований к оборудованию или перечня поддерживаемых аудио- и видеоформатов. Модель распространяется по лицензии Apache 2.0.

mlx-community/Llama-3.3-70B-Instruct-4bit — 4-битная версия инструкционной модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых систем, следования инструкциям, ответов на вопросы, суммирования и других задач обработки естественного языка. Модель имеет около 70 миллиардов параметров и работает в 4-битном квантованном формате, что снижает требования к памяти по сравнению с полной версией, но может влиять на точность и качество ответов. Поддерживаются английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Модальность — текстовая; сведения о размере контекстного окна и точной архитектуре в README не указаны. Сильной стороной модели является сочетание большого размера, инструкционного обучения, многоязычности и более эффективного размещения благодаря 4-битному представлению. Ограничения включают возможные потери качества из-за квантования, высокие требования к ресурсам по сравнению с небольшими моделями и отсутствие заявленной поддержки других модальностей. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов требуется включать текст лицензии, указывать «Built with Llama» и соблюдать Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.

Mistral-Small-24B-Instruct-2501-bf16 — конвертированная в формат MLX версия инструктивной языковой модели Mistral AI Mistral-Small-24B-Instruct-2501, подготовленная сообществом mlx-community для запуска на устройствах Apple с MLX. Модель представляет собой плотную авторегрессионную архитектуру MistralForCausalLM с 23,4 млрд параметров и контекстом до 32 768 токенов. Она предназначена для диалогов и генерации текста по инструкциям на нескольких языках. Подходит для ответов на вопросы, составления и редактирования текстов, суммаризации и многоязычных ассистентских сценариев. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Репозиторий содержит веса в safetensors и описывает конвертацию в MLX с помощью mlx-lm 0.21.1. Лицензия — Apache 2.0. Качество ответов и следование инструкциям зависят от формулировки запроса; как и другие языковые модели, она может генерировать ошибки и недостоверные сведения.

Mistral-Small-3.1-24B-Instruct-2503-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная версия инструкционной модели Mistral-Small-3.1-24B-Instruct-2503, разработанной Mistral AI. Сборку подготовил David_AU, применив собственный набор данных Neo Imatrix и конфигурацию «MAXED» с тензорами embedding и output в формате BF16 для повышения качества при увеличении размера файлов. Модель предназначена для генерации текста, выполнения инструкций, творческого письма, рассуждений и других универсальных текстовых сценариев. Она поддерживает контекст до 128 тысяч токенов и работает с текстом без компонентов компьютерного зрения. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Neo Imatrix и «MAXED»-квантизация направлены на улучшение следования инструкциям, качества вывода и связности идей. Для общего использования рекомендуются варианты Q5, Q6 и Q8, а для творческих задач — IQ3, IQ4XS, IQ4NL и Q4. Очень низкие варианты IQ1S характеризуются автором как неприемлемые по качеству, тогда как IQ2 и выше считаются пригодными с оговорками. К ограничениям относятся зависимость результата от выбранного кванта и отсутствие поддержки изображений. Модель распространяется по лицензии Apache-2.0.

Карточка модели ckoozzzu/new3 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Occamy-1.0 APEX-I-MiniPlus-V2-GGUF — это квантованная мультимодальная версия модели Occamy-1.0, разработанной Accio-Lab и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, математических и логических задач, а также анализа изображений и оптического распознавания документов. В основе используется архитектура Qwen3_5MoeForConditionalGeneration с гибридным механизмом внимания, включающим рекуррентные слои DeltaNet и 256 микроэкспертов. На каждый токен активируется примерно 3,2 млрд параметров. Основной файл занимает 14,62 GB, или 13,62 GiB, и использует схему квантования с показателем 3,38 BPW. В комплект входит отдельный vision projector mmproj в формате Q8_0 размером 614 MB. Заявлена поддержка контекста до 256K токенов и работы в пределах 24 GB VRAM. Модель ориентирована на английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. К сильным сторонам относятся сохранение F32 router gates, повышенная точность token output head за счёт Q6_K, защита attention gates в Q8_0 и использование не менее 3-битного квантования для ключевых экспертных блоков. Такая настройка должна обеспечивать лучшее качество и устойчивость по сравнению с плоскими 3-битными квантованиями и общими сборками APEX-I-Mini, особенно в задачах рассуждения и при работе с длинным контекстом. Ограничения связаны с потерями качества, присущими квантованной версии, значительными требованиями к памяти и необходимостью совместимого ПО, например llama.cpp. В README указана лицензия Apache-2.0.

Qwen1.5-7B-Chat — диалоговая языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для генерации текста в формате беседы и ответов на запросы. Модель принимает текстовые сообщения и генерирует текст. Модель поддерживает контекст до 32 768 токенов и многоязычную работу. В карточке указаны улучшения качества диалоговых моделей по предпочтениям пользователей и токенизатор, адаптированный к нескольким естественным языкам и программным кодам. Для загрузки используется библиотека Transformers; удалённый код не требуется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить на странице модели. В README отмечено, что при переключении между языками или других проблемах генерации рекомендуется использовать параметры из generation_config.json.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

Qwen3-32B-quantized.w4a16 — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen3-32B от Qwen. Она предназначена для рассуждений, function calling, мультиязычного следования инструкциям, перевода и создания специализированных экспертных решений после дообучения. Модель использует архитектуру Qwen3ForCausalLM, принимает текстовые входы и генерирует текст. Веса линейных операторов в трансформерных блоках сжаты до INT4 с применением GPTQ, симметричной поканально-групповой схемы и размером группы 128; остальные характеристики базовой модели, включая точный набор языков и исходный размер контекста, в README не указаны. Квантование уменьшает размер на диске и требования к памяти GPU примерно на 75% по сравнению с представлением весов в 16 бит. Для развёртывания рекомендуется использовать vLLM, включая режим совместимого с OpenAI API сервера. К сильным сторонам относятся существенное снижение потребления памяти и возможность эффективного запуска крупной модели на ограниченных GPU-ресурсах при сохранении назначения базовой модели. Ограничения связаны с потерями качества, возможными при квантовании, а также с тем, что README не содержит численных результатов оценки и подробностей о производительности. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3-4B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-4B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель архитектуры Qwen3ForCausalLM: принимает текст и генерирует текст. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. В модели применена квантизация весов до INT4, выполненная с использованием алгоритма GPTQ и библиотеки llm-compressor. Квантизируются веса линейных операторов в блоках трансформера; используется асимметричная поканально-групповая схема с размером группы 64. Формат W4A16 снижает число бит на параметр с 16 до 4, что примерно на 75% уменьшает размер на диске и требования к памяти GPU. В README не указаны поддерживаемые языки и точный максимальный контекст, однако при оценке использовалась длина контекста до 40 960 токенов. Модель оптимизирована для эффективного развертывания с backend vLLM, включая OpenAI-совместимый режим обслуживания. Квантизация снижает требования к ресурсам, но может влиять на качество по сравнению с исходной Qwen3-4B; конкретные результаты оценки в представленном README не приведены. Лицензия — Apache 2.0, при этом использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3.5-35B-A3B-Uncensored-FernflowerAI-MLX-8bit — это мультимодальная MoE-модель, преобразованная в формат MLX для нативного запуска на Apple Silicon. В её основе лежит Qwen3.5-35B-A3B от Alibaba, использованы uncensored-вариант HauhauCS и исправленные веса FernflowerAI от LuffyTheFox. Конверсию выполнил автор репозитория froggeric. Исправление устраняет повреждение двух тензоров в исходных весах, вызывавшее деградацию на длинном контексте. Модель предназначена для диалогов, генерации и анализа текста и кода, работы с изображениями и видео, рассуждений и вызова инструментов. Она содержит около 35 млрд параметров, активирует примерно 3 млрд параметров на токен, использует архитектуру qwen3_5_moe с 256 экспертами, DeltaNet-MoE и Attention-MoE. Поддерживаются текстовые, визуальные и видеовходы, multi-token prediction, переключаемый режим рассуждений и контекст до 262 тысяч токенов, расширяемый до 1 млн с помощью YaRN. Заявлена поддержка 201 языка и словаря размером 248 тысяч токенов. К сильным сторонам относятся высокая вычислительная эффективность MoE, мультимодальность, большой контекст, поддержка tool calling и 8-битное квантование с объёмом около 35 ГБ. Ограничения включают зависимость от совместимых версий mlx-lm и mlx-vlm, необходимость Apple Silicon для целевого сценария и известное замедление примерно в 2,7 раза при декодировании Gated DeltaNet с невокабулярными эмбеддингами; обычный текстовый инференс этим ограничением не затронут. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

FastFlowLM/Qwen3.5-4B-NPU2 — мультимодальная причинная языковая модель с энкодером зрения, основанная на Qwen/Qwen3.5-4B. Модель разработана командой Qwen и предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и блоками Gated Attention. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, большой контекст, высокая языковая и визуальная универсальность, а также акцент на эффективный инференс с низкой задержкой и умеренными вычислительными затратами. Ограничения, включая качество на отдельных языках, требования к оборудованию и особенности варианта NPU2, в README не уточняются. Лицензия — Apache 2.0.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.

DevinMox/Qwen3.5-9B-GGUF — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen и опубликованная на базе Qwen/Qwen3.5-9B. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и обработки визуальной информации. Она поддерживает 201 язык и диалект. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated Delta Networks, Gated Attention и разреженного Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README также заявлены повышенная эффективность мультимодального обучения, высокая пропускная способность и сниженные задержки при инференсе. Данные о точных ограничениях качества, требованиях к оборудованию и характеристиках GGUF-квантизации не приведены. Модель распространяется по лицензии Apache-2.0. README указывает совместимость с Hugging Face Transformers, vLLM, SGLang и KTransformers, однако описывает репозиторий как содержащий веса и конфигурации в формате Transformers, поэтому конкретные параметры GGUF-сборки в предоставленных данных не уточнены.

Smoffyy/Qwen3.5-9B-Instruct-Revised-GGUF — это переработанная GGUF-квантизация модели Qwen3.5-9B, опубликованная Smoffyy и основанная на официальной модели Qwen. Вариант конвертирован с помощью llama.cpp и сохраняет исходные возможности модели, но включает исправленный и улучшенный шаблон диалога. Модель предназначена для локального запуска в задачах общения, рассуждений, программирования, работы агентных систем и анализа изображений. Модель представляет собой причинную языковую модель с vision-энкодером, поддерживает текстовые и визуальные входы, а для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Размер языковой части — 9 млрд параметров; указана гибридная архитектура на основе Gated Delta Networks, разреженного Mixture-of-Experts и Gated Attention, с 32 слоями и скрытой размерностью 4096. Заявлена поддержка 201 языка и диалекта. Вариант по умолчанию работает без режима рассуждений; переключение выполняется через специальные маркеры в системном промпте. Рекомендуемый баланс качества и требований к памяти обеспечивает квантизация q4_k_m, для которой в README приведён ориентир около 10 ГБ VRAM при контексте 64K. Главное преимущество версии — исправления шаблона чата: управление режимом рассуждений, устранение пустых блоков рассуждений и поддержка developer-роли. При этом README указывает, что по возможностям модель не отличается от Pure GGUF-варианта. Ограничения связаны с зависимостью требований к VRAM и качеству от выбранного уровня квантизации, а также с необходимостью отдельного vision-проектора для мультимодальной работы. Модель и производные распространяются по лицензии Apache 2.0.

Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

unsloth/gemma-3-12b-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия Gemma 3 12B, разработанная Google DeepMind и подготовленная Unsloth. Модель использует открытые веса и предназначена для запуска и дообучения через Transformers, включая сценарии локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Для версии 12B заявлено контекстное окно до 128K токенов, изображения приводятся к разрешению 896 × 896 и кодируются в 256 токенов каждое, максимальный объём генерируемого результата составляет 8192 токена. Gemma 3 поддерживает более 140 языков, однако в метаданных этой карточки явно указан английский язык. Ключевое преимущество варианта — снижение требований к памяти благодаря 4-битной квантизации; Unsloth также указывает на селективную Dynamic Quantization, призванную сохранить больше качества по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможные потери качества из-за квантизации, необходимость совместимого программного и аппаратного окружения, а также типичные риски генеративных моделей: ошибки, неточные ответы и зависимость результатов от формулировки запроса. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google.

Meta Llama 3.1 70B Instruct — крупная текстовая языковая модель Meta для диалоговых сценариев. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention; версия Instruct прошла supervised fine-tuning и обучение с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, рассчитана на многоязычный диалог и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель предназначена для создания чат-ассистентов, ответов на вопросы и других задач генерации естественного языка. Её также можно применять для создания синтетических данных и улучшения других моделей. Модель относится к семейству Llama 3.1 размером 70 млрд параметров; в репозитории используются веса Safetensors, библиотека Transformers, а для экономии памяти доступны варианты запуска с 8- и 4-битным представлением. Карточка сообщает о сильных результатах семейства на распространённых отраслевых тестах, но не приводит здесь конкретных показателей для этой версии. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки в целевом применении, а карточка не рекомендует диалог на неподдерживаемых языках без дообучения и дополнительных системных мер. Условия использования задаёт пользовательская Llama 3.1 Community License с Acceptable Use Policy; лицензия допускает коммерческое и исследовательское применение при соблюдении этих условий.