I.6Перевод и языковая адаптация

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-30B-A3B-Instruct-2507-quantized.w8a8 — текстовая autoregressive-модель класса Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B-Instruct-2507. Модель принимает текст и генерирует текст, ориентирована на рассуждения, выполнение инструкций на разных языках, перевод, function calling и создание специализированных решений посредством дообучения. Ключевая особенность модели — INT8-квантизация весов и активаций линейных операторов в блоках Transformer. Используются симметричная статическая поканальная квантизация весов и симметричная динамическая потокенная квантизация активаций с применением SmoothQuant и GPTQ через библиотеку llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размеру на диске, а также может примерно вдвое повысить пропускную способность матричных умножений. В документации по развертыванию указан максимальный размер контекста 262144 токена, однако другие характеристики архитектуры и языкового покрытия не приведены. Модель предназначена для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимого API. К сильным сторонам относятся сочетание крупной базовой модели с INT8-компрессией, поддержка многоязычного следования инструкциям, рассуждений и интеграции с функциями. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов оценивания, перечня поддерживаемых языков и спецификаций аппаратных требований. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

Mungert/Qwen3-4B-Instruct-2507-GGUF — GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это авторегрессионная causal language model с 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам; модель содержит 36 слоёв и использует grouped-query attention с 32 головами для Q и 8 для KV. Модель предназначена для генерации текста по инструкциям, понимания текста, логических рассуждений, математики, науки, программирования, работы с инструментами, творческого письма и агентских сценариев. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Модель работает только в non-thinking mode и не формирует блоки <think></think>. К сильным сторонам относятся улучшенные следование инструкциям, открытые и субъективные задачи, покрытие редких знаний, мультиязычность и обработка длинного контекста. GGUF-формат подходит для локального запуска в совместимых инструментах llama.cpp, а применённый автором подход selective layer bumping повышает точность отдельных важных слоёв при выбранном уровне квантизации, хотя увеличивает размер файла. Ограничения конкретного варианта зависят от используемого уровня квантизации и аппаратных ресурсов; сведения о точном размере файла, битности и требованиях к памяти в README не указаны. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и другие задачи генерации и анализа контента. Архитектура представляет собой causal language model с vision encoder и гибридной схемой Gated Delta Networks и разреженной Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых при обработке активируются около 3 млрд. Используются 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат совместим с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание мультимодальности, большого контекста, высокой вычислительной эффективности разреженной архитектуры и широкой языковой поддержки. AWQ-квантизация снижает требования к памяти и может упростить локальное развертывание, однако потенциально сопровождается компромиссом между качеством и точностью по сравнению с полной версией весов. README не приводит подробностей о требованиях к оборудованию, измерениях производительности именно для этой AWQ-версии и явных ограничениях применения. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-GPTQ-Int4 — это квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и предназначена для обработки текста и изображений, генерации ответов, рассуждений, программирования, визуального понимания и агентских сценариев. Модель сочетает языковую модель с vision encoder, гибридную архитектуру Gated Delta Networks и Gated Attention со sparse Mixture-of-Experts. Она содержит 397 млрд параметров, из которых 17 млрд активируются при обработке токена, 60 слоёв и 512 экспертов, при этом используются 10 маршрутизируемых и один общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация GPTQ Int4 снижает требования к памяти и может повысить эффективность инференса, но потенциально ограничивает точность по сравнению с полноразмерными весами. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о требованиях к оборудованию, фактической производительности или ограничениях качества, поэтому эти характеристики следует оценивать отдельно для конкретной инфраструктуры и задач.

dranger003/c4ai-command-r-v01-iMat.GGUF — это GGUF-квантизированная версия C4AI Command-R, исследовательской генеративной языковой модели с открытыми весами, разработанной CohereForAI. Версия содержит importance matrix-квантизации, подготовленные для запуска в совместимом программном обеспечении, включая llama.cpp. Модель предназначена для генерации текста, рассуждений, суммаризации, ответов на вопросы, многоязычного общения и сценариев retrieval-augmented generation (RAG). Она также поддерживает использование инструментов: на основе диалога и списка доступных инструментов модель может формировать JSON-список действий. Для grounded generation она принимает фрагменты извлечённых документов и использует их при подготовке ответа. Command-R имеет около 35 миллиардов параметров, 40 слоёв и контекстное окно до 131072 токенов. Это текстовая модель без заявленной поддержки изображений или других мультимодальных входов. Многоязычная генерация оценивалась для 10 языков, однако их конкретный перечень в предоставленных данных не указан. Importance matrix обучалась примерно на 100 тысячах токенов из корпуса WikiText; квантизация может уменьшать требования к ресурсам по сравнению с полноразмерной моделью, но потенциально сопровождается потерей точности, зависящей от выбранного варианта квантования. Модель распространяется по лицензии CC-BY-NC-4.0, которая допускает использование с соблюдением условий лицензии, но ограничивает коммерческое применение. Для корректной работы требуется поддержка архитектуры Command-R, GGUF и соответствующего шаблона чата.

Droplychee-1.0-27B — мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров, разработанная Droplychee AI Research на основе Qwen/Qwen3.6-27B и доработанная полным supervised fine-tuning и слиянием моделей. Она поддерживает входные изображения и текст, а основное назначение по карточке Hugging Face — диалоговое понимание изображений и текста. В README также заявлены следование инструкциям, ответы на вопросы, программирование, рассуждения, перевод, суммаризация, анализ документов и агентные сценарии. Модель ориентирована на английский и бенгальский языки, а README дополнительно заявляет поддержку более чем 40 языков, включая русский; качество может различаться. README указывает контекст до 1 000 000 токенов в зависимости от среды запуска. Модель доступна в формате safetensors и совместима с Transformers. Лицензия — Apache-2.0. Возможные ограничения включают фактические ошибки, галлюцинации, предвзятость и ошибки рассуждения; важные результаты следует проверять. README не приводит независимо подтверждённых результатов бенчмарков.

EXAONE-4.0-32B-AWQ — квантованная версия языковой модели EXAONE 4.0, разработанная LG AI Research. Это авторегрессионная модель для генерации текста, поддерживающая обычный режим работы и режим рассуждений, а также агентное использование с вызовом инструментов. Модель предназначена для диалоговых систем, решения сложных задач, генерации и обработки текста и сценариев, требующих многошагового рассуждения. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру GQA с 40 attention heads и 8 KV heads. Для 32B-версии применяется гибридное внимание: локальное sliding-window attention и глобальное full attention в соотношении 3:1, а также архитектурный подход QK-Reorder-Norm. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Поддерживаются английский, корейский и испанский языки. Версия AWQ использует 4-битное группавое weight-only квантование W4A16g128, что снижает требования к памяти по сравнению с полноразмерной моделью. Сильные стороны модели — сочетание общего режима генерации и reasoning mode, поддержка многоязычных сценариев, длинного контекста и tool calling. Ограничения включают необходимость корректной настройки параметров sampling в режиме рассуждений, а также потенциальные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии EXAONE; в карточке указано обозначение лицензии other и ссылка на файл LICENSE.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

Gemma 3 12B IT QAT — мультимодальная инструкционно дообученная модель из семейства Gemma, разработанная Google DeepMind. Она принимает текст и изображения, а на выходе генерирует текст. Модель создана на основе технологий, использованных в Gemini, и предназначена для развертывания в локальной инфраструктуре, на настольных компьютерах, ноутбуках и в облачных средах с ограниченными ресурсами. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации и анализа текста, а также для понимания изображений и извлечения визуальной информации. Она поддерживает более 140 языков, имеет контекстное окно до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Версия 12B обучена с использованием Quantization Aware Training (QAT), что должно помогать сохранять качество, близкое к bfloat16, при снижении требований к памяти после квантования. При этом указанный в репозитории checkpoint является неквантованным: для получения варианта Q4_0 его необходимо дополнительно квантовать выбранным инструментом. Ограничения включают зависимость качества от языка, содержания запроса и изображения, а также обычные риски ошибок и неточностей генеративных моделей. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии.

unsloth/gemma-3-27b-it-bnb-4bit — 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на основе модели Google Gemma 3 27B IT. Разработчик исходной модели — Google DeepMind. Модель имеет открытые веса и предназначена для запуска и дообучения с использованием Transformers, в том числе в средах с ограниченными ресурсами. Модель принимает текстовые запросы и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений, генерации текста и анализа изображений. Для версии 27B заявлены контекст до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный в метаданных модели. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее локальный запуск и дообучение по сравнению с полноразмерной моделью. При этом квантование может влиять на точность и качество ответов, а мультимодальные возможности, производительность и фактическая совместимость зависят от используемого программного обеспечения и оборудования. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия Google Gemma Terms of Use.

tripolskypetr/gemma-4-it-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B-it, основанной на google/gemma-4-31B-it. Семейство Gemma разработано Google DeepMind, а данный вариант опубликован в формате GGUF для удобного локального запуска и квантования, в том числе с использованием инструментов Unsloth. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями. Она принимает текстовые и графические данные и генерирует текст; заявлена поддержка более 140 языков. Для управления поведением поддерживаются системные сообщения, режимы рассуждения и нативный function calling. Это плотная архитектура с 30,7 млрд параметров, 60 слоями и словарём размером 262 тысячи токенов. Используется гибридное внимание с чередованием локального скользящего окна размером 1024 токена и глобального внимания; максимальная длина контекста составляет 256 тысяч токенов. В состав входят визуальный энкодер примерно на 550 млн параметров. Большой размер модели и мультимодальность обеспечивают широкие возможности, но требуют значительных вычислительных ресурсов, поэтому локальное развертывание зависит от доступной памяти и выбранного варианта квантования. Модель распространяется по лицензии Apache 2.0.

cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic — динамически квантованная версия Meta Llama 3.3 70B Instruct, разработанная на базе модели meta-llama/Llama-3.3-70B-Instruct. Это большая языковая модель с 70 миллиардами параметров, предварительно обученная и дообученная по инструкциям для генерации текста и многоязычного диалога. Модель предназначена для чат-ботов, ассистентов и других приложений, связанных с обработкой и генерацией текста. Она поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки. Указанный показатель восстановления точности составляет 99,67%; приведённые оценки показывают небольшое снижение результатов относительно исходной Llama-3.3-70B-Instruct, при этом в отдельных тестах показатели практически совпадают. Ключевая особенность модели — формат FP8 Dynamic, который предназначен для более эффективного размещения и выполнения крупной модели при сохранении близкого к исходному качества. Данные о размере контекста, поддерживаемых модальностях помимо текста и конкретных аппаратных требованиях в README не указаны. Модель распространяется по лицензии Meta Llama 3, ссылка на условия приведена в карточке.

bullerwins/Meta-Llama-3.1-8B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Meta-Llama-3.1-8B-Instruct, разработанной Meta. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer; инструкционная настройка выполнена с использованием supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского применения, включая создание синтетических данных и дистилляцию. Она работает только с текстом на входе и выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 8B параметров, контекст — до 128K токенов, используется Grouped-Query Attention. Ключевые преимущества — мультиязычность, поддержка длинного контекста и локального запуска через совместимые инструменты llama.cpp. Эта версия требует llama.cpp 5e2727f или более новой из-за исправлений токенизатора и RoPE. Модель является статичной и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года, поэтому не обладает актуальными знаниями без внешних источников. Качество и потребление ресурсов зависят от выбранного уровня GGUF-квантизации, который в README не указан. Распространяется по коммерческой лицензии Llama 3.1 Community License; использование также ограничено применимыми законами, Acceptable Use Policy и условиями лицензии.

duyntnet/Mistral-Small-24B-Instruct-2501-imatrix-GGUF — это GGUF-квантизованные версии языковой модели Mistral Small 3 (2501), разработанной командой Mistral AI. Модель основана на Mistral-Small-24B-Base-2501 и дообучена для выполнения инструкций. В карточке указано 24 млрд параметров; конкретная архитектура не раскрыта. Модель предназначена для генерации текста и работает с текстовой модальностью. Модель ориентирована на быстрых разговорных ассистентов, сценарии с низкой задержкой, вызов функций, выдачу структурированного JSON, локальный запуск и последующее дообучение под предметные области. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Контекстное окно составляет 32 000 токенов, используется токенизатор Tekken со словарём размером 131 000 токенов. К сильным сторонам относятся развитые диалоговые и reasoning-возможности, поддержка системных промптов, native function calling и JSON-вывода, а также возможность локального запуска после квантизации, в том числе на одной RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения связаны с тем, что это квантизованный вариант: конкретные компромиссы между размером, скоростью и качеством зависят от выбранного файла квантизации. Модель рассчитана на использование через llama.cpp, KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. В исходном описании базовой модели указана лицензия Apache 2.0, однако метаданные данного репозитория обозначают лицензию как other; перед коммерческим использованием следует проверить условия для конкретной сборки.

stelterlab/Mistral-Small-3.2-24B-Instruct-2506-FP8 — экспериментальная FP8 W8A8-квантизированная версия Mistral-Small-3.2-24B-Instruct-2506, разработанная stelterlab с использованием llm-compressor. Базовая модель создана Mistral AI. Формат FP8 предназначен для запуска модели с меньшими требованиями к памяти и вычислительным ресурсам при сохранении основных возможностей исходной модели. Модель рассчитана на выполнение инструкций, диалоговые сценарии, генерацию текста, решение задач STEM, программирование, работу с изображениями и вызов функций. Она поддерживает текстово-изобразительный ввод и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с версией 3.1 улучшены следование точным инструкциям, устойчивость к бесконечным повторениям и function calling; для сервинга рекомендуется vLLM. К ограничениям относятся экспериментальный статус FP8-квантизации и отсутствие в предоставленных данных сведений о точном размере контекста и детальной архитектуре. Качество может немного отличаться от полной версии модели, а по отдельным vision-бенчмаркам зафиксировано небольшое снижение результатов. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-7B-Instruct-FP8-dynamic — инструкционная языковая модель архитектуры Qwen2, разработанная Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud. Модель принимает текст и генерирует текст, предназначена для диалоговых ассистентов, генерации текста и исследовательского и коммерческого применения в многоязычных сценариях. Модель содержит около 7 миллиардов параметров и поддерживает широкий набор языков, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский и другие. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: веса используют статическую симметричную поканальную схему, а активации — динамическую симметричную потокенную схему. Это примерно вдвое снижает требования к памяти и размер на диске, а также может увеличить пропускную способность матричных операций примерно вдвое. Контекст до 8192 токенов указан в примере развертывания; в другом примере используется длина 32768, поэтому точный поддерживаемый предел следует уточнять для конкретной конфигурации. Сильные стороны модели — сниженное потребление GPU-памяти, компактное хранение и эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. Ограничения, связанные с влиянием FP8-квантизации на качество ответов, в README не приведены; как и любая языковая модель, она может генерировать неточные или нежелательные результаты. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимые законы и нормативные требования.

Карточка модели tangyunbo/Qwen3-4B-RL-multiscope-fromscratch-iter297 на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-397B-A17B-GGUF — квантованная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen; GGUF-файлы подготовлены Unsloth. Модель предназначена для локального запуска и совместима с экосистемами, поддерживающими GGUF, а исходная модель также работает с Hugging Face Transformers, vLLM и SGLang. Это каузальная языковая модель с vision encoder для работы с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, диалоговые и агентские сценарии, а также обработку длинного контекста. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста и улучшенная квантование с imatrix-данными Unsloth. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и инфраструктуре; конкретные требования зависят от выбранного уровня квантования. Доступна по лицензии Apache 2.0.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-9B-Instruct-Pure-GGUF — квантизированная версия официальной модели Qwen3.5-9B, созданная автором Smoffyy на основе исходных весов Qwen с использованием официальных инструментов llama.cpp. Модель распространяется в формате GGUF и позиционируется как «чистая» квантизация без изменений или дополнительных модификаций весов. Модель предназначена для задач генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Это единая vision-language модель с гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. Для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Доступен управляемый режим рассуждений через параметр enable_thinking в API или конфигурацию шаблона чата. Основное преимущество модели — сохранение исходных официальных весов при уменьшении требований к памяти благодаря квантизации. Доступны варианты с разным соотношением качества и размера, включая q4_k_m, q5_k_m и q8_0; при контексте 64k вариант q4_k_m использует около 10 ГБ памяти. Ограничения зависят от выбранного уровня квантизации и оборудования: более компактные варианты могут уступать исходной модели по качеству, а для визуальных возможностей необходим отдельный проектор. Модель и производные распространяются по лицензии Apache 2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

unsloth/gemma-3-12b-it-qat-GGUF — мультимодальная instruction-tuned модель Gemma 3 на 12 млрд параметров, разработанная Google DeepMind. Она построена на базе google/gemma-3-12b-it-qat-q4_0-unquantized и использует Quantization Aware Training (QAT), что помогает сохранять качество на уровне, близком к bfloat16, при снижении требований к памяти после квантования. Модель принимает текст и изображения, а генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации, работы с кодом и математическими запросами. Поддерживается более 140 языков. Для версии 12B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. К сильным сторонам относятся мультимодальность, широкая языковая поддержка, большое контекстное окно и возможность развертывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при использовании квантования. Репозиторий содержит не直接 квантованный файл: контрольную точку необходимо самостоятельно квантовать в Q4_0 совместимым инструментом. README не приводит детальных сведений об архитектуре, результатах бенчмарков и конкретных ограничениях качества, поэтому их оценку по этим данным дать нельзя. Использование регулируется лицензией Gemma и условиями Google. Доступ к модели на Hugging Face требует входа в аккаунт и подтверждения лицензионных условий.

google/gemma-3-4b-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель Gemma 3, разработанная Google DeepMind. Она использует открытые веса и предназначена для генерации текста и понимания изображений: ответов на вопросы, суммаризации документов, рассуждений, анализа визуального содержимого и извлечения информации из изображений. Модель принимает текст и изображения, а выдаёт текст. Это 4B-версия в формате GGUF с квантизацией Q4_0 и Quantization Aware Training (QAT). QAT позволяет приблизить качество к версии в формате bfloat16 при существенно меньших требованиях к памяти, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Для модели заявлено контекстное окно до 128K токенов, максимальный объём генерируемого вывода — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков. Ограничения включают зависимость качества от квантизации и используемой инфраструктуры, а также то, что поддержка изображений может различаться между инструментами запуска: например, в README указано отсутствие такой поддержки для Ollama через Hugging Face. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

unsloth/gemma-4-31b-it-MLX-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе Google Gemma 4 31B-it. Разработчик исходной модели — Google DeepMind. Это мультимодальная модель, принимающая текст и изображения и генерирующая текст; она предназначена для локального запуска на совместимом оборудовании Apple MLX, а также для диалоговых приложений, генерации текста, программирования, рассуждений, анализа изображений и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным вниманием, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов, поддерживается более 140 языков. Gemma 4 также предлагает настраиваемые режимы рассуждения, нативную поддержку системных сообщений и обработку изображений с различным соотношением сторон и разрешением. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также оптимизации Gemma 4 для эффективной работы. Ограничения конкретной MLX-версии, требования к памяти, результаты бенчмарков и влияние 8-битного квантования на качество в README не указаны; аудио для модели 31B не заявлено. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия мультимодальной модели Gemma 4 E4B, основанная на google/gemma-4-E4B-it. Семейство Gemma 4 разработано Google DeepMind, а данный вариант подготовлен Unsloth. Модель распространяется с открытыми весами и предназначена для локального запуска, в том числе на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и совместимых инструментах GGUF. Модель принимает текст и изображения, а также аудио для малых моделей Gemma 4, включая E4B, и генерирует текст. Она подходит для генерации текста, рассуждений, анализа изображений, программирования, агентских сценариев и вызова функций. Для семейства заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, native function calling и поддержка системных сообщений. E4B имеет 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом embedding-слоёв, 42 слоя, окно контекста 128K токенов и размер словаря 262K. Визуальный энкодер содержит около 150 млн параметров, аудиоэнкодер — около 300 млн. Архитектура использует гибридное внимание, сочетающее локальное sliding-window attention с глобальным вниманием; размер локального окна E4B составляет 512 токенов. Это позволяет снизить требования к памяти и ускорить обработку длинных контекстов, сохраняя глобальное представление информации. Квантизация GGUF может уменьшать требования к ресурсам и упрощать локальное развертывание, однако конкретные характеристики скорости, качества и потребления памяти зависят от варианта квантизации и используемого рантайма. Лицензия — Apache 2.0.

Карточка модели crusoeai/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Qwen1.5-72B-Chat-GGUF — квантованный вариант чат-модели Qwen1.5, разработанной командой Qwen. Это авторегрессионная языковая модель на основе архитектуры Transformer decoder-only, предназначенная для ведения диалогов и генерации текста. Модель подходит для чат-ботов, ответов на вопросы, обработки инструкций и других сценариев текстовой генерации. Модель содержит 72 миллиарда параметров и поддерживает контекст длиной до 32K токенов. Она работает с текстом и обучена для многоязычных сценариев, включая естественные языки и программный код; в метаданных README явно указан английский язык. После предварительного обучения модель прошла supervised fine-tuning и direct preference optimization, что направлено на улучшение качества диалогов и соответствия человеческим предпочтениям. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии заявлено отсутствие GQA и сочетания sliding window attention с full attention, кроме отдельных вариантов. Репозиторий предоставляет GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, позволяющие выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Сильными сторонами являются большой размер, контекст 32K и поддержка локального запуска через llama.cpp. Ограничения включают высокие требования к памяти и вычислительным ресурсам для 72B-модели, а также возможные потери качества при более агрессивной квантизации. Лицензия указана как other, с названием tongyi-qianwen; подробные условия доступны по ссылке на LICENSE.