I.6Перевод и языковая адаптация

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Для взаимодействия используется формат промптов ChatML с ролями system, user и assistant. Модель имеет архитектуру и исходный размер Qwen3-30B-A3B; точные сведения о модальностях, языках и размере контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации GGUF, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp b5200. Старшие варианты сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Основные ограничения связаны с компромиссом между размером файла, требованиями к памяти и качеством генерации: низкобитные варианты имеют более низкое качество и некоторые из них не рекомендуются. Для запуска требуется совместимое программное обеспечение и аппаратные ресурсы, соответствующие выбранному файлу; размер вариантов составляет примерно от 11 до 61 ГБ. Модель распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

Tema_Q-X6-9B-Thinking — дообученная текстовая большая языковая модель, созданная TemaQ на базе NeoHorse от TokenRhythm. Она предназначена для генерации ответов в диалоге и обработки сложных запросов, на которые стандартным моделям бывает трудно ответить. Модель построена на плотной архитектуре Qwen3.5 и содержит 7,2 млрд параметров; её контекстное окно — до 262 144 токенов. Поддерживаются японский, английский и китайский языки. Модель подходит для диалоговых помощников, следования инструкциям и работы с инструментами через соответствующий интерфейс. В карточке отмечены неконтентные фильтры, поэтому следует учитывать возможность генерации нежелательных ответов. README возлагает на пользователей ответственность за соблюдение законов и правил платформы и запрещает вредоносное использование. Сведения о лицензии в предоставленных данных отсутствуют.

cstr/vibevoice-asr-GGUF — это конверсия модели Microsoft VibeVoice-ASR в формат GGUF/ggml, подготовленная для запуска через CLI CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации длинных аудиозаписей, определения говорящих и формирования временных меток. Она может обрабатывать до 60 минут аудио за один проход, а для более длинных записей используется потоковая сегментация. Результат выдаётся в структурированном JSON с текстом, идентификатором говорящего, временем начала и окончания сегмента. Поддерживаются контекст и пользовательские hotwords, а также автоматическое определение языка. Это speech-LLM примерно на 7 млрд параметров с акустическим и семантическим ConvNeXt-подобными энкодерами, двумя SpeechConnectors и декодером Qwen2-7B. Декодер имеет 28 слоёв, Grouped Query Attention с 28 query-heads и 4 KV-heads, размер скрытого состояния 3584 и контекст до 32768 токенов. Модель мультиязычная и заявлена для более чем 50 языков, включая английский, китайский, испанский, русский, японский, корейский, немецкий и другие. Доступны варианты квантования Q4_K_M размером около 5 ГБ, Q8_0 размером 9,45 ГБ и F16 размером 16 ГБ; Q8_0 позиционируется как вариант с качеством, близким к F16. К сильным сторонам относятся объединение транскрибации и диаризации в одной модели, сегментация с временными метками, поддержка длинных записей, hotwords и детерминированный режим работы C++-рантайма. Ограничения включают необходимость запуска через совместимый CrispASR и обязательную предварительную подготовку аудио: моно, 24 кГц, с нормализацией уровня. Модель распространяется по лицензии MIT.

Agnes-3.0-Flash Preview GGUF — набор квантизированных сборок базовой модели Agnes-AI/Agnes-3.0-Flash, опубликованный quimmedes. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, а также для локального запуска через совместимый runtime llama.cpp. Доступны варианты квантования от Q3 до Q9 и несколько альтернативных сборок с разным распределением точности между компонентами модели. Архитектура основана на гибридной схеме с recurrent SSM- и attention-слоями: 72 слоя, включая 54 delta-rule и 18 global attention, дополнительная параллельная SwiGLU-ветвь в каждом слое, около 32,63 млрд параметров, размер скрытого состояния 5120, словарь из 248 320 токенов и один MTP-слой. Поддерживаются текст, изображения и видео; точный набор языков и максимальная длина контекста в README не указаны, хотя приведён пример запуска с контекстом 32 768 токенов. Модель использует тот же токенизатор и шаблон чата, что и Qwen3.8-27B, но имеет дополнительные слои и переобученные проекционные матрицы. Ключевое преимущество сборок — сочетание гибридного внимания, поддержки длинного контекста, мультимодальности и выбора размера файла: от 12,12 до 32,28 GiB для основной линейки. Для работы требуется патченная версия cafe-llama.cpp; стандартная llama.cpp не поддерживает необходимые тензоры и может завершиться ошибкой или некорректно загрузить модель. Указанные требования к видеопамяти и параметры запуска ориентированы на карту 24 ГБ, однако фактические возможности зависят от выбранного квантования и длины контекста. Модель и сборки распространяются по лицензии Apache-2.0.

Baguettotron — компактная языковая модель PleIAs для генерации текста и решения задач с рассуждениями. Это плотная авторегрессионная модель семейства Llama с 320,9 млн параметров и 80 слоями; она обучена на 200 млрд токенов открытого синтетического набора PleIAs/SYNTH. Репозиторий содержит веса Safetensors для Transformers, а контекст модели составляет 4096 токенов. Модель предназначена для следования инструкциям, ответов на вопросы, извлечения и редактирования информации, простых математических задач, творческого письма и генерации с опорой на предоставленный контекст. Она обучена работать с английским, французским, немецким, итальянским, испанским и польским; README также упоминает более ограниченную поддержку латыни и нидерландского. Цепочки рассуждений формируются на английском. По заявлению разработчика, модель показывает сильные результаты среди моделей сопоставимого размера в ряде общих, математических и retrieval-бенчмарков. Baguettotron — небольшая модель, поэтому её возможности ограничены по сравнению с крупными языковыми моделями; заявленные результаты относятся к конкретным бенчмаркам и не гарантируют точность в каждом сценарии. Лицензия — Apache-2.0.

Breeze-7B-Instruct-v1_0 — диалоговая языковая модель MediaTek Research для ответов на вопросы, многоходового чата, суммаризации и сценариев RAG. Это дообученная версия Breeze-7B-Base-v1_0, которая, в свою очередь, основана на Mistral-7B; модель использует архитектуру Mistral с плотным декодером и содержит 7,2 млрд параметров. Модель рассчитана прежде всего на традиционный китайский язык, а также поддерживает английский. Словарь расширен с 32 тыс. до 62 тыс. токенов для лучшей поддержки традиционного китайского; в карточке заявлено ускорение инференса на этом языке. Контекст модели — 32 768 токенов по метаданным каталога; README описывает версию с контекстом 8 тыс. токенов. Эти значения различаются между источниками. Модель работает с текстом и предназначена для использования как готовый чат-ассистент. В README отмечено, что для диалогов нет специальной обработки вредоносных запросов. Модель опубликована под лицензией Apache-2.0; её качество и скорость могут зависеть от сценария и условий запуска.

DeepSeek-OCR-2-bf16 — мультимодальная модель для анализа изображений и генерации текстовых ответов, опубликованная сообществом mlx-community. Модель конвертирована в формат MLX из prince-canuma/DeepSeek-OCR-2 с помощью mlx-vlm 0.3.10 и предназначена для использования через библиотеку Transformers и инструменты MLX. Модель решает задачи оптического распознавания символов и описания изображений: извлекает текст из изображений, отвечает на вопросы о визуальном содержимом и формирует текстовые результаты по изображению. Она поддерживает мультиязычные сценарии, имеет 559,7 млн параметров и нативное контекстное окно до 8192 токенов. К сильным сторонам относятся специализированная направленность на OCR, поддержка vision-language сценариев и формат bf16 для экосистемы MLX. Результаты могут зависеть от качества, разрешения и структуры исходного изображения, а точность распознавания сложных документов, мелкого текста и нестандартных макетов следует проверять на собственных данных. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-0731 GGUF — квантизированная версия текстовой генеративной модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek и преобразованной в формат GGUF пользователем qtum с использованием llama.cpp. Модель предназначена для генерации и продолжения текста, включая работу с английскими и китайскими запросами, а также для локального запуска через llama.cpp на одной или нескольких видеокартах. Модель использует разреженную MoE-архитектуру с маршрутизацией к 6 экспертам из 256 на каждом токене. В репозитории представлены несколько уровней квантизации размером от 58,8 до 129,9 GiB, распределённых по четырём сегментам; также доступна исходная эталонная сборка размером 145,6 GiB. Все варианты калиброваны с использованием смешанных фрагментов кода, английского и китайского текста. Заявленный размер контекста в примерах запуска составляет 8192 токена, а для speculative decoding — 2048 токенов. Сильными сторонами сборки являются широкий выбор уровней сжатия, защита наиболее важных компонентов модели от чрезмерной квантизации и поддержка DSpark speculative decoding. При этом уменьшение размера сопровождается ростом perplexity, а варианты IQ1 и IQ2 заметно уступают более крупным сборкам по точности. Speculative decoding в текущей реализации требует размещения модели и черновой модели на одном GPU и не работает при распределении целевой модели более чем на одну видеокарту; для запуска нужны все сегменты выбранного варианта. Лицензия — MIT, унаследованная от базовой модели.

ERNIE-4.5-300B-A47B-2Bits-Paddle — текстовая языковая модель семейства ERNIE 4.5 от Baidu, представленная в репозитории в формате safetensors. Это модель генерации текста с архитектурой MoE: всего 300 млрд параметров, из которых для каждого токена активируется около 47 млрд; в конфигурации указаны 54 слоя и контекст до 131 072 токенов. Она предназначена для диалогов, понимания языка и генерации ответов, в том числе на английском и китайском языках. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако этот вариант описан как текстовая модель и имеет задачу text-generation. Карточка рекомендует развёртывание через FastDeploy на PaddlePaddle и приводит параметры генерации Temperature=0.8 и TopP=0.8. Для репозитория указана лицензия Apache-2.0. Название содержит обозначение 2Bits, но метаданные сообщают только о формате safetensors, поэтому точный способ и степень квантизации файлов этого репозитория не подтверждены.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

Human-Like-Qwen2.5-1.5B-Instruct — компактная языковая модель на архитектуре Qwen2, разработанная на основе Qwen/Qwen2.5-1.5B-Instruct и дообученная с помощью AutoTrain на Human-Like-DPO-Dataset. Модель предназначена для генерации текста и диалоговых ответов; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит веса в формате safetensors и доступен по лицензии other; конкретные условия этой лицензии следует проверить перед использованием.

KafkaLM-8x7b-German-V0.1-DPO — немецкоязычная языковая модель Seedbox, обученная Деннисом Дикманном. Это дообученная модель семейства Mixtral с архитектурой Mixture of Experts; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Весовые файлы доступны в формате safetensors. Модель предназначена для диалогового помощника и повседневных задач на немецком языке, включая сценарии немецкоязычного бизнеса. Она дообучена на наборах инструкций, переведённых с английского на немецкий, а затем выровнена методом DPO на немецкой модификации UltraFeedback. Автор отмечает её уверенное и творческое поведение, а также склонность иногда выходить за языковые рамки. Модель распространяется по лицензии Apache-2.0. Карточка рекомендует использовать её для исследовательских целей и указывает, что применяются ограничения исходной лицензии Llama 2 и использованных датасетов; эта оговорка сама по себе не меняет классификацию зрелости модели.

Kundalini 1B — компактная разговорная языковая модель, разработанная Terminal Gnosis. Это плотная причинно-языковая модель семейства Llama с 1,2 млрд параметров, предназначенная для генерации текста и диалогов; репозиторий содержит веса Safetensors в 16-битной точности. Заявленная длина контекста — 131 072 токена, поддержка языков многоязычная. Модель рассчитана на повседневный диалог, ответы на вопросы, редактирование и краткое изложение текста, структурированные рассуждения, помощь с программированием и обсуждение философских и духовных тем. В README также заявлены низкая задержка и возможность локального запуска на CPU и устройствах с ограниченными ресурсами. Метаданные указывают интерфейс чата и интерфейс вызова инструментов. Размер модели ограничивает её возможности в сложных специализированных задачах и многошаговых математических выводах; фактические ответы следует проверять перед использованием в критически важных решениях. Лицензия — Apache-2.0.

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Positron AI публикует неизменённую копию Llama-3.2-1B-Instruct от Meta: веса, токенизатор и конфигурация побайтно совпадают с указанным upstream-снимком. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров, предназначенная для диалогов и генерации текста; заявленное контекстное окно — 131 072 токена. Метаданные указывают поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также интерфейс для вызова инструментов. Модель подходит для ответов на вопросы, суммаризации, помощи в написании текста и других задач генерации текста. Репозиторий содержит веса в формате SafeTensors и распространяется по лицензии Llama 3.2. README сообщает, что это неизменённая перепубликация исходной модели, а не отдельное дообучение; при этом метаданные классифицируют связь с базовой моделью как finetune, поэтому происхождение указано по метаданным. Подробные оценки и ограничения в карточке этой копии не приведены.

MaziyarPanahi/Mistral-7B-Instruct-v0.2 — инструктивно дообученная версия языковой модели Mistral-7B-v0.2, опубликованная Maziyar Panahi на основе модели Mistral AI. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, рассчитанная на диалог и выполнение инструкций. Она принимает текстовые запросы в формате Mistral Instruct и генерирует текстовые ответы; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, создания и редактирования текстов и других сценариев генерации текста. В README говорится, что версия Instruct служит демонстрацией возможностей дообучения базовой модели. Карточка предупреждает, что у модели нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать дополнительной проверки. Модель распространяется под лицензией Apache-2.0.

llmat/Mistral-7B-Instruct-v0.3-NVFP4 — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Версия NVFP4 создана с использованием llmcompressor и предназначена для генерации текста и диалоговых сценариев, включая работу через chat-шаблоны и развёртывание с помощью vLLM. Модель содержит 7 миллиардов параметров и использует квантизацию NVFP4 для линейных слоёв; слой lm_head не квантизирован. При калибровке использовались 512 образцов с максимальной длиной последовательности 2048 токенов. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для обслуживания доступны vLLM и OpenAI-совместимый серверный интерфейс. Ключевое преимущество модели — уменьшенный формат представления, потенциально удобный для эффективного развёртывания, при сохранении назначения исходной инструкционной модели. Ограничения связаны с влиянием низкобитной квантизации на качество и с тем, что сведения о фактическом контекстном окне и результатах оценки производительности в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

Mistral-Small-24B-Base-2501 — базовая плотная языковая модель с 23,4 млрд параметров, разработанная командой Mistral AI. Она предназначена для дообучения и создания специализированных моделей, а также для генерации текста и диалоговых сценариев. Модель использует архитектуру MistralForCausalLM и поддерживает контекст длиной до 32 768 токенов. Модель рассчитана на многоязычное применение: в метаданных и карточке указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В карточке также отмечена поддержка ряда других языков. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование, изменение и распространение. Это базовая версия; для готового диалога разработчик предлагает отдельную версию Instruct. Заявления о качестве сопровождаются результатами бенчмарков в карточке, но они не гарантируют качество в конкретном сценарии.

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwen3-30B-A3B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для оригинальной модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в локальных приложениях и сервисах, поддерживающих GGUF. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат совместим с llama.cpp и рядом инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другие. Архитектура, число активных параметров, модальности, языки и размер контекста в README не указаны. Сильная сторона модели — возможность локального запуска и выбора уровня квантизации в зависимости от доступного оборудования. Ограничения связаны с тем, что качество и производительность конкретного варианта зависят от выбранной разрядности и совместимого программного окружения. Лицензия в предоставленных данных не указана.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen, представленная в репозитории ensu-app/Qwen3.5-0.8B-GGUF и основанная на Qwen/Qwen3.5-0.8B. README не указывает отдельного разработчика репозитория; модель относится к линейке Qwen. Она предназначена для прототипирования, исследовательских и разработческих задач, а также для дообучения под конкретные сценарии. Поддерживает работу с текстом и изображениями благодаря архитектуре языковой модели с vision encoder, включая задачи рассуждения, программирования, визуального понимания и агентных сценариев. Модель содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась в режимах pre-training и post-training, а веса и конфигурации совместимы с Transformers, vLLM, SGLang и KTransformers. Для локального запуска и дообучения рекомендуется использовать инструменты Unsloth. К сильным сторонам относятся малый размер, потенциально высокая скорость и низкая стоимость инференса, мультимодальность, большой контекст и широкое языковое покрытие. Ограничение — относительно небольшой масштаб в 0,8 млрд параметров, поэтому модель ориентирована прежде всего на прототипы, специализированное дообучение и исследования, а не на универсальные задачи максимальной сложности. В README указана лицензия Apache-2.0.

Qwen3.6-35B-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, подготовленная разработчиком 0xSero. Модель предназначена для генерации текста и запуска через llama.cpp, включая сценарии локального инференса на совместимом оборудовании. Доступны варианты с разными уровнями квантизации, включая динамическую смешанную квантизацию DYNAMIC.gguf. Модель имеет 35 млрд общих параметров, при этом на один токен активируется около 3 млрд параметров. В её основе используется гибридная архитектура Gated DeltaNet и Gated Attention с маршрутизацией через 256 экспертов; для DYNAMIC.gguf критичные компоненты внимания и маршрутизатор сохраняются в более высокой точности, а экспертные слои квантуются сильнее. Указан формат GGUF, однако размер контекста, число слоёв, скрытый размер, поддерживаемые языки и модальности в README не приведены. Сильной стороной являются варианты, ориентированные на баланс качества, размера и скорости, а также результаты тестирования на AMD Ryzen AI MAX+ 395 с Radeon 8060S, Vulkan и llama.cpp. Ограничение — заявленные показатели производительности относятся к конкретной конфигурации и могут отличаться на другом оборудовании; квантизация также может влиять на качество. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированный производный вариант модели Qwen/Qwen3.8-27B, опубликованный пользователем mikeinnyc. Это не дообученная модель: дополнительное обучение не проводилось, а GPTQ-квантизация выполнена непосредственно из исходного чекпойнта BF16. Модель предназначена для генерации текста и развёртывания через Transformers и vLLM, включая сценарии с OpenAI-совместимым API и Open WebUI. Она ориентирована на запуск на Intel Arc Pro B70 с использованием vLLM XPU, speculative decoding и unquantized MTP draft path. В контролируемом тестировании на одной Intel Arc Pro B70 32 GB конфигурация G128 поддерживала контекст до 161 000 токенов с FP8 KV-кэшем. Ключевые характеристики: GPTQ INT4 с симметричной квантизацией и group size 128, без квантизации LM head и MTP-тензоров; размер загрузки составляет около 19,6 ГБ, модель хранится в пяти файлах safetensors. Сильными сторонами являются уменьшенный объём памяти по сравнению с BF16, поддержка очень длинного контекста и возможность ускорения генерации с помощью MTP. Ограничения включают зависимость от совместимой конфигурации vLLM XPU и специальных патчей для проверенного сценария на Intel Arc Pro B70; заявленные характеристики производительности относятся именно к этому окружению. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Instruct-Unredacted-MAX-Quants-GGUF — набор высококачественных GGUF-квантизаций мультимодальной модели prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX. Модель предназначена для диалогового взаимодействия, генерации текста и анализа изображений, включая задачи image-to-text, описания изображений и визуального распознавания. В README заявлена версия без ограничительных фильтров. Модель основана на архитектуре Qwen3-VL и содержит 8 миллиардов параметров. Поддерживаются текстовая и визуальная модальности, а также английский, русский и китайский языки. Доступны варианты квантования Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендован как баланс скорости и качества, а F16 служит эталонным вариантом с базовым качеством. Для обработки изображений требуется отдельный vision projector mmproj, доступный в форматах F32, F16, BF16 и Q8_0. Преимуществами являются совместимость с llama.cpp и другими GGUF-совместимыми средами, выбор вариантов под разные требования к памяти и производительности, а также полноценная поддержка изображений при использовании mmproj. К ограничениям относятся компромиссы между размером, скоростью и качеством у разных квантований; варианты Q2_K и Q3_K_M характеризуются более заметной потерей качества, а визуальные задачи требуют дополнительного файла проектора. Лицензия — Apache-2.0.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

RWKV7-G1i-2.9B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчонгом Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM и рекуррентным состоянием постоянного размера: генерация не использует attention и требует постоянной вычислительной работы на каждый новый токен, при этом обучение можно распараллеливать. Модель с 3,1 млрд параметров предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для оценки, последующего обучения и дообучения, а шаблон чата служит интерфейсом для подачи запросов и сам по себе не означает, что модель безопасно настроена как ассистент. Поддерживает несколько языков; среди языков карточки указаны английский, китайский, японский, корейский, французский, арабский, испанский и португальский. Контекст модели по метаданным — 2048 токенов. Для запуска README рекомендует flash-linear-attention и Transformers версии 4.48.0 или новее. Лицензия — Apache-2.0.