I.6Перевод и языковая адаптация

OpenBuddy Coder 34B V11 — большая плотная языковая модель семейства Llama, созданная OpenBuddy и представленная в этом репозитории в формате GGUF BF16 для локального запуска. Это конверсия модели OpenBuddy Coder 34B V11 в GGUF, совместимая с llama.cpp и рядом пользовательских интерфейсов и библиотек для локального инференса. Модель предназначена для генерации текста в сценариях программирования и общения с ассистентом. Она поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. В README приведены варианты файлов с разной разрядностью GGUF; сильная сторона формата — возможность запускать модель на CPU и GPU с выбором компромисса между размером и качеством. Для самого малого варианта README предупреждает о существенной потере качества. Для запуска нужны совместимый движок и ресурсы, соответствующие выбранному файлу и настройке выгрузки слоёв на GPU. Контекстная длина в предоставленных данных не указана. Лицензия — Llama 2, поэтому использование регулируется её условиями.

CrazyDave53/OpenCVModelDemo — многоязычная модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768. Модель предназначена для семантического сравнения текстов, поиска и сопоставления перефразировок; сходство оценивается косинусной мерой. Метаданные указывают 305,2 млн параметров и контекст до 514 токенов; в карточке модели заявлена максимальная длина последовательности 128 токенов. Модель можно применять для семантического поиска, кластеризации, классификации текста и поиска похожих предложений или документов. Она принимает текст и выдаёт векторные представления, а обучение выполнено на наборе из 500 примеров с MarginDistillationLoss. В метаданных указана лицензия? Нет сведений о лицензии в предоставленных данных.

OrionStar Yi 34B Chat Llama — текстовая gener generative-модель для диалогового взаимодействия, разработанная OrionStarAI. Представлена в формате GGUF и предназначена для задач генерации текста и чат-сценариев, включая запуск через LlamaEdge. Модель относится к семейству Yi, содержит около 34 миллиардов параметров и поддерживает контекст длиной до 7168 токенов. Сведения о поддерживаемых языках и дополнительных модальностях в README не указаны. Модель доступна в нескольких вариантах квантизации от Q2_K до Q8_0. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества; квантизация Q2_K–Q4_0 обеспечивает меньший размер, но может заметно снижать качество. Размер файлов составляет примерно от 12,8 до 36,5 ГБ, поэтому для запуска требуются значительные вычислительные ресурсы и память. Квантизацию и публикацию GGUF-вариантов выполнила Second State Inc. Для работы с LlamaEdge требуется версия 0.2.9 или новее и специальный шаблон prompt типа human-assistant. Лицензия модели указана как Apache-2.0.

OvisOCR2 — компактная мультимодальная модель ATH-MaaS для разбора страниц документов. Она создана дообучением Qwen/Qwen3.5-0.8B и имеет плотную архитектуру Qwen3.5 с генерацией текста по изображению; размер модели — 0,8 млрд параметров. На вход подаётся изображение страницы, на выходе — представление в Markdown в естественном порядке чтения, включающее текст, формулы, таблицы и визуальные области. Модель предназначена для OCR и сквозного извлечения структуры документов. В отчёте разработчиков указаны результаты 96,58 на OmniDocBench v1.6 и средний балл 75,06 на PureDocBench. Для запуска в README приведён пример с vLLM. Модель распространяется по лицензии Apache-2.0. На разнообразных и сложных документах модель может ошибаться или выдавать неполный результат; разработчики рекомендуют вручную проверять выводы в критически важных сценариях.

Xenova/Phi-3-mini-4k-instruct — оптимизированная ONNX-версия инструкционной языковой модели Phi-3 Mini, подготовленная для запуска через Transformers.js и onnxruntime-web. Модель предназначена для генерации текста и диалогового взаимодействия в браузерных и JavaScript-приложениях, включая ответы на вопросы, решение задач и выполнение инструкций. Модель содержит 3,7 млрд параметров и поддерживает контекст длиной до 4096 токенов. Веса представлены в формате FP16 с блочным квантованием INT4; выход logits имеет формат FP32. Для совместимости с onnxruntime-web используется архитектурная модификация с MHA вместо GQA, а файлы модели ограничены размером менее 2 ГБ для кэширования в Chromium. Модель распространяется через библиотеку Transformers.js и использует ONNX Runtime. Лицензия MIT разрешает свободное использование при соблюдении её условий. Квантование INT4 может снижать точность по сравнению с полноразмерной версией, а ограничение контекста в 4096 токенов не позволяет эффективно работать с очень длинными документами. Возможности модели зависят от ресурсов устройства и производительности браузерной среды.

pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral AI и TokenBender. В README указан метод слияния SLERP, а метаданные относят архитектуру к плотным моделям Mistral с классом MistralForCausalLM. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять для чат-ботов, составления текстов и ответов на вопросы в текстовом интерфейсе. В README перечислены исходные модели и настройки слияния; данные о поддерживаемых естественных языках и специализированных областях применения не приводятся. Лицензия — Apache-2.0.

Qwen2-0.5B-Instruct — инструкционно дообученная языковая модель семейства Qwen2, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 494 млн параметров; она принимает текст и генерирует текст в формате диалога. Контекст составляет до 32 768 токенов. Модель предназначена для общения, генерации и понимания текста, а также может применяться к задачам рассуждения, математики и программирования. Модель компактна и поддерживает многоязычный токенизатор, но метаданные карточки отмечают английский язык. В приведённом сравнении она показала улучшение относительно Qwen1.5-0.5B-Chat на тестах MMLU, HumanEval и GSM8K. Эти результаты не гарантируют аналогичное качество в конкретных приложениях. Модель распространяется под лицензией Apache-2.0.

bunnycore/Qwen2.5-7B-HyperMix — объединённая модель семейства Qwen2.5, созданная автором репозитория с помощью mergekit. В качестве базовой использована Orion-zhen/Qwen2.5-7B-Instruct-Uncensored; при слиянии DARE TIES также включены huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, Replete-AI/Replete-LLM-V2.5-Qwen-7b и EVA-UNIT-01/EVA-Qwen2.5-7B-v0.0. Модель предназначена для диалогов и генерации текста. Это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов; репозиторий использует формат safetensors и библиотеку Transformers. Карточка не приводит подробных оценок качества или гарантированных преимуществ относительно включённых моделей. Модель принимает текст и генерирует текст. В метаданных указана лицензия Apache-2.0.

HarithSami дообучил эту плотную языковую модель на основе unsloth/qwen2.5-7b-instruct. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс для вызова инструментов. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face. Доступны веса в формате safetensors. Лицензия — Apache-2.0. Данные описания не уточняют, на каких именно данных выполнялось дообучение и насколько хорошо модель справляется с конкретными задачами или языками.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.3 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.4 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

wangkanai/qwen2.5-vl-7b-instruct — мультимодальная instruction-tuned модель семейства Qwen 2.5, опубликованная пользователем wangkanai. Она предназначена для анализа изображений и генерации текстовых ответов в сценариях визуального вопросно-ответного взаимодействия, описания изображений, OCR, анализа графиков и диаграмм, а также мультимодального диалога и других задач image-to-text. Модель построена на архитектуре Qwen2.5-VL с vision-language Transformer и ViT-ориентированным визуальным энкодером, содержит около 7 миллиардов параметров и принимает текст и изображения в форматах JPEG, PNG и WebP, возвращая естественный язык. Заявленная длина контекста составляет 4096 токенов с учётом текста и изображения. Доступны варианты FP16 SafeTensors и GGUF, включая квантованные Q5_K_M и Q4_K_M, что позволяет выбирать между качеством и требованиями к памяти. К сильным сторонам относятся сочетание визуального понимания, следование инструкциям и поддержка разнообразных мультимодальных задач. Ограничения включают относительно короткий заявленный контекст, зависимость требований к ресурсам от формата и возможные потери качества при квантовании. Это abliterated-версия с уменьшенными или удалёнными ограничениями на отказы, поэтому её ответы могут быть менее безопасными и требуют дополнительного контроля при использовании. Модель распространяется по лицензии Apache-2.0.

legraphista/Qwen2-7B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-7B-Instruct, разработанной командой Qwen и дополнительно квантизированной пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через совместимые с GGUF инструменты и llama.cpp. Модель содержит около 7 миллиардов параметров и создана на основе исходной версии с форматом BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда низкобитных вариантов применена IMatrix — калибровочная матрица, призванная сохранить качество при уменьшении размера модели. Размеры файлов варьируются примерно от 3,02 до 15,24 ГБ. В карточке указана поддержка английского языка; сведения о контекстном окне и дополнительных модальностях отсутствуют. Основные преимущества — большое количество вариантов квантования, возможность подобрать баланс между размером, требованиями к памяти и качеством, а также поддержка формата GGUF. Низкобитные версии экономичнее по ресурсам, но могут сильнее терять качество по сравнению с BF16 или FP16. Точные характеристики производительности, контекстного окна и поведения на других языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

ISTA-DASLab/Qwen3.5-4B-GGUF-GSQ — это GGUF-квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанная ISTA-DASLab. Модель создана для генерации текста и локального запуска в llama.cpp, Ollama, LM Studio и других средах, поддерживающих формат GGUF. Она предназначена для сценариев, где важны уменьшенный размер файла и эффективный запуск языковой модели на совместимом оборудовании. Модель использует формат GGUF K-Quant с вариантом квантования Q2_K_XL. За основу взят файл Unsloth UD-Q2_K_XL, после чего дискретные значения весов были оптимизированы методом GSQ (Gumbel-Softmax Quantization) и упакованы обратно в тот же формат. Размер и структура файла соответствуют стандартному Q2_K_XL, поэтому модель является заменой исходного GGUF-чекпойнта без изменений в runtime. README не содержит дополнительных сведений о языках, размере контекста и исходной архитектуре Qwen3.5-4B. По приведённым оценкам, GSQ-версия превосходит использованный исходный чекпойнт Unsloth на AIME 25, GPQA Diamond, IFEval, GSM8K и MMLU-Pro; результаты получены в режиме zeroshot при разных настройках thinking. Ограничения модели связаны с очень низкой разрядностью Q2_K и зависимостью от поддержки GGUF и совместимого runtime; приведённые показатели нельзя напрямую переносить на другие режимы использования. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-abliterated-NVFP4-MTP — языковая модель на базе Qwen3, созданная сообществом THe-Plague на основе моделей Qwen и производных Huihui AI и sakamakismile. Она предназначена для генерации текста и диалоговых сценариев, включая работу с длинным контекстом, а также для высокоскоростного инференса на видеоускорителях NVIDIA Blackwell, в частности DGX Spark с чипом GB10. Модель поддерживает английский и китайский языки, использует библиотеку vLLM и доступна для задач text generation. Архитектура построена по схеме Mixture of Experts: общий объём составляет 35 млрд параметров, из которых при обработке активны около 3 млрд. Основные веса квантизированы в NVFP4 и занимают примерно 21,9 ГБ, а слои MTP (Multi-Token Prediction) хранятся в BF16 и занимают ещё около 1,6 ГБ. Общий размер — около 23,5 ГБ, контекст — до 131 072 токенов. MTP предназначены для speculative decoding; на одном DGX Spark заявлена скорость до 95,2 токена в секунду при MTP=3. К сильным сторонам относятся сочетание NVFP4-квантизации и speculative decoding, высокая скорость генерации, поддержка длинного контекста и оптимизация под NVIDIA Blackwell. Abliteration удаляет направление отказа в представлениях модели, поэтому поведение и ограничения безопасности могут отличаться от исходной Qwen3.6; модель позиционируется как uncensored. Производительность зависит от оборудования, конфигурации vLLM и параметров MTP, причём в README оптимальным указан режим MTP=3, а MTP=4 может снижать скорость. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B Winnow keep-75 — это разреженная версия Qwen3.6-35B-A3B, подготовленная автором репозитория hbfreed с помощью поканального прореживания экспертов Winnow. В каждом эксперте SwiGLU удалено 25% каналов по оценке их важности; механизмы внимания, эмбеддинги и маршрутизатор не изменены. README указывает 26,6 млрд параметров, тогда как метаданные каталога — 2,9 млрд; эти оценки расходятся, поэтому размер здесь не приводится. Модель предназначена для генерации текста и диалогов. В README приведён результат perplexity 13,39 на C4 для данного непрошедшего дополнительное восстановление чекпойнта; сравнения с другими вариантами и показатели на downstream-задачах вынесены в отдельный материал. Указана длина контекста 262 144 токена. Для загрузки требуется Transformers версии 5 или новее и trust_remote_code=True; README также описывает запуск через vLLM с плагином winnow. Лицензия — Apache-2.0. Языки отдельно не перечислены.

mlx-community/Qwen3-8B-Base-bf16 — текстовая авторегрессионная модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров. Репозиторий mlx-community содержит версию для MLX, преобразованную из Qwen/Qwen3-8B-Base с помощью mlx-lm 0.24.0. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Она принимает текст и выдаёт текст; нативная длина контекста составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0. README не приводит сведений о конкретной языковой специализации или оценках качества.

DevQuasar/Qwen.Qwen3.8-Flash-Next-GGUF — квантизированная версия модели Qwen/Qwen3.8-Flash-Next, опубликованная DevQuasar. Модель предназначена для задач генерации текста и может использоваться в сценариях, поддерживаемых базовой моделью, однако конкретные области применения, языки и особенности поведения в README не указаны. Из доступных данных известно только, что модель относится к pipeline text-generation и распространяется в формате GGUF. Размер, архитектура, объём контекста, поддерживаемые модальности и параметры квантизации не приведены. К потенциальным преимуществам относятся уменьшенные требования к ресурсам по сравнению с полной версией, но точные компромиссы между скоростью, потреблением памяти и качеством неизвестны. Лицензия и условия использования в README не указаны.

Replete-LLM-Qwen2-7b-GGUF — набор GGUF-квантизаций модели Replete-LLM-Qwen2-7b, опубликованный и подготовленный квантизатором bartowski. Базовая модель разработана Replete-AI; в README указано, что квантизация выполнена с помощью llama.cpp release b3509 и метода imatrix. Модель предназначена для генерации текста и использования в локальных средах, включая LM Studio, с применением указанного шаблона prompt format. Это текстовая авторегрессионная модель семейства Qwen2 с заявленным размером 7 млрд параметров и поддержкой английского языка. Доступны варианты от F32 размером 30,47 ГБ до сильно сжатых IQ2_M размером 2,78 ГБ, включая форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что может повышать качество, но эффект зависит от сценария. Сильные стороны набора — широкий выбор размера файлов и компромисса между качеством и требованиями к памяти, а также совместимость с llama.cpp и LM Studio. Ограничения включают потенциальное снижение качества в низкобитных вариантах и отсутствие в README подробных данных о контекстном окне, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия — Apache-2.0; в метаданных также указано, что модель связана с датасетом Replete-AI/Everything_Instruct_8k_context_filtered.

Инструктивная русскоязычная версия Qwen2.5-3B, разработанная RefalMachine на основе модели RefalMachine/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256. Это плотная языковая модель Qwen2 с 3,1 млрд параметров, контекстом до 32 768 токенов и форматом весов safetensors. В модели заменили токенизатор на расширенный вариант cl100k с униграмным словарём на 48 тысяч токенов, затем провели дообучение на русскоязычном корпусе и применили Learned Embedding Propagation (LEP). Модель предназначена для диалогов и генерации русскоязычного текста по инструкциям. Авторы сообщают об увеличении скорости генерации русских текстов до 60% относительно исходной Qwen2.5-3B-Instruct при сравнении на одинаковых последовательностях; в README также упомянуты оценки на Ru-Arena-General, MERA и llmtf_open, но полные результаты не приведены. Метаданные указывают интерфейс вызова инструментов, однако README не описывает его применение. Модель принимает текст и выдаёт текст. Авторы предупреждают, что ответы могут отражать знания и мнения, усвоенные на этапах обучения, и рекомендуют использовать её с осторожностью. Условия лицензии в предоставленных данных не указаны.

NidAll/supergemma4-e4b-abliterated-Q4_K_M-GGUF — это версия модели supergemma4-e4b-abliterated, разработанной Jiunsong и преобразованной пользователем или организацией NidAll в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы с инструкциями; в метаданных также заявлена поддержка вызова инструментов и структурированного вывода. Модель рассчитана на запуск через llama.cpp, включая режим командной строки и серверный режим, что позволяет использовать её локально на совместимом оборудовании. Доступен файл с квантизацией Q4_K_M, поэтому вариант ориентирован на более экономичное использование памяти по сравнению с полноточными версиями. В README не указаны точный размер модели, архитектура, поддерживаемые языки, модальности и максимальная длина контекста; значение 2048 приведено только как пример параметра запуска. Сильными сторонами являются компактный GGUF-формат, совместимость с llama.cpp и заявленные возможности instruction tuning, tool calling и structured output. Ограничения и качество исходной модели в этой карточке подробно не описаны, поэтому для оценки производительности следует обращаться к карточке базовой модели Jiunsong/supergemma4-e4b-abliterated. Указана лицензия gemma.

T3qm7xNeuralsirkrishna_Experiment24Experiment26 — объединённая модель для генерации текста, созданная на основе двух моделей Mistral: automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Experiment26-7B. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Venomia-1.1-m7-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, полученная слиянием Mistral-7B-Instruct-v0.2 и Sao10K/Venomia-1.1-m7 методом SLERP. Модель разработана на базе Mistral и содержит 7,1 млрд параметров; поддерживает контекст до 32 768 токенов и предназначена для генерации текста и ответов на инструкции в формате диалога. Модель подходит для чат-ботов, интерактивных ответов и генерации текста по запросу. Распространяется в формате safetensors, лицензия — Apache-2.0. Данные карточки не описывают конкретные целевые языки или специализированные области применения.

ZEUS-8B-V25 — объединённая языковая модель, созданная с помощью mergekit методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct и нескольких моделей семейства Llama 3.1. Она предназначена для генерации текста и диалоговых сценариев; каталог также отмечает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров, работает с контекстом до 131 072 токенов и загружает веса в формате safetensors. Модель подойдёт для создания диалоговых приложений, генерации ответов и работы с длинными текстовыми запросами. В README приведены результаты оценивания: средний балл 15,00%, IFEval — 33,20%, BBH — 21,85%; этих результатов недостаточно, чтобы судить о качестве на всех задачах. Лицензия в предоставленных данных не указана.

Qwen2.5-32B-Instruct-AWQ — инструкционно дообученная языковая модель из семейства Qwen, разработанная командой Qwen. Это причинная языковая модель для генерации текста, диалоговых ассистентов, следования инструкциям, написания и анализа кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и GQA с 40 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию, что может снизить требования к памяти по сравнению с полноточной моделью. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Полная длина контекста указана до 131 072 токенов, а генерация — до 8192 токенов; при этом текущая конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется включение YaRN. Сильными сторонами модели являются улучшенные возможности в программировании и математике, следование инструкциям, обработка длинных текстов, понимание таблиц и генерация структурированных данных. При использовании статического YaRN производительность на коротких текстах может снижаться, поэтому его рекомендуется включать только при работе с длинным контекстом. Для загрузки и развёртывания требуются совместимые версии Transformers и поддержка AWQ; в документации рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-4-31B-it-unsloth-bnb-4bit — это 4-битная квантизированная версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе google/gemma-4-31B-it и разработанная Google DeepMind. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с выдачей текстового ответа. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями, словарём размером 262 тыс. токенов и гибридным механизмом внимания, сочетающим локальное скользящее окно на 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тыс. токенов. Поддерживаются текст и изображения; аудио для версии 31B не заявлено. Gemma 4 также поддерживает более 140 языков, режимы настраиваемого рассуждения, системные инструкции и нативный function calling. Ключевые преимущества — большой контекст, мультимодальное понимание, возможности рассуждения и кодирования, а также сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможную потерю точности по сравнению с полноразмерной версией и зависимость качества от совместимого программного обеспечения и оборудования для BNB 4-bit. Модель распространяется по лицензии Apache 2.0.

Granite-4.2-8B (MXFP4) — квантизированная версия языковой модели Granite-4.2-8B, разработанной командой Granite компании IBM. Это decoder-only dense Transformer для генерации текста, диалогов, рассуждений, написания кода, вызова инструментов и агентских сценариев. Репозиторий содержит вариант с представлением MXFP4; базовая модель имеет 8 млрд параметров, а квантизированный вариант на странице модели обозначен как модель размером около 5 млрд параметров. Архитектура включает GraniteForCausalLM, Grouped Query Attention с 32 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Модель поддерживает встроенный режим рассуждений с тегами <think>...</think>, а также режимы полного, отключённого и облегчённого рассуждения. Нативный контекст составляет 128K токенов, заявлено расширение до 512K. Проверены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; модель текстовая и мультимодальность не заявлена. Сильные стороны — рассуждения, программирование, многошаговые задачи, tool calling, длинный контекст и многоязычный диалог при сниженных требованиях к памяти благодаря MXFP4. Ограничения включают возможное снижение качества вне английского языка, а также риск неточных, предвзятых или небезопасных ответов; вывод рассуждений может содержать промежуточные и неотшлифованные мысли. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

GLM-4-9B-Chat — открытая диалоговая модель семейства GLM-4, разработанная Zhipu AI. Это плотная модель архитектуры ChatGLM с 10,7 млрд параметров, предназначенная для многоходового общения и генерации текста. Репозиторий содержит веса в формате Safetensors; модель рассчитана на контекст до 128 тыс. токенов. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также вызова внешних инструментов и функций. В README заявлена поддержка 26 языков; среди приведённых в метаданных языков — китайский и английский, а результаты оценки включают русский и ряд других языков. Модель может служить основой для ассистентов, способных работать с длинными текстами и использовать инструменты. README приводит результаты оценок на наборах для диалога, следования инструкциям, знаний, математики, кода и многоязычности, но они не гарантируют качество в конкретном приложении. Для запуска нужны совместимые версии Transformers и подходящая инфраструктура вывода. Лицензия указана как other; README отсылает к отдельной лицензии GLM-4, поэтому условия использования следует сверять с ней.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для генерации текста, программирования, длительно работающих автономных агентов, вспомогательных агентских задач и эффективного локального вывода на совместимом оборудовании. Модель поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Общее число параметров составляет 30 млрд, из них при обработке каждого токена активны около 3 млрд. Модель работает с контекстом до 1 млн токенов и распространяется в формате NVFP4. Поддерживаются NVIDIA Blackwell, Hopper и, через режим W4A16, Ampere; заявлено развёртывание на одной NVIDIA H100 или DGX Spark с GB10. Для ускорения генерации доступны DSpark, MTP и DFlash. К сильным сторонам относятся сочетание большого общего объёма параметров с небольшим числом активных параметров, поддержка очень длинного контекста, агентских сценариев и локального вывода на подходящем оборудовании. Ограничения связаны с требованиями к совместимому NVIDIA GPU и специализированным настройкам инференса; для некоторых аппаратных конфигураций параметры поддержки требуют дополнительного подтверждения. Модель лицензируется по OpenMDW License Agreement версии 1.1 и заявлена как готовая к коммерческому использованию.

unsloth/Qwen3-235B-A22B-Instruct-2507 — версия модели Qwen3, опубликованная Unsloth с исправлениями шаблона чата. Это причинная языковая модель архитектуры MoE: в исходной конфигурации 235 млрд параметров, из которых активируются 22 млрд; версия в репозитории содержит 18,2 млрд параметров. Модель предназначена для диалогов и следования инструкциям, рассуждений, математики, программирования и вызова инструментов. Она работает только в режиме без пошагового «thinking» и поддерживает контекст до 262 144 токенов. Разработчики отмечают улучшения в понимании текста, знаниях на нескольких языках и выполнении открытых задач. Модель подходит для чат-ассистентов, обработки длинных документов и агентных сценариев с инструментами. В метаданных указаны Transformers и формат Safetensors; для использования с llama.cpp README рекомендует параметр --jinja. Репозиторий лицензирован по Apache-2.0.