I.6Перевод и языковая адаптация

Pullulation-2-9B — объединённая диалоговая языковая модель на базе Gemma 2, созданная ClaudioItaly с помощью mergekit и метода Model Stock. В качестве базовой модели при слиянии использована nbeerbower/gemma2-gutenberg-9B; также объединены пять других вариантов Gemma 2 с настройками для диалогов и генерации текста. Модель с плотной архитектурой Gemma2ForCausalLM содержит 9 млрд параметров, работает через Transformers и распространяется в формате safetensors. Она предназначена для генерации текста и диалоговых ответов; контекст составляет 8192 токена. Лицензия в предоставленных данных не указана.

Q2.5-Veltha-14B-0.5-GGUF — GGUF-квантизированная версия модели Q2.5-Veltha-14B-0.5, созданная на базе djuna/Q2.5-Veltha-14B-0.5 и подготовленная пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться через llama.cpp и LM Studio. В README указан специальный шаблон диалога с ролями system, user и assistant. Модель имеет размер 14B параметров; доступны варианты от F16 до Q3_K_XL, включая Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для наиболее распространённых сценариев рекомендуется Q4_K_M, а варианты Q5 и Q6 обеспечивают более высокое качество при большем потреблении памяти. Точные архитектура, размер контекста, поддерживаемые языки и мультимодальные возможности в README не указаны. По опубликованным результатам Open LLM Leaderboard модель получила 77,96% строгой точности на IFEval, 50,32% на BBH, 33,84% exact match на MATH уровня 5, 15,77% на GPQA, 14,17% на MuSR и 47,72% на MMLU-PRO. Эти показатели характеризуют качество на отдельных тестах, но не гарантируют аналогичную эффективность в прикладных задачах. Информация о лицензии в README отсутствует.

nvidia/Qwen2.5-VL-7B-Instruct-NVFP4 — мультимодальная инструкционная модель, разработанная NVIDIA на основе Qwen/Qwen2.5-VL-7B-Instruct. Она предназначена для генерации текста и обработки задач, связанных с визуально-языковым взаимодействием, включая сценарии, где требуется анализ визуального и текстового контекста. В карточке модели указано, что это квантованная версия в формате FP4, подготовленная с использованием NVIDIA Model Optimizer. Модель относится к семейству Qwen2.5-VL и имеет размер 7B параметров в базовой версии. Поддерживаемые языки, максимальная длина контекста, точные характеристики архитектуры, перечень входных модальностей и показатели качества в README не указаны. Квантование FP4 потенциально снижает требования к памяти и может повысить эффективность инференса, однако README не содержит результатов бенчмарков или сведений о совместимом оборудовании. Модель распространяется по NVIDIA Open Model License. Лицензия допускает коммерческое использование, создание и распространение производных моделей, но требует соблюдения условий соглашения, включая указание лицензии NVIDIA и атрибуции «Built on Qwen2.5-VL-7B-Instruct-FP4» при распространении модели, продуктов или сервисов на её основе. Использование также должно соответствовать условиям NVIDIA Trustworthy AI; ответственность за результаты и их последующее применение несёт пользователь.

t-firefly/qwen3.5-27b-rknn3-rk1828 — сборка модели Qwen3.5-27B, подготовленная t-firefly для запуска на Rockchip RK1828 через LlamaPi. Исходную модель разработала команда Qwen; это мультимодальная модель генерации текста по текстовым и визуальным входам с архитектурой Qwen3.5 и гибридной конструкцией Gated Delta Networks со разреженной смесью экспертов. В репозитории указаны форматы GGUF и safetensors, а метаданные отмечают поддержку диалогов, зрения и интерфейса вызова инструментов. Модель предназначена для диалогов, рассуждений и анализа изображений на совместимом устройстве RK1828. Исходная модель поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 млн токенов. Лицензия — Apache-2.0. README описывает сборку для LlamaPi, но не приводит измерений качества или подробностей о точности и квантовании файлов этой версии.

Qwen3.5-4B-QAD-W4A16 — это квантизированная версия модели Qwen3.5-4B, опубликованная nota-ai. Модель предназначена для генерации текста и эффективного инференса с использованием speculative decoding. Она разработана в рамках работы Jaeyeon Kim, Jewon Lee и Bo-Kyeong Kim и занимает третье место в Efficient Qwen Competition на ICML 2026. Модель использует INT4-квантизацию формата W4A16 и Quantization-Aware Distillation (QAD), чтобы уменьшить потерю качества по сравнению с обычной посттренировочной квантизацией. В процессе также применялись методы, согласующие квантизированную целевую модель с DFlash-drafter, а сама модель оптимизирована для запуска на одной NVIDIA A10G с 24 ГБ памяти. В README заявлено сохранение качества на тестах MMLU-Pro, IFEval и GPQA-Diamond. Архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности не указаны. Модель подходит для серверного текстового инференса, особенно когда важны снижение задержки и эффективное использование памяти. Для запуска через vLLM требуется поддержка quantization compressed-tensors и параметр trust-remote-code; для speculative decoding предусмотрена совместимая модель-drafter Qwen3.5-4B-DFlash-GPTQ-W4A16. Переобучение требует много GPU-памяти и минимум двух, предпочтительно восьми, GPU класса 80 ГБ, поэтому модель прежде всего ориентирована на готовое инференс-использование. Лицензия — Apache-2.0; модель производна от Qwen3.5-4B, а её дистилляционные данные происходят из закрытого по условиям доступа набора NVIDIA Nemotron-Post-Training-Dataset-v2.

MuXodious создал Qwen3.5-4B-SOMPOA-heresy-v2 — дообученную версию мультимодальной модели Qwen3.5-4B, обработанную методом abliteration с использованием Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation. Модель предназначена для диалогов, анализа изображений, рассуждений и работы с инструментами; README сообщает о снижении частоты отказов после обработки. Это плотная модель на 4 млрд параметров с языковой частью и визуальным энкодером, построенная на гибридной архитектуре с Gated Delta Networks и gated attention. Базовая модель поддерживает 201 язык и диалект, а длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Репозиторий содержит веса в формате Safetensors для использования с Transformers и совместимыми движками инференса. Модель может подходить для мультимодальных диалогов, вопросов по изображениям, рассуждений и сценариев с вызовом инструментов. Указанный в README результат UGI и метрики снижения отказов относятся к заявлениям автора; независимая оценка качества здесь не приведена. Лицензия — Apache-2.0.

KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.

Карточка модели marma/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.

Карточка модели PapaMoth/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.

nisten/shqiponja-90 — языковая модель для генерации текста, созданная с помощью mergekit на основе моделей семейства Qwen. В карточке указано, что в объединении использован метод passthrough и модели Smaug-72B-v0.1, Qwen1.5-72B и smallsmaug-fine2; метаданные связывают репозиторий с Qwen/Qwen1.5-72B. Архитектура — плотная Qwen2ForCausalLM, размер — 88,5 млрд параметров, формат весов — safetensors, библиотека — Transformers, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, составления текстов и ведения беседы. README не сообщает о специализированной предметной области или языковом охвате. Лицензия — MIT.

Модель dinghong-ner/siamese-name-matcher-v7 — дообученный Sentence Transformer на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, разработанный для семантического сопоставления текстовых фрагментов. Архитектура BERT с усредняющим pooling преобразует предложения и короткие абзацы в плотные векторы размерности 384; близость оценивается косинусным сходством. Модель принимает текст, максимальная длина последовательности по README — 128 токенов, а метаданные указывают контекст до 512 токенов. Основной сценарий — сравнение имён и псевдонимов: обучающие примеры включают варианты написания имён, транслитерацию и японские имена. Модель также подходит для семантического поиска и извлечения похожих текстов. На валидационном наборе v7 указаны cosine accuracy 0,865 и F1 0,9078; результаты относятся к этому набору и не гарантируют качество на других данных. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

Spaetzle-v31-7b — объединённая модель для генерации текста и диалогов, созданная cstr с помощью LazyMergekit. Она объединяет cstr/spaetzle-v8-7b и yleo/EmertonMonarch-7B методом dare_ties; в конфигурации указаны плотность 0,60 и тип данных bfloat16. По метаданным это плотная архитектура MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов и поддержкой диалога. Модель предназначена для ответов на текстовые запросы и общих диалоговых сценариев. В карточке приведены результаты тестов AGIEval, GPT4All, TruthfulQA и Bigbench: средний балл по ним — 59,8, что характеризует оценку на этих наборах, но не гарантирует качество в конкретном применении. Репозиторий использует лицензию CC-BY-NC-4.0 с ограничением на некоммерческое использование.

StrangeMerges_38-7B-dare_ties — слитая текстовая модель семейства Mistral, созданная Gille с помощью LazyMergekit на основе трёх моделей: automerger/NeuralsirkrishnaExperiment26-7B, Gille/StrangeMerges_21-7B-slerp и Gille/StrangeMerges_34-7B-slerp. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекстное окно 32 768 токенов. Модель предназначена для генерации текста и диалогового применения. Её можно использовать для ведения беседы и создания текстовых ответов. В репозитории указаны веса в формате safetensors; лицензия — Apache-2.0.

TheTop-5x7B-Instruct-T-v0.1 — языковая модель MaziyarPanahi, полученная слиянием пяти моделей примерно по 7 млрд параметров методом TIES. Она предназначена для генерации текста и инструкционного диалога. Модель построена на архитектуре Mistral, распространяется в формате Safetensors и поддерживает контекст до 32 768 токенов. В карточке приведены результаты Open LLM Leaderboard, включая оценки на тестах AI2 Reasoning Challenge и HellaSwag. Модель можно применять для ответов на запросы, составления и преобразования текста, а также задач рассуждения в диалоге. Лицензия Apache-2.0 разрешает использование на её условиях. README не уточняет языковой охват и конкретный состав моделей, вошедших в слияние.

Unhinged-Author-70B — объединённая языковая модель, созданная FiditeNemini с помощью mergekit и метода TIES на основе Steelskull/L3.3-MS-Nevoria-70b с включением huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, рассчитанная на генерацию текста; заявленный контекст составляет до 131 072 токенов. Модель можно применять для диалогов, развёрнутых ответов, рассуждений и творческого письма. Репозиторий предоставляет веса в формате safetensors; метаданные указывают библиотеку Transformers и интерфейс для вызова инструментов. README не приводит оценок качества или подробных рекомендаций по использованию. Лицензия в предоставленных данных не указана.

MaziyarPanahi/YamshadowInex12_YamshadowExperiment28 — слитая модель для генерации текста, созданная на основе automerger/YamshadowInex12-7B и automerger/YamshadowExperiment28-7B. В карточке указаны архитектура Mistral с причинно-языковой моделью MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Модель предназначена для генерации текста и диалогов. Репозиторий распространяется по лицензии Apache-2.0. Данные карточки не описывают специализацию по языкам или предметным областям, поэтому их нельзя надёжно указать.

YamshadowStrangemerges_32_T3qM7 — объединённая языковая модель семейства Mistral, созданная из automerger/YamshadowStrangemerges_32-7B и automerger/T3qM7-7B. Модель содержит 7,1 млрд параметров и использует архитектуру MistralForCausalLM; её контекст рассчитан на 32 768 токенов. Модель предназначена для генерации текста и диалога по текстовым запросам. Её можно применять для составления ответов, продолжения текста и ведения диалога. Карточка не уточняет специализацию или языки обучения. Модель распространяется под лицензией Apache-2.0.

YamT3qm7xp_OgnoShadow — объединённая методом SLERP модель для генерации текста, созданная на основе automerger/YamT3qm7xp-7B и automerger/OgnoShadow-7B. По архитектуре это плотная Mistral-модель с 7,1 млрд параметров, рассчитанная на контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией Apache-2.0.

Cohere и Cohere Labs разработали Command R7B 12-2024 — авторегрессионную языковую модель на 7 млрд параметров с оптимизированной архитектурой Transformer. Она принимает текст и генерирует текст, поддерживает контекст до 128 тыс. токенов и обучена на 23 языках, включая русский. Модель использует чередование слоёв с локальным скользящим вниманием и глобальным вниманием; после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Модель предназначена для диалогов и инструкций, ответов на вопросы, суммаризации, рассуждений, работы с кодом, генерации с дополненной выборкой (RAG) и использования инструментов, в том числе в многошаговых сценариях. Для RAG можно передавать короткие фрагменты документов через шаблон чата; для вызова инструментов предусмотрены шаблоны чата и описания инструментов в формате JSON Schema. Режимы диалога и инструкций подходят соответственно для интерактивных помощников и задач с кратким, целевым ответом. Веса опубликованы по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs. README рекомендует установить Transformers из исходного репозитория для поддержки этой модели. Для практических сценариев с RAG и инструментами следует оценивать качество на собственных данных и корректно передавать результаты вызовов инструментов в историю диалога.

Gemma 4 12B Unified — мультимодальная модель с открытыми весами, разработанная Google DeepMind и относящаяся к семейству Gemma 4. Она принимает текст, изображения, видео и аудио, а выдаёт текст; для аудио предусмотрены распознавание речи и перевод речи в текст. Единая архитектура позволяет обрабатывать аудио и изображения без отдельных энкодеров, что подходит для локального запуска на потребительских устройствах. Модель имеет плотную архитектуру и гибридное внимание, сочетающее локальные скользящие окна с глобальным вниманием; заявленное окно контекста для версии 12B — до 256 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, вызова инструментов, а также понимания изображений, видео и аудио. Среди визуальных сценариев — извлечение текста из документов, OCR, разбор PDF, диаграмм и экранных интерфейсов; для аудио доступны транскрипция и перевод речи в текст. Семейство поддерживает более 35 языков в обычном использовании и обучалось на более чем 140 языках, но README не перечисляет конкретные языки этой версии. Модель распространяется по лицензии Apache 2.0. Как и другие генеративные модели, она может давать ошибочные ответы; README также указывает, что приведённые сценарии использования не являются исчерпывающими.

Mistral-Large-Instruct-2407 — плотная инструктивная большая языковая модель Mistral AI с 122,2 млрд параметров, опубликованная 24 июля 2024 года. Она предназначена для генерации текста, диалогов, математических рассуждений, программирования и работы в агентных сценариях с вызовом функций и формированием JSON. Архитектура — MistralForCausalLM; модель распространяется в формате safetensors. В карточке заявлена поддержка многих языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Для этой версии метаданные указывают контекстное окно 32 768 токенов. По карточке, для запуска требуется несколько GPU с суммарной видеопамятью свыше 300 ГБ. Карточка приводит высокие результаты на тестах инструктивного следования, кода и математики. Модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать внешних ограничителей. Лицензия Mistral Research License разрешает исследовательское и некоммерческое использование, а также модификацию.

DeepSeek-V3 — крупная языковая модель с архитектурой Mixture-of-Experts, разработанная командой DeepSeek AI. Модель содержит 671 млрд параметров, из которых для каждого токена активируется около 37 млрд. Она предназначена для работы с естественным языком, генерации и анализа текста, программирования, решения сложных задач и сценариев, требующих развитого рассуждения. Модель доступна как открытая базовая модель, дополненная этапами supervised fine-tuning и reinforcement learning. Архитектура DeepSeek-V3 основана на Multi-head Latent Attention и DeepSeekMoE, унаследованных и развитых по сравнению с DeepSeek-V2. Среди ключевых нововведений — балансировка нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое также может применяться для ускорения speculative decoding. Модель предварительно обучена на 14,8 трлн разнообразных токенов; заявлена поддержка эффективного FP8-обучения. В README не указаны точная длина контекста, перечень языков и дополнительные модальности, поэтому модель следует рассматривать прежде всего как текстовую LLM. Сильными сторонами DeepSeek-V3 являются высокая заявленная производительность, эффективное использование параметров при инференсе, развитые возможности рассуждения и сравнительная экономичность обучения. Ограничения включают значительный общий размер модели и соответствующие требования к вычислительным ресурсам; конкретные характеристики инференса и результаты по отдельным задачам зависят от конфигурации и реализации. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

Qwen3-Next-80B-A3B-Instruct — инструкционная причинная языковая модель семейства Qwen3-Next, разработанная командой Qwen. Она предназначена для генерации и понимания текста, решения задач на знания и рассуждение, программирования, написания текстов, многоязычного взаимодействия, вызова инструментов и агентских сценариев. Модель работает только в instruct-режиме без блоков рассуждений <think></think> в ответах. Модель использует гибридную архитектуру из Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Всего предусмотрено 80 млрд параметров, из которых 3 млрд активируются на токен; модель содержит 48 слоёв и 512 экспертов, из которых активируются 10. Контекст составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки явно не перечислены, но заявлена многоязычная поддержка и приведены результаты мультиязычных тестов. К сильным сторонам относятся высокая эффективность параметров, сниженные вычислительные затраты и пропускная способность при длинном контексте, а также результаты на задачах программирования, рассуждения, следования инструкциям и агентского взаимодействия. Ограничения включают отсутствие thinking-режима и зависимость практической производительности от аппаратного обеспечения и реализации инференса. Модель распространяется по лицензии Apache-2.0.

unsloth/granite-3.3-8b-instruct-GGUF — GGUF-версия Granite-3.3-8B-Instruct, разработанная командой Granite компании IBM и доработанная для распространения Unsloth. Это языковая модель с 8 миллиардами параметров и контекстом до 128K токенов, предназначенная для генерации текста, следования инструкциям и задач, требующих рассуждений. Модель подходит для создания AI-ассистентов, обобщения длинных документов и встреч, вопросов и ответов, классификации и извлечения текста, Retrieval Augmented Generation (RAG), программирования, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель поддерживает структурированное рассуждение с разделением внутренних рассуждений и итогового ответа с помощью тегов <think> и <response>. К сильным сторонам относятся улучшенные показатели в instruction following, математике, программировании и общих тестах, включая AlpacaEval-2.0 и Arena-Hard, а также возможность работы с длинным контекстом. README не содержит подробностей о конкретном формате квантования GGUF, требованиях к аппаратному обеспечению или известных ограничениях качества. Модель распространяется по лицензии Apache 2.0.

Qwen3-235B-A22B-Instruct-2507 — крупная языковая модель семейства Qwen3 от команды Qwen. Это причинная MoE-модель с 235 млрд параметров всего и 22 млрд активируемых параметров; в архитектуре 94 слоя и 128 экспертов, из которых для обработки активируются 8. Модель работает в режиме без пошагового рассуждения и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель подходит для следования инструкциям, логических рассуждений, понимания текста, математики, науки, программирования и вызова инструментов. Она рассчитана на многоязычные сценарии и заявляет улучшенный охват редких знаний на разных языках. Нативное контекстное окно составляет 262 144 токена; README описывает расширение до примерно 1,01 млн токенов с использованием Dual Chunk Attention и MInference. К сильным сторонам относятся широкие общие возможности, работа с длинными документами и поддержка интерфейса вызова инструментов. Контекст около миллиона токенов требует специальной настройки и примерно 1000 ГБ суммарной памяти GPU, поэтому такое развертывание предъявляет очень высокие аппаратные требования. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w8a8 — квантизированная версия языковой модели Llama-3.3-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая модель формата «текст на входе — текст на выходе», предназначенная для диалоговых ассистентов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также коммерческого и исследовательского использования. Модель использует архитектуру Llama и имеет 70 млрд параметров в исходной версии. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная поточенная квантизация. По данным README, это примерно вдвое снижает требования к видеопамяти и размеру модели, а также может примерно вдвое увеличить пропускную способность матричных умножений. Приведённые примеры развертывания используют vLLM и длину контекста 8192 или 32768 токенов, однако точный нативный размер контекста в README не указан. По результатам внутренней оценки модель сохраняет 99,4% качества исходной версии по OpenLLM v1 и показывает 100% pass@1 на HumanEval и HumanEval+. Она оптимизирована для эффективного инференса, в частности через vLLM и совместимые с OpenAI API серверы, но квантизация может приводить к некоторой потере качества по сравнению с полной точностью. Модель предназначена только для текстовых задач и не поддерживает мультимодальный ввод. Условия использования определяются лицензией Llama 3.3 от Meta; README также исключает применение с нарушением действующих законов и нормативных требований. Модель была валидирована в Red Hat OpenShift AI 2.20, Red Hat AI Inference Server 3.0, Red Hat Enterprise Linux AI 1.5 и vLLM 0.8.4.

unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-квантизированная версия мультимодальной инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и опубликованной в формате GGUF командой Unsloth. Модель предназначена для диалоговых приложений, выполнения инструкций, анализа изображений и текста, программирования, STEM-задач, обработки документов и вызова функций или инструментов. Модель содержит 24 млрд параметров, поддерживает текстовые и визуальные входные данные, а также языки English, French, German, Spanish, Portuguese, Italian, Japanese, Korean, Russian, Chinese, Arabic, Persian, Indonesian, Malay, Nepali, Polish, Romanian, Serbian, Swedish, Turkish, Ukrainian, Vietnamese, Hindi и Bengali. Заявленная длина контекста — до 128K токенов. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к повторяющимся или бесконечным генерациям и надёжность function calling. GGUF-версия включает исправления chat template; для llama.cpp рекомендуется включать режим Jinja. Сильные стороны модели — широкий языковой охват, поддержка зрения, длинный контекст, улучшенные результаты в instruction following, программировании и вызове функций. В опубликованных тестах отдельные показатели зрения немного ниже, чем у версии 3.1, поэтому качество зависит от конкретного типа визуальной задачи. Для запуска требуются совместимые GGUF-инструменты, например llama.cpp или Ollama; рекомендуется низкая температура около 0,15. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-32B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Репозиторий подготовлен с использованием Unsloth и предназначен для загрузки через библиотеку Transformers. Модель является causal language model с архитектурой на базе transformers, использующей RoPE, SwiGLU, RMSNorm и смещения в QKV-матрицах внимания. Она содержит около 32,5 млрд параметров, 31 млрд параметров без учёта эмбеддингов, 64 слоя и групповое обобщённое внимание (GQA) с 40 головами Q и 8 головами KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные возможности в программировании и математике, следование разнообразным системным инструкциям, обработка длинного контекста и генерация структурированных ответов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать точность относительно моделей с более высокой разрядностью; конкретные характеристики качества и требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen2.5-32B-Instruct-FP8-dynamic — это опубликованная Red Hat AI FP8-квантизованная версия Qwen2.5-32B-Instruct, исходная модель разработана командой Qwen компании Alibaba. Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы. В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие. Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.

Карточка модели ArchiveStudio/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.