II.3Рефакторинг, миграция и модернизация

Kaoeiri выпустил объединённую модель для генерации текста на основе Mistral-Small-Instruct-2409 и mistral-small-springdragon-qlora. Слияние выполнено методом task arithmetic с помощью mergekit; архитектура — плотная Mistral, модель содержит 22 млрд параметров и работает с контекстом до 131 072 токенов. Репозиторий содержит веса в формате safetensors, для работы указана библиотека Transformers. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова функций. Она поддерживает текстовый ввод и выдаёт текст. Лицензия в предоставленных данных не указана.

duyntnet/Phi-4-mini-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений и сценариев с вызовом инструментов. Она ориентирована на локальный запуск через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. Модель является лёгкой и поддерживает контекст длиной до 128K токенов. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по рассуждениям данные; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Указан английский язык, модальность — текстовая. Размер модели, конкретные параметры квантизации и архитектурные детали в README не приведены. Для запуска требуется llama.cpp версии b4792 или новее либо совместимое программное обеспечение. Квантизация может снизить требования к ресурсам, но потенциально уступать исходной модели в точности; конкретные компромиссы зависят от варианта GGUF и не описаны. Лицензия указана как other, без дополнительных условий в представленном README.

MaziyarPanahi/Qwen2.5-14B-Instruct-GGUF — это квантованные файлы модели Qwen2.5-14B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и локальных сценариях инференса. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и рядом других решений. Это позволяет запускать модель локально, в том числе с ускорением на GPU и через OpenAI-совместимые серверные интерфейсы, в зависимости от выбранного инструмента. Размер исходной модели составляет 14B параметров. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Модель относится к текстовым; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Конкретные требования к оборудованию зависят от выбранного варианта квантования. Лицензия в предоставленных данных не указана.

Qwen3.5-9B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Из контрольной точки удалены веса визуального энкодера, поэтому модель сохраняет языковую часть и генерирует текст, занимая меньше места на диске и в памяти. Архитектура — плотная причинная языковая модель Qwen3.5 с примерно 7,2 млрд параметров; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов и генерации текста в задачах, поддерживаемых исходной языковой моделью Qwen3.5. По карточке, она использует тот же токенизатор и шаблон чата, что и исходная модель; загрузка поддерживается через Transformers, начиная с версии 5.2.0. Контрольная точка распространяется в формате safetensors по лицензии Apache-2.0. Удаление визуального энкодера уменьшает размер файлов примерно на 7%, а потребление VRAM — примерно на 5% по сравнению с Qwen3.5-9B. Модель не принимает изображения. В README указана проверка только с Transformers; совместимость с vLLM, SGLang, llama.cpp, Ollama и другими движками пока не заявлена. Автор также характеризует публикацию как экспериментальную, а не как готовую производственную линейку.

Qwen3.5-text-4B-bnb-4bit — текстовая языковая модель, разработанная techwithsergiu на базе Qwen3.5-text-4B, производной от Qwen3.5-4B команды Qwen. Модель предназначена для генерации и обработки текста, диалоговых сценариев и последующего дообучения с использованием LoRA или QLoRA. Поддерживает режимы с включённым и выключенным рассуждением перед ответом. Модель содержит текстовый backbone размера 4B и использует 4-битную BNB NF4-квантизацию с double quantization; вычисления выполняются в bfloat16, а веса lm_head сохранены в bf16 для стабильности и качества вывода. Визуальная башня удалена, поэтому модель принимает только текст и не поддерживает обработку изображений. Ключевое преимущество — сниженное потребление видеопамяти: заявлено около 3,12 ГБ против 9,32 ГБ у исходной f16-модели. Контекстное окно и перечень поддерживаемых языков в README не указаны. Модель особенно ориентирована на текстовое LoRA-дообучение с Unsloth, TRL и PEFT; такая конфигурация проверена на видеокарте RTX 3070 с 8 ГБ памяти. Ограничения связаны с отсутствием мультимодальности, а документация по полноценному LoRA-дообучению на момент публикации ещё не завершена. Модель распространяется по лицензии Apache-2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

z-lab/Qwen3.8-27B-PARO — квантованная версия модели Qwen/Qwen3.8-27B, разработанная командой z-lab с использованием метода ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для эффективного вывода больших языковых моделей, включая задачи рассуждения, интерактивного общения и развёртывания через совместимые с OpenAI API серверы. Модель использует 4-битное квантование языковых компонентов. Визуальные компоненты сохранены в исходной точности, поэтому checkpoint поддерживает мультимодальные сценарии image-text-to-text, но занимает больше места, чем полностью квантованная версия. Заявлена поддержка NVIDIA GPU через vLLM и Transformers, а также Apple Silicon через MLX; мультимодальные возможности можно использовать при загрузке VLM-компонентов. К сильным сторонам относятся сочетание низкой точности INT4 с заявленным сохранением качества, близкого к FP16, а также производительность, сопоставимая с AWQ. Ограничение — повышенный размер модели при использовании визуальных компонентов и необходимость специализированного программного окружения ParoQuant или совместимых инструментов. Сведения о языках и размере контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

PollardWeights/Qwen3.8-27B-Pollard — это квантизированная версия модели Qwen/Qwen3.8-27B, подготовленная командой PollardWeights. Модель предназначена для диалоговых и текстовых задач, а также может работать с изображениями при использовании отдельного vision-проектора mmproj-Qwen3.8-27B-bf16.gguf. Она поставляется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими приложениями на их основе. Модель содержит около 27,8 млрд параметров и использует архитектуру qwen3_5. В репозитории доступны варианты IQ3_S, IQ4_XS и Q6_K размером примерно 12,08, 15,72 и 22,43 ГБ соответственно. Это варианты mixed-precision квантизации с измеренным распределением битов по слоям, учитывающим их чувствительность, поэтому они рассчитаны на разные ограничения по оперативной памяти или VRAM. Основной README указывает английский язык; размер контекста не указан. К сильным сторонам относятся существенное уменьшение размера по сравнению с версией f16 — с 55,56 до 12,08 ГБ для IQ3_S — и возможность локального запуска на более доступном оборудовании. К ограничениям относятся потенциальная потеря качества из-за квантизации, зависимость производительности от оборудования и необходимость отдельного, неквантизированного vision-проектора для работы с изображениями. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.8-Flash-Next-Uncensored-oQ5e-mtp — это MLX-квантизация модели Qwen3.8-Flash-Next-Uncensored, разработанная timteh673 на основе модели OrcaRouter, которая, в свою очередь, создана на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для исследовательских задач, red teaming, интерпретируемости, генерации текста, рассуждений, вызова инструментов, а также обработки изображений и видео. В исходной модели удалена защитная настройка, поэтому она может выполнять запросы, от которых отказывается оригинальная Qwen3.8-Flash-Next; при практическом развёртывании требуется собственная модерация. Это мультимодальная sparse MoE-модель с поддержкой режима рассуждений и MTP-головой. Она содержит около 180 млрд параметров, из которых примерно 6 млрд активируются на токен, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего эксперта, гибридную attention-архитектуру с Gated-DeltaNet и полноформатным attention, а также vision- и video-модули. Нативный контекст составляет 262 144 токена; заявлены английский и китайский языки, при этом модель может обладать более широкими мультиязычными возможностями. Использована чувствительная к данным смешанная 5-битная квантизация oQe с importance matrix: эффективная точность составляет 5,72 бита на вес, размер — около 128,54 ГБ в 25 safetensors-фрагментах. Формат совместим со стандартным MLX и не требует пользовательских ядер или загрузчика; сборка ориентирована на Apple Silicon и позволяет запускать полный контекст на Mac с 128 ГБ памяти. Ограничения включают очень большой объём модели, зависимость от MLX и Apple Silicon, а также отсутствие встроенных гарантий безопасности из-за abliteration. Лицензия — Qwen Community License 1.0, унаследованная от upstream-модели.

AIArchiveInfo/Qwen3-Embedding-0.6B — побитовая архивная копия Qwen/Qwen3-Embedding-0.6B, разработанной командой Qwen. Это плотная модель семейства Qwen3 с 507,6 млн параметров, предназначенная для преобразования текстов в векторные представления и сравнения их семантической близости. Она подходит для поиска по тексту и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и построения семантического поиска. Модель поддерживает более 100 языков, контекст до 32 768 токенов и настраиваемую размерность эмбеддингов от 32 до 1024. Она учитывает инструкции, заданные для конкретной задачи; исходная карточка рекомендует формулировать их на английском в многоязычных сценариях. Для работы с архитектурой Qwen3 требуется Transformers версии 4.51.0 или новее. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0; согласно карточке, эта копия не обучалась и не изменялась.

LeroyDyer разработал эту дообученную модель семейства Mistral на основе LeroyDyer/Mixtral_AI_CyberTron_DeepMind_III. Это языковая модель с 7,1 млрд параметров для генерации текста; заявленная длина контекста — 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и выполнения инструкций, включая помощь с программированием, анализом текста, извлечением сущностей, расчётами и генерацией идей. В карточке также заявлены сценарии консультативного общения и работа с медицинской информацией, однако результаты таких применений не подтверждены приведёнными оценками. Обучающие данные включают наборы для кода, диалогов, математики, преобразования текста в SQL и английского и суахили. Автор описывает модель как разговорную, способную использовать историю диалога и выдавать разнообразные ответы; приведены результаты Open LLM Leaderboard, но не полная таблица. Практическая точность и надёжность заявленных специализированных возможностей могут зависеть от формулировки запроса. Модель принимает текст и генерирует текст.

Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Dolphin-2.6-FC_Hermes-2-Pro — объединённая модель, созданная с помощью LazyMergekit из cognitivecomputations/fc-dolphin-2.6-mistral-7b-dpo-laser и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов по текстовым запросам. Наследует ориентированные на инструкции и диалоговые сценарии возможности базовых моделей; описание базовой модели в каталоге также указывает на вызов функций и генерацию структурированного JSON. Заявленная длина контекста — 32 768 токенов. Файлы опубликованы в формате Safetensors. Языковая поддержка, лицензия и отдельные ограничения в предоставленных материалах не описаны.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

Herplete-LLM-Llama-3.1-8b — диалоговая языковая модель Replete-AI, созданная слиянием Replete-LLM-V2-Llama-3.1-8b и LoRA-адаптера, извлечённого из Hermes-3-Llama-3.1-8B. Модель построена на плотной архитектуре Llama 3.1 и содержит 7,5 млрд параметров; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалога и генерации текста по инструкциям. Метаданные также отмечают интерфейс вызова инструментов, что позволяет использовать её в сценариях, где ассистент передаёт управление внешним инструментам. Базовая модель Hermes 3 ориентирована на англоязычные инструкции, рассуждения, генерацию кода и вызов инструментов; README описывает непрерывное дообучение модели Replete с использованием LoRA из Hermes 3. Карточка не сообщает отдельные результаты оценки качества или условия лицензии, поэтому их нельзя надёжно указать.

Infinity-Instruct-3M-0625-Llama3-70B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная причинная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и следования текстовым инструкциям; она не проходила RLHF. Модель использует шаблон чата Llama 3 Instruct, принимает текст и генерирует текст, а её контекст составляет 8192 токена. В карточке заявлены благоприятные результаты на AlpacaEval 2.0, однако приведённая таблица и текст описывают разные варианты модели, поэтому результаты конкретно этой версии следует трактовать осторожно. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения инструкций, в том числе в задачах с кодом и математикой. Модель ориентирована на английский язык согласно метаданным; оснований считать её специально адаптированной для русского нет. Репозиторий распространяется под Apache-2.0, но README отдельно ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; следует учитывать это ограничение и проверять применимые условия перед использованием.

SteelStorage выпустила слитую диалоговую языковую модель на архитектуре Llama с 69,5 млрд параметров. Веса объединены методом Model Stock с помощью mergekit: базой послужила NaniDAO/Llama-3.3-70B-Instruct-ablated, также включены abacusai/Dracarys2-Llama-3.1-70B-Instruct и nbeerbower/Llama-3.1-Nemotron-lorablated-70B. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате; метаданные также указывают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Данные не уточняют поддерживаемые естественные языки, лицензию или ограничения по использованию, поэтому их нельзя определить по доступной карточке.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Llama-Deepsync-1B — дообученная PrithivMLmods модель на базе Meta Llama 3.2 1B Instruct для генерации текста и диалогов. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса SafeTensors; модель можно запускать через Transformers. Модель предназначена для ответов на сложные запросы с логическим рассуждением, решения задач по математике, генерации и объяснения кода, творческого письма и создания структурированных ответов, включая JSON. В README также заявлена поддержка многоязычного общения и генерации длинных текстов. Метаданные указывают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; более широкое заявление README о 29 языках не подкреплено их перечнем в метаданных. Лицензия — CreativeML OpenRAIL-M.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

MiniCPM5-2B GGUF — языковая модель, разработанная командой OpenBMB и представленная как вторая модель серии MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, преобразованная в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска на устройствах с ограниченными ресурсами, включая on-device и edge-сценарии. Модель ориентирована на англоязычные и китайскоязычные задачи, включая программирование, математику, понимание длинного контекста, использование инструментов и агентские сценарии. В карточке также заявлена поддержка long-context и tool-calling, однако точный размер контекстного окна и дополнительные технические параметры не указаны. Это текстовая модель без заявленной поддержки изображений или других модальностей. К сильным сторонам относятся компактный размер, пригодность для локального развертывания и конкурентная производительность среди открытых моделей 2B-класса; по заявлению разработчиков, модель также сопоставима с некоторыми моделями класса 4B. Ограничениями являются меньшая ёмкость по сравнению с крупными моделями и отсутствие в карточке подробных количественных результатов, требований к ресурсам и гарантированных характеристик. Модель распространяется по лицензии Apache-2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-3.2-24B-Instruct-2506-GGUF — квантизированная GGUF-версия инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговых приложений, генерации и обработки текста, а также, согласно метаданным, для сценариев image-text-to-text. Поддерживаются английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский и другие языки, перечисленные в карточке модели. Модель содержит около 24 млрд параметров и доступна в вариантах от BF16 до различных уровней Q3–Q8, что позволяет выбирать между качеством, размером файлов и требованиями к оборудованию. Размер файлов варьируется примерно от 13,5 ГБ для компактных квантизаций до 47,15 ГБ для BF16. Версия поддерживает запуск через llama.cpp, LM Studio и совместимые проекты. Исправленный chat template добавляет поддержку tool calling; для корректной работы требуется соответствующий шаблон Mistral-Small-3.2-24B-Instruct-2506.jinja и актуальная поддержка со стороны llama.cpp. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и высокое заявленное качество вариантов Q5–Q8. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость от совместимого llama.cpp-окружения и необходимость правильной настройки шаблона чата для вызова инструментов. Размер контекста и подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-24B-Instruct-2501-GGUF — это набор файлов модели в формате GGUF для исходной инструкционной модели Mistral-Small-24B-Instruct-2501, разработанной компанией Mistral AI. Квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями в локальных приложениях, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и сохранением качества. В README указано обозначение 24B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекстного окна не приведены. Сильная сторона модели — возможность локального запуска с использованием CPU или GPU через совместимые инструменты; ограничения зависят от выбранного уровня квантования и аппаратных ресурсов. Распространение осуществляется по лицензии Apache 2.0.

hugging-quants/Mixtral-8x7B-Instruct-v0.1-AWQ-INT4 — общественная квантованная версия инструкционной модели Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в формате chat completion. Указанные языки: французский, итальянский, немецкий, испанский и английский. В основе лежит генеративная разреженная архитектура Mixture of Experts с конфигурацией 8x7B. Версия в репозитории преобразована из FP16 в INT4 с использованием AutoAWQ, GEMM-ядер, zero-point-квантования и размера группы 128. Поддерживаются Transformers, AutoAWQ и Text Generation Inference. Размер контекстного окна и точное число параметров в README не указаны. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноточной моделью при сохранении возможностей исходной Mixtral; в README также заявлено превосходство над Llama 2 70B в большинстве протестированных бенчмарков. Для загрузки чекпойнта требуется около 24 ГиБ VRAM без учета KV-кэша и CUDA Graphs, поэтому необходим запас видеопамяти. Квантование INT4 может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

amd/Mixtral-8x7B-Instruct-v0.1-FP8-KV — FP8-квантизированная версия модели Mixtral-8x7B-Instruct-v0.1, разработанная Advanced Micro Devices (AMD) на базе модели Mistral AI. Квантизация выполнена с помощью Quark с использованием калибровочных образцов из датасета Pile. Модель предназначена для эффективного развертывания и инференса через backend vLLM, включая сценарии на одной или нескольких GPU. Все линейные слои, кроме lm_head и слоёв, содержащих *.gate, используют симметричное тензорное представление FP8 для весов и активаций; KV-кэш также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, однако способен приводить к потере точности по сравнению с исходной моделью. В оценке на wikitext2 perplexity составила 4,2187 против 4,1391 у исходной Mixtral-8x7B-Instruct-v0.1; результаты получены в режиме псевдоквантизации и приведены только для справки. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель распространяется по лицензии Apache License 2.0.