II.3Рефакторинг, миграция и модернизация

Ling-2.6-flash — открытая инструктивная языковая модель компании InclusionAI для диалога и агентных сценариев. Она предназначена для вызова инструментов, многошагового планирования и выполнения задач, включая работу в агентных и программных фреймворках; также подходит для ответов на общие вопросы, математических рассуждений, следования инструкциям и обработки длинного контекста. Архитектура — гибридная MoE семейства Bailing; в карточке заявлены 104 млрд параметров всего и 7,4 млрд активных, тогда как метаданные репозитория указывают 6,4 млрд параметров. Метаданные указывают контекст до 131 072 токенов, текстовый ввод и генерацию текста; карточка отмечает интерфейс вызова инструментов. Заявлены оптимизация скорости вывода и экономии токенов, а также результаты на агентных бенчмарках. Модель распространяется по лицензии MIT. Ограничения включают возможные галлюцинации при вызове инструментов в сложных сценариях, недостаточную глубину рассуждений, не всегда естественное переключение между китайским и английским и трудности со сложными инструкциями. Карточка описывает преимущественно китайско-английские сценарии, а метаданные указывают английский язык; другие языки отдельно не подтверждены.

Jongbin-kr/llama-3.1-8b-instruct-4x1-moe-switch-top1 — диалоговая языковая модель на архитектуре Llama 3.1, разработанная Jongbin. Она предназначена для генерации текста и общения по инструкциям; среди сценариев — ответы на вопросы, помощь в написании текстов и использование интерфейса вызова инструментов. Модель построена на базе meta-llama/Llama-3.1-8B-Instruct и содержит около 7,5 млрд параметров. В каждом слое Transformer используются четыре клонированных FFN-эксперта, а маршрутизатор выбирает одного эксперта для каждого токена. В отличие от варианта с нормализованным коэффициентом гейта, выбранный эксперт сохраняет исходную вероятность softmax. При обучении использованы коэффициент балансировки нагрузки 0,01 и z-loss маршрутизатора 0,001. Контекст — до 131 072 токенов; модель работает через Transformers, веса доступны в формате safetensors. Модель унаследовала многоязычные возможности базовой Llama 3.1 8B Instruct, однако README не перечисляет конкретные поддерживаемые языки. Для загрузки требуется trust_remote_code=True. Лицензия — llama3.1; применяются условия лицензии Llama 3.1 от Meta.

Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Карточка модели SillyTilly/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

mlx-community/Qwen2.5-14B-Instruct-bf16 — преобразованная в формат MLX модель Qwen2.5-14B-Instruct, подготовленная сообществом mlx-community для запуска на Apple Silicon. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста в диалоговом режиме и интерфейса вызова инструментов. Метаданные указывают контекст до 32 768 токенов и поддержку английского языка; README описывает конвертацию из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Модель распространяется по лицензии Apache-2.0.

DazzlingShadow публикует вариант Qwen3.5-122B-A10B с изменённым профилем отказов (abliteration). В приведённом сравнении частота отказов снизилась с 88 до 16 из 100 запросов при KL-дивергенции 0,0233 относительно исходной модели. Это мультимодальная модель для диалога, генерации текста и понимания изображений; карточка описывает её как причинную языковую модель с визуальным энкодером и разреженной архитектурой Mixture-of-Experts с Gated Delta Networks. Всего 122 млрд параметров, активируется 10 млрд; контекстное окно — 262 144 токена с возможностью расширения до 1 010 000. Исходная модель заявляет поддержку 201 языка и диалекта, однако карточка не уточняет, какие языки сохраняются в этом производном варианте. Модель доступна в формате Safetensors и предназначена для Transformers и совместимых серверов инференса. Лицензия — Apache-2.0. Снижение отказов не гарантирует их полного отсутствия; производительность и совместимость зависят от используемого фреймворка и ресурсов.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

Qwen3.8-27B Abliterated MLX MXFP4-MTP — vision-language модель на основе Qwen/Qwen3.8-27B, упакованная Shiftedx для экосистемы MLX. Это квантованная версия полной 27-миллиардной архитектуры: языковая часть использует MXFP4 с размером группы 32, а неизменённая vision tower — веса BF16. Пакет также содержит 15 BF16-тензоров native MTP для ускорения спекулятивной генерации; рекомендованная глубина MTP — 3. Для работы требуется MTPLX версии 2.0.2 или новее. Модель предназначена для генерации и анализа текста, обработки изображений, задач с длинным контекстом, tool calling и сценариев, где важна высокая скорость вывода на совместимом Apple Silicon-оборудовании. В опубликованном тестировании эффективный проверенный контекст составлял до 131 072 токенов; языки README не уточняет. На Apple M4 Max с 64 ГиБ unified memory модель показала 100% в тестах tool calling, 86,7% в тестах длинного контекста и 75% в vision-тестах, однако результаты зависят от версии весов, runtime, настроек и оборудования. Изменение refusal-направления снизило измеренные отказы в специально подготовленном наборе с 12/12 до 0/12, но авторы подчёркивают, что это не доказывает универсальную «нецензурированность». Модель может чаще выдавать вредные или ошибочные ответы; результаты бенчмарков также показывают ограничения в общей проверке качества и agentic-сценариях. Использовать её следует с осторожностью, особенно при работе с инструментами, изображениями и генерируемым кодом. Лицензия — Apache-2.0; ограничения исходной модели сохраняются.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6-MTP — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для Apple Silicon и поддерживает сценарии vision-language: работу с текстом и изображениями, диалоговые приложения, анализ визуального содержимого и генерацию текста. Это не официальный релиз Qwen, а производная сборка Vontra, созданная из официальных BF16-весов. Модель использует архитектуру qwen4_exp: sparse mixture-of-experts с 125 млрд параметров (около 6 млрд активных), 48 слоями, 512 маршрутизируемыми экспертами и одним общим экспертом. Она сочетает Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram embeddings объёмом 51 млрд параметров. Конфигурируемый контекст составляет 262 144 токена, предусмотрены 24 attention heads и 2 KV heads. Квантование выполнено в формате oQ6 с 6-битной базой и защищёнными модулями в 6/8 бит; размер группы — 32. В сборке сохранён нативный MTP-блок Qwen4Exp для speculative decoding. К сильным сторонам относятся существенно уменьшенный объём вычислений за счёт MoE, поддержка длинного контекста, мультимодальность и ускорение генерации с помощью native MTP. Размер весов составляет около 158,07 ГБ, поэтому модель требует значительных ресурсов. Для работы необходим runtime oMLX или MLX-VLM с явной поддержкой qwen4_exp и native MTP; стандартные runtime без этой поддержки могут не загрузить модель. Приведённые измерения на Apple M3 Studio показывают примерно 28–37 токенов в секунду, но производительность зависит от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Inferact/Qwen3.8-Flash-Next-NVFP4 — экспериментальная открытая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с энкодером зрения, предназначенная для текстовых и мультимодальных задач, включая обработку изображений, работу с длинным контекстом и агентские сценарии. Артефакты представлены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и другими средами инференса. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура включает 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и механизм Gated Residual. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов. В README языки обучения или поддержки не указаны. К сильным сторонам относятся эффективная обработка длинного контекста, разреженное внимание на уровне блоков, экономичное масштабирование параметров за счёт n-граммных эмбеддингов и потенциальная пригодность для инференса на ресурсно-ограниченных ускорителях. Модель обозначена как экспериментальный preview, поэтому её стабильность, качество в отдельных задачах и эксплуатационные характеристики следует оценивать самостоятельно; подробные результаты бенчмарков в предоставленных данных отсутствуют. Лицензия указана как qwen-community-1.0.

AfriqueQwen3.5-4B-ExtendedCM — плотная причинная языковая модель из набора AfriqueLLM, разработанная для улучшения работы с африканскими языками. Это вариант Qwen/Qwen3.5-4B-Base, адаптированный продолженным предобучением примерно на 34 млрд токенов; в расширенном варианте увеличена доля данных по программированию и математике. Модель содержит 4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, в том числе на африканских языках, а также для задач рассуждения, кода и математики. README указывает адаптацию для 20 африканских языков и сохранение возможностей на английском, французском, португальском и арабском; метаданные дополнительно перечисляют африкаанс, амхарский, хауса, игбо, суахили, йоруба и другие языки. Модель распространяется под лицензией CC BY 4.0. Базовая архитектура Qwen3.5 мультимодальная, однако в карточке этой версии подтверждены генерация текста и диалоговые возможности, а не обработка изображений.

BrainCog-8B-0.1-Instruct — диалоговая языковая модель, разработанная группой BrainCog. Это дообученная версия Meta-Llama-3-8B с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель рассчитана на генерацию текста и работу в формате чат-ассистента. В качестве обучающего набора указан BAAI/Infinity-Instruct, а среди возможностей отмечена генерация кода. Модель принимает текстовые сообщения и генерирует текстовые ответы, включая ответы на вопросы и фрагменты кода. В метаданных указаны китайский и английский языки, а также многоязычная поддержка; базовая Meta-Llama-3-8B предназначена для английского текста и кода. Контекст составляет 8192 токена. Для загрузки и запуска README приводит пример с Transformers. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что поведение и вывод модели не контролируются и не обязательно отражают их мнение; качество ответов и кода может зависеть от запроса и требовать проверки.

Breeze-13B-32k-Instruct-v1_0 — чат-модель на базе архитектуры Mistral, созданная MediaTek Research с помощью объединения моделей через mergekit. В карточке в качестве компонентов слияния указан MediaTek-Research/Breeze-7B-32k-Instruct-v1_0; запись повторяется несколько раз. Метаданные указывают 12,5 млрд параметров, плотную архитектуру и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Длинный контекст позволяет использовать её для ответов по объёмным текстам и продолжительных диалогов. Репозиторий содержит веса safetensors. Лицензия — Apache 2.0.

Command-R-01-Ultra-NEO-V1-35B-IMATRIX-GGUF — текстовая генеративная модель в формате GGUF на базе CohereLabs c4ai-command-r-v01, доработанная разработчиком DAVID_AU с использованием собственной технологии IMATRIX NEO V1. Модель предназначена для общего использования, следования инструкциям, общения, ролевых сценариев и творческой генерации, включая рассказы и художественные тексты. В README указан английский язык, размер базовой модели — 35 млрд параметров, а максимальный контекст — до 128 тысяч токенов. Для работы требуется специальный chat-шаблон Command-R. Заявленные сильные стороны — улучшенное следование инструкциям, качество вывода, работа с длинными текстами и более сильные связи между идеями и концепциями. Доступны варианты с разными уровнями GGUF-квантизации; качество, стиль и результаты генерации могут заметно различаться между квантами, поэтому выбор следует адаптировать под конкретный сценарий и доступные ресурсы. README также рекомендует настройку сглаживания sampling для некоторых интерфейсов. Модель распространяется по лицензии Apache-2.0.

squanchyzx/DeepSeek-V4-Flash-0731-HERETIC-Abliterated-FP8 — производная модель от DeepSeek-V4-Flash-0731, разработанной DeepSeek. Релиз создан издателем squanchyzx с использованием Heretic v1.4.0, проекта Philipp Emanuel Weidmann и соавторов. Модель предназначена для генерации текста, рассуждений, работы с инструментами и длительных агентских сессий, особенно в сценариях с большими историями диалога и большим количеством вызовов инструментов. Модель сохраняет официальную архитектуру DeepSeek V4/DSpark, native FP8-представление, официальный encoder, tokenizer и конфигурацию базовой модели. В версии v2 изменены attention output projections в слоях 10–42: применена rank-3 коррекция refusal subspace для режимов chat, think-high и think-max со сниженной силой lambda=1.35. MTP/DSpark-тензоры, эксперты, embeddings, norms, heads и остальные компоненты не изменялись. Заявлено сконфигурированное контекстное окно до 1 048 576 токенов; для запуска требуется DeepSeek-V4-совместимый runtime и официальный encoder. Сильной стороной релиза является целевая проверка устойчивости к деградации в длинных историях: в опубликованных тестах 12 из 12 длинных воспроизведений завершились без повторяющихся последовательностей, переключения скриптов и других патологий, а 6 из 6 проверенных вызовов инструментов были корректными. При этом результаты являются ограниченными релизными тестами, а не универсальным бенчмарком: короткая проверка качества дала 11 из 12 успешных результатов, а refusal smoke — 6 из 16. Совместимость с обычными runtime без поддержки DeepSeek V4 не гарантируется. Модель распространяется по лицензии MIT. При этом используемый проект Heretic имеет отдельную лицензию AGPL-3.0-or-later; README подчёркивает, что Heretic не принадлежит издателю модели.

ressl/gemma-4-31B-it-uncensored-GGUF — квантизированная GGUF-версия модели gemma-4-31B-it-uncensored, основанной на Google Gemma 4 31B-it. Формат подготовлен Robert Ressl для запуска через llama.cpp, Ollama и LM Studio; разработчик базовой модели — Google, а адаптация, «uncensored»/abliterated-обработка, конвертация и валидация выполнены Robert Ressl. Модель предназначена для генерации текста, диалоговых задач, локального запуска и сценариев, где требуется ассистент с минимальным количеством отказов, включая этичный анализ безопасности, исследование уязвимостей, анализ вредоносного и exploit-кода, написание правил обнаружения и red-teaming. GGUF-репозиторий является текстовым: мультимодальная vision-компонента удалена. Заявлены английский и немецкий языки. Модель поддерживает режим рассуждений, включаемый по умолчанию в llama.cpp; для прямых ответов его можно отключить. Доступны квантизации от q8_0 до q2_k размером примерно от 31 до 12 ГБ; q4_k_m указан как рекомендуемый баланс качества и размера. Меньшие квантизации снижают требования к памяти, но могут ухудшать качество. README сообщает о 0 эффективных отказов в большинстве уровней квантизации и о скорости около 75 токенов в секунду для q4 на одной RTX PRO 6000, однако эти показатели зависят от среды и методики тестирования. Максимальная длина контекста и архитектурные детали не указаны. Модель распространяется по Apache License 2.0, унаследованной от базовой модели Google Gemma 4; использование должно соответствовать условиям этой лицензии и применимому законодательству.

granite-4.2-8b-MLX-8bit — 8-битная квантованная версия модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, «thinking» и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель имеет 8 миллиардов параметров в исходной версии; конкретное значение контекстного окна и сведения о мультимодальности не указаны. Ключевые преимущества — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и возможное появление неточного, вредного или неподходящего контента. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Карточка модели Crystalcareai/Meta-llama-3.1-8b-instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Это квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI и подготовленной сообществом Hugging Quants. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая работу через Transformers, AutoGPTQ и Text Generation Inference. Она подходит для чат-ботов, ассистентов и других сценариев текстового взаимодействия. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Исходная модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса преобразованы из FP16 в INT4 с использованием GPTQ, zero-point quantization и group size 128, что снижает требования к памяти: для загрузки контрольной точки требуется около 4 ГиБ VRAM без учёта KV-кэша и CUDA-графов. К преимуществам относятся уменьшенное потребление видеопамяти и возможность локального запуска с поддержкой распространённых инструментов инференса. Ограничения связаны с потерями, возможными при 4-битном квантовании, отсутствием мультимодальных возможностей и необходимостью дополнительной памяти для KV-кэша и генерации. Модель распространяется по лицензии Llama 3.1; условия исходной лицензии Meta необходимо учитывать при использовании.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

6block/Nex-N2.5-Pro-GGUF — это GGUF-квантизации мультимодальной модели Nex-N2.5-Pro, разработанной nex-agi и преобразованной в формат GGUF с помощью llama.cpp командой 6block. Модель предназначена для генерации и анализа текста, а также для задач понимания изображений при использовании отдельного vision-проектора mmproj. Заявлены поддерживаемые языки английский и китайский. Модель имеет 397 млрд параметров, 60 слоёв в гибридной архитектуре: 45 слоёв Gated DeltaNet с линейным вниманием и 15 полноценных attention-слоёв с GQA. Это MoE-модель: каждый токен направляется к 10 из 512 экспертов и общему эксперту. Контекст составляет 262 144 токена, словарь — 248 320 токенов. Vision-энкодер содержит 27 слоёв, принимает изображения размером до 768 пикселей и использует патчи 16 пикселей. Поддерживаются адаптивный режим рассуждений и его отключение. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно 200,1, 138,9 и 113,2 ГиБ соответственно, каждый в 19 сегментах. IQ4_XS наиболее близок к исходной BF16-версии по заявленным метрикам, Q2_K позиционируется как сбалансированный вариант для CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Основные ограничения — очень большой размер, необходимость загрузить все сегменты, наличие совместимой сборки llama.cpp с поддержкой Qwen3.5-MoE и отдельного vision-проектора для работы с изображениями. Для изображений рекомендуется выделять не менее 1024 image tokens. Модель распространяется по лицензии Apache-2.0. Для запуска требуется llama.cpp; параметры и возможности использования изображений зависят от соответствующих инструментов и шаблона чата модели.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-1M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель относится к семейству Llama 3.1, имеет около 8 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. В названии указана поддержка сверхдлинного контекста до 1M токенов; в метаданных README заявлен английский язык. Модель подходит для локального запуска в сценариях вопросно-ответного взаимодействия, написания и преобразования текста, анализа длинных документов и других задач text-generation. Файлы представлены в формате GGUF с вариантами квантизации от bf16 до Q3 и IQ4; наиболее качественные варианты требуют больше памяти, а компактные версии позволяют запускать модель на системах с ограниченными ресурсами, но могут сильнее уступать исходным весам по качеству. Квантизация выполнена с использованием imatrix и llama.cpp release b5074. Запуск поддерживается через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Лицензия модели — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями этой лицензии.

pandafish-7b — инструктивная языковая модель на 7,1 млрд параметров, созданная методом Model Stock merge из моделей Mistral-7B-v0.1, Mistral-7B-Instruct-v0.2, NeuralTrix-bf16 и mistral-ft-optimized-1227 с помощью LazyMergekit. Модель использует плотную архитектуру Mistral для генерации текста и ответов на инструкции; контекст составляет до 32 768 токенов. Она подходит для диалоговых сценариев, ответов на вопросы и других задач генерации текста по запросу. В приведённых в README оценках pandafish-7b набрала в среднем 51,99 балла; результаты отдельных бенчмарков различаются относительно Mistral-7B-Instruct-v0.2. Модель опубликована в формате safetensors под лицензией Apache-2.0.

Param2-17B-A2.4B-Thinking — мультиязычная языковая модель BharatGen на архитектуре Mixture-of-Experts. В README заявлено 17 млрд параметров всего и 2,4 млрд активных на токен, а в метаданных Hugging Face указано 1,7 млрд параметров; поэтому размер модели в каталоге расходится между источниками. Модель использует 64 специализированных эксперта и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов на английском, хинди и 21 индийском языке. Заявлены рассуждения, математика, генерация кода и вызов инструментов; модель можно применять для длинных многоязычных запросов, структурированных ответов и последующей тонкой настройки. В метаданных подтверждены библиотека Transformers, формат safetensors и чат-возможность. README рекомендует детерминированное декодирование для стабильных ответов и указывает требование Transformers 4.52.3. Сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели thetoprated76/pMistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Qwen2-1.5B-Instruct-AWQ — инструкционно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций, написание и обработку текстов, а также задачи, связанные с кодом, математикой и рассуждениями. Модель содержит 1,5 млрд параметров и основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания и group query attention. Она является текстовой авторегрессионной моделью и использует улучшенный токенизатор, адаптированный для нескольких естественных языков и языков программирования. Версия AWQ содержит квантизацию, рассчитанную на снижение потребления памяти и повышение эффективности инференса; конкретные требования к памяти и показатели производительности зависят от среды запуска. К сильным сторонам относятся компактный размер, поддержка диалогового режима и широкий спектр языковых, кодовых, математических и логических задач. По сравнению с более крупными моделями качество и глубина рассуждений могут быть ограничены, а README не содержит данных о длине контекста, точном перечне поддерживаемых языков и количественных результатах бенчмарков. Модель распространяется по лицензии Apache 2.0.