I.6Перевод и языковая адаптация

Карточка модели norvek/Qwen3-VL-8B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-8B-Instruct, поэтому описание составлено по ней. Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

unsloth/Qwen3-VL-8B-Thinking-1M-GGUF — это GGUF-версия мультимодальной модели Qwen3-VL-8B-Thinking, подготовленная Unsloth на базе Qwen/Qwen3-VL-8B-Thinking. Модель предназначена для задач «изображение-текст»: анализа изображений и видео, генерации текста, визуального рассуждения, OCR, пространственного понимания и мультимодальных задач в STEM и математике. Thinking-редакция ориентирована на более глубокое рассуждение и доказательные ответы. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает текст, изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с длинными документами и многочасовыми видеозаписями. Среди архитектурных улучшений указаны Interleaved-MRoPE для пространственно-временного позиционирования, DeepStack для объединения признаков разных уровней Vision Transformer и выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — визуальное восприятие, анализ пространственных отношений и видео, распознавание текста в сложных условиях, мультимодальное рассуждение, а также возможности visual agent для взаимодействия с графическими интерфейсами и инструментами. Ограничения включают высокие требования к вычислительным ресурсам при работе с длинным контекстом, изображениями и видео, а также зависимость качества и совместимости от GGUF-квантизации и используемого движка. Для llama.cpp рекомендуется включать параметр --jinja из-за исправлений chat template. Лицензия — Apache-2.0.

Spark-X2.5-4B Community Quants — набор GGUF-квантизаций модели Spark-X2.5-4B, разработанной XHToken и опубликованной сообществом. Модель предназначена для генерации текста, диалоговых и агентских сценариев с использованием инструментов, включая работу с файлами, терминалом, памятью и выполнением кода. Доступны варианты для видеокарт с 4, 8, 12 и 16 ГБ памяти, рассчитанные на полностью GPU-резидентный запуск через llama.cpp. Базовая модель содержит около 4,1 млрд параметров и использует гибридное внимание: соотношение слоёв sliding-window и full attention составляет 3:1. Заявлен нативный контекст до 1 млн токенов, однако на потребительских видеокартах практический предел определяется объёмом KV-кэша и существенно ниже. Квантизации используют importance matrix, рассчитанную на мультиязычном тексте. Варианты включают Q6_K, Q5_K_M, а также смешанные Q3_K_M и Q4_K_M; размер файлов составляет примерно от 2,0 до 3,2 ГБ. Модель поддерживает режим рассуждений, формат вызова инструментов и мультиязычные данные, но точный перечень языков в README не указан. Сильными сторонами являются компактный размер, высокая эффективность использования VRAM, поддержка длинного контекста и близкое к эталонному качество у вариантов Q6_K и Q5_K_M. Более компактные варианты позволяют запускать модель на видеокартах с 4–8 ГБ памяти, но заметно уступают по показателям perplexity и демонстрируют более высокую вероятность пропуска требуемых вызовов инструментов. Для запуска требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока отсутствует в upstream-версии. Модель распространяется по лицензии Apache-2.0.

Larryvrh опубликовал версию Yi-6B-200K от 01.AI, преобразованную для совместимости с архитектурой Llama и удобства использования. Это плотная авторегрессионная языковая модель с примерно 5,8 млрд параметров и контекстом до 200 000 токенов, распространяемая в формате Safetensors. Она предназначена для генерации текста, включая ответы на вопросы, понимание длинных текстов, рассуждения, математику и задачи по коду; карточка описывает оценивание на наборах MMLU, CMMLU, C-Eval и других бенчмарках. Модель поддерживает китайский и английский языки. Лицензия — Apache-2.0. Результаты генерации могут быть ошибочными или проблематичными; в README также отмечено, что оценки бенчмарков зависят от промптов, постобработки и настроек декодирования.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

RedHatAI/granite-3.1-8b-instruct-quantized.w4a16 — это квантизированная версия текстовой инструкционной модели ibm-granite/granite-3.1-8b-instruct с архитектурой Granite 3.1 и примерно 8 млрд параметров. Модель разработана на основе IBM Granite; квантизацию выполнила Neural Magic. Она принимает текст и генерирует текст, ориентирована на диалоговые сценарии, ответы на вопросы и другие задачи text-to-text. В карточке указан английский язык. Модель использует квантизацию весов и активаций до INT4; для линейных операторов внутри трансформерных блоков квантизированы только веса. По сравнению с исходным представлением это примерно на 75% уменьшает размер на диске и требования к видеопамяти, что делает модель более подходящей для эффективного инференса. Она подготовлена для запуска с vLLM версии 0.5.2 и выше и совместима с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. На OpenLLM benchmark v1 модель получила средний результат 69,81 против 70,30 у неквантизированной версии, что указывает на небольшое снижение качества после сжатия. Модель предназначена для развертывания на GPU и использования через vLLM, включая OpenAI-совместимый сервер. Максимальный контекст модели в README явно не указан; приведенные значения длины контекста относятся к примерам конфигурации запуска. Лицензия — Apache License 2.0.

Ling-3.0-flash-VL-fp8 — нативная мультимодальная модель, разработанная командой inclusionAI. Она предназначена для понимания и анализа изображений и видео, мультимодального рассуждения, проверки выводов по визуальным данным, работы с документами, графиками и сложными макетами, а также для взаимодействия с веб- и программными интерфейсами и выполнения агентских задач. Модель поддерживает сценарии, где требуется не только восприятие визуальной информации, но и планирование, выполнение действий и последующая верификация. Модель имеет 124 млрд параметров, при этом на каждый токен активируется около 5,5 млрд благодаря разреженной архитектуре Mixture-of-Experts. В состав входят визуальный энкодер ViT, двухслойный MLP-проектор и 42-слойная гибридная языковая основа, чередующая слои KDA и Gated MLA в соотношении 5:1. VideoRoPE кодирует пространственные позиции и временной порядок, что важно для анализа изменений в видео, поиска событий и ответов на вопросы по длинным видеозаписям. Поддерживаются изображения, видео и текстовый контекст объёмом до 256 тысяч токенов. Доступна версия с квантованием FP8. К сильным сторонам относятся сочетание мультимодального понимания, рассуждения и агентского взаимодействия, эффективная активация параметров при большой общей ёмкости и поддержка длинного контекста. В Artificial Analysis Intelligence Index v4.1.1 модель получила 42 балла, что на 4 балла выше результата Ling-3.0-flash. README не приводит полного перечня поддерживаемых языков, детальных ограничений, требований к качеству входных данных или результатов по всем отдельным бенчмаркам. Модель распространяется по лицензии MIT.

Llama-3.1-Storm-8B — диалоговая языковая модель с 7,5 млрд параметров, разработанная Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная архитектура Llama, дообученная на базе Llama-3.1-8B-Instruct с выборочной настройкой слоёв и объединённая методом SLERP с Llama-Spark. В карточке описан чекпойнт в формате safetensors для запуска через Transformers и vLLM. Модель предназначена для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Авторы сообщают об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков, включая IFEval, GPQA, MMLU-Pro, TruthfulQA и BFCL. Контекст — до 131 072 токенов; заявленный язык карточки — английский. Модель принимает текст и генерирует текст, включая ответы в сценариях вызова функций. Авторы отмечают, что отдельное выравнивание поведения не проводилось, поэтому унаследованные от базовой модели свойства выравнивания могут быть неполными. Лицензия — Llama 3.1; применяются её условия использования.

Это 4-битная версия NVIDIA Nemotron 3 Nano 30B A3B, преобразованная mlx-community из модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 в формат MLX с помощью mlx-lm 0.29.0. Она предназначена для генерации текста и диалогового использования на устройствах и в средах, поддерживающих MLX. Базовая модель NVIDIA — гибридная языковая модель для диалогов, рассуждений, программирования и агентных приложений. В карточке указана поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Суффикс 30B A3B обозначает вариант семейства, однако README не раскрывает подробности архитектуры и контекстного окна. Репозиторий распространяется под лицензией, обозначенной как other; конкретные условия следует сверять с файлами лицензии базовой модели и репозитория. Версия предназначена для MLX и содержит 4-битное представление весов, что снижает требования к памяти по сравнению с исходной BF16-моделью, но может влиять на точность ответов.

Это версия NVIDIA Nemotron 3 Nano 30B A3B, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple Silicon. Модель преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; в названии указано 4-битное представление. Это диалоговая языковая модель NVIDIA с разреженной архитектурой MoE: 30 млрд параметров всего, около 3 млрд активных на токен. Модель предназначена для генерации текста в чате, рассуждений, программирования и агентных приложений. Карточка и метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. В README не приведены отдельные сведения о длине контекста этой версии. Репозиторий распространяется по лицензии «other»; для условий использования следует обратиться к лицензии базовой модели NVIDIA.

ClaudioItaly/Qwen2.5-Boster — это объединённая с помощью mergekit методом TIES языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. В качестве основы использована Qwen/Qwen2.5-7B-Instruct, в слияние также включена Qwen/Qwen2.5-Coder-7B-Instruct. Модель предназначена для диалогов и генерации текста, включая задачи с кодом и структурированными ответами. Она принимает текст и выдаёт текст; контекст составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Метаданные указывают интерфейс для вызова инструментов, но карточка не описывает его поведение и качество. Лицензия в предоставленных данных не указана. Результаты могут зависеть от формулировки запроса; README не приводит оценок качества или подробных ограничений модели.

Qwen3.5-9B-DeepSeek-V4-Flash — модель, разработанная Jackrong на базе unsloth/Qwen3.5-9B с использованием дистилляции из DeepSeek-V4. Обучение проводилось на датасете Jackrong/DeepSeek-V4-Distill-8000x в среде Unsloth; в проекте также участвовал инженер Kyle Hessling, предоставивший вычислительную инфраструктуру и занимавшийся тестированием. Модель предназначена для эффективного рассуждения, многошагового решения задач, программирования и агентских сценариев с генерацией действий для инструментов. Ключевая характеристика модели — размер около 9 миллиардов параметров, обеспечивающий более быстрый и менее ресурсоёмкий инференс по сравнению с крупными моделями. README указывает поддержку английского, китайского, корейского, японского, испанского и русского языков, а также заявляет возможности structured reasoning, long chain-of-thought и tool-augmented workflows. При этом точный размер контекста, сведения о полноценной мультимодальности и подробные характеристики архитектуры самой дистиллированной модели не приведены; упомянутые million-token context, DeepSeek Sparse Attention и другие архитектурные особенности относятся к модели-учителю DeepSeek-V4. Модель позиционируется как компактная и эффективная альтернатива для задач рассуждения и локального инференса, однако README описывает раннюю сравнительную оценку, выполненную в формате Q5_K_M, поэтому заявленные преимущества не следует считать универсально подтверждёнными. Лицензия — Apache-2.0.

Robinson Labs выпустила доработанную версию Qwen3.6-35B-A3B — мультимодальной модели семейства Qwen с архитектурой MoE, примерно 35 млрд параметров и бюджетом около 3 млрд активных параметров. Веса представлены в bf16 в формате sharded safetensors для Transformers. Модель принимает текст и изображения и предназначена для диалогов, вызова инструментов, программирования и анализа изображений; в README также заявлено сохранение поддержки спекулятивного декодирования MTP/NextN для совместимых сред выполнения. В модели ослаблен отказ на взрослые и творческие запросы методом ортогонализации весов; при этом авторы заявляют о сохранении защитных ограничений для запросов о самоповреждении и реальных противоправных действиях. В собственных небольших проверках разработчика модель реже отказывала на общем наборе запросов, а на тесте детской безопасности отклоняла все проверенные запросы; размер этих тестов ограничен и не подтверждает поведение во всех ситуациях. Модель не предназначена для всех аудиторий. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.6-35B-A3B-Fable-Holo3-Qwopus — мультимодальная диалоговая модель, созданная NightmediaAI путём слияния нескольких моделей на базе Qwen3.6-35B-A3B, включая дистиллированную Fable и Holo3-Qwopus. Архитектура относится к семейству Qwen3.5 MoE; каталог указывает класс Qwen3_5MoeForConditionalGeneration. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, генерации текста и анализа изображений; метаданные также отмечают интерфейс вызова инструментов. Карточка указывает поддержку английского, китайского, японского и испанского языков. README приводит результаты отдельных бенчмарков и обсуждает варианты квантования Deckard(qx), но не предоставляет подтверждённых данных о контекстном окне или качестве на практических задачах этой итоговой сборки.

satgeze/Qwen3.6-35B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка модели Qwen3.6-35B-A3B, основанная на uncensored-варианте HauhauCS. Модель предназначена для генерации текста, диалоговых и агентских сценариев, работы с длинными документами и задач, требующих анализа изображений. Поддерживаются llama.cpp и Ollama; заявлена совместимость с агентскими клиентами через Anthropic Messages API. Модель использует исходный контекст 262 144 токена, расширенный до 1 048 576 токенов с помощью YaRN RoPE scaling с коэффициентом 4. В сборку включён слой MTP для speculative decoding: по данным README, на RTX 5090 скорость выросла с 284,6 до 380,1 токена в секунду, а результат декодирования остаётся идентичным стандартному режиму. Визуальный ввод обеспечивается отдельной башней mmproj размером около 899 МБ, которая подключается во время запуска. Основной файл Q4_K_M имеет размер около 21,7 ГБ. К сильным сторонам относятся очень длинный контекст, проверенная авторами работа поиска информации на диапазоне до 1M токенов, поддержка изображений и ускоренное декодирование через MTP. Ограничения включают необходимость совместимого рантайма и значительных аппаратных ресурсов, а также отдельную установку vision-компонента для визуальных задач. Сведения о поддерживаемых языках и точной архитектуре в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-AEON-Ultimate-Uncensored-UD-GGUF — набор GGUF-квантизованных версий модели Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 от AEON-7. Модель предназначена для генерации текста, включая диалоги, работу с кодом, рассуждениями и агентскими сценариями с function calling. Указана поддержка английского и китайского языков, а также vision через компонент mmproj. Это гибридная архитектура GatedDeltaNet и attention: 48 из 64 слоёв используют рекуррентный SSM-механизм. В поставку входят варианты AWQ-UD и Baseline UD с квантизацией Q8_0, Q6_K, Q5_K_M и IQ4_XS; размеры файлов составляют примерно 25,9–34,7 ГБ. При квантизации рекуррентные тензоры SSM сохраняются в исходной точности, применяются матрица важности и чувствительные к тензорам настройки точности. Поддержаны MTP для speculative decoding и контекст калибровки до 32 768 токенов, однако максимальный контекст модели в README не указан. AWQ-UD рекомендуется как вариант с более низкой perplexity, тогда как Baseline UD ближе к распределению выходов F16 по KL-divergence. Модель рассчитана на запуск через llama.cpp; для максимальной производительности README также указывает SGLang с DFlash2. Ограничения включают зависимость качества и скорости от выбранного кванта и аппаратного обеспечения, а также отсутствие подробных данных о возможностях vision и точных требованиях к памяти. Лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-Fable-mxfp8-mlx — экспериментальная объединённая модель, разработанная NightmediaAI на основе Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 от DavidAU и Qwen3.8-27B-Fable-Distill от armand0e. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма, создания художественных историй и ролевого взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель содержит 27B параметров и представлена в формате mxfp8 для MLX; в карточке также упоминается вариант mxfp4. Заявлены контекстные окна до 256K и 1M токенов, однако подробности реализации не приведены. В качестве сильных сторон указаны улучшенные результаты по сравнению с базовой Qwen3.8-27B на приведённых тестах, а также высокая скорость генерации: около 180 токенов в секунду при mxfp8. Ограничения включают экспериментальный статус, отсутствие подробных инструкций по применению и неполные сведения о фактической поддержке мультимодального ввода, несмотря на тег image-text-to-text. Лицензия указана как Apache-2.0. Модель предназначена для исследовательского и общего использования, но заявленные характеристики и результаты следует проверять самостоятельно, поскольку они основаны на данных из карточки модели.

Карточка модели KevinCha/Qwen3-VL-8B-Instruct-BoxSpecialToken на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-8B-Instruct, поэтому описание составлено по ней. Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

Rax 4.5 — мультимодальная модель семейства Qwen3.5 от raxcore-dev, представленная в виде постобученных весов для Hugging Face Transformers. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая ввод изображений и текста и выдающая текст. Модель насчитывает 2 млрд параметров, использует гибридную архитектуру Gated Delta Networks и gated attention, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для диалогов с изображениями, визуального анализа, рассуждений, задач по коду и агентных сценариев с вызовом инструментов. README заявляет поддержку 201 языка и диалекта; модель работает в режимах с рассуждением и без него, причём режим без рассуждения включён по умолчанию. Авторы рекомендуют её для прототипирования, дообучения под конкретные задачи и разработки; для сервинга указана совместимость с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Среди практических ограничений — сравнительно небольшой масштаб в 2 млрд параметров, а также возможная нехватка памяти при использовании длинного контекста; скорость и пропускная способность зависят от среды инференса.

Snowflake Arctic Instruct — инструктивно дообученная языковая модель команды Snowflake AI Research Team на базе архитектуры Arctic. Она предназначена для диалогов, генерации текста и кода, а также для задач классификации текста. Архитектура — гибридный трансформер с разреженным MoE: в карточке описана комбинация плотной модели на 10 млрд параметров и остаточного блока MoE с 128 экспертами; для полной архитектуры указаны 480 млрд параметров и 17 млрд активных параметров с выбором двух экспертов. Метаданные репозитория указывают размер 8 млрд параметров, поэтому эта цифра расходится с описанием полной архитектуры в README. Модель принимает текст и генерирует текст или код. Родной размер контекста — 4096 токенов. Для запуска README рекомендует Transformers версии 4.39 или выше и загрузку с доверенным пользовательским кодом; для инференса предлагается сервер с восемью H100 из-за размера модели. Модель выпущена Snowflake под лицензией Apache-2.0, допускающей использование в исследованиях, прототипах и продуктах.

Yi-1.5-6B — базовая языковая модель семейства Yi, разработанная 01.AI. Она создана на архитектуре Llama с плотной архитектурой и содержит 5,8 млрд параметров; модель распространяется в формате safetensors. Для версии в этом репозитории метаданные указывают контекст до 4096 токенов. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения, следования инструкциям, рассуждений, математики и программирования. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и настройку на разнообразных примерах, однако README не уточняет отдельные результаты именно версии 6B. Лицензия репозитория — Apache-2.0. В предоставленных данных не заявлена мультимодальная поддержка.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

DeepSeek-V4-Flash-Vision-Exp REAP-145B — это производная версия модели DeepSeek-V4-Flash-Vision-Exp, подготовленная primitive-ai на основе весов deepseek-ai. Модель использует разреженную Mixture-of-Experts-архитектуру: половина маршрутизируемых экспертов удалена методом REAP, при этом оставшиеся экспертные веса сохраняются в исходном формате MXFP4 без дополнительного квантования. Размер артефакта составляет около 83,3 ГБ, что позволяет запускать его на одной видеокарте с 96 ГБ памяти через vLLM 0.28.0 или новее. Модель предназначена для генерации текста, рассуждений, ответов на вопросы и вызова инструментов. Указан контекст до 20 480 токенов; для KV-кэша используется специализированный формат fp8_ds_mla, другие варианты не поддерживаются. В состав исходной модели входит визуальная часть, и в README указана подтверждённая работа с изображениями на одной 96-ГБ видеокарте, включая распознавание форм и цветов, подсчёт объектов и чтение текста. MTP-компонент удалён. Производительность зависит от режима: заявлены примерно 73 токена в секунду при однопоточном декодировании с CUDA Graphs и до 150–172 токенов в секунду при пакетной обработке с параллелизмом 16. Сильной стороной модели является возможность запуска крупной 145B-версии на одной GPU, а также высокие результаты на тестах знаний и задачах вызова инструментов: 82,7% на строгом наборе знаний и 74,5% на объединённом тесте tool-calling. Ограничения связаны с потерей части экспертов: модель заметно чаще делает нежелательные вызовы инструментов, а длинные ответы могут достигать лимита генерации. Требуются vLLM 0.28.0 или новее, видеокарта с 96 ГБ памяти и тщательно настроенные ограничения пакетной обработки. Модель распространяется по лицензии MIT.

EXAONE-Deep-32B GGUF — квантизированная GGUF-версия языковой reasoning-модели EXAONE-Deep 32B, разработанной LG AI Research. Репозиторий Mungert содержит вариант базовой модели LGAI-EXAONE/EXAONE-3.5-32B-Instruct, преобразованный с помощью llama.cpp. Модель предназначена для генерации текста, решения математических задач, рассуждений, программирования и диалогового использования. Модель содержит около 30,95 млрд параметров без эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 Q-головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, контекст — до 32 768 токенов. Заявлена поддержка английского и корейского языков. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp; конкретные характеристики зависят от выбранного уровня квантизации. Ключевая особенность сборки — экспериментальный подход к квантизации: отдельные важные слои переводятся в более высокую точность с помощью tensor-type bumping. Это может повысить точность при заданном размере файла, особенно на низких уровнях квантизации, но увеличивает объём модели. Модель ориентирована на задачи, требующие рассуждений, однако README не содержит полной информации о требованиях к оборудованию, ограничениях применения и сравнительных результатах именно этой GGUF-сборки. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.

MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit — квантованная MLX-версия модели XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B, разработанная сообществом mlx-community. Базовая модель представляет собой дистилляцию архитектуры Qwen3.5 9B и предназначена для генерации текста, рассуждений, программирования, агентных сценариев и работы с инструментами. Модель рассчитана на локальный запуск на устройствах с Apple Silicon через MLX, без PyTorch и облачных сервисов. Используется смешанная точность: большинство слоёв имеют 4-битное представление, а чувствительные слои — 8-битное. Всего 134 слоя хранятся в 8-битном формате и 116 — в 4-битном; средняя разрядность веса составляет 6,34 бита, размер модели на диске — около 6,77 ГБ вместо примерно 18 ГБ в формате bfloat16. Архитектура включает 32 слоя, 8 слоёв с полной attention и 24 слоя с linear attention, 16 голов, 4 KV-головы, head_dim 256, hidden size 4096 и словарь из 248 320 токенов. Языки и размер контекстного окна в README не указаны. К сильным сторонам относятся существенное уменьшение размера и заявленное ускорение генерации в 2,4–7 раз относительно родительской модели bfloat16 при проверке на нескольких типах запросов. Распределение разрядности перенесено из квантования Qwen3.5-9B и не измерялось непосредственно на этой модели, поэтому опубликованные оценки качества для Qwen3.5-9B к ней не относятся; Capability Score для данной модели не рассчитывался. Модель распространяется по лицензии MIT.

Mistral-Small-Instruct-2409 — инструкционная плотная языковая модель на 22 млрд параметров, опубликованная Unsloth как дообученная версия Mistral-Small-Instruct-2409 от Mistral AI. Она предназначена для диалогов, следования инструкциям, генерации текста и вызова функций в приложениях на базе языковых моделей. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и интерфейс вызова функций. Для запуска README рекомендует vLLM и mistral-inference; для работы на одном GPU указано требование не менее 44 ГБ видеопамяти. В метаданных лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

Это 8-битная версия модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio Community с помощью mlx_lm для Apple Silicon. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 от NVIDIA; MLX-квантизация уменьшает точность весов для запуска на компьютерах Apple с кремниевыми чипами. По метаданным, модель предназначена для генерации текста и диалогов и поддерживает интерфейс вызова инструментов. Модель подходит для ответов на вопросы, помощи с программированием и математическими задачами, а также для агентных приложений, использующих инструменты. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Лицензия репозитория обозначена как other, поэтому перед использованием следует проверить её условия. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; README также предупреждает об отсутствии гарантий качества.