II.1Анализ требований и архитектура ПО

Pareto 26.10 Preview — мультимодальная составная модель компании Unbiased для исследовательских задач, программирования, агентных сценариев и задач общего назначения. По данным страницы модели в OpenRouter, она принимает текст и изображения и генерирует текст; поддерживает вызов инструментов и контекст до 1 048 576 токенов с выводом до 131 072 токенов. Это предварительная версия, поведение которой может измениться без предупреждения; для стабильного поведения разработчик рекомендует Pareto 26.9. Подробности об архитектуре, размере, поддерживаемых языках и лицензии в использованных источниках не подтверждены.

Это версия Phi-3 Medium-4k-Instruct от Microsoft, преобразованная в формат ONNX и оптимизированная для запуска через ONNX Runtime на CPU. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов. Вариант рассчитан на диалог и выполнение инструкций; исходная модель прошла supervised fine-tuning и direct preference optimization. Модель подходит для генерации ответов и текста, задач на понимание языка, рассуждения, математику и код. В README заявлена скорость около 20 токенов в секунду на Intel Core i9-10920X и минимальная конфигурация с 16 ГБ оперативной памяти. Репозиторий содержит CPU-вариант ONNX с квантизацией INT4 методом RTN. Лицензия — MIT.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.

CultriX/Qwen2.5-14B-Hyperionv4 — объединённая языковая модель на архитектуре Qwen2.5, созданная с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; слияние выполнено методом DARE TIES с участием нескольких моделей семейства Qwen и других производных 14B-моделей. Модель предназначена для генерации текста и диалогового общения, включая сценарии с длинным контекстом до 131 072 токенов. Она поставляется в формате Safetensors и поддерживает интерфейс вызова инструментов. В карточке не заявлена специализация на конкретном языке или прикладной области. Модель содержит 14 млрд параметров. Лицензия в доступных данных не указана.

Qwen2.5-14B-Instruct-1M — плотная авторегрессионная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста, включая обработку очень длинных документов и контекстов. Модель содержит около 14 млрд параметров; архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Заявленная длина контекста достигает 1 010 000 токенов, а генерация — до 8192 токенов. Для эффективного инференса на длинных последовательностях разработчик рекомендует специальную ветку vLLM с разреженным вниманием и методами экстраполяции длины; для обработки миллиона токенов версии 14B требуется не менее 320 ГБ видеопамяти суммарно. На обычном стеке Qwen2.5 возможна потеря точности при длине свыше 262 144 токенов. Модель основана на Qwen/Qwen2.5-14B и дообучена; лицензия Apache-2.0. Метаданные указывают английский язык, поэтому поддержка других языков здесь не заявляется.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen2.5-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp release b3772; модель представлена в рамках программы Community Models LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и работы со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский, что делает её пригодной для многоязычных приложений. Ключевые характеристики включают размер 7 млрд параметров, контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. К сильным сторонам относятся широкий языковой охват, поддержка длинного контекста и улучшенное понимание и создание структурированных данных. При этом модель может генерировать неточную, вредную или вводящую в заблуждение информацию, а README не содержит подробностей о конкретной схеме квантизации, требованиях к ресурсам и результатах бенчмарков. Распространение указано под лицензией Apache 2.0.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill — мультимодальная дообученная модель на архитектуре Qwen3.5 с 27 млрд параметров, созданная на базе Qwen/Qwen3.6-27B с использованием набора данных TeichAI/lordx64-claude-opus-4.7-max-cleaned. Она предназначена для программирования, творческого письма, понимания изображений и диалоговых задач общего назначения; метаданные также указывают интерфейс для вызова инструментов и поддержку зрения. Модель принимает текст и изображения и генерирует текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Карточка модели Basementup/Qwen3.6-35B-A3B на Hugging Face совпадает с карточкой Qwen/Qwen3.6-35B-A3B, поэтому описание составлено по ней. Qwen3.6-35B-A3B — открытая модель весов от Qwen, представленная как языковая модель с энкодером изображений и архитектурой смеси экспертов. В ней 35 млрд параметров, из которых при генерации активируются около 3 млрд; конфигурация включает 40 слоёв и 256 экспертов. Модель предназначена для диалогов, программирования и работы с изображениями, а также поддерживает вызов инструментов через соответствующий интерфейс. Основные сценарии — агентное программирование, анализ репозиториев, создание веб-интерфейсов и итеративная разработка с сохранением контекста рассуждений между сообщениями. Модель принимает текст и изображения и генерирует текст. Нативное окно контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. В README приведены англоязычные и китайскоязычные примеры оценки веб-разработки; полная таблица поддерживаемых языков опущена. Веса доступны в формате Safetensors и совместимы с Transformers, vLLM, SGLang и другими указанными средами. Для работы с длинным контекстом требуются значительные вычислительные ресурсы; README рекомендует уменьшать окно при нехватке памяти и современные серверные движки для производительных нагрузок. Лицензия — Apache 2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

ByteOtter/Qwen3.8-27B-TAK-Reasoning-GGUF — квантованная версия Qwen3.8-27B, разработанная ByteOtter на основе модели Qwen/Qwen3.8-27B. Это текстовая генеративная модель в формате GGUF для запуска через llama.cpp. Дообучение и слияние моделей не применялись: изменена только точность представления весов с использованием task-aware quantization (TAK), ориентированной на задачи рассуждения. Модель предназначена прежде всего для задач, требующих логического анализа и пошагового рассуждения, а также может применяться для генерации текста, ответов на вопросы, работы с кодом, математикой, извлечения и структурирования информации. Размер файла составляет 8,372 ГБ, используется смешанная точность с целевым форматом UD-IQ2_S. В опубликованной оценке модель набрала 82,81% в категории reasoning, превысив сопоставимую квантованную версию Unsloth на 5,47 процентного пункта и немного уступив исходной BF16-модели с результатом 83,59%. Сильной стороной является сохранение высокой способности к рассуждению при существенно меньшем размере по сравнению с BF16-версией, а также улучшенные относительно компаратора показатели по математике, следованию инструкциям, суммаризации, структурированному выводу и связности. Ограничения включают возможное изменение качества, стабильности и точности из-за квантования; результаты на диагностических наборах не следует считать универсальными гарантиями. Модель содержит только текстовый GGUF и не включает мультимодальный проектор. Языки и размер контекстного окна в README не указаны, поэтому их следует уточнять в карточке базовой модели. Производитель рекомендует использовать свежую сборку llama.cpp. Производная распространяется по лицензии Apache License 2.0 в соответствии с лицензией базовой модели.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-MXFP4-1M — это релиз Solstice-AI на базе модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Solstice-AI выполнила квантование, масштабирование контекста и упаковку, а исходную модель и её GAIN-merge разработал DavidAU. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, управления компьютером и мобильными устройствами, а также обработки длинных контекстов. README также заявляет поддержку визуального понимания через комплектный модуль mmproj-BF16.gguf, включая схемы, интерфейсы кода и видеокадры. Модель содержит 27 млрд параметров и распространяется в формате OCP Microscaling MXFP4. Заявлена гибридная архитектура Qwen 3.8: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — глобальное Grouped-Query Attention. Указаны аппаратное Multi-Token Prediction с генерацией двух токенов за проход и потенциальным ускорением 1,72–2,20 раза, а также контекст до 1 048 576 токенов благодаря YaRN RoPE scaling. Заявлены языки English и Chinese. Для запуска упоминаются vLLM, Anvil Runtime и совместимость с AMD ROCm, Intel Gaudi и современными Tensor Core. К сильным сторонам относятся большой контекст, низкоразрядное представление MXFP4, поддержка рассуждений и программирования, мультимодальность и заявленные высокие результаты в SWE-bench Pro, LiveCodeBench, OSWorld, AndroidWorld и других тестах. Ограничения включают зависимость производительности от совместимого оборудования и программного стека, а также то, что приведённые в README сравнительные результаты и характеристики не сопровождаются подробным описанием методики и независимой проверкой. Модель описана как uncensored и с удалёнными отказными ограничениями, что может повышать риски небезопасных ответов. Лицензия — Apache 2.0.

cyankiwi/Qwen3-Next-80B-A3B-Thinking-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-Next-80B-A3B-Thinking из семейства Qwen. Разработчик в README явно не указан; модель опубликована на базе Qwen/Qwen3-Next-80B-A3B-Thinking и предназначена для генерации текста с акцентом на сложные рассуждения, математические и программные задачи, многошаговое решение проблем и агентские сценарии. Это авторегрессионная causal language model с гибридной архитектурой Gated DeltaNet и Gated Attention, разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается только thinking mode, а шаблон чата автоматически включает режим рассуждений. Языки и мультимодальные возможности в README не указаны. К сильным сторонам относятся высокая параметрическая и вычислительная эффективность, производительность на сложных задачах рассуждения, программирования, следования инструкциям и работы с инструментами, а также поддержка сверхдлинного контекста. Модель может генерировать особенно длинные рассуждения, поэтому она лучше подходит для комплексных задач, чем для сценариев, требующих минимальной задержки или кратких ответов. В README также не приведены требования к аппаратному обеспечению и подробные ограничения качества. Лицензия — Apache 2.0.

Step 3.5 Flash — открытая языковая модель компании StepFun для диалогов, рассуждений, программирования и агентных задач. Карточка описывает разреженную архитектуру Transformer с Mixture of Experts: всего 196 млрд параметров, из которых для каждого токена активируются около 11 млрд. Механизм Multi-Token Prediction предназначен для ускорения генерации, а гибридное внимание с окном 256K токенов рассчитано на работу с длинными контекстами и большими кодовыми базами. Модель предназначена для интерактивного чата, сложного многошагового рассуждения, помощи в разработке и выполнения задач агентами. Карточка приводит результаты на SWE-bench Verified и Terminal-Bench 2.0 и заявляет поддержку запуска через vLLM, SGLang, Transformers и llama.cpp, а также локального развертывания на высокопроизводительном оборудовании. Указанный в карточке сценарий использования — текстовый диалог; метаданные классифицируют модель как генеративную и отмечают возможность чата. В README заявлено окно контекста 256K токенов и высокая скорость генерации, однако реальная производительность зависит от оборудования и программной поддержки: например, для vLLM отмечено отсутствие полной поддержки MTP3. Метаданные указывают 9,8 млрд параметров, тогда как README заявляет 196 млрд параметров всего и 11 млрд активных на токен; эти сведения расходятся. Лицензия — Apache 2.0.

Ternary-Bonsai-2-27B-mlx-2bit — производная версия Qwen/Qwen3.8-27B от Prism ML, предназначенная для локального запуска диалоговой модели и агентов. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Hadamard. Размер модели — 27,36 млрд параметров, включая языковую часть и башню зрения. Репозиторий занимает около 8,60 ГБ; заявлена поддержка контекста до 262 тысяч токенов и обработка изображений. Модель рассчитана на генерацию текста, рассуждения, программирование и вызов инструментов на ноутбуках и GPU, в том числе без передачи данных в облако. README сообщает о сохранении 98,2% среднего результата FP16 на 14 бенчмарках и приводит показатели производительности для отдельных устройств; это заявления разработчика, а фактическая скорость зависит от оборудования и совместимого низкобитного runtime. Для корректной работы нужны специализированные ядра MLX или CUDA, а для версии MLX — совместимая среда MLX. Качество ниже полного FP16, особенно на сложных задачах; башня зрения в поставке не квантизирована. Лицензия — Apache-2.0.

VultronCoderAtlas — разреженная мультимодальная модель семейства Kimi K3, разработанная Vultr на основе moonshotai/Kimi-K3. В ней около 2,10 трлн параметров, организованных в 93 трансформерных блока: один плотный и 92 MoE-блока. Для сокращения модели применён метод Router-weighted Expert Activation Pruning (REAP): в каждом MoE-блоке оставлено 672 эксперта с сохранением маршрутизации top-16. Модель принимает текст и изображения и выдаёт текст; контекстное окно составляет до 1 048 576 токенов. Модель предназначена для работы с крупными репозиториями и сопровождения кода, coding-агентов с инструментами, анализа длинных технических материалов и задач по изображениям и тексту. README приводит результаты оценивания на DeepSWE, Terminal-Bench, HumanEval+, MBPP+ и MMMU-Pro; проверка релиза охватывает англоязычные сценарии. Для многошаговых запросов требуется передавать полную историю ответа ассистента, включая reasoning_content, content и tool_calls. Checkpoint занимает около 1,2 ТБ и требует многопроцессорной GPU-конфигурации, нативных MXFP4-ядер и движка инференса с поддержкой Kimi K3, его парсеров рассуждений и вызова инструментов. Модель может генерировать неверный код или некорректные вызовы инструментов, а агентные результаты могут варьироваться. В метаданных указана лицензия other; конкретные условия лицензии в предоставленной карточке не раскрыты.

HarimxChoi/WarpQuant-Qwen3.8-27B-R16E4H4-Text — текстовая версия Qwen3.8-27B, подготовленная с применением WarpQuant. Репозиторий содержит причинную языковую модель, токенизатор и шаблон чата; по метаданным это плотная архитектура семейства Qwen, предназначенная для генерации текста и диалогов. Указано 22,3 млрд параметров в метаданных и около 26,9 млрд текстовых параметров в README. Контекст — до 262 144 токенов. Ключи проекций квантованы до 3 бит с вращением Адамара и восстановлением отдельных слабых столбцов; эмбеддинги токенов и выходная голова используют групповой INT4. В первой публикации восстановленные тензоры хранятся в BF16 для запуска через Transformers, поэтому фактический размер файлов больше аналитического упакованного представления. README приводит результаты сравнений на языковых и тестовых наборах и сообщает о совпадении последних токенных логитов с исходной моделью на проверенном промпте. Модель рассчитана на текстовую генерацию, чат, рассуждения и задачи вроде ответов на вопросы и программирования. В отличие от исходной мультимодальной версии, в этой сборке отсутствуют модуль обработки изображений и слой MTP. Лицензия — Apache-2.0.

WizardLM-70B-V1.0 — большая языковая модель команды WizardLM, выпущенная в августе 2023 года. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и 68,7 млрд параметров; репозиторий содержит веса PyTorch. Модель предназначена для генерации текста и диалогов, в том числе многоходовых бесед по формату запросов, совместимому с Vicuna, и ответов на сложные инструкции. В карточке приведены результаты на MT-Bench, AlpacaEval, GSM8K и HumanEval; они указывают на возможности диалога, решения математических задач и генерации кода. Контекст модели составляет 4096 токенов. Для использования указана лицензия Llama 2; следует соблюдать её условия. Карточка не сообщает о поддержке изображений, аудио или иных модальностей помимо текста.

Yi-1.5-9B — базовая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, предназначенная для генерации текста и продолжения запросов. Yi-1.5 получена непрерывным предварительным обучением модели Yi на высококачественном корпусе объёмом 500 млрд токенов; в линейке также есть отдельные версии Chat, но данный репозиторий содержит базовую модель. Модель подходит для языкового понимания, чтения с пониманием, рассуждений, математики и программирования. В карточке семейства указаны контексты 4K, 16K и 32K; для этой модели в метаданных указан native context 4096 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Zrald выпускает GGUF-квантование модели Qwen3.8-27B в профиле zraldv1-ba, ориентированном на баланс размера и качества. Репозиторий содержит файл весов объёмом 14,46 GiB; в README заявлено сохранение 99,12% точности относительно исходной модели. Модель рассчитана на диалоги, генерацию текста, программирование и задачи рассуждения; метаданные указывают поддержку чата. Базовая модель Qwen описана в каталоге как мультимодальная, однако для этой сборки явно заявлены только текстовые сценарии. README сообщает о тестировании на AMD Instinct MI300X, скорости обработки промптов 1 103,4 токена/с и генерации 64,7 токена/с, а также рекомендует не менее 16 ГБ VRAM. Эти показатели приведены разработчиком и могут зависеть от оборудования и конфигурации. Модель распространяется под лицензией Apache-2.0.

protoLabsAI/Agents-A1-NVFP4 — квантизированная версия модели InternScience/Agents-A1, разработанная и проверенная protoLabs. Это агентная гибридная MoE-модель класса Qwen3.5-35B-A3B для генерации текста, рассуждений, работы с инструментами, function calling, программирования и других агентных сценариев. Модель предназначена для запуска через vLLM, прежде всего на GPU NVIDIA Blackwell, включая RTX PRO 6000 и RTX 50xx. Модель использует квантизацию NVFP4 W4A4 с калибровкой всех экспертов MoE и занимает около 21,8 ГБ. В контрольной точности сохранены маршрутизаторы MoE, DeltaNet-линейное внимание, эмбеддинги, lm_head, vision tower и MTP-тензоры. В README заявлена поддержка длинного контекста с проверками на длинах до 60K токенов; для работы у верхней границы рекомендуется оставить более 5K токенов запаса либо отключить режим рассуждений. Веса vision tower присутствуют, но рекомендуемая конфигурация vLLM работает только в текстовом режиме. Языки явно не указаны. По приведённым тестам NVFP4-версия превосходит официальную FP8-версию на наборах reasoning-v2, function-call и claw agentic, но немного уступает ей в code spec-delta. На одной RTX PRO 6000 заявлена скорость до 215 токенов в секунду при однопоточном чате. Ограничения включают зависимость от специальной конфигурации vLLM с marlin MoE backend на sm120, несовместимость spec-decode с этим backend и необходимость учитывать значительные затраты контекста при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

aiAI Coder V2 — плотная причинная языковая модель на 3,4 млрд параметров, разработанная aiAI и дообученная методом LoRA SFT на базе Qwen/Qwen3.5-4B-Thinking. После обучения LoRA-адаптер объединён с базовой моделью, поэтому репозиторий содержит готовые веса для Transformers. Модель предназначена для генерации и дополнения кода, отладки, создания SQL-запросов и проектирования программных систем; в карточке описаны примеры на Python, JavaScript и SQL, а также многошаговые диалоги с блоками рассуждений.

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.