II.3Рефакторинг, миграция и модернизация

Это конвертированная в формат Llama версия инструктивной языковой модели Qwen2.5-7B-Instruct. Репозиторий создан llamafy; модель предназначена для программ, совместимых с форматом Llama. По метаданным, это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 4096 токенов, сохранённая в safetensors и используемая через библиотеку Transformers. Модель подходит для диалогов и генерации текста, включая код и структурированные ответы, которые поддерживает базовая Qwen2.5-7B-Instruct. В метаданных указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

Spark-X2.5-4B-GGUF — компактная языковая модель общего назначения, разработанная XHToken и представленная в формате GGUF. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Это текстовая модель размером 4 млрд параметров с гибридной архитектурой внимания, нативной длиной контекста до 1 млн токенов и поддержкой более 200 языков, включая английский и китайский. К сильным сторонам относятся компактный размер, широкий набор прикладных задач, многоязычность и возможность локального запуска через llama.cpp, Ollama, LM Studio и Unsloth. Для работы требуется совместимая версия программного обеспечения с поддержкой архитектуры spark2_5: llama.cpp b10828 или новее, Ollama v0.34.1 или новее либо соответствующая версия LM Studio. README не содержит подробных результатов тестирования, требований к ресурсам и сведений о поддерживаемых модальностях помимо обработки текста. Модель распространяется по лицензии Apache License 2.0.

NVIDIA DeepSeek-V4.1-Flash NVFP4 — квантизированная версия модели DeepSeek-V4.1-Flash, разработанной DeepSeek AI и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генеративного ИИ. Это авторегрессионная мультимодальная модель архитектуры Transformer с Mixture-of-Experts и архитектурой Causal Encoder-Decoder, использующая Compressed Sparse Attention 2. Общий размер backbone составляет 552 млрд параметров; во время prefill активируется 8 млрд, во время decode — 16 млрд, дополнительно используется 196 млрд параметров Engram conditional memory. Модель принимает текст и изображения RGB и генерирует текст. Поддерживается контекст до 1 млн токенов. Сведения о поддерживаемых языках в карточке не указаны. Ключевые преимущества — мультимодальность, поддержка сверхдлинного контекста и снижение требований к вычислениям благодаря квантизации NVFP4 W4A4 с размером группы 16. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и протестирована на NVIDIA GB300 с использованием vLLM и SGLang. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также необходимость дополнительного тестирования на данных конкретного сценария перед внедрением. Данные исходного обучения не раскрыты; квантизация выполнена с помощью nvidia-modelopt версии 0.47.0rc0. Лицензия — MIT.

MiniCPM3-4B — плотная языковая модель третьего поколения семейства MiniCPM, разработанная командой OpenBMB. Она содержит 4,9 млрд параметров и предназначена для диалогов и генерации текста; также поддерживает вызов функций и работу с интерпретатором кода. Модель принимает текст и формирует текстовые ответы. Контекстное окно составляет 32 768 токенов. В README заявлена возможность теоретически обрабатывать контекст неограниченной длины с помощью LLMxMapReduce без резкого увеличения памяти. Модель ориентирована на китайский и английский языки и доступна для использования через Transformers; для vLLM в README требуется форк библиотеки. Модель подходит для диалоговых помощников, генерации и классификации текста, а также сценариев с вызовом инструментов и выполнением кода через интерпретатор. README сообщает о результатах, сопоставимых с рядом моделей большего размера, но конкретная таблица оценок в предоставленных данных отсутствует. Лицензия — Apache-2.0. Разработчики предупреждают, что ответы следует самостоятельно проверять.

MiniCPM5-2B MLX 4-bit — это квантизированная версия языковой модели OpenBMB/MiniCPM5-2B, подготовленная для локального запуска в формате MLX. Исходная модель разработана OpenBMB; данный вариант представлен пользователем abenzerps. Модель предназначена для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель имеет плотную Llama-подобную архитектуру и содержит около 2 млрд параметров. Это текстовая модель без поддержки изображений: в поставку не входят vision-проектор и файлы MTP. Поддерживаются английский и китайский языки. Заявленная нативная длина контекста исходной модели составляет 131 072 токена. Квантование выполнено методом affine 4-bit с размером группы 64; размер MLX safetensors-файлов — около 1,4 ГБ. Ключевые преимущества модели — небольшой размер, возможность локального запуска, поддержка длинного контекста и сценариев с инструментами при существенно сниженных требованиях к памяти. Ограничения связаны с 4-битным квантованием, текстовой модальностью и отсутствием заявленных в карточке подробных результатов тестирования для этой конкретной конвертации. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-4bit — это 4-битная версия модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель предназначена для выполнения инструкций и генерации текста в приложениях, поддерживающих MLX и библиотеку mlx-lm. В карточке указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Ключевая характеристика этой версии — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноразмерной моделью, но может сопровождаться некоторой потерей качества. Архитектура, число параметров, модальности и размер контекста в предоставленных данных не указаны. Для использования требуется библиотека mlx-lm; модель загружается по идентификатору mlx-community/Mistral-Nemo-Instruct-2407-4bit. Лицензия — Apache-2.0. Условия запуска и производительность зависят от совместимой с MLX среды.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

Это версия Phi-3 Medium-4k-Instruct от Microsoft, преобразованная в формат ONNX и оптимизированная для запуска через ONNX Runtime на CPU. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов. Вариант рассчитан на диалог и выполнение инструкций; исходная модель прошла supervised fine-tuning и direct preference optimization. Модель подходит для генерации ответов и текста, задач на понимание языка, рассуждения, математику и код. В README заявлена скорость около 20 токенов в секунду на Intel Core i9-10920X и минимальная конфигурация с 16 ГБ оперативной памяти. Репозиторий содержит CPU-вариант ONNX с квантизацией INT4 методом RTN. Лицензия — MIT.

unsloth/Phi-4-mini-instruct — вариант Phi-4-mini-instruct от Unsloth с исправлениями токенов и шаблона чата. Это компактная плотная языковая модель архитектуры Phi-3 с 3,8 млрд параметров, представленная в формате Safetensors и рассчитанная на работу через Transformers. В карточке базовой модели заявлен контекст до 128 тыс. токенов, однако метаданные этого репозитория указывают native context в 4096 токенов; ориентироваться следует на конфигурацию конкретной сборки и используемого ПО. Модель предназначена для диалогов, генерации текста и кода, следования инструкциям и рассуждений, в том числе математических и логических, в сценариях с ограниченными вычислительными ресурсами или требованиями к низкой задержке. Карточка заявляет многоязычную направленность; среди языков проверки безопасности названы английский, китайский, японский, испанский, португальский, арабский, тайский и русский. Модель поддерживает чат и интерфейс вызова инструментов, но может выдумывать названия функций или URL. Лицензия — MIT.

Qevacot-7B — объединённая языковая модель семейства Qwen2.5, созданная автором репозитория bunnycore с помощью mergekit и метода TIES. В основу слияния взята Qwen/Qwen2.5-7B; также объединены EVA-Qwen2.5-7B-v0.1, T.E-8.1, Qwen2.5-7B-Instruct, Qwen2.5-7B-Instruct-abliterated-v2, Qwen2.5-7B-HyperMix и CoT-2.5. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Доступна в формате safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о специальной предметной области или поддерживаемых языках, поэтому область применения следует считать общей, а языковые возможности — неуточнёнными.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

Это чат-модель richardyoung на основе Qwen2.5-14B-Instruct, преобразованная методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. По приведённому в карточке сравнению число отказов составило 11 из 100 запросов против 98 из 100 у исходной модели; это значение относится только к описанной в README оценке. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, написание длинных текстов, работу с таблицами и структурированными форматами, а также задачи по математике и программированию. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, реализованная для Transformers и распространяемая в формате Safetensors. Метаданные указывают контекст до 32 768 токенов; README описывает возможность расширения контекста с помощью YaRN и указывает для семейства исходной модели предел до 131 072 токенов. Семейство поддерживает более 29 языков, однако карточка этой модели подтверждает английский; перечисление других языков относится к описанию Qwen2.5 в целом. Модель подходит для разговорных помощников и генерации текста, но указанное снижение отказов не означает отсутствия ограничений или гарантий качества. Лицензия — Apache-2.0.

Furiosa-AI Qwen3-30B-A3B-FP8 — оптимизированная сборка модели Qwen3-30B-A3B-FP8, распространяемая вместе с Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD с помощью Furiosa-LLM. Исходная модель относится к семейству Qwen3; карточка Furiosa-AI предназначена для работы с этой моделью в специализированной инфраструктуре. Это авторегрессионный текстовый Transformer с архитектурой Mixture-of-Experts (MoE): всего около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает в режимах с рассуждением и без него, поддерживает переключение режима для каждого запроса, генерацию текста, следование инструкциям, мультиязычные сценарии и вызов инструментов. Входная и выходная модальности — текст; конкретный размер контекста и перечень поддерживаемых языков в README не указаны. Веса статически квантизованы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Поддерживаются reasoning-parser для отделения рассуждений от ответа и hermes-парсер для вызова функций. Сборка рассчитана на Furiosa-LLM и FuriosaAI RNGD; на этой платформе используется тензорный параллелизм на 32 вычислительных элементах, что соответствует четырём картам RNGD. Это ограничивает непосредственную применимость сборки вне совместимой аппаратной и программной инфраструктуры, хотя исходная модель также запускается в других фреймворках. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A3B-Thinking-2507-FP8 — текстовая авторегрессионная модель семейства Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это thinking-вариант, работающий только в режиме рассуждений: перед итоговым ответом модель формирует цепочку рассуждений, которую совместимый сервер может возвращать отдельно. Модель предназначена для генерации текста, следования инструкциям, решения задач, многоязычного общения и вызова инструментов. Архитектура — Mixture-of-Experts (MoE) на базе Qwen3: около 30,5 млрд общих параметров, из которых примерно 3,3 млрд активируются для каждого токена. Поддерживаются ввод и вывод в текстовом формате, вызов функций через parser Hermes и OpenAI-совместимый API Furiosa-LLM. Веса статически квантованы в FP8, активации используют динамическую FP8-квантизацию, а KV-кэш хранится в 16-битной точности. Ключевое преимущество модели — сочетание возможностей рассуждения, следования инструкциям, многоязычности и использования инструментов при сниженной вычислительной нагрузке на токен благодаря MoE-архитектуре и FP8-квантизации. Ограничения включают работу только в режиме рассуждений, необходимость совместимого стека Furiosa-LLM и аппаратуры FuriosaAI RNGD для описанной конфигурации, а также отсутствие в README сведений о поддерживаемых языках и размере контекста. Для запуска на RNGD требуется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

RedHatAI/Qwen3.5-9B-FP8-dynamic — это квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе Qwen/Qwen3.5-9B. Модель принимает текст и изображения, генерирует текст и предназначена для задач диалога, следования инструкциям, рассуждений и обработки визуально-текстовых запросов. Для развёртывания предусмотрена интеграция с vLLM; доступен также режим только языковой модели с меньшими требованиями к памяти. В модели применена динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Активации квантизуются во время вывода с использованием масштабирования по тензору, без калибровочных данных. Размер модели на диске сокращён с 19,3 до 14,0 ГБ, примерно на 27%. В README указана возможность запуска через vLLM с параметром максимальной длины контекста 262144 токена, однако отдельные сведения о языках модели не приведены. По опубликованным оценкам, квантованная версия сохраняет около 98,4–99,9% результатов исходной модели на тестах GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond. Основные преимущества — уменьшенный объём хранения и потенциально более эффективный инференс при сохранении близкого к исходному качества. Ограничение заключается в небольшом снижении показателей на всех приведённых тестах; фактические требования к аппаратному обеспечению и производительность зависят от конфигурации. Модель распространяется по лицензии Apache-2.0.

Myric/Qwen3.6-35B-A3B-APEX-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска через llama.cpp; доступна в вариантах APEX i-quality и i-compact, включая версии v2 с более точным хранением отдельных коэффициентов состояния. Лицензия — Apache 2.0. Модель использует разреженную MoE-архитектуру с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, гибридом GatedDeltaNet и периодического полноразмерного внимания, а также головкой NextN/MTP. Объём параметров — 35 млрд, из которых около 3 млрд активируются на токен. Квантизация выполнена со специально рассчитанной PyTorch importance matrix, охватывающей все слои и MTP-головку; заявлена высокая близость к эталонной квантизации по perplexity. Доступны текстовый режим и мультимодальный режим с отдельным vision-проектором, однако сам проектор в состав репозитория не входит. Рекомендуемый размер контекста в примере запуска — 32 768 токенов. Сильными сторонами являются MoE-эффективность, сохранение качества при уменьшении размера модели, поддержка tool calling через шаблоны llama.cpp и возможность работы с vision при подключении совместимого проектора. Ограничения связаны с крупным размером файлов: 23,5 ГБ для i-quality и 17,4 ГБ для i-compact; для видеокарт с 16 ГБ требуется размещать маршрутизируемые эксперты на CPU. Для мультимодального запуска нужен отдельный mmproj-файл, а качество и скорость зависят от выбранного уровня квантизации и доступной памяти.

Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill-GGUF — это GGUF-квантизированная версия рассуждающей модели, разработанной пользователем nerkyor на базе Qwen/Qwen3.6-35B-A3B от команды Qwen. Модель использует MoE-архитектуру с 35 млрд общих параметров и примерно 3 млрд активных параметров, а также дистилляцию в стиле ReAct, ориентированную на более быстрое и стабильное решение сложных задач. Репозиторий предназначен для локального запуска через llama.cpp и совместимые приложения, включая Lynn Agent и LM Studio. Модель подходит для текстовой генерации, сложного рассуждения, оркестрации и агентских сценариев. Доступна поддержка изображений через отдельный vision projector. GGUF-файлы содержат встроенную native MTP-голову для speculative decoding и, кроме вариантов Q8_0 и F16, используют imatrix-коррекцию. Предлагаются варианты от Q4_K_M примерно на 21 ГБ до F16 примерно на 69 ГБ; рекомендуемый баланс качества и требований к памяти — Q4_K_M, а для высокопроизводительных систем с 32 ГБ и более рекомендуется Q5_K_M. В примере запуска используется контекст 8192 токенов, но README не указывает предельный размер контекста модели. По приведённым тестам дистиллированная версия показывает 80,3% на GPQA-Diamond и сокращает время сквозной оркестрации в 2,3 раза относительно базовой модели при включённом reasoning. Native MTP даёт ускорение до 1,63 раза на Q8_0 в однопоточном тесте, однако выигрыш зависит от квантизации и снижается при высокой многопоточности. Ограничением является небольшое снижение результата MMLU относительно базы — 90,2% против 91,4%; также для запуска требуются значительные объёмы VRAM или unified memory. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-imatrix-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B, подготовленная liodon-ai с использованием калибровки importance matrix (iMatrix). Базовую модель разработала команда Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов и выполнения инструкций через llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру с 35 млрд параметров, из которых активно 3,5 млрд, и поддерживает контекст до 128K токенов. Доступны варианты квантизации от Q2_K до Q8_0, включая i-кванты IQ2_M, IQ3_M и IQ4_XS. iMatrix-калибровка повышает связность и качество следования инструкциям при низкой разрядности по сравнению со стандартной квантизацией, сохраняя меньший размер файлов. Ограничения зависят от выбранного варианта: более сильная квантизация снижает качество, а для запуска требуются от 6 до 36,9 ГБ памяти в зависимости от файла. Лицензия Apache 2.0.

MuXodious/Qwen3.8-27B-absolute-heresy — дообученная версия Qwen3.8-27B, созданная P-E-W с помощью Heretic v1.4.0 и метода abliteration. Это плотная модель с причинной языковой моделью и визуальным энкодером, содержащая 27 млрд параметров; базовая архитектура использует 64 слоя. Исходная Qwen3.8-27B поддерживает изображения и видео, а также диалог, программирование и многошаговые агентные задачи; для неё указан контекст 262 144 токена с расширением до 1 000 000 токенов. Эти характеристики относятся к базовой модели. Настройка нацелена на снижение отказов: автор сообщает о 2 отказах из 101 проверенного запроса против 101 из 101 у исходной модели. По описанию автора, при этом модель сохраняет полезность с минимальным повреждением возможностей, однако приведённая оценка зависит от используемой процедуры и не гарантирует поведение на других запросах. Модель предназначена для сценариев, где требуется более свободный диалог с сохранением мультимодальных возможностей Qwen3.8. Репозиторий содержит веса и конфигурацию в формате Transformers; заявлены совместимость с Transformers, vLLM и SGLang, а также отдельные LoRA-адаптер и версия GGUF. Лицензия — Apache-2.0.

Qwen3.8-27B-AWQ-5.0bpw-Sharp — мультимодальная плотная модель на базе Qwen/Qwen3.8-27B, подготовленная mrKola для запуска на Apple Silicon через oMLX. Это вариант с квантизацией AWQ 5,00 бита на параметр и группами размера 64; модель занимает около 17,36 ГБ. Архитектура сочетает GatedDeltaNet и полнослойное внимание, включает визуальный модуль и встроенную голову MTP. Базовая модель имеет контекст до 256 тысяч токенов. Модель предназначена для диалогов, анализа изображений, программирования, рассуждений и многошаговых задач; интерфейс также предусматривает вызов инструментов. Калибровка учитывала текст и изображения, включая диаграммы и фотографии. В README приведены результаты HumanEval, GSM8K и MMLU, однако они сравнивают две квантизованные сборки, а не дают независимую оценку качества. Указанные скорости измерены на M5 Max с oMLX и не гарантируют такую же производительность на другом оборудовании. Модель распространяется по лицензии Apache-2.0. Качество на длинном контексте с ускорением SpecPrefill и моделью-черновиком с несовпадающим токенизатором не измерено; README рекомендует проверять такие сценарии на собственных данных.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизованная версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения; при этом README предупреждает, что для критически важных длинноконтекстных агентских задач более безопасным выбором может быть Balanced-вариант, если он доступен. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17 408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Модель сохраняет встроенный MTP/NextN и поддерживает ускорение HauhauCS FastMTP через отдельный sidecar-файл. Заявлены нативный контекст 262 144 токена и расширение до 1 000 000 токенов. Для мультимодального ввода используется отдельный vision projector в формате BF16; текстовые кванты доступны в вариантах от Q2 до Q8, включая пользовательские K_P-квантизации. Сильные стороны модели — сочетание большого контекстного окна, текстовых, reasoning-, агентских и мультимодальных возможностей, а также варианты квантизации для запуска в средах, совместимых с GGUF, включая llama.cpp и LM Studio. Ограничения связаны с тем, что Aggressive-профиль намеренно снижает склонность к отказам, что может быть нежелательно для задач с повышенными требованиями к безопасности и надёжности. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3-4B-GGUF — это квантизированная версия текстовой instruction-following модели Qwen3-4B, разработанной командой Qwen. Репозиторий предоставляет модель в формате GGUF, адаптированном прежде всего для инференса через библиотеку NobodyWho; GGUF-квантизации подготовлены bartowski. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций и сценариев с вызовом инструментов или функций. Она поддерживает режим рассуждений с явным выводом пошагового решения и работает более чем со 100 языками. Указана только текстовая модальность. Модель содержит около 4 миллиардов параметров и поддерживает контекст длиной до 32 768 токенов. В README приведён вариант Q4_K_M, однако характеристики других вариантов квантизации могут отличаться. К сильным сторонам относятся сравнительно небольшой размер, переносимый формат GGUF, поддержка мультиязычной генерации, инструментальных вызовов и режима рассуждений. Ограничения включают неизвестную дату отсечения знаний и отсутствие опубликованных бенчмарков в данном README; также квантизация может влиять на качество и скорость по сравнению с исходной моделью. Лицензия — Apache 2.0.

SagaLM-slm2 — диалоговая языковая модель, созданная разработчиком SagaLM на основе Qwen/Qwen2.5-7B-Instruct. Модель дообучена методами QLoRA и supervised fine-tuning (SFT); её архитектура Qwen2 совместима с реализацией Qwen2/Qwen2.5 в Transformers. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов согласно метаданным; в README указана длина контекста 2 048 токенов при обучении. Модель предназначена для диалогов и выполнения инструкций, включая рассуждения, математические задачи и программирование. Обучение включало разговорные и инструктивные данные, а также примеры, закрепляющие идентичность SagaLM. Для генерации автор рекомендует до 1 024 новых токенов с настройками temperature 0,7 и top_p 0,9. Сведения о лицензии в предоставленных материалах отсутствуют.

WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

AFM-4.5B-Preview — предварительная версия инструкционной языковой модели Arcee.ai, основанная на AFM-4.5B-Base и дообученная для ответов на инструкции и диалога. Модель использует декодерную архитектуру Transformer ArceeForCausalLM с grouped-query attention и активацией ReLU². В метаданных указано 6 млрд параметров, а в README — 4,5 млрд; контекст составляет до 65 536 токенов. Модель принимает и генерирует текст, поддерживает несколько языков, включая русский, английский, испанский, французский, немецкий, итальянский, португальский, арабский, хинди, корейский и китайский. Модель подходит для диалогового помощника, следования инструкциям, генерации текста, а также задач с математическими рассуждениями и кодом, унаследованных от базовой модели. Это preview-чекпойнт, размещавшийся на TogetherAI с 18 июня по 28 июля; для retrieval, следования инструкциям и сценариев ассистента разработчик рекомендует финальный выпуск AFM-4.5B. Лицензия — Apache 2.0.

Deepthink-Reasoning-7B — дообученная PrithivMLmods языковая модель на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста с упором на рассуждения, решение логических задач, математику и программирование; также подходит для творческого письма, следования инструкциям и формирования структурированных ответов, включая JSON. Модель использует архитектуру Qwen2 и принимает текстовые запросы, выдавая текст. В метаданных указан контекст до 32 768 токенов, тогда как README заявляет поддержку до 128 тысяч токенов и генерацию до 8 тысяч; это расхождение стоит учитывать при настройке. Карточка заявляет поддержку более 29 языков, включая русский и английский, но метаданные подтверждают английский. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления README об улучшениях в математике, коде, следовании инструкциям и длинном контексте не сопровождаются результатами оценивания, поэтому фактическое качество на конкретных задачах следует проверять отдельно.

Dolphy-1.0 — диалоговая языковая модель от Dolphy AI, дообученная методом LoRA на базе Qwen/Qwen3-4B-Instruct-2507. Это плотная причинная модель семейства Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. В обучающем конвейере использовано 1,5 млн примеров из 20 наборов данных; среди перечисленных источников — материалы для диалогов, следования инструкциям, математики, программирования, письма и ответов на вопросы. Модель предназначена для генерации ответов в чате, выполнения инструкций, решения задач и работы с инструментами через совместимый с Qwen3 интерфейс вызова функций. Она поддерживает многоязычные возможности базовой модели; точный перечень языков в карточке не приведён. Репозиторий содержит веса safetensors, а README также рекомендует GGUF для локального запуска. Лицензия — Apache-2.0. Заявление автора о превосходстве над более крупными моделями не сопровождается результатами сравнительной оценки в предоставленной карточке. Качество может различаться в зависимости от задачи; подробные результаты тестирования и конкретный перечень поддерживаемых языков не приведены.

Falcon3-1B-Instruct — компактная инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она дообучена на базе tiiuae/Falcon3-1B-Base и предназначена для диалогов и генерации текста по инструкциям. Модель имеет плотную архитектуру Transformer с причинным декодером и 1,4 млрд параметров. В ней 18 блоков декодера, Grouped Query Attention, SwiGLU и RMSNorm; контекстное окно — до 8192 токенов. Модель принимает и генерирует текст на английском, французском, испанском и португальском языках. Модель обучалась на данных для STEM, диалогов, программирования, безопасности и вызова функций. В карточке заявлены сильные результаты в рассуждениях, понимании языка, следовании инструкциям, математике и задачах с кодом. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

suayptalha/Falcon3-Jessi-v0.4-7B-Slerp — языковая модель на 7,1 млрд параметров, полученная слиянием SLERP моделей neopolita/jessi-v0.4-falcon3-7b-instruct и tiiuae/Falcon3-7B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям, включая задачи рассуждения, понимания языка, программирования и математики. Модель использует архитектуру LlamaForCausalLM, сохранена в формате safetensors и поддерживает контекст до 32 768 токенов. Заявлена поддержка английского, французского, испанского и португальского языков. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, а также утверждение о высоком рейтинге модели на момент публикации. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и у исходных моделей.