II.4Отладка, тестирование и качество ПО

PIC_7B_Mistral Full v0.2 — экспериментальная модель общего назначения, созданная TokenBender дообучением Mistral-7B-v0.1. Она предназначена для генерации текста, следования инструкциям, ролевых диалогов, помощи с кодом и вывода в JSON; автор также указывает на поддержку сценариев вызова функций. Рекомендуемый формат запросов — ChatML, также может работать Alpaca. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов. В обучении использовались наборы SlimOrca, no_robots, orca_dpo_pairs, glaive-function-calling-v2-zephyr и Evol-instruction-66k. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Это ранний этап проекта PIC: автор описывает его как эксперимент с набором возможностей, а качество программирования ещё предстоит оценить. Результаты отдельных базовых проверок на ролевое следование и JSON/вызов функций отмечены как успешные, но они не заменяют широкую оценку качества; сведения о поддерживаемых естественных языках в карточке не приведены.

Qwen3-30B-A3B-Base — базовая языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная причинная MoE-модель для генерации текста: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; архитектура включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель рассчитана на контекст до 32 768 токенов и работает через библиотеку Transformers. Модель предназначена для продолжения текста и служит основой для дообучения под диалоговые и прикладные сценарии. Обучающий корпус охватывает 119 языков и включает материалы по программированию, STEM, рассуждениям, книгам и многоязычным данным. Карточка также отмечает интерфейсы для чата и вызова инструментов, однако конкретные инструкции по использованию этих возможностей в базовой модели не описаны. Лицензия — Apache-2.0. Для запуска требуется актуальная версия Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3_moe. Это базовая, а не специализированно настроенная на выполнение инструкций модель; качество в конкретных задачах зависит от промптинга и возможного дообучения.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

lmstudio-community/Qwen3-4B-Instruct-2507-MLX-5bit — это 5-битно квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью Qwen3-4B-Instruct-2507. Ключевые характеристики: архитектура и возможности базовой модели Qwen3-4B-Instruct-2507, около 4 миллиардов параметров, текстовая модальность и 5-битное представление MLX. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные преимущества модели — уменьшенный объём памяти и оптимизация для локального запуска на Apple Silicon при сохранении совместимости с экосистемой MLX. Ограничения связаны с квантованием и характеристиками базовой 4B-модели; точное влияние на качество, производительность и перечень поддерживаемых сценариев в README не описано. Модель распространяется по лицензии Apache-2.0.

tvall43/Qwen3.6-14B-A3B-vibetuned-GGUF — это квантизированная GGUF-версия модели tvall43/Qwen3.6-14B-A3B-vibetuned, разработанная автором tvall43 на основе pruned-модели Qwen3.6-35B-A3B-heretic. После сокращения до 14 млрд параметров модель была дообучена методом QLoRA на данных для рассуждений Magpie Opus Pro и структурированной логики Hermes Function Calling. Модель предназначена для локальной генерации текста, диалоговых сценариев, рассуждений и вызова функций через llama.cpp и совместимые среды, включая LM Studio, Ollama и text-generation-webui. Она заявлена как мультимодальная и поддерживает работу с изображениями при использовании multimodal projector mmproj. Язык README указан как английский; размер контекста и точный набор поддерживаемых языков не приведены. Доступны варианты F16, Q8_0, Q6_K, Q4_K_M, Q3_K_M, Q2_K и MXFP4 с разными компромиссами между качеством, скоростью и требованиями к памяти. Q4_K_M ориентирован на локальный запуск примерно в 8 ГБ VRAM, Q8_0 требует около 15 ГБ памяти, а MXFP4 зависит от поддержки inference engine. Ограничениями являются возможная потеря качества в более агрессивно квантизированных вариантах и необходимость актуальной версии совместимого inference engine. Лицензия — Apache-2.0.

RodKykis/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — мультимодальная модель на базе Qwen3.6-27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии RodKykis, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также обработку изображений, однако точный размер контекстного окна в README не указан. Основное назначение модели — универсальная работа с инструкциями, решение задач, рассуждения, генерация кода, творческое письмо, художественная проза и roleplay. Заявлены улучшенные instruction following, общее решение задач и reasoning. Модель позиционируется как uncensored и heretic-вариант без заявленного изменения базовых возможностей Qwen; при этом README содержит маркетинговые заявления о превосходстве над рядом базовых моделей, которые не следует считать независимой проверкой качества. Репозиторий включает обычные и MTP-варианты GGUF-квантов, выполненные с использованием NEO IMATRIX; часть выходного тензора сохранена в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуется использовать обычные кванты. Доступны варианты для различных ограничений памяти и конфигураций AMD/Vulkan. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves — экспериментальная объединённая модель от независимой лаборатории NightmediaAI. В README указано слияние нескольких моделей семейств Qwen3.6 и Qwen3.8; метаданные подтверждают архитектуру Qwen3.5/Qwen3_5ForConditionalGeneration, 27 млрд параметров в названии и поддержку изображений. Модель предназначена для диалогов, следования инструкциям, рассуждений и анализа изображений; в карточке также заявлены творческое письмо, математика, STEM и программирование. Модель опубликована в формате Safetensors и работает через Transformers. Карточка приводит результаты тестов для одного из компонентов слияния, но не даёт сопоставимой оценки итоговой модели. Метаданные указывают английский, китайский, японский и испанский языки. Лицензия — Apache-2.0.

Sakura-SOLAR-Instruct-GGUF — квантизированная версия инструкционной языковой модели Sakura Solar Instruct, разработанной KyujinHan. Модель предназначена для генерации текста и диалогового взаимодействия по системным и пользовательским инструкциям; её можно запускать локально на CPU и GPU через llama.cpp и совместимые интерфейсы и библиотеки. Репозиторий содержит файлы в формате GGUF, включая варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Архитектура модели — SOLAR, формат GGUFv2; точный размер, число параметров и максимальная длина контекста в README не указаны. Заявлен английский язык, поддерживается только текстовая модальность. Квантизация уменьшает требования к памяти и позволяет выбирать компромисс между размером, скоростью и качеством, однако более агрессивные варианты могут сильнее терять в качестве по сравнению с исходной моделью. Для работы используется шаблон запроса с секциями System, User и Assistant. Модель и её квантизированные файлы распространяются по лицензии CC BY-NC-SA 4.0.

Shisa V2 UnPhi4 14B — чат-модель общего назначения от Shisa.AI, дообученная на базе unsloth/phi-4. Она рассчитана на диалоги и другие текстовые задачи на японском и английском языках; разработчики сосредоточились на улучшении качества японских ответов, сохранив возможности базовой модели на английском. Модель содержит 14,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 16 384 токенов. По опубликованным оценкам Shisa V2 UnPhi4 14B улучшает средний результат базовой Phi-4 на японских тестах, сохраняя сопоставимые результаты на английских. Это текстовая модель, не предназначенная для обработки изображений, звука или видео. Она распространяется по лицензии Apache 2.0; для инференса проверена совместимость с vLLM и SGLang.

Joseph717171/SOLAR-19.2B-Instruct-v1.0 — разговорная языковая модель, созданная слиянием моделей через mergekit. В карточке она описана как увеличенная версия SOLAR-10.7B-Instruct-v1.0 с чередованием слоёв; метаданные указывают архитектуру LlamaForCausalLM и около 18,5 млрд параметров. Модель принимает текстовые запросы и генерирует текст, а её контекст составляет 4096 токенов. Модель предназначена для диалогов и ответов на инструкции, а также как основа для дальнейшего дообучения или замена исходной версии SOLAR 10.7B. Для обучения использовались наборы Alpaca-GPT4, OpenOrca, Orca DPO и UltraFeedback; карточка также упоминает SFT и DPO. Заявленная лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.

Solar-Open2-250B-Mixed-Quant-GGUF — независимая конверсия модели upstage/Solar-Open2-250B в формат GGUF с рецептом смешанной точности MXQ-v1. Автор репозитория Baekpica; это не официальный выпуск Upstage. Вариант состоит из 11 файлов общим размером около 88,973 ГиБ и сохраняет исходную архитектуру Mixture-of-Experts: 48 слоёв, 320 маршрутизируемых экспертов в каждом слое и один общий эксперт. Указанный размер артефакта — около 3,05 бит на вес. Модель предназначена для генерации текста и диалогового применения, включая работу с инструкциями, рассуждениями, кодом и многоязычными запросами. В калибровке использованы английский, корейский, японский и другие многоязычные данные; карточка базовой модели указывает контекст до 1 048 576 токенов, однако автор не заявляет такую длину для работы на DGX Spark. Проверки описывают загрузку и генерации на нескольких GPU-конфигурациях, а также замеры производительности на DGX Spark с конкретным ПО и настройками. Это производный квантованный артефакт для запуска в совместимом с GGUF программном обеспечении; для него приведены контрольные суммы, рецепт квантования и результаты структурной проверки. Репозиторий указывает лицензию «other», но не приводит её условия в предоставленных данных, поэтому коммерческие и иные права использования следует сверить с карточкой Hugging Face и базовой моделью. Результаты проверок качества ограничены описанными тестами и не являются гарантией качества на произвольных задачах.

WestOrcaNeural-V2-DARETIES-7B — языковая модель для генерации текста, созданная объединением моделей с помощью mergekit. В основе лежит Mistral-7B-v0.1; в слияние также вошли kellemar-DPO-Orca-Distilled-7B-SLERP, WestLake-7B-v2 и NeuralBeagle14-7B. Использован метод DARE-TIES, итоговые веса имеют точность float16. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст длиной до 32 768 токенов. Карточка приводит результаты оценок на задачах рассуждения и понимания текста, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0.

Xing4.0-29B-A4B-CRACK-GGUF — набор GGUF-квантизированных версий модели Xing4.0-29B-A4B, подготовленный dealignai на базе модели XingChen-AGI/China Telecom AI. Это reasoning-модель с архитектурой Mixture of Experts: 29 млрд общих параметров, около 4 млрд активных при генерации, 64 маршрутизируемых эксперта с выбором 4 экспертов и одним общим. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальные сценарии с ограниченными ресурсами. Доступны семь вариантов квантизации размером примерно от 12,9 до 30,9 ГБ. Архитектура включает MLA с параметрами q_lora=768 и kv_lora=512, mHC Hyper-Connections с четырьмя каналами, MTP-head, 40 слоёв и скрытое представление размерностью 3584. Заявлена поддержка контекста до 256K токенов, с масштабированием до 512K через YARN. В README явно указаны китайский язык и данные калибровки imatrix на основе WikiText-2, исходного кода и китайской Википедии; полный набор поддерживаемых языков не приведён. Для работы требуется специальная ветка shuxiaoqiong/llama.cpp с портом xing4_0. Сильной стороной модели заявлено существенное снижение отказов и ограничений безопасности на уровне весов, однако это одновременно означает повышенные риски при использовании в чувствительных или вредоносных сценариях. Качество зависит от выбранной квантизации: в приведённых тестах MMLU составляет от 55,5% до 68,2%, а результаты более компактных вариантов ниже. Ограничения включают необходимость совместимого runtime, значительный объём памяти и возможную потерю качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.5-GGUF — это квантизированная в формате GGUF версия модели ArliAI-Llama-3-8B-Dolfin-v0.5, созданная с использованием llama.cpp. Исходная модель разработана на основе Meta-Llama-3-8B-Instruct и дообучена OwenArli на улучшенных наборах данных Dolphin и WizardLM. Квантизация выполнена QuantFactory. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Модель использует архитектуру семейства Llama 3 и содержит около 8 миллиардов параметров. Поддерживается текстовая модальность; конкретные языки в README не указаны. Заявлена работа с контекстом до 8192 токенов, хотя обучение проводилось с длиной последовательности 2048 токенов. Модель обучалась с использованием QLoRA: 4-битной загрузки, rank 64 и alpha 128; обучаемыми были примерно 2% весов. Квантизированный формат рассчитан на запуск через llama.cpp и может быть удобен для локального инференса с ограниченными аппаратными ресурсами. Ограничения включают отсутствие подробных результатов OpenLLM Benchmark в представленном README и отсутствие точной информации о поддерживаемых языках, фактическом качестве на разных задачах и требованиях к аппаратному обеспечению. Модель распространяется по лицензии Meta Llama 3 License, унаследованной от базовой Meta-Llama-3-8B-Instruct. Условия этой лицензии необходимо учитывать при использовании и распространении модели.

Это GGUF-квантизированная версия языковой модели c4ai-command-r-plus, разработанной CohereForAI и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных inference-средах, поддерживающих формат GGUF. В README также указан специальный шаблон промпта для системных, пользовательских и ответов чат-бота. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Точные сведения об архитектуре, количестве параметров и размере контекста в карточке не приведены. Доступно несколько вариантов квантизации от Q2_K до Q5_K_M, а также IQ-квантизации; размер файлов составляет примерно от 39,49 до 73,62 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество при больших требованиях к памяти, а низкие подходят для систем с ограниченными ресурсами, но снижают качество. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством, скоростью и потреблением памяти. Q5_K_M и Q5_K_S обозначены как высококачественные рекомендуемые варианты, а некоторые I-квантизации эффективнее по соотношению размера и качества при использовании cuBLAS или rocBLAS. I-квантизации не совместимы с Vulkan и могут работать медленнее K-квантизаций на CPU и Apple Metal. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая запрет коммерческого применения.

Darewin-7B — языковая модель, созданная mlabonne путём слияния шести моделей семейства Mistral с помощью LazyMergekit. Она предназначена для генерации текста и диалоговых сценариев, включая рассуждения и ответы на вопросы. Модель имеет 7,1 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов; доступна в формате safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 71,87, результат 68,60 на AI2 Reasoning Challenge и 86,22 на HellaSwag. Модель распространяется по лицензии Apache-2.0. Языковая поддержка в предоставленной карточке не уточнена.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B в формат MLX с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалогового использования в экосистеме MLX, в частности через библиотеку mlx-lm. В README приведён пример запуска с чат-шаблоном токенизатора, поэтому её можно использовать для ответов на запросы и интерактивного общения. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Ключевая характеристика модели — 4-битное представление, ориентированное на более эффективное использование памяти при локальном запуске в MLX. Ограничения, точные сильные стороны, лицензия и условия распространения в README не указаны. Для работы требуется установить библиотеку mlx-lm.

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-NVFP4 — текстовая генеративная модель, разработанная Baekpica на основе Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16. Модель предназначена для генерации текста и инференса с использованием vLLM, включая сценарии локального и серверного развертывания на совместимом оборудовании NVIDIA. Архитектура представляет собой Mixture-of-Experts: 43 декодерных слоя, 104 маршрутизируемых эксперта на слой, top-6 маршрутизация и около 13,802 млрд активных параметров на токен при примерно 119,822 млрд логических параметров основной модели. Это преимущественно весово-квантизированная версия NVFP4A16: основные подходящие веса представлены в NVIDIA FP4 E2M1 с размером группы 16, тогда как активации остаются 16-битными. Отдельные компоненты сохраняются в BF16, а некоторые attention-проекции используют динамический W8A8 FP8. В README указана поддержка контекста до 196 608 токенов в проверенной конфигурации запуска. Информация о языках и мультимодальных возможностях не приведена. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении архитектуры крупной MoE-модели и оптимизация для инференса на NVIDIA Blackwell или более новых GPU. Ограничения включают зависимость от аппаратуры с поддержкой compressed-tensors NVFP4 и от специализированного стека, включая совместимую ветку vLLM и FlashInfer; универсальная совместимость с обычным Transformers или более старым оборудованием не заявлена. Модель распространяется по лицензии MIT.

QuantFactory/dolphin-2.1-mistral-7b-GGUF — квантизированная версия модели Dolphin 2.1 на базе cognitivecomputations/dolphin-2.1-mistral-7b, созданная QuantFactory с использованием llama.cpp. Модель разработана в рамках проекта Dolphin; обучение спонсировала a16z. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций и творческие задачи. Модель основана на архитектуре Mistral с размером 7B параметров и распространяется в формате GGUF. Поддерживает текстовую модальность, английский язык и формат запросов ChatML. Для обучения использовались датасеты ehartford/dolphin и jondurbin/airoboros-2.2.1; Dolphin описывается как открытая реализация подхода Microsoft Orca с дополнительной очисткой, дедупликацией и повышением качества данных. К сильным сторонам относятся высокая готовность следовать инструкциям, универсальность и ориентация на творческую генерацию. Модель позиционируется как uncensored: из обучающих данных удалялись элементы alignment и bias, поэтому она может выполнять потенциально небезопасные или неэтичные запросы. При использовании в сервисах рекомендуется самостоятельно добавить слой выравнивания и фильтрации. Сведения о размере контекста и точных параметрах квантизации в README не указаны. Лицензия — Apache-2.0, допускающая коммерческое и некоммерческое использование.

ExpertRamonda-7Bx2_MoE — диалоговая языковая модель на архитектуре Mixtral MoE, созданная mayacinka с помощью LazyMergekit путём объединения mlabonne/AlphaMonarch-7B и bardsai/jaskier-7b-dpo-v5.6. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоге; заявленная длина контекста — 32 768 токенов. Модель подходит для общения, выполнения инструкций, ответов на вопросы и рассуждений в текстовом формате. В README приведены результаты Open LLM Leaderboard и MMLU, но они не гарантируют качество на конкретных пользовательских задачах. Файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Falcon3-10B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Falcon3-10B-Instruct, разработанной Technology Innovation Institute (TII) и опубликованной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. Она рассчитана на запуск через llama.cpp и совместимые приложения, например LM Studio, с использованием формата чата <|system|>, <|user|>, <|assistant|>. Модель содержит 10 млрд параметров и работает только с текстом. В репозитории доступны варианты от исходных весов F16 размером 20,62 ГБ до квантизаций Q4 и Q5 размером примерно 5,9–7,6 ГБ, а также Q6 и Q8. Квантизации позволяют снизить требования к памяти и запускать модель локально, при этом более сильное сжатие может ухудшать качество. Для вариантов Q4–Q6 заявлено хорошее или очень высокое сохранение качества; наиболее сбалансированным вариантом для большинства сценариев указан Q4_K_M. В опубликованных оценках базовая модель получила 78,17% строгой точности на IFEval, 44,82% на BBH, 25,91% exact match на MATH Level 5 и 38,1% на MMLU-Pro; результаты на GPQA и MuSR составили 10,51% и 13,61% соответственно. Эти показатели характеризуют отдельные тестовые сценарии и не гарантируют качество для конкретных прикладных задач. Языки поддержки и размер контекста в README не указаны. Модель распространяется по лицензии Falcon LLM License; перед использованием необходимо ознакомиться с условиями лицензии TII.

Falcon3-7B-Base — предварительно обученная базовая языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотный авторегрессионный трансформер с причинным декодером и 7,1 млрд параметров, доступный в формате safetensors для Transformers. Модель обучена на данных из веба, кода, STEM, высококачественных и многоязычных источников и поддерживает английский, французский, испанский и португальский языки. Модель предназначена для генерации текста и служит основой для последующей адаптации под конкретные сценарии: README отмечает задачи рассуждения, понимания языка, следования инструкциям, программирования и математики. Контекстное окно — до 32 768 токенов; архитектура включает 28 блоков декодера и grouped-query attention. Это базовая, а не instruct-версия, поэтому для большинства пользовательских задач рекомендуется дополнительное дообучение. Модель распространяется по лицензии TII Falcon-LLM License 2.0.

FireStorm-Llama-3.1-8B — разговорная языковая модель, опубликованная EpistemeAI2 и дообученная на базе unsloth/llama-3.1-storm-8b-bnb-4bit. Это плотная причинная модель семейства Llama с 7,5 млрд параметров; карточка указывает контекст до 131 072 токенов и форматы PyTorch и Safetensors. Модель предназначена для генерации ответов в диалоге, следования инструкциям, вопросов и ответов на основе знаний, рассуждений и вызова функций. В README описаны дообучение на тщательно отобранных обучающих примерах и слияние с Llama-Spark; заявлены улучшения относительно Llama-3.1-8B-Instruct на нескольких тестах, включая проверку следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Эти результаты относятся к оценкам авторов карточки. Для запуска предлагаются Transformers и vLLM, а в репозитории указана лицензия Apache-2.0. Основной указанный язык — английский. README отмечает, что модель не проходила отдельное выравнивание и может сохранять некоторые свойства выравнивания базовой instruct-модели. Ее ответы могут содержать ошибки; результаты тестов не гарантируют качество в конкретном применении.

ByteOtter Gemma-4-E4B-IT-TAK-Reasoning-GGUF — это текстовая генеративная модель в формате GGUF, созданная ByteOtter на основе instruction-модели google/gemma-4-E4B-it. Модель предназначена для запуска с помощью llama.cpp и ориентирована прежде всего на задачи рассуждения, а также на генерацию текста, ответы на вопросы, следование инструкциям, математические и структурированные задачи. Это квантованный вариант со смешанной точностью размером 3,236 ГБ. Квантование выполнено в рамках фиксированного ограничения на размер; дообучение, слияние весов, замена токенизатора и шаблона чата не проводились. Репозиторий содержит только текстовую версию без компонентов для обработки изображений и аудио. В заявленном тестировании модель получила 69,53% в категории рассуждений и превзошла сопоставимый низкобитный вариант Unsloth на 14,06 процентного пункта, однако уступила исходной BF16-модели 2,34 пункта. Сильной стороной модели является ориентация на рассуждения при существенно меньшем размере по сравнению с исходной BF16-версией, что может упростить локальный запуск. Результаты для других задач являются диагностическими и не гарантируют качество в прикладных сценариях; квантование может влиять на ответы, точность и стабильность в зависимости от запросов и среды выполнения. Модель распространяется по лицензии Apache License 2.0 с учетом лицензии и атрибуции базовой модели.

Gemopus-4-26B-A4B-it — экспериментальная версия Gemma 4, дообученная методом SFT автором Jackrong на базе google/gemma4-26B-it. Это плотная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит веса в формате Safetensors. Модель предназначена для диалогов и следования инструкциям, с улучшениями естественности ответов, их ясности, структуры и полноты. Модель подходит для повседневного текстового помощника, структурирования длинных ответов, суммаризации, подготовки текстов и интерактивной помощи с кодом. В карточке указана поддержка английского, китайского, корейского и японского языков. Разработчик отмечает, что знания и математические способности уступают крупным передовым моделям; возможны ошибки в узкоспециализированных вопросах и сложных многошаговых вычислениях. Лицензия — Apache-2.0.

gpt-oss-20b-Derestricted — производная модель Arli AI на основе openai/gpt-oss-20b. Авторы применили Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив исходные нормы весов. В каталоге указано 1,6 млрд параметров, архитектура MoE для авторегрессионной генерации текста и контекст до 131 072 токенов. Модель предназначена для диалогов, рассуждений, агентных сценариев и других задач генерации текста, где требуется меньше отказов на запросы. Исходная модель поддерживает настраиваемый уровень рассуждений и формат Harmony; для корректной работы следует использовать шаблон Harmony. Карточка утверждает, что метод помогает сохранить качество рассуждений, но приводит это как результат авторских оценок, а не как независимую гарантию. Модель распространяется по лицензии Apache-2.0. Она может по-прежнему иногда пытаться подавлять запросы; языки в предоставленных данных явно не перечислены.

MuXodious/gpt-oss-20b-RichardErkhov-heresy — доработанная версия модели OpenAI gpt-oss-20b, созданная сообществом MuXodious с применением модифицированного движка abliteration Heretic и метода Magnitude-Preserving Orthogonal Ablation. Модель предназначена для генерации текста, локального использования, экспериментов, специализированных приложений и сценариев, требующих снижения частоты отказов отвечать. В README заявлены 6 отказов из 100 против 98 из 100 у исходной версии, а также низкое значение KL divergence 0,0802, однако эти показатели относятся к авторской методике оценки и не гарантируют качество или безопасность в практических задачах. Модель основана на gpt-oss-20b — MoE-модели OpenAI с 21 млрд параметров и 3,6 млрд активных параметров, рассчитанной на низкую задержку и локальное выполнение. Она поддерживает генерацию текста, настраиваемый уровень рассуждений, агентные сценарии, вызов функций, веб-браузинг, выполнение Python и структурированные ответы. Указано, что модель обучена для работы с форматом Harmony, который необходимо использовать для корректной работы. Также заявлена посттренировочная MXFP4-квантизация весов MoE, позволяющая запускать исходную gpt-oss-20b примерно в пределах 16 ГБ памяти. Языки и размер контекстного окна для данной версии в README не указаны. К сильным сторонам относятся существенно сниженная склонность к отказам, сохранение близости к исходной модели по метрике KL divergence и пригодность для локальных и исследовательских сценариев. Ограничения включают экспериментальный характер abliteration, возможное повреждение исходных способностей, отсутствие независимых подробных оценок качества и потенциальные риски использования менее ограниченной модели. Модель распространяется по лицензии Apache 2.0.

NANI-Nithin/LFM2.5-VL-3B-GGUF — неофициальная наборка GGUF-квантизаций модели LFM2.5-VL-3B, разработанной Liquid AI, для запуска через llama.cpp. Модель предназначена для локального и периферийного использования и поддерживает работу с текстом и изображениями. Модель имеет плотную архитектуру LFM2.5-VL: языковую основу LFM2.5-2.6B и визуальный энкодер SigLIP2 NaFlex 400M. Она содержит около 3,1 млрд параметров, поддерживает контекст до 32 768 токенов и словарь из 128 000 токенов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Основные сценарии применения — понимание экранов и пользовательских интерфейсов, OCR с учётом структуры документа, распознавание текста на изображениях, привязка объектов к областям изображения и вызов инструментов на основе текста или изображений. Доступно несколько вариантов квантизации, позволяющих выбирать между качеством, скоростью и потреблением памяти; Q4_K_M указан как сбалансированный вариант, а более точные квантизации предпочтительны для OCR и grounding. Модель менее подходит для длительного визуального рассуждения и анализа сложных технических чертежей. Для работы требуется свежая сборка llama.cpp, поскольку старые версии могут не поддерживать эту архитектуру. Весовые файлы распространяются по лицензии LFM Open License v1.0; перед коммерческим использованием необходимо изучить её условия. Это неофициальная общественная квантизация, созданная на основе официальной модели Liquid AI, поэтому для официальных GGUF-файлов рекомендуется использовать репозиторий LiquidAI.

QuantFactory/Llama-3.1-Tulu-3-8B-SFT-GGUF — квантизированная версия модели Llama-3.1-Tulu-3-8B-SFT, созданная QuantFactory с использованием llama.cpp. Исходную модель разработал Allen Institute for AI (AI2) на базе meta-llama/Llama-3.1-8B и дообучил на смеси общедоступных, синтетических и созданных людьми наборов данных, включая allenai/tulu-3-sft-mixture. Модель предназначена прежде всего для следования инструкциям, диалоговых сценариев и генерации текста на английском языке. Она ориентирована на широкий круг задач, включая общение, MATH, GSM8K и IFEval. Это текстовая авторегрессионная модель; заявленная конфигурация содержит 8 миллиардов параметров. Для запуска предусмотрен формат GGUF, подходящий для экосистемы llama.cpp и совместимых средств инференса. В README рекомендуется ограничивать максимальную длину контекста до 8192 токенов при использовании vLLM, однако точное значение контекстного окна для этой карточки не указано. К сильным сторонам относятся улучшенное instruction following и возможность локального запуска благодаря квантизации и формату GGUF. Ограничения включают преимущественную ориентацию на английский язык, отсутствие мультимодальных возможностей в описании и ограниченную безопасность: модель может генерировать проблемные ответы, поскольку не оснащена полноценной фильтрацией ответов в процессе использования. Модель распространяется по Llama 3.1 Community License Agreement; условия исходной лицензии необходимо учитывать при применении квантизированной версии.

Hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF — квантованная версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и представленной в формате GGUF для использования с llama.cpp и совместимыми средствами инференса. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на локальном или ограниченном по ресурсам оборудовании. Модель содержит около 3 миллиардов параметров и использует 8-битное квантование Q8_0, что снижает требования к памяти по сравнению с полноразмерными весами при сохранении близкого к исходной модели качества. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модальность — текстовая; размер контекста в README не указан. К сильным сторонам относятся инструкционная настройка, относительно небольшой размер, широкая заявленная языковая поддержка и удобный для локального запуска формат GGUF. Ограничения включают возможную потерю качества из-за квантования, меньшие возможности по сравнению с более крупными моделями и отсутствие информации о конкретных показателях производительности и максимальном контексте. Модель распространяется по Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение лицензионного уведомления и Acceptable Use Policy; для продуктов с более чем 700 миллионами месячных активных пользователей предусмотрены дополнительные условия.