II.4Отладка, тестирование и качество ПО

Helion-4x34B — разговорная языковая модель, опубликованная Weyaxi и собранная как модель типа Mixture of Experts (MoE). В метаданных указаны 33,9 млрд параметров, контекст до 200 000 токенов и формат safetensors; модель предназначена для генерации текста в диалоге. В README приведены шаблоны запросов ChatML, Alpaca, Vicuna и Human Assistant, но автор отмечает, что не определил предпочтительный шаблон. Модель можно применять для диалоговых ответов и генерации текста. В README указана лицензия other в метаданных; её конкретные условия здесь не описаны. Автор ссылается на bagel-dpo-34b-v0.2 и предоставляет конфигурацию для воспроизведения, однако точная связь с базовой моделью и детали обучения не уточнены.

Hermes-2-Pro-Mistral-10.7B-GGUF — это квантизированная GGUF-версия текстовой языковой модели Hermes-2-Pro-Mistral-10.7B, основанной на Mistral-7B-v0.1. Квантизацию выполнил bartowski с использованием llama.cpp. Модель обучалась на датасете teknium/OpenHermes-2.5 и связана с методами дообучения, включая DPO, RLHF, дистилляцию и обучение на синтетических данных. Модель предназначена для генерации текста и диалоговых сценариев на английском языке. Среди заявленных возможностей — следование инструкциям, работа в формате ChatML, function calling и JSON mode. README не содержит данных о размере контекста, точной архитектуре базовой модели, мультимодальности или результатах тестирования, поэтому эти характеристики нельзя оценить по имеющейся информации. Доступно множество вариантов квантизации от Q8_0 до Q2_K, различающихся размером файла и качеством. Q6_K обозначен как рекомендуемый вариант с очень высоким качеством, тогда как более компактные варианты подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

Hermes 2 Pro Mistral-7B Infinity-Instruct — языковая модель на 7,1 млрд параметров, разработанная дообучением NousResearch/Hermes-2-Pro-Mistral-7B на наборе BAAI/Infinity-Instruct. Это плотная авторегрессионная модель Mistral для генерации текста и диалогового общения; она загружается через Transformers и распространяется в формате safetensors. В карточке указана длина последовательности обучения 8192 токена, а метаданные сообщают нативный контекст 32768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по инструкциям. В README приведены результаты отдельных тестов, включая ARC и BoolQ, но они не гарантируют качество на других задачах. Модель принимает и выдаёт текст; сведения о поддерживаемых естественных языках отсутствуют. Лицензия — Apache-2.0. Ограничения включают возможные ошибки и выдуманные утверждения, характерные для генеративных языковых моделей.

Hermes 3 Llama 3.1 70B 4bit — чат-модель, подготовленная сообществом mlx-community для запуска в экосистеме MLX. Она преобразована в формат MLX из NousResearch/Hermes-3-Llama-3.1-70B с помощью mlx-lm 0.16.1. В основе лежит дообученная плотная модель Llama 3.1 с архитектурой LlamaForCausalLM и 69,5 млрд параметров; модель рассчитана на диалоги и следование инструкциям, поддерживает контекст до 131 072 токенов и английский язык. Модель подходит для чат-ботов, ответов на вопросы, генерации текста и ролевых диалогов. Тег 4bit в названии указывает на 4-битное представление, однако метаданные перечисляют формат safetensors, поэтому точный способ представления весов в репозитории не подтверждён. Лицензия — Llama 3 Community License (llama3); условия её использования следует учитывать при развёртывании.

Hermes-3-Llama-3.1-8B-MLX — англоязычная диалоговая модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Репозиторий mlx-community содержит версию модели в формате MLX, преобразованную из NousResearch/Hermes-3-Llama-3.1-8B с помощью mlx-lm 0.23.2. Модель предназначена для генерации текста в диалоге, следования инструкциям и взаимодействия с инструментами. Она поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В метаданных указана лицензия llama3; для запуска README описывает использование mlx-lm.

INTELLECT-1-step-28600 — промежуточный чекпойнт языковой модели INTELLECT-1, созданной Prime Intellect совместно с Arcee AI и независимыми участниками сообщества. Это плотная авторегрессионная модель семейства Llama с 9,7 млрд параметров; в карточке указаны 42 слоя и 32 головы внимания. Чекпойнт получен на шаге 28 600 обучения модели с нуля на корпусах английского текста и кода, включая образовательные материалы, веб-текст, код и математические данные. Модель предназначена для генерации текста и кода на английском языке. Контекст составляет 8192 токена. Обучение INTELLECT-1 проводилось распределённо на вычислительных узлах в нескольких регионах с применением отказоустойчивой инфраструктуры; этот репозиторий содержит именно промежуточную точку обучения, а не финальную или instruct-версию. Лицензия — Apache 2.0.

InternVL3.5-241B-A28B — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab. Она сочетает зрительный модуль с языковой моделью и предназначена для диалогов по изображениям и тексту, мультимодальных рассуждений и агентных сценариев, включая взаимодействие с графическим интерфейсом. В метаданных указаны 241B параметров в названии модели и архитектура InternVLChatModel; модель работает через Transformers и хранится в формате safetensors. Семейство InternVL3.5 использует Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной настройки разрешения визуальных токенов. В README описано разделение зрительной и языковой частей при развёртывании, чтобы повысить эффективность вывода. Модель заявлена как мультиязычная; конкретный список языков и длина контекста в предоставленных данных не приведены. Модель подходит для вопросов по изображениям, визуального и текстового рассуждения, OCR-подобных задач, понимания видео и агентного взаимодействия. Для развёртывания варианта на 235B параметров README указывает необходимость восьми GPU A100, поэтому для этой версии требуются значительные вычислительные ресурсы. Лицензия — Apache 2.0; в метаданных базовой моделью указана OpenGVLab/InternVL3_5-241B-A28B-MPO.

L3-8B-Everything-COT-GGUF — это набор квантизированных файлов модели L3-8B-Everything-COT, опубликованный и подготовленный пользователем bartowski на основе оригинальной модели FPHam. Модель относится к семейству Llama 3 и предназначена для генерации текста, включая диалоговые сценарии и задачи, где полезно пошаговое рассуждение. Файлы представлены в формате GGUF для запуска через llama.cpp. Размер базовой модели — 8 миллиардов параметров, однако README не указывает точные архитектурные характеристики, поддерживаемые языки, длину контекста и исходные данные обучения. Доступны варианты квантизации от Q8_0 и Q8_0_L до Q2_K и IQ2_M; размер файлов составляет примерно от 2,94 до 9,52 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Рекомендуемыми названы многие варианты Q4–Q6, в частности Q6_K и Q5_K_M. Ключевые преимущества — возможность локального запуска, широкий выбор компромисса между качеством и потреблением памяти, а также применение imatrix-квантизации. Экспериментальные варианты используют F16 для эмбеддингов и выходных весов и могут отличаться по качеству. Для работы требуется совместимое ПО, например llama.cpp, и использование указанного шаблона prompt. Лицензия модели в README не указана.

LeoScorpius-7B — объединённая авторами viethq188 разговорная языковая модель на архитектуре Mistral с 7,1 млрд параметров. В README указано, что модель создана слиянием viethq188/Rabbit-7B-v2-DPO-Chat и v1olet/v1olet_marcoroni-go-bruins-merge-7B методом slerp; приведённая конфигурация также ссылается на AIDC-ai-business/Marcoroni-7B-v3 и Q-bert/MetaMath-Cybertron-Starling. Для общения можно использовать шаблон Alpaca. Модель предназначена для генерации текста в диалоговом формате. Контекстное окно — до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценки качества или отдельные ограничения по сценариям, поэтому пригодность для конкретных задач требует проверки.

LFM2.5-1.2B-Distilled-Claude-4.6 (Liquid Claude) — компактная языковая модель FlameF0X на архитектуре LFM2, дообученная методом дистилляции Claude Sonnet 4.6 Adaptive Thinking в LiquidAI/LFM2.5-1.2B-Thinking с помощью LoRA. Модель содержит 1,5 млрд параметров и рассчитана на генерацию текста в формате диалога, рассуждения и агентные сценарии; карточка приводит пример использования через Transformers. Модель обучена на частных данных, описанных автором как диалоги Claude Sonnet 4.6; в карточке указаны примеры цепочек рассуждений и агентных блоков с вызовами инструментов. Заявлено контекстное окно 128 000 токенов. Основной язык карточки и тегов — английский. Автор приводит результаты нескольких бенчмарков, но они не являются независимой оценкой качества модели. Лицензия — Apache-2.0.

Llama-3.2-1B-Instruct-4bit — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. По идентификатору модели, она содержит около 1 миллиарда параметров и использует 4-битное квантование, что ориентировано на более экономичное локальное выполнение. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к задачам text-generation и совместима с экосистемой Transformers; наличие формата MLX указывает на целевую оптимизацию для соответствующей среды. Ключевые ограничения — меньший размер по сравнению с крупными моделями и возможное снижение точности из-за 4-битного квантования; данные о размере контекстного окна, результатах тестирования и мультимодальности не предоставлены. Использование регулируется Llama 3.2 Community License от Meta. Лицензия предоставляет ограниченные неисключительные права на использование, воспроизведение, распространение и модификацию при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

legraphista/Llama-3.2-3B-Instruct-IMat-GGUF — это GGUF-версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и опубликованной пользователем legraphista. Модель предназначена для диалоговых приложений, генерации и преобразования текста, ответов на инструкции и локального запуска через совместимые инструменты инференса. Обозначение IMat указывает на вариант упаковки или представления модели, однако точная схема квантования в предоставленных данных не указана. Модель относится к семейству Llama 3.2 и содержит около 3 миллиардов параметров. Она является текстовой, но сведения о поддерживаемых языках, размере контекстного окна, конкретной архитектуре квантования и результатах тестирования в README не приведены. Компактный размер может быть удобен для запуска на локальном оборудовании с ограниченными ресурсами, однако по возможностям и качеству генерации модель уступает более крупным системам. Использование и распространение регулируются Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется включать текст лицензии и обозначение «Built with Llama», сохранять предусмотренное уведомление об авторских правах и соблюдать Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено дополнительное лицензирование Meta.

Инструкционная языковая модель Upstage на архитектуре LLaMA с 65 млрд параметров, представленная в формате PyTorch для Hugging Face Transformers. Модель дообучена на наборе данных в стиле Orca и предназначена для генерации ответов по инструкциям и диалоговых сценариев на английском языке. В карточке приведена оценка на бенчмарках ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Метаданные указывают контекст 2048 токена; в README также упомянуто масштабирование RoPE, позволяющее обрабатывать более длинные входы, но точная длина для этой версии не определена. Для запуска проверялась система с A100 80 ГБ. Модель распространяется по специальной лицензии для некоммерческого использования, связанной с лицензией Meta; доступ к репозиторию предназначен для пользователей, получивших разрешение на исходные веса.

EmbeddedLLM/Mistral-7B-Merge-14-v0.4 — экспериментально собранная языковая модель на архитектуре Mistral с 7,1 млрд параметров. Авторы объединили 14 моделей методом DARE TIES, а результат дополнительно объединили с Weyaxi/OpenHermes-2.5-neural-chat-v3-3-openchat-3.5-1210-Slerp методом Gradient SLERP. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Поддерживает шаблоны ChatML и Llama-2 chat, английский язык и контекст до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средняя оценка 71,19, включая ARC, HellaSwag и MMLU; авторы отмечают, что модели может потребоваться дополнительное дообучение на инструкциях. Лицензия — Apache-2.0.

Mistral-ORPO-α — диалоговая языковая модель, разработанная KAIST AI и дообученная на базе mistralai/Mistral-7B-v0.1 методом оптимизации предпочтений ORPO. В отличие от подхода с предварительным этапом supervised fine-tuning, ORPO непосредственно обучает модель предпочитаемым ответам. Для обучения использован датасет HuggingFaceH4/ultrafeedback_binarized. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Карточка приводит результаты сравнительных оценок на AlpacaEval, MT-Bench и IFEval. Основной язык в метаданных — английский. Модель подходит для диалоговых ответов и выполнения текстовых инструкций. Доступна по лицензии MIT. Результаты бенчмарков не гарантируют качество на конкретных задачах.

Mistral-ORPO-β — дообученная KAIST AI версия Mistral-7B-v0.1, оптимизированная методом Odds Ratio Preference Optimization (ORPO). Модель обучена на 61 тысяче примеров очищенного набора предпочтений UltraFeedback от Argilla, без отдельного этапа предварительной настройки с учителем перед оптимизацией предпочтений. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. В карточке приведены результаты AlpacaEval, MT-Bench и IFEval; они показывают качество на соответствующих тестах, но сами по себе не гарантируют результат на других задачах. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории указаны веса safetensors. Основной язык в метаданных — английский. Модель распространяется по лицензии MIT. Она унаследовала ограничения базовой модели и обучающих данных; результаты могут быть неточными или смещёнными, поэтому ответы стоит проверять.

Mistral-Small-24B-Base-2501 — базовая плотная языковая модель с 23,4 млрд параметров, разработанная командой Mistral AI. Она предназначена для дообучения и создания специализированных моделей, а также для генерации текста и диалоговых сценариев. Модель использует архитектуру MistralForCausalLM и поддерживает контекст длиной до 32 768 токенов. Модель рассчитана на многоязычное применение: в метаданных и карточке указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В карточке также отмечена поддержка ряда других языков. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование, изменение и распространение. Это базовая версия; для готового диалога разработчик предлагает отдельную версию Instruct. Заявления о качестве сопровождаются результатами бенчмарков в карточке, но они не гарантируют качество в конкретном сценарии.

NeuralMonarch-7B — языковая модель на 7,1 млрд параметров, разработанная Mlabonne на основе Monarch-7B. Это плотная авторегрессионная модель семейства Mistral, дообученная методом DPO на наборах предпочтений truthy-dpo-v0.1 и distilabel-intel-orca-dpo-pairs. Исходная Monarch-7B создана слиянием нескольких моделей, включая OmniTruthyBeagle-7B-v0, NeuBeagle-7B и NeuralOmniBeagle-7B. Модель предназначена для диалогов, следования инструкциям и задач рассуждения. Карточка рекомендует шаблон чата Mistral Instruct и сообщает об окне контекста 8 тыс. токенов; метаданные указывают нативный контекст 32 768 токенов. Заявлены хорошие результаты в бенчмарках для моделей класса 7B, однако эти оценки не гарантируют качество в конкретных сценариях. Модель принимает текст и генерирует текст. В карточке указан английский язык. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Nous-Hermes-2-SOLAR-10.7B-pruned2.4 — чат-модель на 10,6 млрд параметров, подготовленная Red Hat AI для запуска через высокопроизводительный движок NM-vLLM. Она основана на Nous-Hermes-2-SOLAR-10.7B и оптимизирована разреживанием весов с помощью SparseGPT для снижения потребления памяти и ускорения обслуживания; архитектура — Llama, формат файлов — PyTorch. Модель предназначена для диалогов, генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов; в карточке базовая модель описана как англоязычная. Для запуска README рекомендует NM-vLLM с поддержкой sparse-моделей. Лицензия в предоставленных данных не указана.

pankajmathur/orca_mini_v3_13b — языковая модель Pankaj Mathur на архитектуре Llama 2 с 12,9 млрд параметров. Модель дообучена на наборах данных в стиле Orca и предназначена для генерации текста и выполнения инструкций в формате диалога с системным сообщением. Модель подходит для ответов на вопросы, объяснений и других текстовых задач общего назначения. В карточке приведены результаты оценки на нескольких наборах задач, включая ARC и HellaSwag; они служат ориентирами и не гарантируют точность в конкретном сценарии. Контекст составляет 4096 токенов, модель принимает и генерирует текст, в метаданных указан английский язык. Модель доступна в форматах PyTorch и Safetensors и использует библиотеку Transformers. Карточка указывает лицензию как «other», поэтому перед применением следует проверить условия лицензии репозитория. Модель может давать ошибочные или вводящие в заблуждение ответы, а также генерировать предвзятый или оскорбительный текст; важные сведения следует проверять.

Ornith-1.5-9B-UNCENSORED-GGUF — квантованная мультимодальная версия модели Ornith 1.5 9B, основанной на ornith-ai/Ornith-1.5. Репозиторий подготовлен Dealign.ai. Модель предназначена для генерации и анализа текста, задач рассуждения, а также обработки изображений вместе с текстовыми запросами через llama.cpp. Вариант CRACK-abliterated уменьшает или устраняет стандартное отказное поведение и защитные ограничения модели. Модель использует гибридную архитектуру GatedDeltaNet (SSM) и attention, поддерживает режим рассуждений с выводом трассы <think> и работу с изображениями через отдельный vision projector mmproj-Ornith-1.5-9B-f16.gguf. Доступны квантования GGUF Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q3_K_M и Q2_K размером примерно от 3,6 до 8,9 ГБ; сбалансированным вариантом разработчик называет Q4_K_M. В README не указаны поддерживаемые языки и максимальный контекст, однако приведены примеры запуска с контекстом 8192 токена. К сильным сторонам относятся сохранение знаний и качества рассуждений относительно базовой модели, поддержка vision-language сценариев и возможность локального запуска. По данным заявленных тестов, разница MMLU между базовой и изменённой моделью при одинаковом квантовании не превышает 3 процентных пунктов. Основное ограничение — практически полное отсутствие защитных барьеров: в HarmBench указана высокая доля успешных ответов на вредоносные запросы, включая темы киберпреступности, химии, биологии и незаконной деятельности. Поэтому модель требует ответственного и законного применения. Распространяется по лицензии MIT, унаследованной от базовой модели.

Pearl-34B-ties — текстовая чат-модель, созданная louisbrulenaudet методом TIES-Merging. В README перечислены модели, использованные при слиянии: jondurbin/bagel-dpo-34b-v0.2 и abacusai/MetaMath-Bagel-DPO-34B; конфигурация также указывает abacusai/Smaug-34B-v0.1 как базовую модель. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и доступна в формате Safetensors для Transformers. Модель предназначена для генерации текста в диалогах и решения широкого круга текстовых задач. README приводит результаты оценивания на Open LLM Leaderboard, включая тесты на знания, рассуждения, понимание текста и математику. Заявленная длина контекста — до 200 000 токенов; в карточке указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты бенчмарков не гарантируют аналогичного качества в прикладных сценариях; README не приводит подробных оценок ограничений или рекомендаций по эксплуатации.

Poro-34B-chat — это чат-модель LumiOpen, созданная в сотрудничестве SiloGen (Silo AI), группы TurkuNLP Университета Турку и проекта High Performance Language Technologies. Она получена дообучением с учителем базовой Poro-34B на наборах инструкций на финском и английском языках; около 40% примеров англоязычные, 40% финноязычные и 20% межъязыковые. Модель основана на плотной архитектуре BLOOM, содержит 45,3 млрд параметров и использует библиотеку Transformers и формат safetensors. Модель предназначена для диалогов и выполнения инструкций на финском и английском. Она также способна писать код и выполнять базовый перевод между этими языками. Для диалога используется шаблон ChatML. В карточке приведены оценки MTBench на английском и финском языках; они показывают неодинаковое качество по категориям, в частности более низкие результаты в математике и программировании. Модель выпущена под лицензией Apache-2.0. Среди ограничений — ограниченный объём финноязычных данных для настройки инструкций; часть финских обучающих примеров получена машинным переводом англоязычных наборов. Количественные результаты бенчмарков не гарантируют качество в конкретных прикладных задачах.

nm-testing/Qwen2-1.5B-Instruct-FP8W8 — квантованная версия инструкционно дообученной языковой модели Qwen2-1.5B-Instruct. Исходную модель разработала команда Qwen; репозиторий данной версии размещён пользователем nm-testing. Модель предназначена для генерации текста, диалогов и выполнения инструкций, а также может применяться в локальных сервисах инференса через Transformers, vLLM или SGLang. Это decoder-only Transformer примерно на 1,5 млрд параметров с архитектурными особенностями Qwen2, включая SwiGLU и Group Query Attention. В репозитории указаны форматы BF16 и F8_E4M3, соответствующие FP8-квантизации весов и активаций. Модель работает только с текстом; поддерживаются чатовый шаблон и text generation. Для исходной модели заявлена длина контекста до 131 072 токенов, а токенизатор адаптирован к нескольким естественным языкам и языкам программирования, однако точный набор языков и фактические характеристики контекста именно квантованной версии в её репозитории не описаны. К сильным сторонам относятся небольшой размер, сниженные требования к памяти благодаря FP8-квантизации и пригодность для диалоговых и общих задач генерации текста. Ограничения — существенно меньшая ёмкость по сравнению с крупными моделями, отсутствие мультимодальности и отсутствие отдельной карточки модели с результатами оценки, подробным описанием ограничений и подтверждёнными характеристиками именно этой сборки. Лицензия в репозитории nm-testing не указана; у исходной Qwen2-1.5B-Instruct указана Apache License 2.0, но применимость этой лицензии к данной производной сборке следует проверить отдельно.

Qwen2.5-1.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с чатом, понимание и генерацию структурированных данных, а также локальный запуск через совместимые инструменты. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на масштабном наборе данных и работает более чем с 29 языками, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К небольшому размеру модели относится преимущество в виде меньших требований к ресурсам, однако README не содержит точных параметров квантизации, требований к памяти или результатов оценки качества, поэтому производительность может уступать более крупным моделям. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B — базовая языковая модель компании Qwen, обученная на этапе предварительного обучения. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Контекст составляет 131 072 токена. Модель предназначена для дальнейшего дообучения и построения систем генерации текста. Семейство поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, японский и арабский. Для этой базовой версии README не рекомендует непосредственное применение в диалогах; для чат-сценариев требуется последующее обучение, например SFT или RLHF. В README также отмечены сильные возможности семейства в следовании инструкциям, коде, математике и генерации структурированных ответов, однако эти улучшения описаны для Qwen2.5 в целом. Модель распространяется под лицензией Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.37.0 могут не распознавать архитектуру qwen2.

huihui-ai/Qwen3-32B-abliterated — версия Qwen3-32B, созданная huihui-ai методом abliteration, который изменяет модель для уменьшения числа отказов. Автор описывает реализацию как грубую проверку концепции. Модель предназначена для диалоговой генерации текста и может использоваться через Transformers или Ollama. Это плотная многоязычная модель на 32 млрд параметров, дообученная на Qwen/Qwen3-32B; в репозитории указаны веса safetensors и библиотека Transformers. Модель ориентирована на чат и сохраняет общую область применения базовой Qwen3: рассуждения, программирование и работу с инструментами. Лицензия — Apache-2.0. Уменьшение отказов не гарантирует их полного отсутствия и может влиять на поведение и надёжность ответов.

Qwen3-4B-Instruct-2507-Abliterated — модифицированная версия причинной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Вариант создан с помощью Heretic v1.4.0 методом directional ablation, или abliteration, который направлен на снижение склонности модели отказывать в ответах при сохранении поведения исходной модели. Это не новая модель, обученная с нуля, а экспериментальный производный вариант с изменёнными весами. Модель предназначена для генерации текста и локального использования в сценариях, где требуется меньше отказов на запросы. Доступен формат GGUF с квантизацией Q4_K_M и конфигурация для запуска через Ollama; заявлена совместимость с инструментами локального инференса, включая Open WebUI. Базовая модель содержит около 4 миллиардов параметров, поддерживает контекст до 262 144 токенов и описывается Qwen как non-thinking-модель. В метаданных указан английский язык, однако дополнительные языковые возможности в этой карточке не раскрыты. Сильная сторона варианта — существенно сниженная частота отказов: во внутреннем тесте из 100 запросов модель отказала в 16 случаях против 100 отказов у исходной Qwen3-4B-Instruct-2507. При этом поведение зависит от формулировки запроса, параметров генерации, квантизации, инференс-фреймворка, системного промпта, шаблона чата, контекста и определений инструментов; снижение отказов не гарантирует полного отсутствия отказов и может сопровождаться изменениями исходных свойств модели. Лицензия — Apache-2.0.

TheCluster/Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-HERETIC-UNCENSORED-MLX-mxfp8 — модель семейства Qwen3.5, представленная TheCluster. Она конвертирована в формат MLX из DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-HERETIC-UNCENSORED. Модель дообучена на дистиллированных данных Claude 4.6 и предназначена для следования инструкциям в режиме instruct-only; заявлена как uncensored и unrestricted. Модель имеет размер 9B параметров и представлена в квантизации MXFP8 с эффективностью 8,363 бита на вес. Формат MLX ориентирован на запуск в экосистеме Apple. В карточке указана поддержка текстово-визуального сценария image-text-to-text, однако подробности о визуальном энкодере и максимальной длине контекста не приведены. Заявлены языки English, Chinese, Russian, Spanish, French, Italian, Japanese, Korean и ряд других, включая German, Arabic, Turkish, Polish, Ukrainian и Portuguese. По приведённым тестам модель сохраняет или улучшает результаты относительно исходной Qwen3.5-9B на большинстве указанных benchmark’ов, включая ARC, BoolQ, HellaSwag, OBQA, PIQA и Winogrande. Метрика отказов составляет 6 из 100 против 100 из 100 у оригинальной модели, что указывает на существенно менее ограниченное поведение. При этом снижение отказов означает потенциально более слабые защитные ограничения и необходимость дополнительного контроля при использовании. Сведения о длине контекста, производительности, системных требованиях и других ограничениях отсутствуют. Лицензия указана как Apache-2.0; ссылка ведёт на лицензию исходной Qwen3.5-9B.

Rombo-LLM-V2.5-Qwen-3b — компактная плотная языковая модель семейства Qwen2, созданная Rombo-Org на основе Qwen2.5-3B-Instruct. В карточке указано, что модель получена непрерывным дообучением и слиянием instruct- и базовой версий методом TIES; метаданные подтверждают дообучение Qwen/Qwen2.5-3B-Instruct. Параметров — 3,1 млрд, архитектура — Qwen2ForCausalLM, максимальный контекст — 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс для вызова инструментов. Разработчик заявляет о более высокой производительности по сравнению с исходными instruct- и базовой моделями, но карточка не приводит результатов оценки. Модель работает с текстом и распространяется в формате Safetensors; README упоминает варианты GGUF. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.