II.4Отладка, тестирование и качество ПО

Llama-3.1-Tulu-3-70B-DPO — англоязычная инструкционная модель Allen Institute for AI, дообученная методом DPO на базе allenai/Llama-3.1-Tulu-3-70B-SFT. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый шаблон и контекст до 131 072 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений и решения разнообразных задач, включая математические задачи и оценку следования инструкциям. В карточке приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного сценария. Модель имеет ограниченную настройку безопасности и может выдавать проблемный контент, особенно по соответствующему запросу. Для использования доступны веса в форматах PyTorch и Safetensors через Transformers. Лицензия — Llama 3.1 Community License Agreement; перед применением следует учитывать её условия.

QuantFactory/Llama-3-8b-64k-PoSE-GGUF — квантованная версия модели winglian/Llama-3-8b-64k-PoSE, созданная с помощью llama.cpp на основе Llama 3 8B, разработанной Meta. Модель предназначена для генерации текста и кода, включая задачи обработки длинных текстов, где требуется контекст до 64 тысяч токенов. Вход и выход — только текст; заявленный язык — английский. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров и Grouped-Query Attention. Исходная модель использует PoSE для расширения контекста Llama с 8k до 64k токенов при rope_theta 500000. После дополнительного обучения rope_theta был установлен в 2M, что потенциально позволяет работать с контекстом свыше 64k, однако фактические пределы и качество за пределами 64k не подтверждены. Для продолжительного предварительного обучения использовались 300 млн токенов RedPajama V1 с последовательностями длиной 6–8k и rank-stabilized LoRA ранга 256. Сильной стороной модели является поддержка значительно более длинного контекста по сравнению с исходной Llama 3 8B при сравнительно небольшом размере, а GGUF-квантизация рассчитана на использование с llama.cpp. Ограничения включают преимущественно англоязычную область применения, отсутствие мультимодальности и неопределённость качества на очень больших контекстах. Модель основана на Llama 3, для которой указана коммерческая лицензия Meta Llama 3; условия использования должны соответствовать этой лицензии и Acceptable Use Policy.

OpenRLHF/Llama-3-8b-sft-mixture — плотная языковая модель семейства Llama, выпущенная командой OpenRLHF. Это контрольная точка supervised fine-tuning модели Meta-Llama-3-8B на смеси открытых наборов данных: ShareGPT, Evol-Instruct, SlimOrca, MathInstruct, Magicoder-Evol-Instruct, GPT4-LLM, OrcaMath, GPTeacher и UltraInteract. Обучение длилось одну эпоху; модель содержит 7,5 млрд параметров и использует контекст до 8192 токенов. Модель генерирует текст в диалоговом формате и предназначена для использования как отправная точка в исследованиях RLHF. Она не проходила RLHF-обучение. В README указано, что исправлена конфигурация генерации; подробные параметры обучения приводятся в техническом отчёте. Лицензия в предоставленных данных не указана.

Mellum2 Instruct (SFT) — промежуточная модель с инструкционной настройкой, выпущенная JetBrains. Это контрольная точка этапа supervised fine-tuning в конвейере обучения Mellum2 Instruct, предназначенная для изучения этого этапа, экспериментов с последующей настройкой предпочтений или RLVR и сравнения с итоговой RL-настроенной версией. Модель использует архитектуру Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. В ней сочетаются слои скользящего окна и полное внимание; контекст — до 131 072 токенов. Метаданные указывают 1,9 млрд параметров. Модель принимает текст и генерирует текст; карточка сообщает об обучении на смешанных данных для кода, агентных сценариев, вызова инструментов, следования инструкциям, общего диалога, идентичности и безопасности. Контрольная точка получена после трёх эпох SFT от JetBrains/Mellum2-12B-A2.5B-Base. Авторы рекомендуют для качественного следования инструкциям в производственных сценариях итоговую версию Instruct. Модель доступна по лицензии Apache-2.0.

Карточка модели mlabonne/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Mistral-Nemo-NT-Ko-12B-sft — многоязычная диалоговая модель на архитектуре Mistral, дообученная автором werty1248 на базе mistralai/Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для диалогов и генерации инструктивных ответов на английском, корейском, китайском и японском языках. Дообучение ориентировано на языковое выравнивание, перенос знаний между языками и форматирование ChatML; модель обычно отвечает на языке запроса, если не задан другой язык. В карточке приведены результаты тестирования на LogicKor и MT-Bench. Контекст обучения составил 8 тыс. токенов, хотя для базовой модели указано окно до 128 тыс. токенов. Это промежуточная версия без оптимизации предпочтений. Длина ответов зависит от языка: английские ответы обычно длиннее, корейские — короче; поведение на японском и китайском автор продолжает наблюдать. Рекомендуемая температура генерации — 0,3–0,7.

NeoHorse-1-4B-onw — модель генерации текста, подготовленная ryugyosoft для запуска через движок onw на Intel NPU. Веса получены из дообученной TokenRhythm/NeoHorse-1-4B, основанной на Qwen3.5-4B; сама модель NeoHorse дообучалась для агентных сценариев, вызова инструментов, программирования и следования инструкциям. Это плотная текстовая архитектура Qwen3.5 с 32 слоями: 24 слоя Gated DeltaNet и 8 слоёв gated attention. Контекст — до 262 144 токенов; поддерживаются японский и английский языки. Репозиторий содержит преобразованные веса для onw, а не сам движок. Для работы нужны совместимый компьютер с Intel Core Ultra NPU и установленный onw; README описывает поддержку Windows 11 и Ubuntu 22.04 или новее. Используются INT4 веса основных сегментов и эмбеддингов, а выходной слой представлен в INT8. Модель поддерживает чат и интерфейс вызова инструментов через OpenAI-совместимый API. Лицензия — Apache 2.0. Заявленные в README результаты скорости и качества относятся к указанным тестовым конфигурациям и могут отличаться на другом оборудовании.

Occiglot-7B-FR-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер MistralForCausalLM с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель настроена для диалогового взаимодействия по шаблону ChatML и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и выполнения инструкций на французском и английском языках, включая задачи с кодом. Обучающие данные были поровну распределены между французским и английским; в README приведены предварительные результаты оценивания, причём результаты для французского следует трактовать осторожно из-за частично машинного перевода тестов и англоязычных запросов. Это ранний выпуск исследовательского проекта. Модель не проходила выравнивание по безопасности и может выдавать проблематичные ответы. Лицензия — Apache 2.0.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned50 — разреженная версия диалоговой модели OpenHermes-2.5-Mistral-7B, подготовленная Neural Magic для обслуживания через движок nm-vllm. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; заявленное окно контекста — 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы в диалоговом режиме. Модель подходит для локального запуска чат-ассистента, ответов на вопросы, генерации текста и помощи с кодом. Репозиторий содержит веса PyTorch, оптимизированные разреживанием для высокой пропускной способности и меньшего потребления памяти при инференсе через nm-vllm. Она унаследовала возможности базовой OpenHermes-2.5-Mistral-7B, но карточка не приводит отдельной оценки качества именно разреженной версии. Лицензия в предоставленных данных не указана.

Microsoft Phi-3 Medium-4K-Instruct в этом репозитории представлен в формате ONNX и оптимизирован для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Это конверсия инструкционной модели семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 13,8 млрд параметров; исходная модель прошла дообучение с учителем и оптимизацию по предпочтениям для следования инструкциям и повышения безопасности. Модель принимает текст и генерирует текстовые ответы в диалоговом формате; поддерживает контекст до 4096 токенов. В README описаны варианты FP16 и INT4, причём INT4 получен квантованием RTN; метаданные указывают формат ONNX. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений, математики и генерации кода. README сообщает о тестировании на NVIDIA A100 и минимальном требовании CUDA GPU с Compute Capability 7.0 или выше; приведённые замеры производительности относятся к A100 и не гарантируют таких же результатов на другом оборудовании. Лицензия — MIT.

mainbrains поддерживает форк Phi-3-Mini-4K-Instruct — компактной плотной языковой модели семейства Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, логики и программирования; она дообучена следовать инструкциям и выдавать структурированные ответы. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и требований к низкой задержке, в том числе как локальный узел для генерации текста и работы с инструментами. README заявляет запуск на компактном оборудовании, но фактическая скорость зависит от аппаратуры и способа инференса. Карточка описывает преимущественно англоязычное обучение и предупреждает о снижении качества на других языках, а также о возможных неточностях, предвзятости и оскорбительных ответах. Лицензия — MIT.

Pixtral-12B-2409 — мультимодальная модель Mistral AI для работы с изображениями и текстом. Она сочетает декодер на 12 млрд параметров и визуальный энкодер на 400 млн параметров, обучена на чередующихся данных изображений и текста и поддерживает изображения разных размеров. Модель предназначена для понимания изображений и диаграмм, ответов на вопросы по визуальному содержимому и текстовых задач, включая следование инструкциям, математику и программирование. Заявленная длина последовательности — 128 тыс. токенов. В карточке приведены результаты сравнительных тестов, в том числе по MMMU, MathVista и ChartQA. Модель выпущена под лицензией Apache 2.0. В README указано, что у неё нет механизмов модерации, поэтому при использовании следует учитывать риск немодерируемых ответов.

Qwen2.5-0.5B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это компактная версия для генерации текста и диалоговых сценариев, включая чат-ботов, следование инструкциям, работу с кодом и математическими задачами, обработку структурированных данных и генерацию структурированных ответов, в том числе JSON. Модель является каузальной трансформерной языковой моделью с архитектурой на основе RoPE, SwiGLU и RMSNorm, с GQA: 14 головами для Q и 2 для KV. Она содержит около 0,49 млрд параметров, 24 слоя и поддерживает контекст до 32 768 токенов с генерацией до 8192 токенов. Доступна в GGUF-вариантах квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский и корейский; модальность — текстовая. Сильными сторонами являются малый размер, возможность локального запуска, улучшенное следование инструкциям, поддержка длинного контекста, многоязычность и работа со структурированным выводом. Ограничения связаны с компактным масштабом: по возможностям и качеству ответов модель может уступать более крупным моделям, а квантование способно снижать точность по сравнению с исходной версией. Модель распространяется по лицензии Apache-2.0.

Карточка модели claymorecrystal/Qwen3.6-27B-PRISM-PRO-DQ на Hugging Face совпадает с карточкой Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ, поэтому описание составлено по ней. Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ — квантованная версия PRISM-PRO на базе Qwen3.6-27B, подготовленная проектом PRISM в формате GGUF для llama.cpp с применением динамического квантования. Она сохраняет встроенную MTP-голову для черновой генерации и полную башню обработки изображений; размер файла составляет около 13,7 ГБ вместо 55 ГБ у BF16-версии. Модель предназначена для диалоговой генерации текста и может использоваться в сценариях, где нужны возможности базовой Qwen3.6-27B, включая программирование, агентные задачи и работу с изображениями. Для ускорения вывода README описывает спекулятивное декодирование с MTP или отдельной EAGLE-3-моделью; заявлено совпадение результата с обычным жадным декодированием с оговоркой о вычислительных различиях при пакетной проверке. Базовая архитектура сочетает 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания; в карточке не приведены общее число параметров и длина контекста. Модель распространяется по лицензии Apache-2.0. Квантование уменьшает размер по сравнению с BF16, однако README не сообщает точные потери качества или требования к видеопамяти.

HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Balanced — это модифицированная и квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная HauhauCS. Модель распространяется в формате GGUF и ориентирована на мультимодальные сценарии image-text-to-text, включая работу с изображениями и текстом. Заявлена поддержка английского, китайского и других языков. По данным карточки, модель имеет 27 миллиардов плотных параметров; дополнительные сведения о полной архитектуре и размере контекстного окна не указаны. Основное отличие версии Balanced — удаление отказов при сохранении исходных датасетов и возможностей базовой модели. Она предназначена для агентного программирования, использования инструментов, рассуждений, творческого письма и ролевых сценариев. По заявлению автора, модель может подробно рассуждать перед ответом, иногда добавляя краткое предупреждение или контекст безопасности, после чего предоставляет полный ответ. Также заявлена повышенная стабильность генерации в длительных цепочках вызовов инструментов. Эти характеристики основаны на описании автора и приведённом внутреннем тесте с 0 отказов из 465 запросов, поэтому их следует интерпретировать как заявленные, а не независимые результаты. Доступны различные варианты квантования GGUF, включая пользовательские K_P-кванты, оптимизированные с помощью importance matrix; размеры файлов составляют примерно от 10 до 32 ГБ, а для мультимодальности предоставляется отдельный mmproj-файл. Модель совместима с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Рекомендуемый автором вариант Q4_K_P требует около 18 ГБ, а Q8_K_P — около 32 ГБ. Отсутствие встроенных ограничений может быть преимуществом для исследовательских, программных и творческих задач, но одновременно повышает риск небезопасных или нежелательных ответов, поэтому требуется контроль применения. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Fable-Holo3-Qwopus — мультимодальная диалоговая модель, созданная NightmediaAI путём слияния нескольких моделей на базе Qwen3.6-35B-A3B, включая дистиллированную Fable и Holo3-Qwopus. Архитектура относится к семейству Qwen3.5 MoE; каталог указывает класс Qwen3_5MoeForConditionalGeneration. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, генерации текста и анализа изображений; метаданные также отмечают интерфейс вызова инструментов. Карточка указывает поддержку английского, китайского, японского и испанского языков. README приводит результаты отдельных бенчмарков и обсуждает варианты квантования Deckard(qx), но не предоставляет подтверждённых данных о контекстном окне или качестве на практических задачах этой итоговой сборки.

Это квантованная публикация модели Qwen3.8-27B-Brainwaves-WFH-BF16 в формате GGUF от mradermacher. В репозитории приведены варианты квантования и дополнительные файлы mmproj для мультимодального использования; метаданные указывают размер формата BF16 и поддержку чата и следования инструкциям. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Метаданные также описывают её как многоязычную и отмечают задачи программирования, математики, рассуждений и творческого письма. Для GGUF указана лицензия Apache-2.0. README не содержит сведений о точном контекстном окне или конкретных ограничениях качества.

Qwen3.8-Flash-Next-IQ4_XS-GGUF — это квантизированная версия базовой модели Qwen/Qwen3.8-Flash-Next-FP8 в формате GGUF. Исходная модель разработана командой Qwen, а данный вариант подготовлен пользователем julianmb с использованием ROCmFPX и проверенного конвейера преобразования. Модель предназначена для генерации текста, включая повседневный диалог, программирование и работу с длинным контекстом. В репозитории представлены варианты квантизации IQ4_XS, включая статический файл размером около 116 GiB, imatrix-квантизацию M2 размером около 115 GiB и облегчённый PLE-вариант размером около 91 GiB. Для M2 заявлены 5,56 бит на вес и лучшее измеренное значение perplexity среди представленных вариантов; PLE-вариант уменьшает размер за счёт квантизации 51-миллиардной n-gram lookup table до iq4_nl. Также доступен отдельный MTP-файл Q8_0 размером около 3,9 GiB для ускоренной генерации в совместимых движках. Модель ориентирована на запуск на системах с 128 GiB унифицированной памяти, в частности на Strix Halo, через совместимые сборки llama.cpp и Vulkan. Заявлена работа с контекстом до 256k токенов при использовании SSD-PLE и специальных параметров запуска. Производительность зависит от варианта файла, глубины контекста, MTP и конкретного движка. Важное ограничение — PLE-вариант несовместим с некоторыми форками движков, которые не выполняют требуемую деквантизацию; в таких случаях рекомендуется статический вариант IQ4_XS или M2. Сведения о поддерживаемых языках и точной архитектуре в README не указаны. Лицензия обозначена как qwen-community-license-1.0.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL в варианте с режимом рассуждений, представленная в репозитории Unsloth как набор весов с исправлениями шаблона чата. Она принимает текст и изображения и предназначена для диалога, визуального анализа и ответов на вопросы по изображениям; карточка также описывает распознавание текста, понимание видео, пространственные рассуждения и взаимодействие с инструментами. Архитектура — Qwen3 VL MoE для условной генерации; веса опубликованы в формате safetensors, лицензия Apache-2.0. В README заявлены контекст 256K с возможностью расширения до 1M, поддержка OCR на 32 языках, анализ длительных видео, распознавание элементов интерфейса и генерация кода или схем по визуальным примерам. Эти возможности перечислены для семейства Qwen3-VL; подробные результаты тестирования именно этого набора весов в карточке не приведены. Для запуска с llama.cpp README рекомендует параметр --jinja.

QWQ-EVA-Preview-SLERP-32b — языковая модель на 32 млрд параметров, созданная слиянием ParasiticRogue/EVA-Instruct-32B-v2 и Qwen/QwQ-32B-Preview методом SLERP с помощью mergekit. Она предназначена для диалоговой генерации текста; базовые модели также ориентированы на математические рассуждения и программирование, поэтому модель может быть полезна в таких сценариях, однако README не приводит отдельных оценок её возможностей. Модель построена на архитектуре Qwen2ForCausalLM, принимает текст и выдаёт текст, поддерживает контекст до 131072 токенов и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0.

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Rax 4.5 — мультимодальная модель семейства Qwen3.5 от raxcore-dev, представленная в виде постобученных весов для Hugging Face Transformers. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая ввод изображений и текста и выдающая текст. Модель насчитывает 2 млрд параметров, использует гибридную архитектуру Gated Delta Networks и gated attention, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для диалогов с изображениями, визуального анализа, рассуждений, задач по коду и агентных сценариев с вызовом инструментов. README заявляет поддержку 201 языка и диалекта; модель работает в режимах с рассуждением и без него, причём режим без рассуждения включён по умолчанию. Авторы рекомендуют её для прототипирования, дообучения под конкретные задачи и разработки; для сервинга указана совместимость с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Среди практических ограничений — сравнительно небольшой масштаб в 2 млрд параметров, а также возможная нехватка памяти при использовании длинного контекста; скорость и пропускная способность зависят от среды инференса.

LeroyDyer разработал эту дообученную модель семейства Mistral на основе LeroyDyer/Mixtral_AI_CyberTron_DeepMind_III. Это языковая модель с 7,1 млрд параметров для генерации текста; заявленная длина контекста — 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и выполнения инструкций, включая помощь с программированием, анализом текста, извлечением сущностей, расчётами и генерацией идей. В карточке также заявлены сценарии консультативного общения и работа с медицинской информацией, однако результаты таких применений не подтверждены приведёнными оценками. Обучающие данные включают наборы для кода, диалогов, математики, преобразования текста в SQL и английского и суахили. Автор описывает модель как разговорную, способную использовать историю диалога и выдавать разнообразные ответы; приведены результаты Open LLM Leaderboard, но не полная таблица. Практическая точность и надёжность заявленных специализированных возможностей могут зависеть от формулировки запроса. Модель принимает текст и генерирует текст.

StrangeMerges_18-7B-dare_ties — объединённая языковая модель, созданная Gille с помощью LazyMergekit на основе Gille/StrangeMerges_17-7B-dare_ties и teknium/OpenHermes-2.5-Mistral-7B. В ней используется архитектура Mistral с плотной сетью и 7,1 млрд параметров; модель распространяется в формате Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, написания текстов и помощи с кодом; README приводит результаты оценки на бенчмарках рассуждений и понимания текста. Указана лицензия Apache-2.0. README не уточняет языковой охват и отдельные гарантии качества, поэтому результаты на бенчмарках не следует считать обещанием качества для любых сценариев.

WestLake-Munin-Cat-NorskGPT — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из шести моделей, включая NorskGPT-Mistral-7b, Munin, WestLake, MetaMath-Mistral и OpenHermes. Модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, написания и продолжения текстов, а также помощи с кодом и математическими задачами благодаря возможностям входящих в объединение моделей. Формат весов — safetensors; модель опубликована в феврале 2024 года. В карточке не приведены результаты оценки качества или отдельные инструкции по эксплуатации. Условия лицензирования в доступных данных не указаны.

35b-beta-long-GGUF — набор GGUF-квантизаций модели 35b-beta-long, опубликованный и квантованный bartowski на основе оригинальной модели CausalLM/35b-beta-long с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в локальных средах, включая диалоговые сценарии, следование инструкциям, математические задачи, программирование и работу с текстами на основе обучающих наборов Guanaco, MetaMathQA, WizardLM, ShareGPT, Wikipedia и других. Модель поддерживает текстовую модальность и заявленные языки английский, китайский, японский и немецкий. Размер исходной модели обозначен как 35B, однако размер контекста и точные архитектурные характеристики в README не указаны. Доступны варианты квантизации от IQ1 до Q8_0 с размером файлов примерно от 8,52 до 37,17 ГБ: более качественные варианты требуют больше памяти, а низкобитные экономят ресурсы за счёт снижения качества. Для Q6_K, Q5_K_M, Q5_K_S и ряда Q4-вариантов указано близкое к исходному качество или хороший компромисс между качеством и размером. Для работы требуется совместимое ПО, например llama.cpp, и достаточно оперативной или видеопамяти в зависимости от выбранной квантизации. Модель использует специальный chat prompt format с ролями system, user и assistant. Лицензия указана как GPL-3.0.

ANITA-NEXT-20B-gpt-oss-ITA — языковая модель семейства ANITA, разработанная Марко Полиньяно и исследовательской группой SWAP Университета Бари Альдо Моро. Это дообученная методом SFT с QLoRA и дополнительно выровненная с помощью DPO версия openai/gpt-oss-20b. Модель предназначена для диалогов, генерации текста и кода, агентных сценариев и последующего дообучения для задач на итальянском языке. Модель принимает текст и генерирует текст; карточка характеризует её как мультиязычную с акцентом на итальянский и английский. Архитектура — GPT-OSS с разреженной экспертной моделью (MoE), в репозитории используются веса Safetensors. Метаданные указывают 1,6 млрд параметров и контекст до 131 072 токенов; README предупреждает, что качество ответов ухудшается после 40 000 токенов. Лицензия — Apache-2.0. Модель подходит для италоязычных диалогов, генерации кода и построения агентных приложений. Разработчик предупреждает о возможных галлюцинациях и некорректных, оскорбительных или опасных ответах, поэтому результаты требуют проверки. В README релиз обозначен как предназначенный для исследовательских целей.

Baanzon-Chenni-1.5-9B-GGUF — квантизированная версия модели Baanzon-Chenni-1.5-9B, разработанной Devopsopraiz и преобразованной в формат GGUF пользователем mradermacher. Модель относится к семейству Qwen3 и предназначена для генерации текста, диалоговых сценариев, задач программной инженерии и использования в автономных агентах. В карточке указан английский язык. Модель содержит около 9 миллиардов параметров и доступна в вариантах с разной степенью квантизации: от Q2_K до Q8_0, а также в формате F16. Размер файлов составляет примерно от 3,9 до 18 ГБ. Для мультимодального использования предоставляются отдельные файлы mmproj, однако поддерживаемые типы входных данных и точный набор мультимодальных возможностей не указаны. Размер контекста и другие архитектурные характеристики также не приведены. Основное преимущество сборки — возможность запуска модели в GGUF-совместимых средах с выбором компромисса между размером, скоростью и качеством. В README варианты Q4_K_S и Q4_K_M названы быстрыми и рекомендуемыми, Q6_K — обеспечивающим очень хорошее качество, а Q8_0 — быстрым вариантом с наилучшим качеством среди перечисленных. Более агрессивная квантизация может снижать качество ответов, а конкретные ограничения исходной модели и результаты оценивания не указаны. Лицензия модели — MIT.

Granite Switch 4.1 3B Preview — модульная языковая модель IBM, построенная на IBM Granite 4.1 3B и содержащая 12 встроенных адаптеров из библиотек Granite. Выбор возможностей выполняется во время генерации с помощью управляющих токенов в шаблоне чата. Модель насчитывает 3,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Адаптеры предназначены для задач RAG, проверки требований к ответу, атрибуции контекста, оценки неопределённости, выявления рисков безопасности и проверки либо исправления фактических ошибок. Модель можно использовать как обычную генеративную LLM или вызывать отдельные адаптеры; для интеграции README рекомендует Mellea. Поддерживаются Transformers и vLLM. Возможности специализированных адаптеров позволяют объединить несколько этапов работы с ответами и документами в одном чекпойнте. README не перечисляет все адаптеры целиком, а также не сообщает языки обучения или гарантии точности. Модель распространяется по лицензии Apache 2.0.

Herplete-LLM-Llama-3.1-8b — диалоговая языковая модель Replete-AI, созданная слиянием Replete-LLM-V2-Llama-3.1-8b и LoRA-адаптера, извлечённого из Hermes-3-Llama-3.1-8B. Модель построена на плотной архитектуре Llama 3.1 и содержит 7,5 млрд параметров; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалога и генерации текста по инструкциям. Метаданные также отмечают интерфейс вызова инструментов, что позволяет использовать её в сценариях, где ассистент передаёт управление внешним инструментам. Базовая модель Hermes 3 ориентирована на англоязычные инструкции, рассуждения, генерацию кода и вызов инструментов; README описывает непрерывное дообучение модели Replete с использованием LoRA из Hermes 3. Карточка не сообщает отдельные результаты оценки качества или условия лицензии, поэтому их нельзя надёжно указать.