II.4Отладка, тестирование и качество ПО

Llama-3-KoEn-8B — плотная авторегрессионная языковая модель Junbum Lee (Beomi), продолжающая предобучение Meta Llama 3 8B на корпусе из корейских и английских текстов. Модель принимает текст и генерирует текст, в том числе код; предназначена для адаптации к задачам генерации и для создания чат- и инструкционных моделей. Модель содержит 7,5 млрд параметров, построена на архитектуре Llama 3 и имеет контекстное окно 8192 токена. Доступна в форматах PyTorch и Safetensors. Это предварительный релиз статической модели, обученной на офлайн-данных. Лицензия указана как CC-BY-NC-SA-4.0 вместе с лицензией сообщества Llama 3; применяются их условия использования. Карточка предупреждает, что ответы могут быть неточными, предвзятыми или нежелательными, и рекомендует проверять безопасность для конкретного приложения. Хотя обучение включало корейский и английский языки, документация ограничивает предполагаемое использование английским и предостерегает от применения на других языках без соблюдения условий лицензии Llama 3.

Merlinite-7B-Lab — диалоговая языковая модель IBM Research на архитектуре Mistral, дообученная методом LAB на синтетических данных, созданных с помощью Mixtral-8x7B-Instruct. Модель насчитывает 7,1 млрд параметров, принимает текст и генерирует текст; её контекстное окно — 32 768 токенов. Основной язык — английский. Модель предназначена для диалогов и выполнения разнообразных инструкций: ответов на вопросы, рассуждений, творческого письма и задач на знания и навыки. Метод LAB использует таксономию примеров для генерации обучающих данных и поэтапное обучение с буферами повторного воспроизведения, чтобы добавлять знания и навыки к базовой модели. Модель распространяется по лицензии Apache 2.0. В README отмечено, что модель не проходила выравнивание по человеческим предпочтениям и может выдавать проблемные или вымышленные ответы. Рекомендуется использовать системный промпт, применённый при обучении; модель не следует считать единственным источником для важных решений.

Minitron-8B-Base — базовая большая языковая модель NVIDIA, созданная из Nemotron-4 15B. Модель с архитектурой Transformer Decoder и классом NemotronForCausalLM содержит 8,7 млрд параметров; в ней применяются Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов, вход и выход — текст. Модель предназначена для генерации текста и исследований и разработок на её основе: она обучалась на английских и многоязычных текстах, включая код, диалоги, статьи и веб-страницы. Корпус охватывает математику, науку, финансы и право; в продолженное обучение также включили небольшую долю данных вопросно-ответного формата и для выравнивания. NVIDIA сообщает о дистилляции после структурного прореживания Nemotron-4 15B с использованием 94 млрд токенов; в README приведены результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может генерировать неточные, неполные, нерелевантные или повторяющиеся ответы, а также воспроизводить токсичный язык и социальные предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; точные условия следует сверить с файлами репозитория и условиями NVIDIA. Карточка обозначает модель как предназначенную для исследований и разработки.

Narkantak/Mistral-2x7b-Instruct-1x2 — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES из mistralai/Mistral-7B-Instruct-v0.1 и mistralai/Mistral-7B-Instruct-v0.2. Несмотря на название, в метаданных указано 7,1 млрд параметров. Модель предназначена для генерации текста в ответ на запросы и инструкции, в том числе для диалога; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Карточка указывает на объединение двух instruct-моделей, но не сообщает о специальных областях применения или поддерживаемых естественных языках. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не указаны.

Карточка модели PIXMELT/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой Sacralet/mistral-7B, поэтому описание составлено по ней. Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

akjindal53244/Mistral-7B-v0.1-Open-Platypus — инструкционно дообученная языковая модель на архитектуре Mistral, созданная на основе набора данных Open-Platypus. Она предназначена для генерации текста и ответов на инструкции и вопросы. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README не уточняет поддерживаемые языки и ограничения качества; результаты оценки не гарантируют точность ответов в конкретных сценариях.

bartowski/Mistral-NeMo-Minitron-8B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые среды локального вывода. Для взаимодействия используется специальный шаблон с ролями System, User и Assistant. Доступны варианты от полноразмерных весов F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 4,2 до 16,8 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Квантизации выполнены с использованием imatrix; версии Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 — как хороший компромисс для ограниченных ресурсов. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей. README не указывает поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики исходной модели или результаты бенчмарков. Для ARM-оптимизированных вариантов имеются ограничения совместимости: их не рекомендуется использовать на Mac и Windows. Условия лицензирования в предоставленных данных не указаны.

Mistral-T5-7B-v1-Mistral-7B-Instruct-v0.1 — слитая чат-модель на архитектуре Mistral, созданная объединением Mistral-7B-Instruct-v0.1 и Mistral-T5-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленный контекст составляет 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста по запросу. В README описаны смешивание слоёв внимания и MLP и формат bfloat16; в репозитории веса представлены в safetensors. Лицензия — Apache-2.0. README и метаданные не сообщают о языковом охвате и оценках качества, поэтому результаты для конкретных языков и задач требуют проверки.

Mistral-Trismegistus-7B-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и Mistral-Trismegistus-7B методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель содержит 7,1 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка описывает состав слияния и параметры конфигурации, но не приводит сравнительных оценок качества; результаты могут зависеть от формулировки запроса и сценария применения.

Neural-Chat-v1-1 — языковая чат-модель, дообученная Intel и командой NeuralChat на базе mosaicml/mpt-7b. Это плотная авторегрессионная модель MPTForCausalLM с 7 млрд параметров; максимальная длина последовательности — 2048 токенов. Модель предназначена для генерации текста и ответов на инструкции, а также может применяться для задач вроде генерации кода. Для дообучения использован набор Intel/neural-chat-dataset-v1-1, содержащий около 1,1 млн инструкционных примеров; метаданные также указывают набор allenai/real-toxicity-prompts. Карточка приводит результаты оценки на наборах задач языкового моделирования и проверку токсичности, но они не гарантируют качество в конкретном применении. Основной язык карточки — английский; в обучающих данных есть также примеры на китайском. Модель может выдавать фактически неверные ответы, а также предвзятый, оскорбительный или иной нежелательный текст. Перед внедрением требуется проверка безопасности и качества для целевого сценария. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

ente-ai/Qwen3.5-0.8B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, основанной на Qwen/Qwen3.5-0.8B. Модель разработана в экосистеме Qwen, а данный вариант опубликован ente-ai с использованием подходов Unsloth Dynamic 2.0. Она предназначена для локального запуска, прототипирования, исследовательских и прикладных задач, а также специализированного дообучения. Модель представляет собой каузальную языковую модель со зрительным энкодером и поддерживает обработку текста и изображений. Она содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с инструментами локального и серверного инференса, включая Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, длинный контекст, возможность локального использования и потенциально высокая эффективность инференса. Из-за небольшого масштаба модель прежде всего ориентирована на прототипирование, task-specific fine-tuning и разработку; её возможности могут быть ограничены по сравнению с более крупными моделями в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0-i1-GGUF — GGUF-квантизированная версия модели Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0, разработанной prithivMLmods и квантизированной mradermacher. Модель создана на основе многоэтапного supervised fine-tuning и ориентирована на генерацию текста, рассуждения, логический анализ, решение задач и математику. В карточке также указана поддержка vision, однако сведения о конкретных визуальных возможностях и необходимых mmproj-файлах приведены только в общем виде. Модель предназначена для локального запуска и инференса через совместимые инструменты для GGUF, включая llama.cpp-подобные среды и vLLM; заявлена совместимость с контекстом до 32 тысяч токенов. Указан английский язык. Архитектура, точное количество параметров помимо обозначения 4B, результаты тестирования и сравнительные показатели в README не описаны, поэтому качество рассуждений и мультимодальной обработки следует проверять на собственных задачах. Доступно множество вариантов квантизации с размером примерно от 1,5 до 2,5 ГБ, что облегчает запуск на устройствах с ограниченными ресурсами. При этом наиболее компактные варианты могут заметно уступать по качеству: для некоторых прямо отмечены очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; условия использования базовой модели отдельно не раскрыты в предоставленных данных.

TheStageAI/Qwen3.5-9B-GGUF — квантизированная версия модели Qwen3.5-9B от Qwen, подготовленная TheStageAI в формате GGUF для запуска через llama.cpp. Модель предназначена для локальной генерации текста, диалоговых сценариев и задач, требующих следования инструкциям; доступны четыре варианта с размером от 3,21 до 9,53 ГБ. Модель поддерживает режимы без рассуждений и с длинными рассуждениями. Вариант XS рекомендуется для режима без рассуждений, а S, M и L — для задач с развёрнутым рассуждением. Рекомендуемый вариант M занимает 5,06 ГБ и, согласно приведённым оценкам, сопоставим с исходной BF16-моделью по IFEval и близок к ней по MMLU-Pro. В репозитории описан производственный PTQ-процесс с распределением точности между слоями и учётом накопления ошибки квантования. Сильные стороны модели — возможность локального запуска, несколько вариантов размера и точности, а также хорошее сохранение результатов исходной модели при существенно меньшем объёме хранения. Ограничения включают потерю точности по сравнению с полной BF16-версией, особенно у наиболее компактного варианта XS, и отсутствие в предоставленных данных сведений о языках, мультимодальности и размере контекста. Модель распространяется по лицензии Apache-2.0.

Bolsjay24/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh; сборка и тонкая настройка выполнялись с использованием Unsloth. Модель создана как многоэтапная fine-tune и merge-модель с применением наборов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также Fable-, Claude Opus-, GPT5- и других обучающих материалов. Заявлены версии в форматах GGUF с обычным и MTP-квантованием, включая 4- и 8-битные варианты, а также NEO IMATRIX-кванты с частично сохранённой точностью выходного тензора. Модель предназначена для широкого спектра задач: следования инструкциям, решения проблем, рассуждений, программирования, творческого письма, ролевых сценариев и работы с изображениями. Среди заявленных характеристик — улучшенные instruction following, общее понимание и reasoning, поддержка vision, а также языки English и Chinese. В README утверждается, что модель превосходит базовую Qwen3.6-27B в шести из семи тестов и сопоставима с ней в седьмом, однако конкретные значения тестов и независимая методика подтверждения не приведены. Сильными сторонами заявлены высокая производительность на потребительском оборудовании, сохранение возможностей исходной модели, развитое рассуждение и хорошее качество даже у низкоразрядных квантов. Ограничения включают отсутствие подробных сведений о размере контекста, точной архитектуре, системных требованиях и фактических результатах бенчмарков; заявления о «нецензурируемом» поведении также указывают на возможное отсутствие стандартных ограничений безопасности. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая версия модели Qwen3.6 27B, опубликованная пользователем d3vs3c на основе модели DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В создании участвовали несколько авторов и команд, включая Unsloth, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в форматах GGUF, включая обычные и MTP-квантизации, ориентированные на запуск на потребительском оборудовании. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, общего диалога, программирования, творческого письма, работы с историями и ролевыми сценариями. В README заявлена поддержка vision и языков English и Chinese; pipeline обозначен как image-text-to-text. Дообучение включало материалы для reasoning, Fable traces, датасеты Polar-STRICT и F451-STRICT, а также компоненты, связанные с Claude Opus и GPT-5. Точный размер контекстного окна не указан. Ключевые особенности — 27B-параметрическая базовая архитектура Qwen3.6, многоэтапное fine-tuning и merge, uncensored/heretic-настройка, NEO IMATRIX-квантизация и MTP (multi-token prediction). По утверждению авторов, модель улучшает instruction following, общую интеллектуальность, решение задач и reasoning, а также превосходит базовую Qwen3.6 27B в большинстве указанных тестов; независимая проверка этих заявлений в README не приведена. Для MTP-квантизаций рекомендуется температура не выше 1 и repetition penalty около 1; при низком token acceptance предлагается использовать обычные кванты. Модель заявлена под лицензией Apache-2.0.

Moemajor3/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это модель на базе Qwen3.6-27B, разработанная в рамках совместной работы авторов DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Она представляет собой многоэтапную fine-tune и merge-модель, подготовленную для запуска на потребительском оборудовании в форматах GGUF, включая обычные и MTP-варианты. В обучении и слиянии использовались датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные наборы и трассы, упомянутые в README. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. Заявлена поддержка английского и китайского языков. В карточке также указана мультимодальная специализация image-text-to-text и наличие vision, однако подробности о поддерживаемых форматах изображений и контекстном окне не приведены. Архитектурные характеристики ограничиваются размером базовой модели — 27B параметров. К заявленным сильным сторонам относятся улучшенное следование инструкциям, рассуждение и общее решение задач, а также высокая эффективность квантованных версий. По утверждению авторов, модель превосходит базовую Qwen3.6-27B в шести из семи внутренних бенчмарков и сопоставима с ней в седьмом; эти результаты не подтверждены независимыми данными в README. Модель позиционируется как uncensored и heretic, поэтому её ответы могут требовать дополнительной фильтрации и проверки. Для MTP-квантов рекомендуется температура не выше 1 и repetition penalty, равный 1; при низком уровне token acceptance следует использовать обычные кванты. Лицензия — Apache-2.0.

Foresee/Qwen3.8-9B-heretic-uncensored-4bit-MTPLX — локальная 4-битная сборка модели rohit267/Qwen3.8-9B-heretic-uncensored для генерации текста. Она предназначена для запуска на компьютерах Apple Silicon с использованием MLX и ускорения вывода посредством спекулятивного декодирования MTPLX. Модель предоставляет совместимость с API OpenAI /v1/chat/completions и Anthropic /v1/messages, поэтому может использоваться в локальных чат-приложениях, инструментах программирования и других сценариях текстовой генерации. В состав входят 4-битная MLX-модель с группами квантования 64 и размером около 5 ГБ, отдельная MTP-голова, а также LoRA-адаптер ранга 64, объединяемый при загрузке. Указано, что модель относится к 9B-линейке Qwen, использует гибридную архитектуру с GatedDeltaNet и поддерживает английский язык. Контекст модели и полный перечень языков в README не указаны. На тесте с MacBook на M5 и 24 ГБ памяти скорость декодирования выросла с 21,25 до 40,05 токена в секунду; проверка спекулятивных токенов выполняется без потери точности относительно квантованной целевой модели. Основные ограничения — требование macOS 14 или новее, Apple Silicon, MLX и рантайма MTPLX; ускоренный MTP-путь специфичен для MTPLX. Квантование изменяет веса модели, хотя сама процедура спекулятивной проверки является точной. Модель всегда начинает ответ с блока <think>, что следует учитывать при расчёте бюджета токенов. Лицензия Apache-2.0, унаследованная от базовой модели Qwen3.5-9B.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search-TauSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели willhx/Qwen3-8B-Base-SeaSFT-Search на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

RWKV-7 World — базовая авторегрессионная языковая модель семейства RWKV от BlinkDL, предназначенная для генерации текста и использования в качестве основы для дообучения. Модель обучалась на корпусе примерно из 3,1 трлн токенов для версии World-v3; в обучающих данных преобладает английский язык, также представлены другие языки и программный код. В README указаны варианты семейства от 0,1B до примерно 7B параметров, но размер именно этой публикации не уточнён. Модель рассчитана на продолжение текста, диалоговые и вопросно-ответные сценарии при использовании рекомендованных шаблонов запросов. Архитектура RWKV-7 поддерживается пакетом rwkv версии 0.8.28 и выше. Карточка сообщает о обучении более чем на 100 языках; метаданные перечисляют 12 языков, включая русский, китайский, английский, французский, испанский, немецкий, португальский, итальянский, японский, корейский, вьетнамский и арабский. В README приведены результаты MMLU для нескольких вариантов RWKV-7-v3 и сравнение с RWKV-6, но эти оценки не являются характеристиками конкретного файла модели. Это базовая модель, а не специализированный чат-чекпойнт; качество ответов и следование инструкциям могут зависеть от шаблона и дополнительного дообучения. Лицензия — Apache-2.0.

MaziyarPanahi/zephyr-7b-alpha-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/zephyr-7b-alpha-dare-0.85. В README указан метод слияния slerp с выбором параметров по слоям для блоков self-attention и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации ответов на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специальных предметных областях.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.3-GGUF — квантизированная версия модели OwenArli/ArliAI-Llama-3-8B-Dolfin-v0.3, созданная QuantFactory с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и дообучена на улучшенном наборе данных Dolphin и WizardLM. Модель предназначена для генерации текста, диалоговых сценариев и выполнения пользовательских инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Поддерживается чатовый формат с системными сообщениями, пользовательскими запросами и ответами ассистента. Размер базовой модели составляет 8 млрд параметров; используется архитектура семейства Llama 3 и текстовая модальность. Обучение проводилось с длиной последовательности 2048 токенов, при этом заявлена работоспособность с контекстом до 8192 токенов. Дообучение выполнялось методом QLoRA с 4-битной загрузкой, рангом 64 и alpha 128; обучаемыми были примерно 2% параметров. Данные о поддерживаемых языках, конкретных параметрах квантизации и результатах бенчмарков не приведены. Модель может быть полезна в локальных приложениях и системах, где важны экономичное использование памяти и выполнение инструкций. Ограничения включают отсутствие опубликованных результатов OpenLLM Benchmark и неполное описание характеристик квантизированных вариантов. Использование регулируется лицензией Meta Llama 3 License, обозначенной в карточке как llama3.

Athene-Phi-3.5-mini-instruct-orpo-GGUF — это набор GGUF-квантизированных версий языковой модели Athene-Phi-3.5-mini-instruct-orpo, разработанной EpistemeAI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска, в том числе через llama.cpp и LM Studio. В репозитории представлены варианты от исходных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,88 до 7,64 ГБ. Для взаимодействия используется формат промпта с ролями system, user и assistant. Указан английский язык; сведения о количестве параметров, максимальном контексте, архитектурных деталях и поддержке других модальностей отсутствуют. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером и требованиями к памяти, а также специальные варианты Q4 для ARM и CPU-инференса. Более компактные версии могут уступать по качеству полноразмерным и менее агрессивно квантизированным вариантам. Модель распространяется по лицензии Apache-2.0.

BGE-Code-v1 — модель для создания векторных представлений кода и текста, разработанная командой BAAI и опубликованная в проекте FlagEmbedding. Она предназначена для поиска кода по запросам на естественном языке, поиска текстовых документов и мультиязычного семантического поиска. Модель основана на архитектуре Qwen2, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Она рассчитана на запросы на английском и китайском языках, охватывает 20 языков программирования и также поддерживает поиск на других естественных языках, включая японский и французский. README сообщает о высоких результатах на бенчмарках CoIR и CodeRAG. Модель выдаёт эмбеддинги для последующего поиска и сравнения сходства; метаданные также указывают поддержку чат-возможностей и интерфейса вызова инструментов. Для работы нужны совместимые библиотеки, а примеры использования ориентированы на FlagEmbedding, Sentence Transformers и Transformers. Репозиторий распространяется под лицензией Apache-2.0.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.

DeepSeek-V4.1-Flash (GGUF) — квантизированная версия текстовой модели DeepSeek-V4.1-Flash, разработанной DeepSeek и преобразованной в формат GGUF автором mxxm-t. Сборка предназначена для запуска через mx-llama.cpp — форк llama.cpp с поддержкой много-GPU инференса, pipeline и tensor parallelism, а также DSpark/MTP speculative decoding. Модель использует MoE-архитектуру с маршрутизируемыми экспертами и квантованием MXFP4; основные веса занимают около 375,8 GiB в 12 файлах, а после загрузки требуют примерно 302 GiB без учёта KV-кэша и вычислительных буферов. В комплект входит отдельный файл DSpark размером 7,43 GiB, который не является самостоятельной моделью и применяется только для speculative decoding. Поддерживается генерация текста; языки и максимальный контекст в README явно не указаны, хотя приведён пример запуска с контекстом 32768 токенов. Сильные стороны сборки — эффективный много-GPU инференс, поддержка режимов layer и tensor parallelism, MXFP4 для routed experts, сжатие KV-кэша и ускорение генерации с помощью DSpark. Ограничения заключаются в высоких требованиях к памяти и накопителю, необходимости совместимого mx-llama.cpp, отсутствии vision tower, projector и файла mmproj, а также в том, что DSpark нельзя использовать отдельно. Для chat completions ответ этой архитектуры помещается в поле reasoning_content, а не content. Лицензия MIT, унаследованная от базовой модели DeepSeek.

DeepSeek-V4-Flash-0731-2.4bit-mixed — это смешанно-точечная MLX-квантизованная версия модели DeepSeek-V4-Flash-0731, разработанная сообществом mlx-community на основе чекпойнта deepseek-ai. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения; формат ориентирован на запуск на компьютерах Apple Silicon через oMLX. Модель имеет 284 млрд параметров, около 304 млрд с учётом блоков MTP и примерно 13,8 млрд активных параметров на токен. Архитектура включает 43 слоя, MoE с 256 маршрутизируемыми и одним общим экспертом, выбором top-6, MLA, разреженный индексатор внимания, hyper-connections с Sinkhorn и YaRN с заявленным контекстом до 1 млн токенов. Все три блока DSpark MTP сохранены. Эффективная точность составляет 2,44 бита на вес, размер на диске — 92,8 ГБ. Основные языки явно не указаны; в проверке генерация была связной на английском. Сильные стороны — существенно меньший размер по сравнению с исходным форматом, сохранение MTP, умеренное падение скорости генерации при увеличении контекста и низкий рост потребления памяти благодаря MLA. Ограничения — высокая потребность в памяти: для запуска рекомендуется Mac с 128 ГБ, а предварительная обработка длинных запросов может быть очень медленной. По тесту MMLU-Pro результат составил 0,573 против 0,647 у API-версии в BF16, однако оценка ограничена одной выборкой и не заменяет проверку на целевых задачах. Требуется oMLX версии 0.5.7 или новее; mlx-lm напрямую эту архитектуру не поддерживает. Лицензия — MIT.

ERNIE-4.5-37B-A3B-Thinking-Brainstorm20x — текстовая MoE-модель для генерации и диалога, созданная DavidAU на основе ERNIE-4.5-21B-A3B-Thinking от Baidu с применением Brainstorm 20x. Модель предназначена для творческого письма, мозгового штурма, диалогов, программирования и рассуждений. По карточке, расширение Brainstorm направлено на более подробную и связную прозу, выразительные описания и нестандартные ассоциации; заявлены улучшения на некоторых тестах связности и повествовательного завершения, при небольшом снижении результата BoolQ. Архитектура — ERNIE 4.5 MoE с классом Ernie4_5_MoeForCausalLM; в метаданных указано 5,4 млрд параметров, а карточка описывает расширение исходной модели с 21 до 37 млрд параметров. Контекст составляет 131 072 токена. Модель принимает текст и генерирует текст; карточка указывает английский язык. Доступны веса safetensors и библиотека Transformers, а также возможность использовать исходные веса для конвертации в другие форматы. Лицензия — Apache-2.0. Для квантованных вариантов автор рекомендует не опускаться ниже IQ3 с imatrix или q4_K_S.