II.6Документация и сопровождение разработки

Qwen3.8-27B-Abliterated-IQ4-MIX-MTP-GGUF — это GGUF-квантизация модели Qwen3.8-27B-Abliterated, разработанной windowsxp811203 на основе Qwen/Qwen3.8-27B. Модель предназначена для локальной генерации текста и высокопроизводительного инференса, включая агентские сценарии программирования, на GPU с 16 ГБ видеопамяти. Вариант поддерживает работу через llama.cpp и рассчитан на спекулятивное декодирование с использованием встроенной головы MTP (Multi-Token Prediction), поэтому отдельная draft-модель не требуется. Размер файла составляет около 13,26 GiB, эффективная точность — 4,17 BPW. Используется смешанная квантизация: основные группы тензоров представлены форматами IQ4_XS, IQ3_S и Q4_K, эмбеддинги — IQ2_S, выходной слой — Q5_K, а MTP-блоки сохранены в более высокой точности Q6_K и Q8_0 для поддержания качества черновой генерации и приемки токенов. Заявлена поддержка английского и китайского языков. В README не указаны архитектурные детали исходной модели и максимальный контекст, однако протестированы конфигурации с выделением контекста до 64K токенов. Сильные стороны модели — относительно небольшой размер для класса 27B, возможность полного размещения слоёв на GPU с 16 ГБ памяти и ускорение генерации за счёт MTP. На AMD Radeon RX 9070 XT в среде Windows с Vulkan и llama.cpp зафиксирована скорость около 49–50 токенов в секунду на коротком активном контексте, но при росте истории до 25–30 тысяч токенов скорость снижалась примерно до середины диапазона 20 токенов в секунду. Показатели зависят от оборудования, размера контекста и рабочей нагрузки. Модель распространяется по лицензии Apache-2.0.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.

TheCluster/Qwen3.8-27B-Heretic-MLX-4bit — 4-битная квантованная версия модели Qwen3.8-27B, разработанная TheCluster на базе Qwen/Qwen3.8-27B. Модель модифицирована с помощью Heretic v1.4.0 и позиционируется как uncensored-версия с уменьшенными ограничениями на генерируемый контент. В метаданных указана задача image-text-to-text, однако подробности о поддержке изображений в README не приведены. Модель предназначена для диалоговой генерации текста, рассуждений и выполнения инструкций. Заявлена поддержка английского, китайского, русского, испанского, французского, итальянского, японского, корейского и ряда других языков, включая немецкий, арабский, турецкий, польский, украинский, португальский и финский. Размер базовой модели — 27B параметров; используется формат MLX и 4-битная affine-квантизация с размером группы 64. Размер контекста в README не указан. К сильным сторонам относятся сниженный уровень встроенных ограничений, поддержка многоязычных сценариев и возможность запуска в экосистеме MLX при уменьшенных требованиях к памяти благодаря 4-битной квантизации. По умолчанию reasoning_effort установлен в low, чтобы избежать избыточного обдумывания. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct или non-thinking mode — temperature 0.7, top_p 0.80 и top_k 20. Повышение presence_penalty может уменьшить бесконечные повторы, но иногда приводит к смешению языков и небольшому снижению качества. Лицензия — Apache-2.0.

esatapedico публикует набор из девяти вариантов Qwen3.8-27B в формате GGUF, сконвертированных из unsloth/Qwen3.8-27B-NVFP4. Это плотная мультимодальная модель с обработкой изображений и видео, гибридной архитектурой Gated DeltaNet и Gated Attention, 27 млрд параметров и нативным контекстом до 262 144 токенов. В каждый файл встроена голова MTP для спекулятивного декодирования, поэтому отдельная модель-черновик не нужна. Варианты образуют лестницу по размеру и точности дополнительных весов: от компактных уровней с NVFP4-квантизацией до вариантов с головами в Q8_0 или BF16. Для обработки изображений и видео README рекомендует подключать проектор mmproj-BF16.gguf из репозитория. Модель предназначена для генерации текста и мультимодального диалога; автор приводит лишь предварительные наблюдения на одном запуске, а не результаты полноценного бенчмарка. Репозиторий рассчитан на использование с llama.cpp и аппаратурой NVIDIA Blackwell; доступность и скорость зависят от выбранного файла, видеопамяти и длины KV-кэша. Указана лицензия Apache-2.0.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

Qwen3.8-27B-Uncensored-xCloud — производная мультимодальная модель компании 云碩科技（xCloudinfo） на базе Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с архитектурой смешанного внимания: gated-delta линейное внимание чередуется с полным вниманием. Разработчик удалил направление отказа методом abliteration, ортогонализовав его в 80 матрицах проекций attention и MLP; дообучение и дополнительные данные не использовались. Визуальная башня и голова языковой модели сохранены. Модель предназначена для диалогов и генерации текста, включая многоязычные вопросы и арифметические задачи; базовая архитектура также принимает изображения. Это reasoning-модель, которая может выводить блок рассуждений перед ответом, и поддерживает интерфейс вызова инструментов. В небольшом red-team тесте разработчика доля отказов составила 0 из 4; такая проверка ограничена малой выборкой и не гарантирует поведение на других запросах. Для загрузки README рекомендует один вычислительный прибор, поскольку разбиение на несколько GPU может нарушить рекуррентное состояние. Лицензия — Apache-2.0; удаление отказов ослабляет один из защитных механизмов, поэтому применение требует осторожности.

Qwen3.8-35B-A3B-Distill GGUF — это набор общественных GGUF-квантизаций текстовой MoE-модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленный пользователем ngquocvinh. Модель предназначена для локальной генерации текста с помощью llama.cpp и совместимых сред. Это неофициальный релиз Qwen3.8 и не результат дополнительного обучения или дообучения. Исходная модель содержит 35 млрд параметров, из которых примерно 3 млрд активируются для каждого токена, использует 256 экспертов и маршрутизацию к 8 экспертам. Архитектура включает гибридные компоненты внимания, а заявленная длина контекста в конфигурации исходной модели составляет 262 144 токена. В карточке указана поддержка английского языка и текстовой модальности. Доступны варианты квантизации от Q8_0 размером около 35,22 GiB до IQ2_XS размером около 10,01 GiB, что позволяет выбирать между качеством и требованиями к памяти. Сильной стороной релиза является возможность запуска крупной MoE-модели локально на совместимом оборудовании, а также наличие измерений отклонения квантизированных вариантов от BF16-источника. Q4_K_M обозначен как практичный баланс качества и потребления памяти; варианты Q3_K_M, Q2_K и IQ2_XS имеют существенно большее отклонение и считаются экспериментальными. Поддержка длинного контекста, вызова инструментов и других специализированных функций зависит от исходной модели и используемой среды, поэтому требует отдельной проверки. Релиз распространяется по лицензии Apache-2.0, унаследованной от исходной модели. Квантизации являются общественным проектом и не означают официального одобрения со стороны авторов исходной модели.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

empero-ai/Qwen3.8-9B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это дистилляция крупной Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Указан английский язык; поддерживаемые модальности и размер контекста в карточке не уточняются. Модель имеет гибридную архитектуру Qwen3.5 с тремя слоями Gated DeltaNet на каждый слой полной attention-механики и ориентирована на reasoning-сценарии. В карточке приведены варианты от Q4_K_M размером 5,780 GB до BF16 размером 18,407 GB; рекомендуемым считается Q4_K_M как оптимальный баланс качества и объёма. Для работы требуется современная сборка llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. Модель использует встроенный шаблон чата и формирует рассуждения в блоках <think>, которые при необходимости следует удалять из пользовательского вывода. По заявленным оценкам исходной модели, дистилляция заметно улучшает результат на MMLU по сравнению с базовой Qwen3.5-9B, однако немного уступает ей на GSM8K. К ограничениям относятся необходимость совместимого рантайма, потребность в дополнительной памяти под KV-кэш при длинном контексте и отсутствие в этой карточке подробных бенчмарков и рекомендаций по применению. Веса распространяются по лицензии Apache-2.0.

unsloth/Qwen3-8B-Base-unsloth-bnb-4bit — это 4-битная квантованная версия базовой причинной языковой модели Qwen3-8B-Base, подготовленная Unsloth на основе модели Qwen от команды Qwen. Модель предназначена для генерации и продолжения текста, языкового моделирования, программирования, STEM-задач, рассуждений и других сценариев, где требуется компактная локальная LLM. Поскольку это базовая предобученная модель, она не ориентирована специально на выполнение пользовательских инструкций или ведение диалога без дополнительной настройки. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою, включает 36 слоёв и использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на корпусе объёмом 36 трлн токенов, охватывающем 119 языков, с данными по программированию, STEM, рассуждениям, книгам, многоязычным и синтетическим материалам. Квантование уменьшает требования к памяти и упрощает локальный запуск, однако может сопровождаться потерей точности по сравнению с исходной полноразмерной версией. Для работы рекомендуется актуальная версия библиотеки transformers; версия ниже 4.51.0 не поддерживает архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

Карточка модели VladShash/qwen3-8b-classic-one-shot на Hugging Face совпадает с карточкой VladShash/qwen3-8b-classic-with-repair, поэтому описание составлено по ней. VladShash/qwen3-8b-classic-with-repair — дообученная модель семейства Qwen3, созданная на базе formalmathatepfl/qwen3-cpt с использованием набора данных SFT. Она предназначена для генерации текста в диалоговом режиме. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Карточка не раскрывает тематику дообучения, поэтому нельзя надёжно определить специализированные сценарии, языки или преимущества варианта «classic-with-repair». Модель распространяется в формате safetensors; лицензия указана как other, без дополнительных условий в предоставленных данных.

lmstudio-community/Qwen3-8B-MLX-4bit — это 4-битная квантизированная версия модели Qwen/Qwen3-8B, преобразованная в формат MLX сообществом lmstudio-community с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, преимущественно на устройствах Apple Silicon, поддерживающих экосистему MLX. Модель относится к классу языковых моделей с параметрами порядка 8 миллиардов и работает в текстовой модальности. Она подходит для диалогов, продолжения текста и других задач генерации, которые поддерживаются базовой моделью Qwen3-8B. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекстного окна, результатах тестирования или специализированных сценариях применения. Ключевое преимущество версии — 4-битное представление, которое снижает требования к памяти и делает локальный запуск более доступным, однако может сопровождаться потерей качества по сравнению с полноразмерной версией. Для использования требуется установка mlx-lm и совместимое окружение MLX. Модель распространяется по лицензии Apache-2.0.

HoangCuongNguyen/qwen3-8b-safety-ra-sft — дообученная модель семейства Qwen3, созданная на базе Qwen/Qwen3-8B-Base с использованием TRL. Это плотная авторегрессионная модель на 7,6 млрд параметров для генерации текста в диалоговом формате; карточка демонстрирует запрос пользователя и генерацию ответа через Transformers. Модель может применяться для диалоговых ответов и других задач генерации текста. Контекст составляет до 32 768 токенов. В карточке указана настройка safety/SFT в названии, однако подробности обучающих данных и конкретных гарантий безопасности не приведены. Лицензия в доступных данных не указана.

HoangCuongNguyen разработал дообученную методом supervised fine-tuning модель Qwen3-8B-Base для генерации текста в диалоговом формате. Модель использует плотную авторегрессионную архитектуру Qwen3 с 7,6 млрд параметров и рассчитана на контекст до 32 768 токенов; для работы указана библиотека Transformers и формат весов safetensors. Модель подходит для ответов на пользовательские вопросы и других сценариев генерации текста в чате. Карточка не описывает специализацию дообучения или конкретные результаты по безопасности, поэтому её название само по себе не подтверждает качество фильтрации опасных запросов. Лицензия в предоставленных данных не указана.

Qwen3-8B-SFT — дообученная методом supervised fine-tuning модель formalmathatepfl на базе Qwen/Qwen3-8B. Это плотная языковая модель с 7,6 млрд параметров для генерации текста в диалоговом формате; в метаданных указана поддержка чата. Для запуска используется библиотека Transformers, веса представлены в формате safetensors. Указанная длина контекста — 40 960 токенов. Модель предназначена для диалоговой генерации текста. README сообщает о дообучении на SFT-датасете и приводит значение loss 0,0647 на наборе оценки, но не раскрывает состав данных, методику оценки или специализацию модели. Лицензия обозначена как other, поэтому условия использования следует проверять в карточке модели и связанных документах.

Qwen3-Coder-25B-A3B-KREAP-MLX — это текстовая разговорная MoE-модель для генерации кода и ответов на инструкции, созданная RAS-LAB на основе Qwen/Qwen3-Coder-30B-A3B-Instruct. Авторы применили метод K-REAP для однократного прореживания экспертов с защитой корейского пути: число маршрутизируемых экспертов на слой сокращено со 128 до 104. В README указано около 25 млрд параметров и 3,3 млрд активных; метаданные каталога указывают 2,6 млрд параметров. Модель рассчитана на контекст до 262 144 токенов и распространяется в формате safetensors для MLX; карточка также сообщает о совместимости с Transformers. Модель предназначена для программирования, математических задач, рассуждений и диалогов на корейском и английском языках. По приведённым в карточке тестам, корейские результаты близки к исходной модели, а качество на английских задачах, математике и кодировании меняется в зависимости от теста. Она поддерживает интерфейс вызова инструментов, но README не приводит отдельной оценки этой функции. Лицензия — Apache-2.0. Это производная модель без дообучения: веса получены структурным прореживанием экспертов исходной модели. README приводит результаты собственных тестов и указывает, что часть оценок рассчитана на детерминированных поднаборах данных, поэтому они не гарантируют аналогичное качество во всех сценариях. Оценки в карточке показывают некоторое снижение на отдельных тестах, включая MBPP+ и WinoGrande.

Это GGUF-версия Qwen3Guard-Gen-8B, подготовленная Geoff Munn на основе модели команды Qwen от Alibaba. Модель построена на архитектуре Qwen3 с 8 млрд параметров и дообучена для безопасной генерации текста: она отвечает на обычные запросы и должна отказывать на вредоносные, избегая токсичного, жестокого и вводящего в заблуждение содержания. Модель предназначена для диалоговых помощников, которым нужны ответы на сложные вопросы, помощь с кодом и математикой при ограничении небезопасных ответов. Её можно использовать как самостоятельного помощника или вместе с отдельным фильтром входящих запросов. Репозиторий содержит квантизованные веса в формате GGUF для локального запуска, в том числе через llama.cpp; README приводит варианты от Q2_K до Q8_0 с разным балансом качества, скорости и размера. Лицензия — Apache-2.0. Это генеративная модель с защитными настройками, а не классификатор модерации: отказы и осторожное поведение не гарантируют обнаружение или блокирование всех небезопасных запросов, поэтому для модерации входов может потребоваться отдельный фильтр.

Qwen-7B-QAnything — двуязычная instruction-tuned модель на базе Qwen-7B, подготовленная для QAnything. Карточка описывает запуск через FastChat с бэкендами Transformers и vLLM; метаданные указывают архитектуру QWenLMHeadModel и контекст до 8192 токенов. Модель предназначена для диалоговых сценариев QAnything и может использоваться в системах, которым нужны генерация ответов и извлечение признаков для RAG. В README заявлена поддержка двух языков, но их названия не приведены. Репозиторий содержит веса PyTorch. В метаданных указана лицензия Apache-2.0, тогда как README ссылается на Tongyi Qianwen Research License Agreement; условия следует сверить перед использованием.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

bartowski/Qwen_Qwen3-8B-GGUF — набор GGUF-квантизированных версий модели Qwen3-8B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; в README также указан формат промпта с разделителями сообщений ChatML. Доступны варианты от BF16 размером 16,39 ГБ до компактных IQ2_M и Q2_K размером около 3 ГБ, а также промежуточные уровни Q8, Q6, Q5, Q4 и Q3. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев автор рекомендует Q4_K_M, а также некоторые варианты Q5 и Q6. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

RedPajama-INCITE-Chat-Instruct-3B-V1 — экспериментальная объединённая языковая модель на архитектуре GPT-NeoX, созданная на основе RedPajama-INCITE-Chat-3B-V1 и RedPajama-INCITE-Instruct-3B-V1. Она предназначена для генерации текста и диалоговых ответов по инструкциям; рекомендуемый шаблон запроса использует роли HUMAN и ASSISTANT, хотя формат можно менять. Модель содержит 3,5 млрд параметров, принимает текст и имеет контекст длиной 2048 токенов. В метаданных указан английский язык. Доступны веса PyTorch и Safetensors, модель можно использовать с библиотекой Transformers. В README приведены результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. Модель распространяется по лицензии Apache 2.0. README характеризует её как экспериментальное слияние; показатели бенчмарков не гарантируют качество ответов в конкретных сценариях.

Reka Flash 3 — плотная языковая модель общего назначения с архитектурой семейства Llama, разработанная Reka и обученная с нуля. В README заявлено 21 млрд параметров, а метаданные Hugging Face указывают 20,3 млрд; модель выпущена в формате safetensors и совместима с инструментами, поддерживающими Llama. Она рассчитана на диалог, рассуждения и приложения с низкой задержкой, в том числе развёртывание на устройстве. Контекст составляет 32 768 токенов. Модель обучалась на синтетических и публичных данных с последующим supervised fine-tuning и оптимизацией RLOO с модельными и основанными на правилах наградами. Основной язык — английский; модель в некоторой степени понимает и использует другие языки. По сведениям README, она уступает в задачах, требующих обширных знаний, и для них рекомендуется подключать веб-поиск. Обучение и выравнивание не были обширными, а рассуждения на английском при запросах на других языках могут ухудшать качество ответа. Лицензия — Apache 2.0.

Replete-Coder-Qwen2-1.5B-GGUF — квантованная GGUF-версия модели Replete-Coder-Qwen-1.5b, разработанной Replete-AI на базе Qwen/Qwen2-1.5B. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с различными уровнями квантования, включая Q8_0, Q6_K и Q5_K_M. Модель предназначена для генерации текста и решения задач программирования: написания и объяснения кода, следования инструкциям, работы с математическими задачами, вызова функций и ответов в формате диалога. Обучение проводилось на наборах данных с примерами кода, инструкций, математических задач, диалогов, function calling и анализа уязвимостей. Поддерживается специальный шаблон prompt в формате ChatML. Точная длина контекста и перечень языков программирования в README не указаны. Ключевое преимущество модели — небольшой размер около 1,5 млрд параметров и возможность локального запуска через llama.cpp в разных вариантах квантования. Более высокие разрядности ориентированы на максимальное сохранение качества, а Q6_K и Q5_K_M отмечены как рекомендуемые. Ограничениями являются небольшой размер по сравнению с крупными кодовыми моделями, отсутствие опубликованных численных результатов тестирования и неполные сведения о поддерживаемых языках и контексте. Модель распространяется по лицензии Apache-2.0.

Replete-LLM-Qwen2-7b-GGUF — набор GGUF-квантизаций модели Replete-LLM-Qwen2-7b, опубликованный и подготовленный квантизатором bartowski. Базовая модель разработана Replete-AI; в README указано, что квантизация выполнена с помощью llama.cpp release b3509 и метода imatrix. Модель предназначена для генерации текста и использования в локальных средах, включая LM Studio, с применением указанного шаблона prompt format. Это текстовая авторегрессионная модель семейства Qwen2 с заявленным размером 7 млрд параметров и поддержкой английского языка. Доступны варианты от F32 размером 30,47 ГБ до сильно сжатых IQ2_M размером 2,78 ГБ, включая форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что может повышать качество, но эффект зависит от сценария. Сильные стороны набора — широкий выбор размера файлов и компромисса между качеством и требованиями к памяти, а также совместимость с llama.cpp и LM Studio. Ограничения включают потенциальное снижение качества в низкобитных вариантах и отсутствие в README подробных данных о контекстном окне, точной архитектуре, мультимодальности и результатах бенчмарков. Лицензия — Apache-2.0; в метаданных также указано, что модель связана с датасетом Replete-AI/Everything_Instruct_8k_context_filtered.

kcoopermiller/reyna-qwen-l2 — языковая модель для генерации текста, созданная объединением весов Qwen/Qwen1.5-0.5B и aloobun/Reyna-Mini-1.8B-v0.2 методом passthrough с помощью mergekit. Она использует плотную архитектуру Qwen2ForCausalLM, содержит 463,9 млн параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и экспериментов с чат-моделями; работает через библиотеку Transformers и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

Это текстовая генеративная модель семейства Llama с плотной архитектурой LlamaForCausalLM, размещённая пользователем pxyyy на Hugging Face. В репозитории указаны веса в формате safetensors; модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста. Карточка не описывает специальные сценарии применения, обучение, базовую модель, поддерживаемые языки или лицензию, поэтому её пригодность для конкретной задачи и условия использования следует проверять отдельно. README автоматически сгенерирован и не содержит сведений о качестве, обучающих данных и ограничениях.

ruadapt_mistral_7b_v0.1 — русская адаптация Mistral-7B, созданная дообучением модели mistralai/Mistral-7B-v0.1 на русскоязычном корпусе объёмом 33 ГБ. В работе заменили токенизатор, обучили эмбеддинги и языковую голову, а затем применили LoRA к линейным слоям первых и последних четырёх слоёв трансформера и настроили нормализации. Архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров; максимальная длина контекста — 32 768 токенов. Модель предназначена для генерации текста на русском языке и адаптации задач генерации к русскоязычным данным. Обучение было прервано после 0,8 эпохи; автор сообщает, что метрики на нескольких наборах данных немного хуже, чем у исходной модели. Доступна в формате PyTorch, лицензия — Apache-2.0.

RWKV 14B WizardLM LoRA — дообученная с помощью LoRA модель семейства RWKV, созданная iwalton3 на основе WizardLM. Она предназначена для генерации текста и ответов на инструкции. В README указаны ранг LoRA 32, alpha 64, три эпохи обучения и контекст 1024 токена; обучение проводилось на наборе WizardLM Alpaca Evol Instruct 70k Unfiltered. В метаданных репозитория указано 1,5 млрд параметров и формат PyTorch. Модель рассчитана на текстовые запросы и выдаёт текст. Лицензия весов — Apache-2.0, однако README предупреждает, что лицензия обучающих данных может быть более ограничительной, а ответы могут быть вредными, в том числе без соответствующего запроса. Следует учитывать эти риски при использовании и проверять условия применения данных.

Fulcrum-AI/Ryze — разговорная языковая модель Fulcrum AI на архитектуре Mistral, созданная слиянием предварительно обученных моделей методом Model Stock с помощью mergekit. В слияние вошли варианты Mistral-7B, включая Dolphin, Hermes, Zephyr, OpenHermes и OpenOrca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалогах: она может отвечать на запросы и поддерживать беседу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о поведении модели, поэтому пригодность для конкретных задач следует проверять отдельно.