II.3Рефакторинг, миграция и модернизация

Карточка модели mastema007/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A1.5B-64K-High-Speed-NEO-Imatrix-MAX-gguf — это GGUF-версия модели, подготовленная DavidAU на основе Qwen3-30B-A3B от команды Qwen. Модель использует архитектуру mixture-of-experts: всего 30 млрд параметров, 128 экспертов, из которых автоматически активируются 4, что соответствует примерно 1,5 млрд активных параметров на запрос. По заявлению автора, такая конфигурация почти вдвое повышает скорость по сравнению со стандартным вариантом с 8 активными экспертами и снижает требования к вычислительным ресурсам. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, решения задач, рассуждений и использования инструментов. Она поддерживает контекст до 64K токенов благодаря применению YARN и может работать через CPU и RAM, GPU или их комбинацию. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Для интеграции рекомендуется использовать Jinja или ChatML template. Сильные стороны модели — высокая скорость инференса, большой контекст, возможность работы на разных типах оборудования и специализированные NEO Imatrix-квантизации, оптимизированные для Qwen3. Автор отмечает отсутствие заметной потери функциональности при обычном, но не исчерпывающем тестировании; при этом более сложные задачи могут лучше выполняться стандартной моделью или версиями с большим числом активных экспертов. Качество и скорость зависят от выбранного типа квантизации: более компактные варианты быстрее и экономичнее, но могут уступать по качеству. Лицензия в предоставленном README не указана.

llmfan46/Qwen3.5-35B-A3B-ultra-uncensored-heretic — мультимодальная разговорная модель, созданная независимым автором на основе Qwen3.5-35B-A3B от Alibaba. Это дообученная версия с методом abliteration: по приведённому в карточке тесту она реже отказывает в ответах, при этом сохраняет близость к поведению исходной модели по метрике KL divergence. Модель принимает текст и изображения и формирует текстовые ответы; её можно использовать для диалога, анализа изображений, рассуждений и сценариев с вызовом инструментов. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров всего и примерно 3 млрд активных параметров. Исходная модель поддерживает контекст до 262 144 токенов с возможностью расширения; карточка производной модели отдельно не подтверждает изменения этого предела. README указывает поддержку 201 языка и диалекта для семейства Qwen3.5, но не уточняет, насколько полно она сохранена в этой версии. Формат весов — Safetensors; заявлена совместимость с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

Avesed/Qwen3.6-35B-A3B-INT4-W4A16 — это квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Avesed. Модель предназначена для генерации текста, решения математических и академических задач, рассуждений и многоязычных сценариев на английском и китайском языках. В README также указано наличие vision tower и MTP head, однако подробности поддерживаемых мультимодальных сценариев не приведены. Это гибридная Mixture-of-Experts-модель с 256 экспертами, из которых для каждого запроса активируются 8; суммарный размер составляет около 35B параметров, а активная часть — около 3B. Архитектура использует GatedDeltaNet для линейного внимания. Основная особенность версии — weight-only-квантизация AWQ до INT4 в формате W4A16 с group_size 32: квантизированы экспертные FFN, тогда как чувствительные к качеству компоненты, включая self-attention, роутер, shared expert, GatedDeltaNet, эмбеддинги, lm_head, vision tower и MTP head, сохранены в bf16. Заявленные результаты составляют 96,8% на GSM8K и 80,2% на MMLU-Pro. Модель ориентирована на эффективный инференс через vLLM; для запуска требуется конфигурация с tensor parallelism, а на Ampere доступен режим W4A8 с INT8-активациями через специализированную сборку vllm-ampere-optimized. Ограничениями являются зависимость от совместимого программного стека и аппаратного ускорения, а также возможное снижение качества из-за квантизации; размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF — GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанные независимым автором LLMfan46 на базе модели llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic. Модель предназначена для генерации текста, задач рассуждения, работы с длинным контекстом, function calling и tool use, а также агентских, кибербезопасностных и биомедицинских сценариев. Заявлена поддержка английского языка и контекста до 1M токенов; библиотека — Transformers. Архитектура и точные параметры квантизации в README не указаны, однако размер базовой модели составляет 9B параметров. Это декензурированная версия, полученная с помощью Heretic v1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), применённого к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась до 11 из 100 против 73 из 100 у исходной модели, при KL divergence 0,0123; при этом заявлено сохранение качества. В тесте MMLU исходная модель показала точность 77,03%, но отдельные результаты именно этой версии не приведены. Сниженная склонность к отказам может быть полезна для исследовательских и специализированных сценариев, но также повышает риски небезопасной генерации, поэтому необходимы контроль применения и проверка результатов. Модель распространяется по лицензии Apache-2.0.

T-lite-it-2.1-GGUF — русскоязычная текстовая генеративная модель, разработанная t-tech. Это конвертация модели T-lite-it-2.1 из BF16 в формат GGUF с использованием llama.cpp, предназначенная для локального запуска через llama.cpp и Ollama. Модель построена на архитектуре Qwen 3 и ориентирована на универсальные задачи генерации текста, следование инструкциям, сложные рабочие процессы и агентские приложения. В отличие от T-lite-it-1.0, она поддерживает tool calling и, согласно описанию, превосходит Qwen3-8B в сценариях вызова инструментов. Оптимизированный токенизатор повышает пропускную способность генерации русского текста. Поддерживается русский язык. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. Доступны квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q5_0 и Q4_K_M размером примерно от 5,0 до 8,7 ГБ без учёта выгрузки на GPU. Качество и требования к памяти зависят от выбранной квантизации; рекомендуется использовать наиболее качественный вариант, помещающийся в доступной RAM или VRAM. В README не указаны точный размер базовой модели, число параметров, полный набор поддерживаемых языков и официальное максимальное контекстное окно. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что ответственность за дополнительное обучение, контроль качества, безопасность и применение модели в промышленных или коммерческих системах несёт пользователь.

Calme-Instruct-Extended — объединённая разговорная языковая модель семейства Mistral, созданная с помощью mergekit на основе MaziyarPanahi/Calme-7B-Instruct-v0.1.1. Она предназначена для генерации текста и диалогового взаимодействия; может использоваться для ответов на вопросы, составления текстов и ведения чата. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Experiment28M7_YamshadowT3q — объединённая языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/YamshadowT3q-7B. Она предназначена для генерации текста и может использоваться для составления ответов на запросы, в том числе математические. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.

granite-4.2-3b-GGUF — это квантованная версия языковой модели granite-4.2-3b, разработанной IBM (ibm-granite) и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, диалоговых сценариев и вызова инструментов. Она принимает только текстовые данные и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель содержит около 4 млрд параметров. Квантование выполнено с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантов размером примерно от 1,57 до 7,32 ГБ. В README не указаны архитектура и размер контекстного окна, а speculative decoding не поддерживается. Более компактные варианты экономят оперативную память, но могут снижать качество; Q4_K_M обозначен как сбалансированный вариант для большинства сценариев, а Q5–Q6 — как варианты с более высоким качеством. Модель распространяется по лицензии Apache-2.0. Для корректной работы рекомендуется использовать указанный шаблон prompt с секцией рассуждений <think> и совместимый рантайм llama.cpp.

LeoScorpius-GreenNode-Platypus-7B-v1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и ignos/LeoScorpius-GreenNode-Platypus-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит оценки качества или подробных ограничений, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Apollo Raines представляет эту модель как вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze для усиления следования контексту и аналитического рассуждения. По README, изменения внесены непосредственно в веса без дополнительного обучения; метаданные каталога классифицируют происхождение как дообучение. Модель предназначена для диалоговой генерации текста и анализа предоставленных материалов с опорой на контекст. Она может отвечать на вопросы, объяснять вычисления и писать код; карточка также указывает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM, распространяется в формате safetensors, имеет 7,5 млрд параметров по метаданным и контекст до 131 072 токенов. В карточке указан английский язык; базовая Llama 3.1 8B Instruct описана как многоязычная. Автор предупреждает, что публичная версия намеренно ослаблена и выпущена как демонстрация возможностей jBlaze. Лицензия — llama3.1.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — крупная языковая модель для генерации текста, разработанная NVIDIA на основе Llama 3.1 Nemotron 70B Instruct. Представленная версия распространяется в формате GGUF; квантизация выполнена bartowski с использованием llama.cpp версии b3901. Модель ориентирована на повышение полезности ответов на пользовательские запросы и предназначена для диалоговых приложений, ассистентов и других сценариев текстовой генерации. Модель содержит 70 миллиардов параметров, поддерживает контекст длиной до 128 тысяч токенов и предназначена прежде всего для работы с английским языком. В README указана специализация на текстовой модальности и приведены результаты оценки: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 и GPT-4-Turbo MT-Bench — 8,98. В качестве набора данных указан NVIDIA HelpSteer2. К сильным сторонам относятся большой контекст, высокая заявленная полезность ответов и возможность использования GGUF-версии в совместимых инструментах локального запуска. Модель может генерировать неточные, вредные или неподходящие ответы, а README не содержит подробностей о требованиях к аппаратному обеспечению и конкретном варианте квантизации. Лицензия указана как llama3.1; условия её применения следует проверять в исходной карточке модели NVIDIA.

Llama-3-Groq-70B-Tool-Use-GGUF — набор GGUF-квантизаций модели Llama-3-Groq-70B-Tool-Use, опубликованный bartowski на основе исходной модели Groq. Модель предназначена для генерации текста, использования инструментов и function calling, включая сценарии, где языковая модель взаимодействует с внешними функциями или сервисами. Указан английский язык. Модель относится к семейству Llama 3 и имеет размер 70B параметров. README не содержит сведений о точной архитектуре, длине контекста или поддержке мультимодальности; по указанным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Доступны варианты квантизации от F32 до Q2_K и IQ2_M с размерами файлов примерно от 24 до 282 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio; предусмотрен специальный prompt format на основе шаблона Llama 3. Сильными сторонами являются специализация на tool use и function calling, а также широкий выбор уровней квантизации, включая варианты Q4–Q6, ориентированные на высокое качество при меньшем размере. Ограничениями выступают большие требования к оперативной или видеопамяти даже у квантизированных вариантов и возможное снижение качества при низких уровнях квантизации. Модель распространяется по лицензии llama3; README не уточняет дополнительные условия лицензии.

Neurona 8B Beta — предварительная экспериментальная языковая модель на основе Meta Llama 3, разработанная Икером Гарсией. Это плотная авторегрессионная модель с 7,5 млрд параметров, дообученная для диалоговых ответов преимущественно на испанском языке. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель обучалась на смешанном наборе англоязычных и испаноязычных данных, включая инструкции, диалоги, перевод, суммаризацию, вопросы и ответы, код и function calling. В README перечислены возможные сценарии применения: ответы на вопросы, суммаризация, помощь с кодом, RAG и вызов функций. Для работы используются Transformers и формат safetensors. Автор отмечает, что это первая итерация для отладки обучающих скриптов и инфраструктуры, а модель ещё разрабатывается и не является финальной версией. Лицензия — Llama 3; применимость её условий следует оценивать вместе с условиями базовой модели.

Marlowe-22B R1.5 — модель генерации текста с рассуждениями, созданная devvexus на основе Qwen3.8-27B. Разработчик удалил 12 линейно-аттенционных слоёв из исходной 27,32-миллиардной модели и восстановил часть потерь знаний дистилляцией и целевым дообучением. В репозитории опубликован GGUF-файл с квантизацией Q4_K_M; адаптер LoRA объединён с весами. Модель содержит 22,30 млрд параметров и 52 слоя, включая 36 слоёв DeltaNet и 16 слоёв полного внимания. Модель предназначена для диалогов и генерации текста с рассуждениями, в том числе инженерных и научно-технических задач. По описанию разработчика, сокращённая модель сохраняет 94,8% проверенных фактов родительской модели и рассчитана на запуск целиком на потребительском GPU с 16 ГБ памяти при Q4_K_M. Для запуска приведена конфигурация llama.cpp с контекстом 32 768 токенов и квантованием KV-кэша. В карточке указаны английский язык и лицензия Apache-2.0. Модель сохраняет часть возможностей Qwen3.8-27B, но её зрительная башня удалена, поэтому этот вариант предназначен для работы с текстом, а не с изображениями или видео. Разработчик отмечает сохраняющийся разрыв с исходной моделью в физике, статистике, информатике и вычислениях с вращениями и тригонометрией.

MetaMath-Cybertron-Starling-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель, созданная на основе mistralai/Mistral-7B-Instruct-v0.2 и Q-bert/MetaMath-Cybertron-Starling. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.2 — диалоговая инструкцияязычная модель семейства Mistral, разработанная Mistral AI. Это плотная причинная языковая модель на 7,1 млрд параметров для генерации текста и ответов на запросы в формате чата; для работы с ней в README приведены примеры токенизации и инференса через mistral-common и mistral-inference. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса PyTorch в формате safetensors и распространяется по лицензии Apache-2.0. Карточка характеризует её как быструю демонстрацию возможностей дообучения базовой модели. В README отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут не соблюдать ограничения безопасности и требуют соответствующей защиты при развёртывании.

zetasepic/Mistral-Small-Instruct-2409-abliterated — производная версия Mistral-Small-Instruct-2409, созданная автором репозитория с применением метода «abliteration». Это плотная инструкционная языковая модель семейства Mistral на 22 млрд параметров с архитектурой MistralForCausalLM, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова функций. Модель принимает текст и рассчитана на контекст до 32 768 токенов. Карточка сообщает об использовании кода для abliteration, но не описывает процедуру, результаты, языковое покрытие или ограничения этой версии. Базовая модель — mistralai/Mistral-Small-Instruct-2409. Файлы представлены в формате safetensors; указанная библиотека — Transformers. Лицензия в предоставленных данных не приведена.

Nous Hermes 2 Mixtral 8x7B DPO — диалоговая языковая модель Nous Research, дообученная на базе Mixtral 8x7B с помощью SFT и DPO. Она использует разреженную архитектуру Mixture of Experts (MoE); в репозитории указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, следования инструкциям и многошагового диалога. Она обучалась на более чем миллионе примеров, преимущественно созданных GPT-4, а также на данных из открытых наборов. Для диалога применяется формат ChatML с системными инструкциями и шаблоном чата Hugging Face. Карточка приводит результаты нескольких бенчмарков и сообщает об улучшении относительно базовой Mixtral и Mixtral Instruct. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Для запуска в 4-битном режиме README указывает потребность более чем в 24 ГБ видеопамяти; фактические требования зависят от конфигурации и способа запуска.

Open-Instruct Flan V2 13B — плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями Allen Institute for AI на наборе инструкций Flan V2. Она предназначена для генерации ответов на инструкции и общих текстовых запросов. Модель принимает текст и выдаёт текст; для работы ожидается форматирование входа по шаблону из карточки, а максимальная длина контекста составляет 2048 токенов. В карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель опубликована как diff: для восстановления весов требуется исходная модель LLaMA в формате Hugging Face. Лицензия определяется лицензией AI model, приложенной к репозиторию, и исходной лицензией LLaMA.

Это набор GGUF-квантизаций модели Qwen2.5-1.5B-Instruct, опубликованный пользователем duyntnet и основанный на модели Qwen от Alibaba Cloud. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Запуск поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв, 12 attention heads для Q и 2 для KV с GQA. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, возможность локального запуска в формате GGUF, улучшенное следование инструкциям, работа с длинными текстами и структурированными ответами, а также многоязычность. Ограничения связаны с относительно небольшим масштабом в 1,5 млрд параметров и с тем, что README не содержит результатов бенчмарков или подробностей конкретных квантизаций. Лицензия указана как other, без уточнения условий использования, поэтому их следует проверять в исходной карточке и связанных материалах Qwen.

Qwen2.5-7B-Instruct-MLX-8bit — это 8-битная MLX-квантизация инструкционной языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантизацию подготовил bartowski на основе примеров MLX от Apple, а распространение модели поддерживается сообществом LM Studio. Модель предназначена для генерации текста и диалоговых сценариев на совместимых компьютерах Apple Silicon. Модель имеет около 7 миллиардов параметров и работает с текстом. Она поддерживает контекст до 32 тысяч токенов и генерацию до 8 тысяч токенов, а также заявленную работу более чем с 29 языками, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Среди отмеченных возможностей — обработка и генерация структурированных данных. К сильным сторонам относятся многоязычность, поддержка длинного контекста и адаптация для эффективного запуска через MLX на Apple Silicon. Ограничениями являются зависимость от платформы Apple Silicon и возможные потери качества, связанные с 8-битной квантизацией; конкретные результаты тестирования в README не указаны. Модель распространяется по лицензии Apache 2.0.

Карточка модели ponyseoyeonkm/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.