II.1Анализ требований и архитектура ПО
В разделе собраны самостоятельные задачи, где AI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
18 191 модельQwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF — специализированная текстовая модель, разработанная DavidAU на базе Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored. Она объединяет 12 дистиллированных экспертных моделей, включая модели закрытого и открытого исходного кода, в архитектуре Mixture of Experts. Версия является uncensored/abliterated: отдельные эксперты обработаны с использованием Heretic для удаления отказов и ограничений. Модель распространяется в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, математики, программирования, ответов на вопросы и творческого письма, включая создание художественных историй, сцен, сюжетов, научной фантастики, романтики и контента для взрослой аудитории. Пользователь может указывать в запросе имена экспертов или их группы, например Gemini, Claude, GPT51, Kimi, GLM, AllAI, Closed-AI или Open-AI, чтобы управлять выбором активных компонентов. Заявлены контекст до 256 тысяч токенов и одновременная активация двух экспертов по умолчанию; всего доступно до 12 экспертов. Модель поддерживает запуск на CPU и частичную выгрузку с GPU. В README не указаны точный список языков, детальные параметры архитектуры и результаты стандартизированных тестов. Для приемлемой работы рекомендуются квантизации не ниже Q4_KS или IQ3_M, контекст от 4–8 тысяч токенов и температура около 0,7; увеличение числа активных экспертов снижает скорость генерации, а разные эксперты могут давать существенно различающиеся результаты.
Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.
DavidAU/Qwen3.5-13B-GLM-4.7-Flash-DeepSeek-Polaris-Grande-Deep-Thinking — дообученная на базе Qwen/Qwen3.5-9B мультимодальная модель семейства Qwen3.5, опубликованная в формате Safetensors для Transformers. Автор описывает её как объединение и масштабирование двух дообученных дистиллятов с последующим обучением на примерах GLM-4.7-Flash; заявлены 48 слоёв, диалоговый режим, работа с изображениями и интерфейс вызова инструментов. Модель предназначена для следования сложным инструкциям, рассуждений, написания художественных текстов и диалогов, программирования и сценариев с инструментами. В карточке приведён пример генерации сцены ужасов, но он не является независимой оценкой качества. Автор также сообщает об исправлениях шаблона диалога для уменьшения повторов и циклов и улучшения обработки инструментов. Языковые теги карточки указывают английский и китайский. Лицензия — Apache-2.0. Размер в 13 млрд параметров заявлен в README; метаданные при этом связывают модель с базовой Qwen3.5-9B.
Qwen3.5-397B-A17B-VQ-3.1bpw — векторно-квантизированная сборка базовой модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist для запуска в экосистеме MLX на машинах Apple Silicon. Модель предназначена для генерации текста, а после исправления от 19 сентября 2026 года также поддерживает обработку изображений через mlx-vlm. В метаданных указан английский язык, однако полный набор поддерживаемых языков и максимальный размер контекста не приведены. Сборка использует vector quantization с эффективностью 3.1 бита на параметр, размер весов составляет около 143,7 GiB. Указана архитектура с MoE-экспертами, а также плоская конфигурация d4/K2048; дополнительные сведения о числе активных параметров и точной архитектуре не раскрыты. По измерениям авторов, модель показывает perplexity 2,3410 на Wikitext и 2,5963 на смешанном наборе для кода, превосходя приведённую 3.5-битную сборку по Wikitext и находясь с ней на сопоставимом уровне по коду. Главные ограничения — очень высокие требования к памяти, необходимость совместимого runtime и зависимость от специальных загрузчиков. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии 0.6.16 или новее; устаревшие версии могут не загрузить модель. Это квантизированная сборка, поэтому её характеристики могут отличаться от исходной модели, а заявленные результаты относятся к конкретному артефакту и методике измерений. Лицензия Apache-2.0.
llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic-GGUF — GGUF-квантизация модели, разработанная независимым автором llmfan46 на базе llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic. В README также указано использование набора данных TeichAI/claude-4.5-opus-high-reasoning-250x. Точные сведения о методе обучения и конкретных параметрах квантизации не приведены. Модель предназначена для диалогов, программирования, творческого письма, генерации и продолжения сюжетов, ролевых сценариев, а также работы с различными жанрами художественного текста. Заявлены английский и китайский языки. Модель относится к reasoning-моделям: по умолчанию она использует режим пошагового рассуждения с токенами <think>, при этом поддерживается instruct-режим без рассуждений через настройку chat template или параметров инференса. В README заявлена мультимодальная архитектура Qwen3.5 с поддержкой текста, изображений и видео, а pipeline обозначен как image-text-to-text. Указанный размер — 40B параметров. Среди сильных сторон заявлены высокое качество рассуждений, творческого письма и сниженное количество отказов по сравнению с исходной моделью. Ограничения включают отсутствие данных о размере контекстного окна, системных требованиях, точных характеристиках GGUF-файлов и результатах независимого тестирования; режим с уменьшенными отказами также может повышать риски небезопасной генерации. Лицензия указана как Apache-2.0.
Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.
TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.
Qwen3.8-27B-Abliterated-IQ4-MIX-MTP-GGUF — это GGUF-квантизация модели Qwen3.8-27B-Abliterated, разработанной windowsxp811203 на основе Qwen/Qwen3.8-27B. Модель предназначена для локальной генерации текста и высокопроизводительного инференса, включая агентские сценарии программирования, на GPU с 16 ГБ видеопамяти. Вариант поддерживает работу через llama.cpp и рассчитан на спекулятивное декодирование с использованием встроенной головы MTP (Multi-Token Prediction), поэтому отдельная draft-модель не требуется. Размер файла составляет около 13,26 GiB, эффективная точность — 4,17 BPW. Используется смешанная квантизация: основные группы тензоров представлены форматами IQ4_XS, IQ3_S и Q4_K, эмбеддинги — IQ2_S, выходной слой — Q5_K, а MTP-блоки сохранены в более высокой точности Q6_K и Q8_0 для поддержания качества черновой генерации и приемки токенов. Заявлена поддержка английского и китайского языков. В README не указаны архитектурные детали исходной модели и максимальный контекст, однако протестированы конфигурации с выделением контекста до 64K токенов. Сильные стороны модели — относительно небольшой размер для класса 27B, возможность полного размещения слоёв на GPU с 16 ГБ памяти и ускорение генерации за счёт MTP. На AMD Radeon RX 9070 XT в среде Windows с Vulkan и llama.cpp зафиксирована скорость около 49–50 токенов в секунду на коротком активном контексте, но при росте истории до 25–30 тысяч токенов скорость снижалась примерно до середины диапазона 20 токенов в секунду. Показатели зависят от оборудования, размера контекста и рабочей нагрузки. Модель распространяется по лицензии Apache-2.0.
Это семейство GGUF-квантизированных вариантов модели Qwen3.8-27B, опубликованное разработчиком MagicQuant и основанное на базовой модели Qwen/Qwen3.8-27B. Релиз предназначен для генерации текста и диалоговых сценариев, а также для локального запуска моделей через совместимое с GGUF программное обеспечение, включая инструменты llama.cpp. В набор входят гибридные конфигурации MagicQuant и варианты Unsloth с разными уровнями квантования — от MQ-Q6_K_1 и MQ-Q6_K_2 до MQ-IQ2_XXS_1. Размер файлов составляет примерно от 8,27 до 29,03 ГБ. README описывает сравнительное тестирование по метрике KLD и отбор конфигураций, показавших лучшие компромиссы между размером и сохранением характеристик исходной модели. Точные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях кроме текстовой генерации не указаны. Основные преимущества — широкий выбор размеров, возможность подобрать вариант под доступную память и сохранение качества при использовании более крупных квантов; однако степень потери качества зависит от выбранной конфигурации, а наиболее компактные варианты имеют существенно более высокий KLD. Условия распространения указаны как Apache-2.0.
timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.
TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.
Qwen3-8B-Deita-SFT-Teacher — дообученная модель генерации текста на основе Qwen/Qwen3-8B-Base, опубликованная hoangducanh1865. Для дообучения использован набор HuggingFaceH4/deita-10k-v0-sft; модель предназначена для диалоговой генерации текста и может служить основой для дальнейшей адаптации. Архитектура — плотная авторегрессионная Qwen3ForCausalLM на 7,6 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий содержит веса Safetensors для Transformers. Лицензия — Apache-2.0. Метаданные не уточняют поддерживаемые естественные языки и отдельные ограничения качества или применения.
Это самостоятельный чекпойнт генерации текста на архитектуре Qwen3, подготовленный автором репозитория ganscs на основе Qwen/Qwen3-8B-Base. Веса обученного LoRA-адаптера и обученные веса входных и выходных слоёв объединены с базовой моделью в формате BF16; для загрузки через Transformers отдельный PEFT-адаптер не нужен. Модель содержит 7,6 млрд параметров и поддерживает контекст до 32 768 токенов. Чекпойнт предназначен для продолжения предобучения и генерации текста в том числе в диалоговом режиме. В обучении использовался 4-битный вариант базовой модели, а готовый экспорт объединён с BF16-версией базы. Указанная в карточке ошибка валидации относится к исходному обучающему чекпойнту и не является новой оценкой качества этого экспорта. Проверка загрузки и генерации описана автором как smoke test. Лицензия — Apache-2.0.
Qwen3-gabliterated-image-generation — дообученная языковая модель компании goonsai-com на базе Goekdeniz-Guelmez/Qwen3-4B-Sky-High-Hermes-gabliterated. Это плотная причинная модель Qwen3 с 3,7 млрд параметров, рассчитанная на генерацию текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста составляет 262 144 токена. Модель обучали с использованием Unsloth и библиотеки TRL. Несмотря на название репозитория, README и метаданные описывают текстовую генеративную модель и не подтверждают создание изображений. Модель распространяется под лицензией Apache-2.0. Карточка не приводит сведений о качестве, обучающих данных или специальных ограничениях, поэтому пригодность для конкретных сценариев следует оценивать отдельно.
Qwen3-HereticLM-4B — плотная языковая модель семейства Qwen3, созданная Yamatazen с помощью слияния SLERP двух предварительно обученных моделей: yamatazen/Qwen3-4B-HereticCPT и heretic-org/Qwen3-4B-Instruct-2507-heretic. Модель содержит 3,7 млрд параметров, работает через Transformers и распространяется в формате safetensors; для слияния использованы веса bfloat16. Модель предназначена для генерации текста и диалоговых сценариев. В карточке базовой модели отмечены abliteration для снижения частоты отказов и поддержка длинного контекста; заявленная длина контекста составляет 262 144 токена. Основной язык и отдельные специализированные области применения в предоставленных данных не определены. Модель выпущена под лицензией Apache-2.0. Данные не содержат независимых оценок качества или подробностей о поведении конкретно этого слитого чекпойнта, поэтому результаты могут зависеть от запроса и способа использования.
Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Thinking-2507, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp версии b6096 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 4B параметров и ориентирована на сценарии, требующие локального текстового вывода при ограниченных ресурсах. Доступны варианты от BF16 до Q2 и различные форматы квантизации; рекомендованными названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают размер за счёт качества. Для работы используется шаблон промпта с секциями system, user и assistant, включающей тег <think>. Сильными сторонами являются локальный запуск, широкий выбор размеров файлов и оптимизация imatrix-квантизаций под llama.cpp. Ограничения связаны с потерей качества в более агрессивно сжатых вариантах, а также с тем, что в предоставленной карточке не указаны контекстное окно, поддерживаемые языки, точная архитектура, модальности и лицензия исходной модели или квантов. Условия распространения следует уточнять на странице оригинальной модели Qwen/Qwen3-4B-Thinking-2507.
Sakalti/QwenTies-3 — объединённая текстовая модель Sakalti, созданная методом TIES с помощью mergekit на основе Sakalti/light-7b-beta. Это плотная авторегрессионная модель семейства Qwen2 с 3,8 млрд параметров, предназначенная для генерации текста и диалогового общения; поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Модель подходит для генерации ответов в чатах и приложениях, где требуется создавать текст с учётом длинного контекста. README сообщает, что при слиянии использовалась только Sakalti/light-7b-beta, поэтому состав из нескольких различных моделей не подтверждается. Данных о целевых языках и специализированных областях применения нет.
R1-Qwen2.5-32B-Instruct-5k — дообученная pe-nlp модель на базе Qwen/Qwen2.5-32B-Instruct, обученная на наборе данных Sky-T1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Карточка не раскрывает конкретные сценарии обучения или результаты оценки, поэтому специализированные преимущества модели подтвердить нельзя. Лицензия указана как «other», без уточнения условий в доступных данных.
Rabbit-7B-DPO-Chat-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и viethq188/Rabbit-7B-DPO-Chat методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; заявленный контекст — до 32 768 токенов. Модель подходит для чат-ботов, диалоговых помощников и генерации ответов на текстовые запросы. Файлы опубликованы в формате safetensors, слитые веса указаны в bfloat16. Лицензия — Apache-2.0. Карточка не сообщает о поддерживаемых языках или специализированных областях применения.
Карточка модели rm8630/RajLlama-3.1-8B на Hugging Face совпадает с карточкой rm8630/RajLlama-3.1-8B-v3, поэтому описание составлено по ней. RajLlama-3.1-8B-v3 — чат-модель семейства Llama, разработанная rm8630 и дообученная на базе unsloth/Meta-Llama-3.1-8B-bnb-4bit. Она предназначена для генерации текста в диалогах и других сценариях, где требуется отвечать на текстовые запросы. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; обучение проводилось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.
RekaAI_reka-flash-3.1-GGUF — набор GGUF-квантизованных версий модели RekaAI/reka-flash-3.1, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; README также указывает формат промпта human: {system_prompt} {prompt} <sep> assistant:. Доступны варианты от исходных весов BF16 размером 41,82 ГБ до компактных квантований Q2 и IQ3 размером примерно от 9,18 ГБ, а также Q3, Q4, Q5, Q6 и Q8. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как рекомендуемый вариант общего назначения, а Q5 и Q6 — как высококачественные варианты. Некоторые форматы оптимизированы для определённых аппаратных платформ, включая Apple silicon, ARM и AVX CPU. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста исходной модели, поэтому эти характеристики нельзя достоверно указать. Ограничения связаны с потерями качества при низких уровнях квантования и значительными требованиями к памяти у крупных вариантов. Распространение указано по лицензии Apache-2.0.
Reka-Flash-3-21B-Reasoning-Uncensored-MAX-NEO-Imatrix-GGUF — текстовая reasoning-модель на базе RekaAI/reka-flash-3, опубликованная DavidAU. Она предназначена для локального текстового общения, решения задач и рассуждений, генерации и продолжения художественных текстов, ролевых сценариев, мозгового штурма и общего использования. Модель заявлена как uncensored и поддерживает function calling, однако подробности реализации этих возможностей в README не приведены. Модель имеет размер 21B параметров, работает в формате GGUF и рассчитана на контекст до 128k токенов. Доступен ряд квантованных вариантов от IQ1 до Q8; варианты с более высокой точностью обычно обеспечивают более качественные и быстрые рассуждения, но требуют больше памяти и вычислительных ресурсов. Варианты дополнительно обработаны с использованием NEO Imatrix и сохраняют BF16 для выходного тензора, что, согласно README, должно улучшать следование инструкциям, качество ответов и эффективность рассуждений. Для работы используются теги <reasoning> и </reasoning>, а системный промпт не является обязательным. Сильными сторонами заявлены стабильное рассуждение при разных значениях температуры, способность не зацикливаться и высокая эффективность оптимизированных квантов. При этом качество рассуждений напрямую зависит от выбранного уровня квантования: IQ1 ограничивает reasoning, а для сложных задач рекомендуются IQ3 и выше, особенно IQ4 или Q5–Q8. Низкие кванты требуют меньше ресурсов, но могут заметно уступать по качеству и скорости. Заявленный язык — английский. Модель распространяется по лицензии Apache-2.0.
ReWiz-Nemo-12B-Instruct — языковая модель theprint, дообученная на базе unsloth/Mistral-Nemo-Instruct-2407-bnb-4bit. Это плотная Mistral-модель с 12,1 млрд параметров для диалоговой генерации текста. При обучении часть данных была ориентирована на улучшение рассуждений, а другая — на снижение ограничений на ответы; использовались EvolKit-20k, reasoning-base-20k и данные WizardLM. Модель обучалась с Unsloth и библиотекой TRL. Модель подходит для диалогов и генерации ответов на запросы на английском языке. Метаданные указывают контекст до 1 024 000 токенов и интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0; для GGUF автор указывает отдельную публикацию. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но они сами по себе не гарантируют качество в конкретных сценариях.
uproai/ros-7b-v1 — объединённая языковая модель на архитектуре Mistral, опубликованная uproai. Согласно карточке, она собрана с помощью Mergekit из OpenPipe/mistral-ft-optimized-1227, cgato/Thespis-Mistral-7b-v0.6, saishf/West-Hermes-7B и NeverSleep/Noromaid-7b-v0.2; конфигурация описывает слияние методом SLERP. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст, а её контекст составляет до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев на базе Mistral. Карточка не уточняет целевые языки или специализированные области применения, поэтому их нельзя надёжно определить по доступным сведениям. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.
RuadaptQwen2.5-32B-QWQ-Beta — русскоязычная инструктивная версия Qwen/QwQ-32B от RefalMachine. Модель семейства Qwen2 с плотной архитектурой и 32 млрд параметров дообучена продолжением предобучения на русскоязычном корпусе; авторы также заменили токенизатор и применили LEP (Learned Embedding Propagation). Репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов, генерации текста и решения задач с рассуждениями. По заявлению авторов, новый токенизатор повышает скорость генерации русскоязычного текста до 60% относительно исходной Qwen/QwQ-32B при сравнении одинаковых последовательностей. Поддерживается контекст до 131 072 токенов; модель рассчитана в первую очередь на русский язык. Указана лицензия Apache-2.0. В README перечислены оценки на Ru-Arena-General, MERA и llmtf_open, однако результаты не приведены, поэтому качество по этим тестам оценить нельзя. Авторы также предупреждают, что ответы отражают данные обучения и могут содержать их предубеждения.
Saba2.1-Preview — языковая модель Sakalti с архитектурой Qwen2 и 1,5 млрд параметров, дообученная на основе Sakalti/Saba2-Preview. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 200 000 токенов и ориентирована на английский язык. Весовые файлы опубликованы в формате safetensors. Модель доступна по лицензии Apache-2.0. README указывает на обучение с Unsloth и библиотекой TRL.
Sakalti/SakalFusion-7B-Alpha — текстовая языковая модель, созданная методом Model Stock из предварительно обученных моделей с помощью mergekit. В объединение вошли AIDC-AI/marco-o1 и rombodawg/Rombos-LLM-V2.5-Qwen-7b, а базой служила Qwen/Qwen2.5-7B. Модель имеет плотную архитектуру Qwen2, 7,1 млрд параметров и работает через библиотеку Transformers; веса представлены в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Заявленная длина контекста — до 131 072 токенов. Метаданные карточки перечисляют поддержку английского, китайского, русского и других языков, включая французский, немецкий, испанский и японский. Указана возможность интерфейса вызова инструментов, но специальных гарантий его совместимости или качества карточка не приводит. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя. Как результат слияния нескольких моделей, качество может различаться между задачами и языками; отдельные оценки или результаты тестирования для этой версии в карточке не приведены.
SeverusWestLake-7B-DPO — языковая модель на архитектуре Mistral, созданная объединением моделей FelixChao/Sectumsempra-7B-DPO и cognitivecomputations/WestLake-7B-v2-laser с помощью mergekit и метода SLERP. Модель содержит 7,1 млрд параметров и принимает текст для генерации текста; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговых сценариев, ответов на вопросы, написания и продолжения текста, а также задач рассуждения. В README приведены результаты Open LLM Leaderboard, включая средний балл 75,42, но они не гарантируют качество на конкретных прикладных задачах. Языковая поддержка отдельно не описана. Репозиторий распространяется по лицензии MIT.
sfm_filtered_midtrain_alignment-7k_8k_9k_weightedavg_merge — объединённая языковая модель, созданная с помощью mergekit. В качестве базовой использована версия чекпойнта global_step9000; в слияние также вошли global_step8000 и global_step7000. Применён линейный метод слияния. Модель основана на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и использует формат safetensors. Она предназначена для генерации текста и диалогового взаимодействия, поддерживает контекст длиной до 16 384 токенов. Условия лицензии и сведения о конкретных поддерживаемых естественных языках в предоставленных данных отсутствуют.
QuantFactory/Skywork-o1-Open-Llama-3.1-8B-GGUF — квантизированная версия модели Skywork o1 Open-Llama-3.1-8B, созданная с использованием llama.cpp. Исходную модель разработала команда Skywork компании Kunlun Inc.; она основана на Meta-Llama-3.1-8B-Instruct и дообучена на данных в стиле «медленного мышления». Версия в этом репозитории предназначена для запуска в формате GGUF с использованием совместимых инструментов llama.cpp. Модель ориентирована на диалоги, генерацию текста и решение задач, требующих рассуждений: математики, программирования, логики, здравого смысла, этических решений и распознавания логических ловушек. Заявленные особенности включают планирование, пошаговое рассуждение, саморефлексию и самопроверку. В разработке применялись многоагентная генерация данных, непрерывное предварительное обучение, supervised fine-tuning, обучение с подкреплением с использованием process reward model и алгоритмы поиска рассуждений. Известный размер исходной модели — 8B параметров; архитектура и набор поддерживаемых языков в предоставленных данных отдельно не указаны. Квантизация может снизить требования к ресурсам и упростить локальный запуск, но конкретные варианты квантизации и их влияние на качество зависят от файлов, доступных в репозитории. Модель ориентирована прежде всего на задачи рассуждений, однако заявленные преимущества основаны на описании разработчиков, а ограничения и результаты независимых проверок не приведены. Лицензия указана как other, поэтому точные условия использования необходимо уточнять в исходном репозитории и сопутствующих материалах.