II.3Рефакторинг, миграция и модернизация

MagiSeek-Pro-V1 — текстовая генеративная модель, опубликованная groxaxo. Это плотная модель архитектуры Mistral с 23,4 млрд параметров, представленная в формате Transformers как объединённые веса bf16 на основе WarlordHermes/Magidonia-24B-v4.3-creative-ORPO. Контекстное окно составляет до 131 072 токенов; модель принимает текст и генерирует текст, а чат-шаблон поддерживает диалоговый формат и вызовы инструментов. Модель предназначена для следования инструкциям, творческого письма, рассуждений с длинным контекстом и агентных сценариев с инструментами. По README, её обучали в несколько этапов с использованием QLoRA и затем объединили адаптеры с базовыми весами; финальный этап продолжал обучение на примерах рассуждений в стиле DeepSeek. Репозиторий позиционируется как чекпойнт для оценки, экспериментов и инференса в совместимых средах. Лицензия — Apache 2.0. Заявленные в карточке результаты MMLU составляют 0,7433 в целом, 0,7172 для STEM и 0,6486 для гуманитарных дисциплин. Это генеративная модель, поэтому ответы могут быть неточными; качество вызова инструментов и длинноконтекстных сценариев следует проверять на конкретных задачах. Полные веса bf16 требуют значительных ресурсов, особенно при использовании длинного контекста.

StanFurrer/merlinite-7B-slerp — объединённая языковая модель, созданная Stan Furrer с помощью LazyMergekit. Она сочетает веса ibm/merlinite-7b и mistralai/Mistral-7B-Instruct-v0.2 методом slerp и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов, распространяется в формате safetensors; в конфигурации слияния указан тип данных bfloat16. README не сообщает о специализированной предметной области или дополнительных модальностях. Лицензия в предоставленных данных не указана.

Mistral-7B-Instruct-v0.2-expanded — разговорная языковая модель, созданная Arcee AI на основе mistralai/Mistral-7B-Instruct-v0.2. Авторы расширили блоки модели с помощью метода passthrough из mergekit: после каждого пятого слоя добавлен новый слой, в котором параметры o_proj и down_proj инициализированы нулями по подходу LLaMA Pro. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; использовать модель можно через библиотеку Transformers. Лицензия в предоставленных данных не указана.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Qwen2.5-14B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой llama.cpp и LM Studio. В README указана поддержка английского языка и текстовая модальность. Модель содержит 14 миллиардов параметров в исходной версии; доступно множество вариантов квантизации от F16 до Q2_K_L, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 6,53 до 29,55 ГБ. Для диалогов используется шаблон с ролями system, user и assistant. Точная длина контекста в README не указана, сообщается лишь об обновлении настроек контекста и токенизатора. Сильная сторона модели — возможность локального запуска при сохранении нескольких вариантов качества, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов; варианты Q2 и Q3 описаны как низкокачественные или предназначенные для ограниченного объёма памяти. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-7B-Instruct-1M-GGUF — GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на базе llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, а также для задач, требующих обработки очень больших текстовых контекстов. Модель имеет около 7 миллиардов параметров и поддерживает контекст длиной до 1 миллиона токенов. Она сохраняет возможности работы с короткими запросами и оптимизирована для задач с длинным контекстом. В README указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Для последовательностей длиннее 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Модель распространяется по лицензии Apache-2.0. Формат GGUF и совместимость с llama.cpp ориентированы на локальный запуск в инструментах, поддерживающих этот формат, включая LM Studio. README не содержит подробностей о конкретных вариантах квантования, требованиях к аппаратным ресурсам и результатах бенчмарков.

Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated — текстовая генеративная модель DavidAU, созданная методом Triple Cubed на основе нескольких моделей рассуждения семейства Qwen. По данным карточки, в её состав вошли QwQ-32B, TinyR1-32B-Preview и DeepSeek-R1-Distill-Qwen-32B; каталог указывает связи с тремя моделями huihui-ai. Архитектура — плотная Qwen2, класс Qwen2ForCausalLM, размер — 35,9 млрд параметров, формат весов — safetensors, контекст — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, пошагового рассуждения, планирования, решения задач, подробных объяснений, творческого письма и мозговых штурмов. Автор отмечает, что версия Triple Cubed рассчитана на более глубокое рассуждение и детальную генерацию, а также допускает широкий диапазон температуры. В метаданных указаны интерфейс чата и интерфейс вызова инструментов. Модель обозначена как abliterated и uncensored, поэтому может выдавать контент без обычных отказов. README рекомендует использовать шаблон ChatML; настройки генерации, включая температуру, могут заметно влиять на результат. Карточка не сообщает конкретные языки обучения или гарантии качества. Условия лицензии в предоставленных данных не указаны.

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2 — модель, разработанная Jackrong на базе Qwen/Qwen3.5-4B. Это вторая версия reasoning-ориентированной дообученной модели, созданная с использованием SFT и LoRA через Unsloth на более чем 14 000 образцов рассуждений в стиле Claude 4.6 Opus. Модель не является Claude, а использует дистиллированные шаблоны рассуждений. Модель предназначена для математики, текстовых задач, логического вывода, общих знаний, выполнения инструкций и переноса рассуждений на программирование и другие многошаговые задачи. Основной акцент сделан на экономичности reasoning: по сравнению с официальной Qwen3.5-4B модель формирует более короткие и структурированные цепочки рассуждений, что может снижать задержку и расходы инференса в локальном использовании и агентских сценариях. Указана поддержка английского, китайского и корейского языков; в метаданных также заявлен pipeline image-text-to-text, однако подробности мультимодальных возможностей и размер контекстного окна не приведены. Ключевое ограничение — компромисс между эффективностью рассуждений и максимальной точностью: по приведённым данным, официальная Qwen3.5-4B превосходит эту версию по абсолютным результатам HumanEval и HumanEval+, хотя v2 требует существенно меньше символов рассуждений на один успешный результат. Модель распространяется по лицензии Apache-2.0.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Модель stavh2001/qwen3.6-27b-merged_28_05 — дообученная мультимодальная модель семейства Qwen3.5, разработанная stavh2001 на базе unsloth/Qwen3.6-27B с использованием Unsloth и библиотеки TRL. Она предназначена для диалогов с текстом и изображениями; поддерживает интерфейс вызова инструментов. Архитектура — плотная, Qwen3_5ForConditionalGeneration, веса представлены в формате safetensors. Базовая модель насчитывает 27 млрд параметров и рассчитана на анализ изображений, диалоги, программирование и агентные задачи. Модель выпущена под лицензией Apache-2.0. Карточка не описывает отдельную специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

FreedomAISVR публикует GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — разговорной модели рассуждения, дистиллированной из Claude 4.7 Opus. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров, около 3 млрд из которых активны при генерации; в модели 256 экспертов, из них 8 активируются на токен, а также 40 слоёв и MTP-голова. Контекст составляет 262 144 токена. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями. Это текстовая версия без поддержки изображений. Веса сохранены в формате GGUF и квантизированы в NVFP4 примерно до 4 бит; файл модели занимает около 18,81 ГБ. Apache 2.0 указана как лицензия исходной модели.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

lued/Qwen3.8-27B-INT8-W8A16-DFlash2 — это квантованная версия Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем lued. Репозиторий изменяет числовое представление модели, сохраняя основные возможности исходной версии, включая vision tower, управление режимом рассуждений и вызов инструментов. Модель предназначена для диалоговых и мультимодальных задач, а также для развёртывания через vLLM на потребительском оборудовании. Модель использует INT8-квантование весов W8A16 с активациями FP16 или BF16 и рассчитана на GPU архитектуры Ampere, включая RTX 3090. Заявлен контекст до 262 144 токенов; размер модели на диске составляет около 28 ГиБ. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до семи токенов за шаг. На двух RTX 3090 заявлена скорость до 117 токенов в секунду при полном контексте, а совпадение наиболее вероятного следующего токена с исходной BF16-моделью составляет 98,1%. Сильными сторонами являются заметное снижение размера, почти полное сохранение поведения исходной модели и ускоренная генерация на совместимом оборудовании. Ограничения включают необходимость отдельной модели DFlash2, использования неподдерживаемых в стабильной версии vLLM патчей и конфигурации с двумя GPU для заявленных характеристик. Языки и точные архитектурные параметры в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-ROCmFPX-Q8_0-AGENT-GGUF — это 8-битная квантизированная GGUF-версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для локального запуска через специализированную ветку ROCmFPX, ориентированную на GPU AMD с архитектурой gfx1151, включая Ryzen AI MAX+ 395 и платформу Strix Halo. Она поддерживает генерацию текста, агентские сценарии и вызовы инструментов. Модель имеет архитектуру Qwen, размер 27B параметров и контекст до 32 768 токенов в рекомендуемой конфигурации. Указан английский язык. Файл занимает около 26,28 GiB, использует тип квантизации Q8_0_ROCMFPX_AGENT с точностью 8,39 бит на вес и сохраняет повышенную точность для части attention-output projections. В README заявлена совместимость с MTP-спекулятивным декодированием: на Ryzen AI MAX+ 395 измерена скорость 26,62 токена в секунду, что на 6,2% выше обычной сборки ROCmFPX Q8.0. В тестах модель показала корректные ответы на базовые вопросы и 7 из 7 успешных сценариев tool calling в режимах с рассуждением и без него. Основные преимущества — высокая точность 8-битной версии, согласованное агентское поведение, поддержка сложных вызовов инструментов и прирост скорости при использовании MTP. Ограничения существенны: стандартная версия llama.cpp не загружает этот файл, требуется сборка ROCmFPX; модель ориентирована на совместимое AMD-оборудование. Для MTP на некоторых конфигурациях Windows 11, gfx1151 и HIP SDK 7.2 описаны ошибки в устаревшей ветке ROCmFPX, поэтому рекомендуется официальный репозиторий. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-CRACK-JANG_6S — модель, опубликованная dealignai на основе JANGQ-AI/Qwen3.8-Flash-Next-JANG_6S, относящегося к экспериментальной линейке Alibaba Qwen. Это CRACK-abliterated-сборка, в которой удалено поведение отказа при сохранении рассуждений, инструментального взаимодействия и мультимодальных возможностей. Модель предназначена для исследовательских задач, агентных сценариев, работы с инструментами, рассуждений, а также анализа изображений и видео. Модель представляет собой квантованную версию примерно 176-миллиардной MoE-архитектуры с 512 экспертами и около 6 миллиардов активных параметров. В описании указаны гибрид Gated DeltaNet и Qwen Sparse Attention, хешированное n-граммное embedding, встроенная multi-token prediction head, поддержка режимов рассуждений off, low и xhigh, а также vision-language и video-возможности. Заявлены языки English и Chinese. Для запуска используется MLX на Apple Silicon; требуется около 106 ГБ дискового пространства и примерно 82 ГБ активной оперативной памяти, при этом около 24 ГБ таблицы embedding потоково считываются с SSD. К сильным сторонам относятся мультимодальность, поддержка агентных инструментов, рассуждений и эффективная MoE-архитектура с небольшим числом активных параметров. По приведённым тестам CRACK-версия получила 86,10% на MMLU, что на 1,62 процентного пункта ниже базовой модели, и не демонстрировала жёстких отказов в 960 проверках HarmBench. Это одновременно является ограничением и фактором риска: модель намеренно лишена части защитного поведения, поэтому требует осторожного применения и дополнительного контроля безопасности. В README также отмечен один некорректный длинный цикл генерации в режиме xhigh. Модель распространяется по лицензии qwen-community-1.0, обозначенной как other. Она представлена как исследовательский артефакт; ответственность за использование весов возлагается на пользователя. Для запуска рекомендуется окружение vMLX и платформа Apple Silicon.

OpenYourMind/Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated-MTPLX-4bit — это 4-битная сборка модели OpenYourMind Qwopus3.5 на базе архитектуры Qwen3.5 MoE с компонентами Qwen3-VL. Модель разработана OpenYourMind и предназначена для запуска на Apple Silicon через MLX и MTPLX. Она поддерживает обработку текста и содержит vision tower для работы с изображениями, однако данная сборка ориентирована на текстовый путь; для мультимодального ввода рекомендуется использовать связанную сборку MLX-4bit с mlx-vlm. Модель имеет около 122 млрд параметров в общей сложности, из которых примерно 10 млрд активируются при обработке токена. Языковые веса квантизованы в 4 бита с размером группы 64, а маршрутизирующие компоненты сохранены в более высокой точности. В комплект включена BF16 MTP-голова на базе MoE с 256 экспертами, из которых активны 8, и общим экспертом. Она предназначена для ускоренного speculative decoding: на M5 Max зафиксировано около 52 токенов в секунду и примерно 70% принятия черновых токенов в указанном тесте. К сильным сторонам относятся существенно уменьшенный объём по сравнению с полной моделью, поддержка мультимодальной архитектуры базовой модели и ускорение генерации при использовании совместимой версии MTPLX. Для запуска требуется около 80 ГБ объединённой памяти, а комфортная работа заявлена на компьютерах Mac с 96 ГБ и более. MTPLX должен поддерживать MoE MTP-голову; старые версии могут быть несовместимы. Из-за особенностей маршрутизации MoE при температуре 0 возможны редкие отличия отдельных токенов по сравнению с обычной авторегрессионной генерацией, поэтому строгая побитовая идентичность не гарантируется. Лицензия указана как Other; README сообщает, что применяются условия лицензии базовой модели Qwen3.5.

Tiiny/SmallThinker-4BA0.6B-Instruct-GGUF — GGUF-квантизированная версия SmallThinker-4BA0.6B-Instruct, семейства нативных для устройств языковых моделей с архитектурой Mixture-of-Experts. Модель разработана совместно IPADS и School of AI Шанхайского университета Цзяотун при участии Zenergize AI и предназначена для локального запуска на устройствах с ограниченными ресурсами, обеспечивая приватность и низкую задержку без обращения к облачным сервисам. Модель рассчитана на генерацию текста и работу в инструкционном режиме: ответы на вопросы, рассуждения, решение математических задач, следование инструкциям и генерацию кода. Она обучалась преимущественно на английском языке, поэтому качество для других языков не заявлено. Контекстное окно составляет 32K токенов. Архитектура включает 4B общих параметров и 0,6B активируемых параметров, 32 слоя, 12 attention heads, механизм GQA, активацию ReGLU, 32 эксперта MoE и выбор 4 экспертов на токен. К сильным сторонам относятся высокая эффективность для компактной модели, возможность локального развертывания, поддержка llama.cpp для обычных GGUF-файлов и PowerInfer для файлов с суффиксом .powerinfer.gguf, использующих разреженные операторы. Ограничения включают преимущественно англоязычное обучение, возможные фактические ошибки, предвзятость и устаревание ответов, а также зависимость специальных .powerinfer.gguf-файлов от фреймворка PowerInfer. Модель распространяется по лицензии Apache-2.0.

M4-ai разработала TinyMistral-6x248M-Instruct — компактную языковую модель с архитектурой Mixture of Experts, дообученную на базе M4-ai/TinyMistral-6x248M для выполнения инструкций. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Модель принимает текстовые запросы и генерирует ответы, объяснения и аналитические тексты. Она рассчитана на широкий круг тем, включая программирование, историю и естественные науки; для диалога можно использовать формат ChatML. Дообучение выполнено на hercules-v1.0, наборе с примерами по коду, математике и другим дисциплинам. В карточке заявлена поддержка английского языка и многоязычной генерации. Модель распространяется по лицензии Apache-2.0. Возможны предвзятые, токсичные или чувствительные ответы; карточка также предупреждает об ухудшении качества при использовании Inference API и рекомендует параметры инференса базовой модели.

TriFusionNexus-7b — объединённая языковая модель, созданная EryriLabs с помощью mergekit и метода TIES на основе CultriX/NeuralTrix-7B-dpo; в объединение также вошли bardsai/jaskier-7b-dpo-v5.6 и mlabonne/AlphaMonarch-7B. Модель построена на архитектуре Mistral с плотной причинно-языковой сетью, содержит 7,1 млрд параметров и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста, диалогов, следования инструкциям и рассуждений. В README приведены результаты Open LLM Leaderboard, включая средний балл 76,32, 72,78 в AI2 Reasoning Challenge и 89,17 в HellaSwag; это результаты указанных оценок, а не гарантия качества в пользовательских задачах. Репозиторий содержит веса в формате safetensors. Лицензия CC-BY-NC-2.0 ограничивает коммерческое использование.

ChatFrame V1 — диалоговая языковая модель AIFRAME INC, представленная как дообученная версия семейства Llama. Она предназначена для генерации ответов на персидском и английском языках и заявлена для решения математических задач, программирования, логических рассуждений, суммаризации и перевода между английским и персидским. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; доступны веса в формате safetensors и интерфейс вызова инструментов. Модель подходит для чат-ботов, языковой помощи и задач, где нужны ответы или преобразование текста на персидском и английском. README заявляет высокое качество ответов, но не приводит результатов независимой оценки или сведений о конкретных обучающих наборах. Лицензия — MIT.

DeepSeek-R1-0528-Qwen3-8B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной командой DeepSeek. Квантизацию выполнил bartowski на основе llama.cpp, а модель распространяется в рамках сообщества LM Studio. Модель предназначена для генерации текста и задач, требующих рассуждений, включая математические задачи и другие сценарии, где важна способность выстраивать цепочку рассуждений. Она создана посредством дистилляции chain-of-thought из DeepSeek-R1-0528 в базовую модель Qwen3 8B. Заявлена поддержка контекста до 128 тысяч токенов и передовые результаты среди открытых моделей на AIME24. Модель относится к текстовым генеративным моделям; сведения о поддерживаемых языках и конкретной архитектуре, помимо основы Qwen3 8B, в README не приведены. Квантизированный формат может быть удобен для локального запуска, однако README не уточняет уровень квантизации, требования к памяти и производительность. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию. Лицензия модели указана как MIT.

DeepSeek-R1-Distill-Qwen-7B-GGUF — это квантизированная в формате GGUF версия модели DeepSeek-R1-Distill-Qwen-7B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp, релиз b4514. Модель предназначена для генерации текста, прежде всего для задач рассуждения и сценариев, где требуется пошаговый анализ. Модель поддерживает контекст длиной до 128 тысяч токенов и ориентирована на использование дистиллированных возможностей reasoning-модели DeepSeek-R1. Формат GGUF и совместимость с llama.cpp упрощают локальный запуск, однако квантизация может влиять на качество и точность по сравнению с исходной моделью. Языки и точный вариант квантизации в README не указаны. Как и другие генеративные модели, она может выдавать неточные, вредные или вводящие в заблуждение ответы. Лицензия в предоставленных данных не указана.

flammen8-mistral-7B — объединённая языковая модель, созданная flammenai методом SLERP с помощью mergekit из flammen7-mistral-7B и AlphaMonarch-7B. Это плотная авторегрессионная архитектура MistralForCausalLM с 7,1 млрд параметров; модель опубликована в формате safetensors и поддерживается библиотекой Transformers. Она предназначена для генерации текста, включая диалоговое взаимодействие, выполнение инструкций и рассуждения. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий создан 15 марта 2024 года. Лицензия — Apache-2.0.

FranQwenStein-35B — языковая модель на архитектуре Qwen2, собранная Nisten методом evo-merge из Qwen2.5-32B-Instruct, Qwen2.5-32B-AGI и Qwen2.5-32B-Base. Она предназначена для диалогов и генерации текста с выполнением системных инструкций; в карточке также приведены результаты оценок на нескольких бенчмарках. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. По README, слияние сохраняет защитные ограничения Qwen и усиливает следование системному промпту; автор сообщает о результате примерно на 1% выше Qwen2.5-72B-Instruct на GPQA Diamond Zero-Shot. Эти оценки приведены автором и не гарантируют аналогичного качества в других сценариях. Репозиторий распространяется в формате safetensors по лицензии MIT.

nohurry/gemma-4-26B-A4B-it-heretic-GUFF — набор квантованных вариантов модели coder3101/gemma-4-26B-A4B-it-heretic, созданный участником сообщества на основе Gemma 4 от Google. Модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями, включая OCR. В README указана поддержка режима рассуждений, который включается специальным маркером в системном промпте, а также возможность ограничивать бюджет рассуждений. Модель имеет архитектуру Gemma 4 с конфигурацией 26B-A4B; точные сведения о размере активируемой части, языках и максимальной длине контекста в README не приведены. Для обработки изображений используются отдельные mmproj-файлы и настраиваемый диапазон от 70 до 1120 image-токенов. Реализация рассчитана на использование в llama.cpp и koboldcpp; для корректной работы требуется включить Sliding Window Attention с параметром --swa-full. Доступны разные уровни квантования, а выбор рекомендуется делать с учётом доступной VRAM. Для задач OCR желательно использовать менее квантованную текстовую модель и более качественно сохранённый image encoder. Сильными сторонами являются мультимодальность, поддержка управляемого рассуждения, различные варианты квантования и возможность локального запуска. Ограничения включают зависимость требований к памяти от выбранного кванта и контекста, чувствительность image encoder к квантованию, а также необходимость совместимого программного обеспечения и настроек SWA. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию Gemma 4 указана в карточке.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

Это GGUF-сборка модели llmfan46/gpt-oss-120b-ultra-heretic, подготовленная независимым автором llmfan46. В README указано, что исходная модель прошла abliteration: изменялись слои 15–32 с целью снизить частоту отказов при сохранении возможностей. Доступны варианты BF16, Q8_0 и Q5_K_M; метаданные классифицируют эту копию как дообученную модель в формате GGUF. Модель предназначена для диалоговой генерации текста, рассуждений и сценариев с использованием инструментов. README также заявляет поддержку вызова функций, веб-браузинга и структурированных ответов, а запуск описан через llama.cpp, LM Studio и Ollama. Указанные в карточке показатели — 3 отказа из 100 и KL-дивергенция 0,0703 — относятся к оценке автора и не гарантируют результаты на других запросах. Лицензия — Apache 2.0. Сборка ориентирована на пользователей, которым нужна модель с меньшим числом отказов; такие ответы могут быть менее ограничены. Размер параметров и длина контекста для этой GGUF-копии в предоставленных данных не указаны.

InternLM2.5-20B-Chat GGUF — большая языковая чат-модель в формате GGUF, разработанная Shanghai AI Laboratory (上海人工智能实验室) и представленная для запуска с помощью llama.cpp. Она предназначена для локального и облачного инференса, ведения диалогов, генерации текста и интеграции в сервисы через совместимый с OpenAI API сервер llama-server. В README также показан сценарий вызова функций, например получения текущей погоды через внешний инструмент. Модель имеет размер 20B параметров и поддерживает несколько вариантов точности и квантования, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В качестве языков указано English, а в примере системного промпта заявлена способность общаться на английском и китайском языках. README демонстрирует контекст размером 4096 токенов и рекомендует использование аппаратного ускорения, включая CUDA; конкретные требования к ресурсам не указаны. Сильными сторонами модели являются возможность локального развёртывания на различных аппаратных платформах, наличие низкобитных версий и поддержка чатового взаимодействия, вызова функций и OpenAI-совместимого API. Ограничения включают отсутствие подробных данных о качестве, обучающих данных, точных языковых возможностях и рекомендуемых ресурсах, а также то, что результаты зависят от выбранной точности, конфигурации llama.cpp и параметров инференса. Модель распространяется по лицензии Apache-2.0.

Mungert/Jan-v1-4B-GGUF — это GGUF-квантизированная версия Jan-v1, небольшой агентной языковой модели, разработанной Jan/Jan AI и основанной на Qwen3-4B-Thinking-2507. Конкретный репозиторий содержит сборки, созданные с использованием llama.cpp; автор применяет собственный подход к квантизации с повышением точности отдельных важных слоёв. В метаданных указан английский язык, размер базовой модели — 4B параметров, модальность — текстовая генерация. Модель предназначена для агентного рассуждения, решения сложных задач, ответов на вопросы, диалогового взаимодействия и использования инструментов, включая сценарии интеграции с Jan App. В исходной карточке заявлены 91,1% точности на SimpleQA и улучшенные возможности рассуждения и tool use, однако приведённые результаты относятся к Jan-v1 в целом и могут не полностью отражать поведение конкретной GGUF-квантизации. Поддерживаются локальный запуск через llama.cpp и интеграция с инструментами, совместимыми с форматом модели. Сильными сторонами являются компактный размер, ориентация на агентные задачи и потенциально более высокая точность при заданном уровне квантизации благодаря повышению точности отдельных слоёв. Ограничения включают зависимость качества от выбранного GGUF-варианта и параметров квантизации, а также отсутствие в карточке точного размера контекста, перечня доступных квантизаций, детальных сравнительных результатов и описания дополнительных языков. Лицензия модели — Apache 2.0.