II.3Рефакторинг, миграция и модернизация

Occiglot-7B-ES-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный причинный трансформер-декодер архитектуры Mistral с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель предназначена для диалогов и генерации текста на английском и испанском языках; также обучалась на инструкциях по программированию. Поддерживает шаблон чата ChatML. В карточке указана длина контекста 32 768 токенов, а при обучении использовалась длина 8 192 токена. Модель представляет собой первый выпуск исследовательского проекта Occiglot. Авторы отмечают предварительный характер оценок, а испанские результаты частично опираются на машинно переведённые наборы данных и английские запросы. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Распространяется по лицензии Apache 2.0.

OpenBuddy/openbuddy-deepseek-67b-v24.1-65k — мультиязычная чат-модель проекта OpenBuddy на архитектуре Llama с 66,6 млрд параметров. Она предназначена для диалогов и генерации текста; поддерживает контекст длиной до 65 536 токенов и языки китайский, английский, французский, немецкий, японский, корейский, итальянский, русский и финский. Модель распространяется в формате Safetensors и рассчитана на использование с Transformers или vLLM. В карточке базовая модель не названа. Лицензия обозначена как deepseek; перед использованием следует проверить условия лицензии. Авторы предупреждают, что ответы могут быть ошибочными, вредными или оскорбительными, и не рекомендуют применять модель в критически важных сценариях, включая медицину, управление опасными системами, а также важные финансовые и юридические решения.

OrcaMaid 13B — это языковая модель для генерации текста в формате GGUF, созданная ddh0 на базе архитектуры Llama и квантизированная TheBloke. Репозиторий содержит варианты модели с разрядностью 2, 3, 4, 5, 6 и 8 бит для запуска на CPU и GPU. Исходная модель доступна в формате FP16 для GPU-инференса и дальнейших преобразований. Модель предназначена для выполнения инструкций и генерации ответов в текстовых сценариях, включая локальный инференс через llama.cpp и совместимые приложения и библиотеки. Для работы используется шаблон Alpaca с секциями Instruction и Response. Поддерживаются клиенты и инструменты, совместимые с GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ключевые характеристики — 13 миллиардов параметров, текстовая модальность, архитектура семейства Llama и формат GGUFv2. Сведения о поддерживаемых языках и размере контекста в README не указаны. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством, однако конкретные характеристики качества и аппаратные требования зависят от выбранного варианта. Лицензия указана как microsoft-research-license для исходной модели; также заявляется применимость лицензии Meta Llama 2, поэтому условия использования и взаимодействие лицензий следует проверять в исходном репозитории.

bunsenfeng/parti_15_full — генеративная языковая модель, опубликованная на Hugging Face в формате Transformers. По метаданным она относится к семейству Qwen2 и предназначена для генерации текста в диалоговых и других сценариях, поддерживаемых задачей text-generation. Модель содержит около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Её можно применять для ведения диалогов, составления текстов, продолжения фрагментов и интеграции в приложения на базе библиотеки Transformers. README не содержит сведений о разработчике, языках, лицензии, данных обучения, результатах оценки или специальных ограничениях использования. Поэтому перед применением в критически важных сценариях необходимы самостоятельное тестирование, проверка фактической точности и уточнение условий лицензирования.

win10/phi-3.5-Sakura-Yuzu — объединённая языковая модель, созданная автором репозитория методом TIES с помощью mergekit на основе Microsoft Phi-3.5-mini-instruct. В слияние также вошли win10/Phi-3.5-mini-instruct-24-9-29, FreedomIntelligence/Apollo2-3.8B, ArliAI/Phi-3.5-mini-3.8B-ArliAI-RPMax-v1.1 и AXCXEPT/Borea-Phi-3.5-mini-Instruct-Common. Модель семейства Phi-3 — плотная авторегрессионная языковая модель примерно на 3,7 млрд параметров. Она предназначена для диалогов и генерации текста; каталог указывает поддержку чата. Репозиторий использует формат safetensors, библиотеку Transformers и контекст длиной 4096 токенов. Базовая модель описана как многоязычная и рассчитанная на инструкции, рассуждения и код, однако сведения о конкретных языках и специализированной адаптации этого слияния не приведены. Лицензия в предоставленных данных не указана.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

Qwen2.5-Mavapy-b-7B — слитая методом della модель генерации текста, созданная с помощью mergekit на основе Qwen2.5-Mavapy-7B и объединяющая Locutusque/StockQwen-2.5-7B и fblgit/cybertron-v4-qw7B-MGS. Модель разработана сообществом mergekit-community; архитектура — плотная Qwen2ForCausalLM с 7,1 млрд параметров, доступная в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает контекст до 32 768 токенов и работает с текстовым вводом и выводом. README описывает конфигурацию с типом выходных весов bfloat16. README рекомендует дообучить модель перед использованием. Данных о лицензии и конкретных языках в предоставленных источниках нет.

mlx-community/Qwen3-235B-A22B-8bit — языковая модель для генерации текста, разработанная на основе Qwen/Qwen3-235B-A22B и конвертированная сообществом mlx-community в формат MLX. Модель предназначена для запуска и генерации ответов в экосистеме MLX с использованием библиотеки mlx-lm, включая диалоговые сценарии через chat template. Из README известно, что модель имеет 8-битное представление и относится к семейству Qwen3-235B-A22B. Архитектура, точное число параметров, поддерживаемые языки, модальности и максимальная длина контекста в предоставленных данных не указаны. Для работы требуется библиотека mlx-lm; формат MLX ориентирован на совместимое с этой экосистемой выполнение. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о результатах тестирования, сильных сторонах и ограничениях качества, поэтому их оценка по имеющимся данным невозможна.

Aldaris/Qwen3-4B-Q4_K_M-GGUF — это версия языковой модели Qwen3-4B, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo проекта ggml.ai. В README разработчик репозитория не раскрыт; указано только, что модель создана на основе Qwen/Qwen3-4B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, включая режим командной строки и серверный режим. Известно, что это текстовая модель с размером 4B параметров в квантизованном формате Q4_K_M. Поддерживаемые модальности ограничены текстом; сведения о языках и исходном размере контекста в README не приведены. В качестве примера серверного запуска указано окно контекста 2048 токенов, однако это параметр запуска, а не обязательно максимальный контекст модели. Ключевое преимущество модели — возможность локального запуска в компактном GGUF-представлении с использованием llama.cpp, что подходит для инференса на совместимом пользовательском оборудовании. Ограничения и подробные характеристики унаследованной Qwen3-4B модели в данном README не описаны. Для использования указана лицензия Apache-2.0.

Bahushruth/Qwen3.6-35B-A3B-abliterated-v4-GGUF — набор GGUF-квантизаций языковой модели, разработанный Bahushruth на базе Bahushruth/Qwen3.6-35B-A3B-abliterated-v4. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, KoboldCPP и другие совместимые среды. Это MoE-модель с 35 млрд общих параметров, 256 экспертами и 8 активными экспертами на токеном; согласно карточке, около 3 млрд параметров активны при обработке каждого токена. Данные о языках и размере контекстного окна не указаны. Доступны варианты от BF16 до 2-битных K-квантизаций и IQ-квантизаций с importance-matrix-калибровкой. Размер файлов составляет примерно 12–71 ГБ, а требования к оперативной памяти — от 16 ГБ в зависимости от варианта. Основные квантизации не содержат MTP-компонент для максимальной совместимости; отдельный BF16-вариант поддерживает Multi-Token Prediction и спекулятивное декодирование в совместимых версиях llama-server. Модель позиционируется как эффективная по вычислениям благодаря MoE-архитектуре и предлагает выбор между качеством, размером и требованиями к памяти. Вариант является «uncensored»: поведение отказа удалено методом norm-preserving abliteration, поэтому встроенные защитные ограничения ослаблены или отсутствуют. Это может быть полезно для исследовательских и экспериментальных сценариев, но повышает риски небезопасного использования и не гарантирует сохранение исходного поведения базовой модели. Модель распространяется по лицензии Apache-2.0; автор отдельно указывает, что релиз предназначен для исследований и не принимает на себя ответственность за дальнейшее использование.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

dbirks/Qwen3.8-27B-NVFP4-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная с помощью Intel AutoRound и упакованная в формате compressed-tensors для развертывания через vLLM. Модель предназначена для генерации и обработки текста, а также сохраняет архитектурные компоненты исходной мультимодальной модели, включая vision tower, хотя квантизация применяется только к языковому декодеру. В основе лежит гибридная архитектура из 64 слоёв: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания, с поддержкой контекста до 262 тысяч токенов. Основная часть линейных слоёв языкового декодера сжата до NVFP4 W4A4: квантизируются веса и входные активации с группами размера 16. Проекции управления рекуррентностью, vision tower, MTP head и lm_head оставлены в BF16 для сохранения качества. Модель поддерживает английский язык; размер файла составляет около 20,6 ГБ против примерно 52 ГБ у BF16-версии. Сильная сторона модели — существенное снижение требований к памяти при сохранении качества, близкого к базовой BF16-модели: в приведённых тестах результаты GSM8K, HumanEval и MMLU-Pro находятся в пределах доверительных интервалов базовой версии. Модель в первую очередь рассчитана на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores (SM100/SM120). На Ada и Hopper полноценного ускорения нет, возможен откат к более медленному режиму Marlin; для таких GPU рекомендуется родственная W4A16-версия. Лицензия — Apache-2.0.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF — крупная fine-tune-модель на базе Qwen3.8 27B, разработанная DavidAU. Она создана с применением многоэтапного обучения и слияния моделей, включая методы Cold Fusion и Fable Fusion, и выпущена в форматах GGUF, включая обычные и MTP-квантизации. Заявлены поддерживаемые языки English и Chinese; метаданные также указывают на сценарий image-text-to-text, однако подробности мультимодальных возможностей в README не приведены. Модель ориентирована на широкий круг задач: рассуждение, решение задач, программирование, творческое письмо, создание художественных текстов и ролевые сценарии. Заявлены пять режимов reasoning и пять instruct-режимов, которые можно переключать через API или непосредственно в сообщениях; instruct-режимы используют ноль reasoning-токенов. Ключевая особенность версии TWIN-TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с базовой Qwen3.8 27B при сохранении детализации, по утверждению автора. Доступны как минимум 4-битные и 8-битные варианты, рассчитанные на запуск на потребительском оборудовании. Сильными сторонами заявлены высокая производительность, сниженное потребление токенов, развитые способности к рассуждению и генерации художественных текстов, а также strongly uncensored-поведение. При этом заявления о превосходстве над другими моделями и результаты benchmark-промежуточного показателя Arc-C приведены автором README и не подтверждены независимыми данными. Ограничения включают возможную специфику сильно нецензурированной настройки, различия качества между квантизациями и отсутствие подробностей о размере контекста, точной архитектуре, системных требованиях и мультимодальном вводе. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

Qwen3.8-Flash-Next-GGUF — GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и квантизированной пользователем qtum с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp; заявленные языки — английский и китайский. Модель содержит около 180 млрд параметров: MoE-ядро на 125 млрд параметров с 48 слоями, 512 экспертами, маршрутизацией top-10 и одним общим экспертом, а также 51-миллиардную PLE-таблицу n-грамм. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и гиперсвязями. Максимальная длина контекста — до 262 тысяч токенов. Слой MTP для чернового предсказания был исключён при конвертации. Доступны варианты BF16 и квантизации IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 118,8 GiB; каждый вариант поставляется в восьми сегментах. Квантизация снижает требования к хранилищу, но ухудшает показатель perplexity относительно BF16, особенно у низкобитных вариантов. Для работы необходимо скачать все восемь сегментов и использовать llama.cpp; модель предъявляет очень высокие требования к ресурсам. Лицензия — Qwen Community License 1.0, унаследованная от исходной модели, а не MIT.

Qwen3.9-245B-A29B — текстовая генеративная модель семейства Qwen3, опубликованная аккаунтом QwennAI. Карточка показывает использование через Transformers и чат-шаблон Qwen с режимом рассуждений; также приведены примеры запуска через vLLM и SGLang. Метаданные указывают архитектуру Qwen3ForCausalLM, формат safetensors и поддержку чата. Модель предназначена для диалогов и генерации текста, включая задачи, требующие пошагового рассуждения, например объяснение математического доказательства. В README для сервинга приведён параметр контекста 65 536 токенов, тогда как метаданные указывают native context 1 024 токена; доступные сведения о размере противоречивы: имя модели содержит 245B-A29B, а total_parameters указано как 798.7K. Метаданные указывают английский и китайский языки. Лицензия — Apache-2.0.

Rombo-LLM-V2.7-gemma-2-9b — языковая модель Rombo-Org на 9 млрд параметров, основанная на Google Gemma 2 9B Instruct. По описанию, в модели объединены предварительно обученная и инструктивно настроенная версии Gemma 2 9B. Она предназначена для дальнейшего дообучения и генерации текста, в том числе в диалоговом режиме. Модель использует плотную архитектуру Gemma 2, формат safetensors и контекст до 8192 токенов. Модель можно применять для диалогов, ответов на вопросы и генерации текста; базовая Gemma 2 Instruct также описана как подходящая для суммаризации. В README не приведены результаты оценки качества или сведения о поддерживаемых языках, поэтому их нельзя подтвердить. Указана лицензия Gemma; условия её использования определяются этой лицензией.

Steelskull_L3.3-Shakudo-70b-GGUF — это набор квантованных версий языковой модели L3.3-Shakudo-70b, разработанной Steelskull. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может применяться в локальных сценариях, включая работу через LM Studio, llama.cpp и другие проекты на его основе. В набор входят варианты GGUF с разной степенью квантования: от Q8_0 до Q2_K, включая форматы Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие. Версия Q6_K описана как близкая к исходному качеству, а Q4_K_M — как стандартный вариант для большинства сценариев с хорошим соотношением качества и размера. Ключевая характеристика модели — размер 70 миллиардов параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильными сторонами являются широкий выбор вариантов для разного объёма оперативной памяти, поддержка локального запуска и сохранение высокого качества при использовании более крупных квантов. Ограничения связаны с компромиссом между размером файлов и качеством: низкобитные варианты требуют меньше памяти, но могут заметно уступать более точным версиям. Для работы рекомендуется использовать указанный prompt format. Модель распространяется по лицензии llama3.3.

Apertus-70B-Instruct-2509-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Apertus-70B-Instruct-2509, разработанной swiss-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локальных inference-сценариев на базе llama.cpp, включая работу через LM Studio и совместимые проекты. В репозитории представлены варианты квантизации Q2_K_L, Q3, Q4, Q5, Q6_K и Q8_0 с размером файлов примерно от 28,32 до 75,02 ГБ. Более крупные варианты обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но могут сильнее терять в качестве. Рекомендуемыми в README названы, в частности, Q4_K_M, Q4_K_S, Q4_K_L, Q5_K_S, Q5_K_M и Q6_K. Точная архитектура, число параметров исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Преимущество модели — возможность локального запуска в распространённом формате GGUF с выбором компромисса между качеством и требованиями к памяти. Ограничения связаны с большими ресурсными требованиями 70B-модели, потерями качества при низких уровнях квантизации и отсутствием указанного в README формата промптов. Лицензия в предоставленных данных не указана.

Upstage-Llama-2-70B-instruct-v2-GGUF — это квантизированная версия большой языковой модели Llama 2 70B Instruct v2, разработанной Upstage и преобразованной в формат GGUF компанией TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров. Указан английский язык; поддержка других языков, размер контекстного окна и мультимодальные возможности в README не описаны. Доступны варианты GGUF с 2-, 3-, 4-, 5-, 6- и 8-битным квантованием для инференса на CPU и GPU. Формат GGUF поддерживает метаданные и специальные токены, а модель совместима с llama.cpp и рядом сторонних инструментов. Сильными сторонами являются выполнение инструкций, широкий выбор уровней квантования и возможность локального использования с GPU-ускорением. К ограничениям относятся высокие требования к ресурсам для 70-миллиардной модели, возможная потеря качества при агрессивном квантовании и отсутствие в README подробных данных о качестве, тестах и контекстном окне. Лицензия указана как llama2; условия её применения следует проверять по лицензии исходной модели.

YOYO-AI_Qwen3-30B-A3B-Mixture-2507-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3-30B-A3B-Mixture-2507, разработанной YOYO-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В названии указано 30B параметров и обозначение A3B Mixture, однако подробности архитектуры, число активных параметров, поддерживаемые языки, длина контекста и доступные модальности в представленном README не описаны. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, Q4 — как оптимальные по соотношению качества и размера, а Q3 — как подходящие для систем с ограниченным объёмом оперативной памяти. Сильная сторона этой версии — широкий выбор размеров файлов и возможность локального запуска на совместимом оборудовании; рекомендованным вариантом по умолчанию указан Q4_K_M. Более агрессивная квантизация уменьшает требования к памяти, но снижает качество генерации. Формат prompt не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в README не приведена.

Это GGUF-квантизированная версия языковой модели olmo-marvin-full-merged, разработанной Burnt-Toast и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp и совместимых приложений, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты от полноразмерных весов BF16 объёмом 64,47 ГБ до более компактных конфигураций с квантованием Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. Квантование выполнено с использованием imatrix и llama.cpp версии b7721; некоторые варианты оптимизированы для снижения потребления памяти при сохранении качества, а наиболее качественными в README названы Q6_K_L, Q6_K и варианты Q5_K. Поддерживается шаблон диалога с ролями system, user и assistant. Архитектура, число параметров, контекстное окно, языки, мультимодальность и лицензия в предоставленных данных не указаны. Качество и требования к ресурсам зависят от выбранного варианта квантования: компактные версии экономичнее, но могут заметно уступать старшим по качеству.

MiniMax-M2-REAP-139B-A10B — это языковая модель для генерации текста, разработанная Cerebras. Она создана на основе MiniMax-M2: методом REAP из исходной модели равномерно удалено 40% экспертов. По доступным данным, модель использует разреженную MoE-архитектуру, имеет заявленный размер 139B параметров и активную часть A10B. Указан английский язык; сведения о поддерживаемых модальностях и размере контекста отсутствуют. Эта версия представляет собой GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и калибровочных данных imatrix. Она предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от Q8_0 до 2-битных и IQ-квантизаций с размером файлов примерно от 55 до 148 ГБ; более высокие разрядности обычно обеспечивают лучшее качество, а низкоразрядные варианты уменьшают требования к памяти, но могут заметно снижать качество. Сильными сторонами являются широкий выбор квантизаций, возможность локального использования и сохранение работоспособности после структурного сокращения MoE-модели. Ограничения включают очень большой объём памяти, зависимость качества от выбранного варианта квантизации и отсутствие в карточке подробных результатов оценки. Лицензия указана как other; конкретные условия необходимо уточнять в лицензии исходной модели Cerebras.

Chocolatine-14B-Instruct-DPO-v1.3 — диалоговая языковая модель на 14,1 млрд параметров, разработанная Jonathan Pacifico на основе Microsoft Phi-4. Модель дообучена методом DPO на наборе jpacifico/french-orca-dpo-pairs-revised; автор сообщает об улучшении результатов на французском языке и в целом относительно базовой модели. Она предназначена для генерации текста и ведения диалогов на французском и английском языках, а также может применяться для задач рассуждения, математики и программирования, поддерживаемых базовой Phi-4. Модель использует плотную архитектуру семейства Phi-3 и принимает контекст до 16 384 токенов. В README приведены результаты на OpenLLM Leaderboard и MT-Bench-French, но они зависят от методики оценки и не гарантируют качество в конкретном сценарии. У модели нет механизма модерации. Лицензия — MIT.

Dolphin-Mistral-24B-Venice-Edition-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin-Mistral-24B-Venice-Edition, разработанной cognitivecomputations. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5835 и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, а также для генерации текста по заданному системному промпту и пользовательскому запросу. Размер исходной модели составляет 24 млрд параметров; доступны варианты от BF16 размером 47,15 ГБ до более компактных квантовок Q3 и Q4, а также Q5, Q6 и Q8. В README указана только текстовая модальность и формат взаимодействия через системный промпт и инструкцию. Контекстное окно, поддерживаемые языки, конкретные обучающие данные и результаты независимого тестирования не указаны. Основное преимущество набора — широкий выбор уровней квантизации, позволяющий выбирать между качеством генерации, размером файла и требованиями к памяти. В README варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Ограничения включают зависимость характеристик от выбранной квантовки и отсутствие подробных сведений о качестве, языках и контексте. Лицензия модели указана как Apache-2.0.

Darwin-V9-Chimera-4B-SFT — экспериментальная диалоговая языковая модель, созданная автором проекта Darwin путем объединения компонентов Qwen3-4B и Gemma4-E4B с последующим полным дообучением на инструкциях. Архитектура — плотная Qwen3ForCausalLM; модель содержит около 3,7 млрд параметров, принимает текст и рассчитана на контекст до 40 960 токенов. В README заявлена поддержка корейского и английского языков и переключения между режимами рассуждения и краткого ответа. Модель предназначена для диалогов, следования инструкциям, генерации кода и задач с многошаговым рассуждением. По оценке авторов на KMMLU она набрала 52,2% при разрешении генерировать до 768 токенов; результат короткого ответа они считают нехарактерным из-за необходимости сначала рассуждать. Это частный исследовательский чекпойнт, а весовой отпечаток остаётся преимущественно близким к Qwen3-4B. Указана лицензия Apache-2.0.

DeepSeek-R1-Distill-Qwen-14B-4bit — это 4-битная версия модели DeepSeek-R1-Distill-Qwen-14B, преобразованная сообществом mlx-community в формат MLX. Исходная модель опубликована deepseek-ai; конвертация выполнена с использованием mlx-lm версии 0.21.1. Модель предназначена для генерации текста и диалогового использования через библиотеку mlx-lm, включая применение chat template и формирование ответов на пользовательские запросы. Ключевая характеристика — квантование до 4 бит, что обычно снижает требования к памяти по сравнению с полной точностью, но README не содержит точных сведений о влиянии квантования на качество. Размер исходной модели — 14B параметров. Данные о поддерживаемых языках, длине контекста, архитектуре, модальностях, ограничениях, лицензии и конкретных сценариях применения в README не указаны.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B-unsloth-bnb-4bit — это 4-битная квантованная версия языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная Unsloth на основе базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Модель относится к семейству DeepSeek-R1 и использует дистилляцию способностей рассуждения, полученных при обучении DeepSeek-R1, в компактную модель на базе Qwen. Формат предназначен для использования с библиотекой Transformers и технологией bitsandbytes. Модель предназначена прежде всего для текстовых задач, требующих рассуждений, включая решение математических задач, программирование, ответы на вопросы и другие сценарии, где важна последовательная логика. Благодаря размеру 1,5 млрд параметров и 4-битному представлению она ориентирована на запуск при ограниченных ресурсах памяти, однако README не содержит точных требований к оборудованию, размера контекста или подробных показателей качества. Указан английский язык; поддержка других языков отдельно не заявлена. К сильным сторонам относятся компактность, сниженные требования к памяти и ориентация на reasoning-задачи. Ограничениями являются меньшая вместимость по сравнению с более крупными моделями DeepSeek-R1 и возможные потери качества из-за 4-битной квантования; конкретные компромиссы в README не измерены. Модель распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-V3.2_bf16 — преобразованная в формат MLX версия DeepSeek-V3.2 от deepseek-ai, подготовленная сообществом mlx-community. Модель предназначена для генерации текста; её можно запускать с библиотекой mlx-lm на поддерживаемых MLX системах. Архитектура — DeepseekV32ForCausalLM; в метаданных указаны 37,6 млрд параметров и контекст до 163 840 токенов. Репозиторий создан преобразованием исходной модели с помощью mlx-lm 0.28.4. Метаданные указывают лицензию MIT и формат safetensors с FP8. README не описывает специализированные сценарии, языковое покрытие или результаты оценки качества, поэтому модель следует рассматривать как универсальную генеративную языковую модель без подтверждённой отраслевой специализации.