I.11Классификация, ранжирование и сопоставление

Hunyuan-7B-Instruct-GGUF — это квантизированная GGUF-версия текстовой генеративной модели Hunyuan-7B-Instruct, разработанной Tencent. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на диалоговые сценарии и генерацию текста по инструкциям. В репозитории доступны варианты от BF16 до квантизаций Q2–Q8, размером примерно от 3 ГБ до 15 ГБ; это позволяет выбирать между качеством и требованиями к памяти. Для работы необходимо использовать указанный формат prompt с системным сообщением и специальными токенами. README не содержит сведений об архитектуре, поддерживаемых языках, длине контекста, мультимодальности или результатах бенчмарков. Квантизации с более высокой разрядностью обычно обеспечивают лучшее качество, а варианты Q3 и ниже экономят память, но заметнее теряют в качестве; некоторые форматы предназначены для совместимости с ARM или Apple Silicon. Лицензия в предоставленных данных не указана.

UNA-Neural-Chat-v3-3-Phase2 — языковая модель OneManArmy, созданная с применением метода выравнивания UNA (Uniform Neural Alignment) и обученная с использованием Zephyr Trainer на очищенном наборе UltraFeedback. Это дообучение модели one-man-army/una-neural-chat-v3-3-P1-OMA; архитектура MistralForCausalLM, около 7,1 млрд параметров, контекст до 32 768 токенов. Модель предназначена для генерации текста в диалогах и ответов на запросы. В карточке приведены результаты бенчмарков ARC и HellaSwag, но подробные результаты доступны по внешней ссылке и не представлены здесь. Лицензия — Apache-2.0.

watt-tool-70B-GGUF — это квантизированная версия языковой модели watt-tool-70B, разработанной watt-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, вызова функций и взаимодействия с внешними инструментами; в метаданных также указана совместимость с задачами BFCL. Поддерживается запуск через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Модель имеет размер 70B параметров; в README она связана с архитектурой Llama и заявлена для английского языка. Длина контекста, точный набор поддерживаемых модальностей и дополнительные архитектурные характеристики не указаны. Доступно множество вариантов квантизации от Q2 до Q8, различающихся размером файлов и качеством: Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S отмечены как рекомендуемые, тогда как варианты Q2 и Q3 обеспечивают экономию памяти за счёт снижения качества. Сильными сторонами модели являются ориентация на function calling и tool use, а также возможность локального запуска на совместимом оборудовании. Ограничения связаны с потерями качества при использовании низкобитных вариантов квантизации, значительными требованиями к памяти у 70B-модели и отсутствием заявленной поддержки языков, кроме английского. Лицензия — Apache-2.0.

Zurich 14B GammaCorpus v2-500k — диалоговая языковая модель, разработанная Ruben Roy и полученная дообучением Qwen/Qwen2.5-14B-Instruct на наборе структурированных и отфильтрованных многоходовых диалогов GammaCorpus v2-500k. Она предназначена для генерации текста и ответов в диалоге, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Модель построена на архитектуре Qwen2, имеет около 14,7 млрд параметров и контекст длиной 32 768 токенов. В карточке указаны 48 слоёв и групповое внимание с 40 головами Q и 8 головами KV. Модель принимает текст и генерирует текст; в метаданных основным языком карточки указан английский.

Это текстовая авторегрессионная модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM и 7,1 млрд параметров. Репозиторий содержит контрольную точку в стандартном формате Hugging Face Transformers и safetensors; в README она обозначена как резервная копия исследовательского артефакта. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные указывают контекст до 131 072 токенов, а также интерфейс для вызова инструментов. Данных о специализированной предметной области или поддерживаемых естественных языках в карточке нет. Условия лицензии в доступных данных не приведены, поэтому условия использования определить нельзя. Поскольку чекпойнт назван резервной копией исследовательского артефакта, его практическое качество и пригодность для развертывания не подтверждены.

yuq-zhou/2026-05-o-b0p3-a1p0-gc0p5-exp-td4p0-tw5p0-r1-7-fixed-20260804 — исследовательский чекпойнт генеративной языковой модели в стандартном формате Hugging Face для загрузки через AutoModelForCausalLM. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Данные не описывают специализацию по задачам или языкам, поэтому сценарии применения ограничены общим использованием как чат-модели и генератора текста. Чекпойнт сохранён в формате safetensors и работает с библиотекой Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

70B-L3.3-mhnnn-x1 — дообученная разговорная языковая модель Sao10K на архитектуре Llama, основанная на meta-llama/Llama-3.3-70B-Instruct. Модель содержит 69,5 млрд параметров, принимает текстовые запросы в формате Llama 3 Instruct и поддерживает контекст до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Модель предназначена для диалогов и генерации текста, с акцентом на более творческие ответы. Автор сообщает, что при таком поведении иногда возникают ошибки, которые могут исчезнуть при повторной генерации. Для обучения использовалась конфигурация Axolotl 0.6.0; автор рекомендует температуру 1,1 и min_p 0,05. Модель доступна по лицензии Llama 3.3.

Olmo-3.1-32B-Think-GGUF — это квантизированная версия текстовой генеративной модели Olmo-3.1-32B-Think, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, включая IQ-квантизации. Размер файлов варьируется примерно от 14 до 64 ГБ, поэтому модель можно адаптировать под доступные ресурсы, выбирая компромисс между качеством и потреблением памяти. Указан английский язык; сведения об архитектуре, максимальном контексте, мультимодальности и поддерживаемых языках, кроме английского, не предоставлены. Сильной стороной модели являются варианты с высокой точностью, близкой к исходной, а также возможность локального запуска на совместимом оборудовании. Низкобитные варианты экономят память, но могут снижать качество генерации; некоторые форматы имеют устаревшие особенности или не рекомендуются из-за более низкого качества. Модель распространяется по лицензии Apache-2.0.

AX-DeepSeek-V4-Flash-MLX-AXQ-2bit-MTP — это экспериментальный MLX-чекпойнт, разработанный AutomatosX на основе модели DeepSeek-V4-Flash от deepseek-ai. Модель предназначена для генерации текста и запуска на компьютерах Apple Silicon через MLX-LM или AX Engine. Архитектура исходной модели — DeepseekV4ForCausalLM с mixture of experts; основной путь обработки текста квантизирован, а MTP-компонент сохранён в BF16. Модель содержит около 284,33 млрд логических параметров, использует смешанную точность с преобладанием 2-битных весов и имеет измеренный общий размер 3,1605 BPW. Размер Safetensors-весов составляет около 114,94 ГБ, а полный объём загрузки — около 115,02 ГБ. Заявленный максимальный контекст — 1 048 576 токенов, однако практическая длина зависит от объёма unified memory устройства. Модель поддерживает только текстовую модальность: vision и audio отсутствуют. Основное преимущество — существенно сниженные требования к хранению по сравнению с полноточной моделью при сохранении совместимости с MLX и возможностью прямого запуска в AX Engine. К ограничениям относятся экспериментальный статус 2-битной квантизации, высокая потребность в дисковом пространстве и памяти, отсутствие калибровки, а также то, что стандартный MLX-LM не активирует MTP-sidecar и не подтверждает ускорение speculative decoding. Проверенная сертификация привязана к конкретной ревизии Hub и конфигурации df-macstudio-m2. Репозиторий распространяется по лицензии Apache-2.0 и содержит MLX Safetensors, но не PyTorch- или GGUF-веса.

Карточка модели unsloth/aya-vision-8b на Hugging Face совпадает с карточкой unsloth/aya-vision-32b, поэтому описание составлено по ней. unsloth/aya-vision-32b — версия с весами, опубликованная Unsloth на основе мультимодальной модели Aya Vision 32B от Cohere For AI. Это плотная vision-language модель для диалога по тексту и изображениям: она принимает текст и изображения, а в ответ генерирует текст. Варианты Aya Vision предназначены для OCR, описания изображений, визуальных рассуждений, суммаризации, ответов на вопросы по изображениям и других задач понимания визуального содержимого. Модель относится к семейству Aya Vision и использует архитектуру AyaVisionForConditionalGeneration; для обработки изображений применяется зрительный энкодер SigLIP2. Она поддерживает многоязычное взаимодействие, включая русский, и работает через библиотеку Transformers. Карточка README относится к версии 8B, поэтому приведённые там сведения о контексте 16K, обработке изображений и подробном списке 23 языков нельзя уверенно переносить на эту версию 32B. Репозиторий основан на CohereForAI/aya-vision-32b и классифицирован как дообученная модель; веса хранятся в формате safetensors. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование и требует соблюдать условия допустимого использования C4AI. Подробности производительности и ограничения именно версии 32B в предоставленной карточке не описаны.

lukagra/Bielik-Minitron-7B-v3.0-Instruct-mlx-fp16 — конвертированная в формат MLX версия модели speakleash/Bielik-Minitron-7B-v3.0-Instruct. Это плотная авторегрессионная языковая модель семейства Llama с 7,3 млрд параметров, предназначенная для диалога и генерации текста. Репозиторий создан lukagra; карточка базовой модели описывает Bielik как компактную инструктивную модель для европейских языков с акцентом на польский. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и рассчитана на многоязычные сценарии. В метаданных перечислены польский, английский, албанский, белорусский, боснийский, болгарский, хорватский, чешский, датский, эстонский, финский, французский, греческий, испанский, исландский, литовский, нидерландский, немецкий, норвежский, португальский, русский, румынский, сербский, шведский, словацкий, словенский, турецкий, украинский, венгерский, итальянский и латышский языки. Формат MLX предназначен для запуска на оборудовании Apple с MLX; исходная модель использует формат Safetensors. Модель опубликована под лицензией Apache-2.0. Качество и возможности унаследованы от базовой модели; карточка этой конверсии не содержит отдельных оценок или результатов тестирования.

BLOSSOM-v4-baichuan2-7b — диалоговая языковая модель, созданная на основе Baichuan2-7B-Base и дообученная разработчиками BLOSSOM на смешанных наборах инструкций Orca, Wizard, Chat и Math. Обучение проходило в два этапа: сначала на одноходовых инструкциях, включая математические, затем на многоходовых диалогах с небольшой долей данных первого этапа. Модель предназначена для генерации ответов в формате диалога, понимания контекста беседы и выполнения общих инструкций на китайском и английском языках. Это плотная трансформерная модель Baichuan с 7 млрд параметров и контекстом до 4096 токенов. Лицензия — Apache-2.0. Модель поддерживает общие диалоговые задачи и инструкции, в том числе задачи из математических данных обучения. Качество и точность ответов могут различаться в зависимости от запроса; численные оценки качества в карточке не приведены. Для корректной работы следует использовать указанный в карточке шаблон диалога.

Citaman/command-r-2-layer — слитая языковая модель на архитектуре Cohere, созданная автором репозитория с помощью mergekit. В неё включены слои модели Citaman/command-r-3-layer; использован метод SLERP. Метаданные описывают модель как дообучение этой базовой модели, а карточка указывает на слияние её слоёв. Модель предназначена для генерации текста и диалоговых сценариев, включая интерфейс вызова инструментов. Она содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Указан формат safetensors и библиотека Transformers. Данные не сообщают целевые языки или специальные прикладные области, поэтому модель следует рассматривать как универсальную. Лицензия в предоставленных сведениях не указана; качество и надёжность ответов отдельно не описаны.

Citaman/command-r-36-layer — объединённая автором Citaman языковая модель на архитектуре Cohere с 31,7 млрд параметров. Репозиторий создан 15 апреля 2024 года; веса опубликованы в формате Safetensors для использования с Transformers. Модель предназначена для генерации текста и диалогов, также заявлен интерфейс вызова инструментов. Модель получена слиянием SLERP на основе Citaman/command-r-37-layer: использованы диапазоны слоёв [0, 36] и [1, 37] одной базовой модели. Контекст составляет 8192 токена. README не уточняет языки и специализированные предметные области; из доступных данных нельзя заключить, насколько хорошо реализован вызов инструментов или каково качество ответов. Лицензия в предоставленных данных не указана.

Citaman/command-r-8-layer — созданная с помощью mergekit языковая модель на архитектуре CohereForCausalLM, полученная слиянием SLERP слоёв модели Citaman/command-r-9-layer. В репозитории указаны веса в формате safetensors и тип данных bfloat16; размер модели составляет 8,7 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации текста и диалоговых сценариев; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Сведения о поддерживаемых естественных языках и специализированных областях применения отсутствуют. Лицензия в предоставленных данных не указана.

Dans-PersonalityEngine-v1.0.0-8b — разговорная языковая модель Dans-Archive, созданная полным дообучением и слиянием моделей семейства Llama 3.1. Она предназначена для диалогов, совместного написания текстов и ролевых сценариев, а также для суммаризации и анализа тональности в текстовых конвейерах. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она принимает и генерирует текст, поддерживает английский язык и использует шаблон запросов ChatML. Заявленная длина контекста — 131 072 токена. В обучении использовались инструкции в один и несколько ходов, ролевые сценарии, текстовые приключения, материалы для соавторства и другие наборы данных. Карточка предупреждает, что модель не проходила выравнивание на безвредность, поэтому её ответы могут содержать вредный контент и требуют проверки при применении. Распространяется по лицензии Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Qwen-14B, подготовленная Unsloth на основе модели DeepSeek. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие пошагового рассуждения; в README приведён пример решения простой арифметической задачи. Для запуска рекомендуется использовать llama.cpp с соответствующим чат-шаблоном и специальными токенами <｜User｜> и <｜Assistant｜>. Модель относится к семейству Qwen и имеет размер 14B параметров. Доступны варианты с разными уровнями GGUF-квантизации, включая Q4_K_M и Q8_0; конкретные характеристики зависят от выбранного файла. Указан английский язык. README не содержит данных о длине контекста, мультимодальности, точной архитектуре или результатах тестирования, поэтому эти свойства нельзя надёжно оценить. К сильным сторонам относятся возможность локального запуска через llama.cpp и ускорение обработки за счёт GPU-offload; для работы требуется достаточно производительное оборудование, а качество и потребление памяти зависят от квантизации. Модель распространяется по лицензии Apache-2.0.

dragon-red-pajama-7b-v0 — модель серии dRAGon, разработанная llmware и дообученная для ответов по контексту. Она предназначена для фактологического вопросно-ответного поиска по сложным деловым, юридическим и нормативным документам, извлечения пар «ключ—значение» и краткого суммирования. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и рассчитана на контекст до 2048 токенов. README указывает английский язык и настройку на короткие, ясные ответы для автоматизации рабочих процессов; в приведённых тестовых запусках галлюцинаций не наблюдалось. Модель принимает текстовый контекст и инструкции и генерирует текстовые ответы. Она может выдавать неточные или неполные сведения, поэтому результаты требуют проверки. Лицензия — Apache 2.0.

FireFunction v2 — модель для генерации текста и вызова функций, разработанная Fireworks AI и представленная в формате GGUF в репозитории bartowski. Это квантизированная версия исходной модели firefunction-v2, подготовленная с использованием llama.cpp и метода imatrix. Модель предназначена для интеграции с приложениями, где ассистент должен отвечать обычным текстом или выбирать и вызывать одну или несколько внешних функций на основе запроса пользователя. Модель поддерживает сценарии function calling: формирование вызовов функций в формате JSON, выбор подходящих функций и передачу аргументов согласно заданной JSON-схеме. В README приведён специальный шаблон промпта с системными инструкциями для принятия решения о вызове функции. Доступны варианты квантования от IQ1_M до Q8_0, различающиеся размером файла и ожидаемым качеством; рекомендуются, в частности, Q6_K, Q5_K_M и Q4_K_M. Квантизация уменьшает требования к ресурсам, но низкобитные варианты могут заметно терять в качестве. В README не указаны размер исходной модели, архитектура, максимальная длина контекста, поддерживаемые языки и результаты сравнительных тестов, поэтому эти характеристики нельзя надёжно определить. Модель распространяется по лицензии llama3.

core-outline/gemma-2b-instruct — текстовая инструктивная модель семейства Gemma, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная авторегрессионная модель-декодер класса GemmaForCausalLM с 2,5 млрд параметров, предназначенная для диалога и генерации текста; контекст составляет до 8192 токенов. Модель принимает текст и формирует текстовые ответы. В карточке семейство Gemma описано как англоязычное. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и простых задач рассуждения. Компактный размер позволяет запускать её на компьютере или собственной облачной инфраструктуре. Репозиторий содержит веса в форматах Safetensors и GGUF. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория. К ограничениям относятся возможные фактические ошибки и устаревшие сведения, смещения из обучающих данных и трудности с неоднозначным языком или сложными открытыми задачами. Модель может создавать вредоносный или вводящий в заблуждение текст, поэтому для прикладных систем важны проверка ответов и меры безопасности.

ApolloRaines/Gemma-4-12B-it-Jbliterated-v2 — языковая модель для генерации текста, разработанная ApolloRaines на основе Gemma-4-12B-it-Jbliterated. Это объединённая самодостаточная версия с целевым дообучением (SFT), направленным на снижение скрытых циклов самопроверки безопасности в reasoning-трассах и повышение вероятности завершённого ответа. Модель предназначена для диалоговых сценариев, генерации текста и локального запуска через Transformers или в формате GGUF. Модель имеет размер 12B параметров, использует архитектуру Gemma 4 Unified и тип данных bfloat16. Поддерживаемый язык, указанный в карточке, — английский. Модель работает с текстовой модальностью; размер контекстного окна в README не указан. Доступны варианты GGUF с квантованием Q8_0 и Q4_K_M, причём Q4_K_M рекомендован для видеокарт с 8–12 ГБ памяти. Для GGUF требуется свежая версия llama.cpp из ветки master. По сравнению с исходной версией v1 модель снизила частоту safety-классификации в reasoning-канале с 81,2% до 35,0%, а долю полных ответов повысила с 61,2% до 78,8% на указанном наборе из 80 тестовых запросов. При этом показатель MMLU снизился на 0,88 процентного пункта — до 77,72%. Ограничения включают сохраняющиеся спирали без ответа примерно на 21% самых сложных запросов, оценивание на одном обучающем запуске и возможное неполное выявление замаскированной safety-классификации используемым регулярным выражением. Использование модели регулируется Gemma Terms of Use, то есть лицензией Google для Gemma.

zeromodels публикует версию Gemma 4 E2B IT в формате Keras 3. Это конверсия весов Google Gemma 4, реализованная для запуска с TensorFlow, Torch и JAX; в репозитории веса хранятся в bfloat16. По README, модель принимает изображения, аудио и текст и выдаёт текст, а также поддерживает текстовый диалог через Gemma4Processor и инструменты генерации текста. Указан размер 5,1 млрд параметров с эмбеддингами и 2,3 млрд эффективных параметров; базовая модель — google/gemma-4-E2B-it. Семейство Gemma 4 использует скользящее окно внимания на 512 токенов для варианта E2B, но полный контекст модели в карточке не уточнён. Модель подходит для диалогов, ответов по изображениям и аудио и генерации текста. README отсылает к карточке Google за подробностями о модели и условиях использования; лицензия репозитория — Apache 2.0.

Geneva 12B GammaCorpus v2-1m — диалоговая языковая модель rubenroy, дообученная на Mistral-Nemo-Instruct-2407 с использованием корпуса структурированных и отфильтрованных многоходовых диалогов GammaCorpus v2-1m. Она предназначена для генерации текста, ведения беседы и выполнения инструкций; интерфейс модели также поддерживает вызов инструментов. Модель построена на плотной архитектуре Mistral, содержит 12,1 млрд параметров и использует 40 слоёв, группированные запросы внимания (GQA) и вращательные позиционные эмбеддинги. Заявленная длина контекста — 1 024 000 токенов. В метаданных перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Модель работает с текстом и доступна в формате safetensors через Transformers. Лицензия — Apache-2.0. README предупреждает о возможности предвзятых ответов; фактическое качество на конкретных задачах следует проверять отдельно.

Geodesic Phantom 12B — языковая модель, созданная OrobasVault с помощью слияния предобученных моделей через mergekit. В качестве основы использована Mistral-Nemo-Instruct-2407, также в слияние вошли модели семейства Vortex5. Архитектура — плотная MistralForCausalLM; модель содержит 12,1 млрд параметров, работает с библиотекой Transformers и распространяется в формате safetensors. Модель предназначена для диалога и генерации текста. Метаданные указывают контекст до 131 072 токенов и возможность чата; карточка не приводит специализированных областей применения или подробных оценок качества. Языковая поддержка не установлена по доступным данным. Лицензия в предоставленных сведениях не указана.

GLM-4.5-Air-GGUF — это GGUF-квантизированная версия языковой модели GLM-4.5-Air, разработанной командой zai-org. Квантизация выполнена bartowski на основе llama.cpp версии b6085; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для генерации текста и локального использования в совместимых приложениях, включая LM Studio и другие среды на базе llama.cpp. README не содержит сведений о точном размере модели, варианте квантизации, длине контекста, поддерживаемых языках, архитектурных деталях или доступных модальностях, поэтому эти характеристики нельзя достоверно оценить по представленным данным. К преимуществам относятся формат GGUF и совместимость с экосистемой llama.cpp, что делает модель подходящей для локального запуска при наличии совместимого оборудования. Ограничения связаны с возможными потерями качества из-за квантизации, а также с тем, что модель может генерировать неточную, вредную или неподходящую информацию. Лицензия в README не указана; условия использования следует уточнять в материалах исходной модели zai-org/GLM-4.5-Air и конкретной сборки.

mlx-community/GLM-4.7-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-4.7 в формат MLX с использованием mlx-lm версии 0.30.0. По указанным метаданным модель предназначена для работы с текстом и поддерживает английский и китайский языки. Она может применяться для диалоговой генерации и других задач, связанных с продолжением текста, через библиотеку mlx-lm. Ключевая особенность модели — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноформатной версией, но потенциально может ограничивать точность по сравнению с исходной моделью. Архитектура, число параметров, размер контекста, дополнительные модальности и перечень поддерживаемых сценариев в README не указаны. Для использования требуется MLX и библиотека mlx-lm. Модель распространяется по лицензии MIT.

gpt-oss-120b-MLX-8bit — это 8-битная квантованная версия языковой модели gpt-oss-120b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research для работы с моделями на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых базовой моделью gpt-oss-120b. Она опубликована в формате, оптимизированном для Apple Silicon, и относится к моделям text-generation. В доступных данных не указаны архитектура, точный размер в параметрах исходной модели, поддерживаемые языки, длина контекста или мультимодальные возможности. Ключевая особенность модели — 8-битное квантование, которое может снизить требования к памяти и повысить удобство локального запуска по сравнению с полноразмерной версией, однако потенциально связано с компромиссом между эффективностью и точностью. Качество и поведение модели наследуют ограничения исходной gpt-oss-120b; README также предупреждает о возможных неточных, вредных или неподходящих результатах. Лицензия модели — Apache 2.0.

DevQuasar-7/huihui-ai.DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-GGUF — это квантованная версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, подготовленная в формате GGUF командой или проектом DevQuasar. Модель предназначена для генерации текста и может использоваться в сценариях локального запуска и инференса с совместимыми инструментами, поддерживающими GGUF. Из карточки следует, что её базовая модель относится к семейству DeepSeek-R1-Distill-Qwen и имеет размер 14B параметров; точный тип квантования не указан. Ключевая заявленная модальность — текстовая генерация. Сведения о поддерживаемых языках, размере контекстного окна, конкретной архитектуре, требованиях к оборудованию и результатах оценки отсутствуют. К потенциальным ограничениям относятся зависимость качества и скорости от выбранного варианта квантования и программного окружения, а также отсутствие в карточке описания сильных сторон, бенчмарков и рекомендаций по применению. Лицензия и условия использования в README не указаны.

ISOM-Qwen-1.5B-Instruct — инструктивно дообученная языковая модель, разработанная Prannessh K.V.A. на базе Qwen/Qwen2.5-1.5B-Instruct. По карточке, архитектура ISOM добавляет к трансформерным слоям рекуррентное сжатие состояния и динамическую INT8-квантизацию, чтобы ограничивать расход памяти KV-кэша при длинных контекстах. Модель предназначена для диалога, генерации текста и извлечения сведений из длинных последовательностей; заявлено окно контекста 32 768 токенов. В README автор заявляет сокращение рабочей памяти кэша и ускорение декодирования на длинных контекстах, включая тесты поиска факта в последовательности. Это заявления карточки; независимая проверка результатов в предоставленных данных отсутствует. Модель содержит около 1,5 млрд параметров, поддерживает английский язык, доступна в формате safetensors и распространяется по лицензии Apache-2.0. Метаданные также отмечают интерфейс для вызова инструментов.

JiRackUltra_7b-i1-GGUF — это набор GGUF-квантизаций модели JiRackUltra_7b, разработанной CMSManhattan и подготовленной квантизатором mradermacher. Модель ориентирована на генерацию текста и локальный запуск с пониженными требованиями к памяти и вычислительным ресурсам, включая сценарии на CPU. В метаданных также указаны потенциальные области применения, связанные с web-интерфейсами, маршрутизацией запросов, вызовами инструментов и робототехникой. Модель имеет размер около 7 млрд параметров и использует архитектурный подход ternary/BitNet с заявленной точностью 1.58 bit. Распространяется в формате GGUF в вариантах от i1-IQ1_S до i1-Q6_K; размер файлов составляет примерно от 2,0 до 6,4 ГБ. Доступны weighted/imatrix-квантизации, причём разные варианты отличаются балансом между размером, скоростью и качеством. В README заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Сильная сторона модели — возможность экономичного локального развертывания благодаря низкоразрядному представлению и широкому выбору квантизаций. Ограничения связаны с потерями качества у наиболее компактных вариантов; для некоторых из них README прямо указывает низкое качество, а IQ- и Q-варианты могут заметно различаться по результатам. Мультимодальность и размер контекстного окна в предоставленных данных не указаны. Лицензия модели — MIT.