II.8Инженерия данных и аналитика

bartowski/Qwen2.5-14B-Instruct-1M-GGUF — это набор GGUF-квантизированных версий языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговой генерации текста и других задач text-generation, включая локальное использование через llama.cpp и LM Studio. В README явно указан английский язык; формат взаимодействия предусматривает системные, пользовательские и ассистентские сообщения. Модель содержит 14B параметров и поддерживает контекст размером до 1M токенов согласно идентификатору и названию базовой модели. Доступны варианты от F32 и F16 до Q8_0, Q6, Q5, Q4, Q3 и Q2 с размерами файлов примерно от 6,5 до 59 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты используют legacy-форматы или оптимизации для CPU и Apple Silicon. Конкретные требования к оборудованию и производительность в README не указаны. Распространение выполняется по лицензии Apache 2.0. Для использования необходимо учитывать значительный объём модели и выбрать подходящий уровень квантизации в зависимости от доступной памяти и требований к качеству.

YOYO-AI/Qwen2.5-14B-YOYO — объединённая 14-миллиардная языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Автор карточки описывает её как слияние, созданное с помощью mergekit методом DELLA на основе Qwen/Qwen2.5-14B с добавлением Qwen/Qwen2.5-14B-instruct. Модель предназначена для генерации ответов в чате и других сценариев, где требуется продолжать или создавать текст. Она поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для Transformers. В метаданных также указаны интерфейсы чата и вызова инструментов. Карточка не уточняет поддерживаемые естественные языки, сравнительное качество или ограничения в конкретных сценариях. Лицензия в предоставленных данных не указана.

unsloth/Qwen2.5-7B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-7B, разработанной командой Qwen. Модель предназначена для генерации и продолжения текста, а также для последующего дообучения методами SFT, RLHF или continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Модель относится к классу causal language models и содержит 7,61 млрд параметров, из которых 6,53 млрд не являются параметрами эмбеддингов. Архитектура включает 28 слоёв, RoPE, SwiGLU, RMSNorm и attention с GQA: 28 голов для Q и 4 для KV. Контекстное окно — до 131 072 токенов. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное представление, снижающее требования к памяти; конкретные показатели качества и производительности для этой сборки в README не приведены. Модель распространяется под лицензией Apache-2.0 и предназначена для использования с библиотекой Transformers.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

lmstudio-community/Qwen3-4B-Instruct-2507-MLX-5bit — это 5-битно квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью Qwen3-4B-Instruct-2507. Ключевые характеристики: архитектура и возможности базовой модели Qwen3-4B-Instruct-2507, около 4 миллиардов параметров, текстовая модальность и 5-битное представление MLX. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные преимущества модели — уменьшенный объём памяти и оптимизация для локального запуска на Apple Silicon при сохранении совместимости с экосистемой MLX. Ограничения связаны с квантованием и характеристиками базовой 4B-модели; точное влияние на качество, производительность и перечень поддерживаемых сценариев в README не описано. Модель распространяется по лицензии Apache-2.0.

rico03/Qwen3.8-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный пользователем rico03 на базе Qwen/Qwen3.8-27B. Модель дообучена методом LoRA с использованием Unsloth и дистиллирована на рассуждениях и ответах Claude Opus 4.6/4.7. Лицензия — Apache-2.0. Модель предназначена для генерации текста и задач, требующих развитого пошагового рассуждения. Она использует плотную архитектуру на 27 млрд параметров с гибридным сочетанием полной и линейной attention-механики Gated DeltaNet, а также Multi-Token Prediction (MTP) head. Базовая Qwen3.8-27B является мультимодальной vision-language моделью, однако дообучение затрагивало только текстовый путь; зрительная часть сохранена без изменений. В README заявлен английский язык, размер контекста не указан. Доступны варианты от F16 до Q4_K_M, что позволяет выбирать между качеством, размером и требованиями к памяти. MTP поддерживает само-спекулятивное декодирование и, по приведённым замерам на H100 NVL, может ускорять генерацию примерно в 1,6 раза без изменения распределения выходов. Ограничения модели включают неполностью скомпоновавшееся дообучение: это проверочный запуск на 150 шагах, а не полностью сходимая fine-tune-версия. Кроме того, значительная часть обучающих рассуждений была реконструирована отдельной моделью, а не взята из внутреннего процесса Claude Opus. Для работы требуется свежая сборка llama.cpp с поддержкой гибридной архитектуры Gated DeltaNet и MTP; старые версии могут не загрузить модель корректно.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

dbirks/Qwen3.8-27B-NVFP4-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная с помощью Intel AutoRound и упакованная в формате compressed-tensors для развертывания через vLLM. Модель предназначена для генерации и обработки текста, а также сохраняет архитектурные компоненты исходной мультимодальной модели, включая vision tower, хотя квантизация применяется только к языковому декодеру. В основе лежит гибридная архитектура из 64 слоёв: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания, с поддержкой контекста до 262 тысяч токенов. Основная часть линейных слоёв языкового декодера сжата до NVFP4 W4A4: квантизируются веса и входные активации с группами размера 16. Проекции управления рекуррентностью, vision tower, MTP head и lm_head оставлены в BF16 для сохранения качества. Модель поддерживает английский язык; размер файла составляет около 20,6 ГБ против примерно 52 ГБ у BF16-версии. Сильная сторона модели — существенное снижение требований к памяти при сохранении качества, близкого к базовой BF16-модели: в приведённых тестах результаты GSM8K, HumanEval и MMLU-Pro находятся в пределах доверительных интервалов базовой версии. Модель в первую очередь рассчитана на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores (SM100/SM120). На Ada и Hopper полноценного ускорения нет, возможен откат к более медленному режиму Marlin; для таких GPU рекомендуется родственная W4A16-версия. Лицензия — Apache-2.0.

ISTA-DASLab/Qwen3-8B-GGUF-GSQ — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen и доработанной ISTA-DASLab с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для генерации текста и запуска локальных больших языковых моделей с пониженным потреблением памяти. Модель поставляется в формате GGUF K-Quant с вариантами разной точности, включая Q2_K, Q4_K и Q6_K. Квантизация начинается с публичной инициализации Unsloth GGUF, после чего дискретные значения весов уточняются методом GSQ и упаковываются обратно в тот же формат K-Quant. Размер модели составляет 8 миллиардов параметров. Поддерживаются llama.cpp, Ollama, LM Studio и другие программы, совместимые с GGUF. Ключевое преимущество модели — улучшение качества при агрессивной низкобитной квантизации: для варианта Q2_K средний результат бенчмарков повышен с 50,03 до 56,28 относительно исходной инициализации Unsloth. При этом сохраняются стандартная структура GGUF K-Quant и совместимость с существующими инструментами. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в README сведений о языках, максимальном контексте, поддерживаемых модальностях и подробных результатах по отдельным тестам. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-CIRU-STRIX-IU4 — специализированная сборка семейства Qwen3.8-Flash-Next, разработанная проектом CIRU при участии Peonist.ai и pwilkin. Модель распространяется в формате GGUF и предназначена для локального запуска на компьютерах с AMD Strix Halo, в частности с 128 ГБ памяти и графикой Radeon на базе Ryzen AI Max 395. Она ориентирована на генерацию текста с длинным контекстом, работу через OpenAI-совместимый API, веб-интерфейс и обработку изображений. Сборка использует архитектуру mixture-of-experts, поддержку vision и image-text-to-text, а также MTP для speculative decoding. В неё включены оптимизации предварительной обработки, кэширования, внимания и GPU-исполнения под AMD ROCm; заявлена возможность работы с контекстами до 256K и отдельные измерения для предварительной обработки до 512K токенов. README не указывает точное число параметров, перечень языков и полную спецификацию модальностей. Сильные стороны модели — высокая скорость локального инференса на совместимых системах, эффективная обработка длинного контекста, поддержка изображений и интеграция с локальными серверными сценариями. Ограничения включают жёсткую зависимость от специализированного CIRU runtime и подходящей AMD-платформы: стандартные llama.cpp и размещённый inference Hugging Face не поддерживаются. Для vision и MTP требуется версия runtime с исправлением v4.4.1; приведённые в README показатели производительности относятся к конкретной тестовой конфигурации и не гарантируют такие же результаты на другом оборудовании. Лицензия указана как other с названием qwen-community-1.0; ссылка ведёт на файл LICENSE. Условия использования следует уточнять по этому файлу.

Это GGUF-квантизованная версия Qwen3-Next-80B-A3B-Instruct — инструкционной текстовой модели, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где требуется запуск через совместимые локальные инструменты, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 36,6 до 84,8 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие позволяют снизить требования к оперативной памяти за счёт большей потери качества. Для работы необходимо использовать указанный шаблон промпта с ролями system, user и assistant. Архитектура, максимальный контекст, поддерживаемые языки и дополнительные модальности в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка распространённого формата GGUF и возможность локального запуска в нескольких приложениях. Ограничениями являются значительный объём файлов и неизбежный компромисс между качеством и экономией памяти при выборе низкобитных вариантов; совместимость с отдельными инструментами может зависеть от их обновления. Модель распространяется по лицензии Apache 2.0.

Qwentile2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwentile2.5-32B-Instruct, разработанной maldv и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста, чат- и диалоговых сценариев, а также локального использования через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка. Модель имеет размер 32 млрд параметров. Доступны варианты от F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Квантизации выполнены с использованием imatrix на базе llama.cpp; для общения применяется шаблон с тегами <|im_start|> и <|im_end|>. Сильная сторона набора — широкий выбор вариантов, включая высококачественные Q6_K и Q6_K_L, а также более компактные версии для систем с ограниченной памятью. При этом уменьшение разрядности может снижать качество генерации, особенно у Q2–Q3 вариантов; для работы также требуются значительные вычислительные ресурсы. Контекстное окно, точная архитектура и дополнительные модальности в README не указаны. Модель распространяется по лицензии Apache-2.0.

T3qm7xNeuralsirkrishna_Experiment26Yamshadow — объединённая языковая модель семейства Mistral, созданная путём слияния automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment26Yamshadow-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0. Данные карточки не описывают специализацию по языкам или предметным областям, поэтому её следует рассматривать как модель общего назначения.

T3qm7xNeuralsirkrishna_ShadowCalme — объединённая языковая модель семейства Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/ShadowCalme-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поставляется в формате safetensors. Модель предназначена для генерации текста и диалогов. Контекстное окно составляет до 32 768 токенов. В метаданных указана лицензия Apache-2.0. Сведения о специальных областях применения и языках не приведены.

ZEUS 8B V22 — объединённая языковая модель, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединении также участвовали Llama-3.1-8B-Lexi-Uncensored-V2, Llama-3.1-Storm-8B, Llama-3.1-SuperNova-Lite и Llama-3.1-SauerkrautLM-8b-Instruct. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров. Модель предназначена для диалогов и генерации текста. Поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Для использования модели требуется соблюдать лицензию llama3.1. Подробности о языках и качестве на конкретных задачах в доступной карточке не приведены.

Athene-Phi-3.5-mini-instruct-orpo-GGUF — это набор GGUF-квантизированных версий языковой модели Athene-Phi-3.5-mini-instruct-orpo, разработанной EpistemeAI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска, в том числе через llama.cpp и LM Studio. В репозитории представлены варианты от исходных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,88 до 7,64 ГБ. Для взаимодействия используется формат промпта с ролями system, user и assistant. Указан английский язык; сведения о количестве параметров, максимальном контексте, архитектурных деталях и поддержке других модальностей отсутствуют. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером и требованиями к памяти, а также специальные варианты Q4 для ARM и CPU-инференса. Более компактные версии могут уступать по качеству полноразмерным и менее агрессивно квантизированным вариантам. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-7B-heretic — языковая модель для генерации текста и рассуждений, разработанная пользователем saidutta69 на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Вариант создан с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения весов в выходных проекциях attention и down-проекциях MLP подавляют поведение, связанное с отказами, без дополнительного fine-tuning. Заявляется, что при этом знания и способность следовать инструкциям в основном сохранены. Модель предназначена для разработчиков, которым нужна компактная reasoning-модель примерно на 7,6 млрд параметров для диалогов, генерации текста и задач, требующих рассуждений. Указан английский язык и текстовая модальность. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; модель можно запускать через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Для работы рекомендуется GPU с 8–12 ГБ памяти, а Q4_K_M подходит для потребительского оборудования и CPU-only или Apple Silicon при наличии достаточного объёма оперативной памяти. Размер контекста в README не указан. К сильным сторонам относятся сохранение базовых возможностей исходной модели, поддержка рассуждений и широкий выбор квантизаций для локального запуска. Ключевое ограничение и одновременно особенность — намеренное подавление отказов: модель может выполнять запросы, от которых базовая версия отказалась бы, включая потенциально небезопасные, и не содержит дополнительного слоя фильтрации. Модель распространяется на условиях deepseek-research-license, унаследованных от базовой модели.

Dolphin 2.1 Mistral 7B — разговорная языковая модель, разработанная Eric Hartford и обученная на базе Mistral. Она предназначена для диалога, ответов на вопросы и выполнения инструкций в формате ChatML. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. При обучении использованы наборы Dolphin, созданный как открытая реализация подхода Microsoft Orca, и Airoboros 2.2.1 для расширения творческих ответов. Карточка описывает модель как uncensored и предупреждает о высокой готовности выполнять запросы, в том числе неэтичные; перед развёртыванием сервиса рекомендуется добавить собственный уровень фильтрации. Указана лицензия Apache 2.0, допускающая коммерческое и некоммерческое использование.

Experiment26Yamshadow_Experiment24Inex12 — объединённая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Inex12-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Контекст составляет до 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает отдельные специализации или подтверждённые языковые предпочтения модели.

duyntnet/gemma-2-27b-it-imatrix-GGUF — набор квантизированных версий instruction-tuned языковой модели Gemma 2 27B IT, опубликованный пользователем duyntnet на базе модели Google gemma-2-27b-it. Формат GGUF предназначен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, text-generation-webui и Ollama. Модель относится к задачам генерации текста и поддерживает диалоговое взаимодействие с использованием специального chat template. Известно, что исходные веса модели имеют размер 27 миллиардов параметров и представлены в bfloat16; в данном репозитории опубликованы варианты с квантизацией imatrix. Модель ориентирована прежде всего на англоязычную генерацию, поскольку в карточке указан язык en. Она может применяться для ответов на инструкции, написания текстов, программного кода и других задач text generation. Точный набор квантизаций, размер контекста и архитектурные характеристики в README не указаны. Для запуска подходят llama.cpp и перечисленные совместимые интерфейсы. В README отмечены возможные проблемы Gemma 2 с SDPA и Flash Attention 2, поэтому рекомендуется использовать eager attention; это ограничение относится к исходной модели и способам запуска. Лицензия указана как other, без дополнительных условий в предоставленных данных.

unsloth/gemma-3-1b-it-bnb-4bit — квантизированная 4-битная версия instruction-tuned модели google/gemma-3-1b-it, основанной на семействе Gemma 3. Разработчик исходной модели — Google DeepMind; сборка и публикация варианта выполнены Unsloth. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и понимания изображений. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов; изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов, максимальный объём генерируемого ответа составляет 8192 токена. Поддерживается более 140 языков, включая английский; в метаданных этой карточки явно указан язык en. Небольшой размер и 4-битное представление упрощают локальное развёртывание на ноутбуках, настольных компьютерах и в облачной инфраструктуре с ограниченными ресурсами, однако квантизация может снижать точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google. В README не приведены точные требования к аппаратному обеспечению, результаты тестирования или подробные сведения об архитектуре, поэтому производительность в конкретных задачах по этой карточке оценить нельзя.

Gemma-4-12B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели culturerevolt/gemma-4-12b-heretic-abliterated, созданной на основе архитектуры Google Gemma-4 12B Instruction Tuned. Репозиторий разработан culturerevolt; в README также отмечен вклад Google DeepMind в архитектуру и Philipp Emanuel Weidmann в разработку подхода Heretic abliteration. Модель предназначена для локальной генерации текста, диалогов, рассуждений, творческого письма и агентских сценариев, включая обработку структурированного вывода и JSON. Поддержка изображений заявлена через отдельный мультимодальный проектор gemma-4-12b-it-mmproj-f16.gguf. Доступны варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_XS с разным соотношением качества, скорости и требований к памяти. Для части вариантов использована калибровка iMatrix, ориентированная на сохранение логики, синтаксиса, инструментального вызова и качества повествования при квантовании. Точный список языков и базовый размер контекстного окна в README не указаны; для IQ4_XS упоминается возможность работы с контекстом до 131 тысяч токенов в определённых конфигурациях. Сильные стороны модели — широкий выбор степеней квантования, возможность запуска на локальном оборудовании и оптимизация низкобитных вариантов с помощью importance matrix. Ограничения связаны с неизбежной потерей точности при более агрессивном квантовании, зависимостью мультимодального режима от совместимого backend и отдельного projector-файла, а также с тем, что аблитерированная версия позиционируется как decensored и может иметь меньше встроенных отказов от нежелательных запросов. Лицензия — Apache-2.0.

GLM-4.5V-FP8 — мультимодальная vision-language модель, разработанная ZhipuAI на базе текстовой модели GLM-4.5-Air. Она предназначена для анализа изображений, видео и документов, визуального рассуждения, понимания интерфейсов и задач GUI-агента, а также точной локализации объектов на изображениях. Модель поддерживает китайский и английский языки и работает через библиотеку Transformers. Модель имеет архитектурную основу GLM-4.5-Air с 106 млрд параметров, из которых 12 млрд активны, и представлена в формате FP8. Она поддерживает режим Thinking Mode для выбора между быстрыми ответами и углублённым рассуждением, умеет выполнять анализ сцен и нескольких изображений, распознавать события в длинных видео, разбирать сложные графики и длинные документы, а также возвращать координаты ограничивающих рамок объектов в нормализованном формате. Заявлена высокая эффективность на 42 публичных vision-language бенчмарках среди моделей сопоставимого масштаба. Ограничения, включая размер контекста, перечень поддерживаемых форматов и требования к ресурсам, в README не указаны. Модель распространяется по лицензии MIT.

Это GGUF-квантизации модели llmfan46/gpt-oss-120b-heretic-v2, созданные независимым автором на основе дообученной версии gpt-oss-120b. Модель предназначена для диалогов и генерации текста, включая задачи с вызовом инструментов и структурированными ответами в совместимых средах запуска. Вариант heretic создан методом abliteration: в README указаны параметры обработки и меньше отказов в приведённом сравнении с исходной gpt-oss-120b. Репозиторий распространяет веса в формате GGUF и рассчитан на запуск через llama.cpp, LM Studio, Ollama и другие совместимые программы. Указана лицензия Apache 2.0.

Hermes-3-Llama-3.1-8B — языковая модель семейства Llama, опубликованная под идентификатором Unsloth на Hugging Face. Она предназначена для генерации текста и диалогового взаимодействия и может использоваться через библиотеку Transformers.

IntervitensInc опубликовала преобразованную версию InternLM2.5-20B с архитектурой Llama для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; размер модели составляет 19,3 млрд параметров. В README говорится, что конвертация и ручная правка токенизатора должны сохранять поведение исходной модели при температуре 0, однако это проверено лишь на небольших тестах и не подтверждено всесторонне. Модель предназначена для диалоговых сценариев, рассуждений и работы с длинным контекстом. README описывает исходную InternLM2.5 как модель с заявленной поддержкой контекста до 1 млн токенов, а метаданные этого репозитория указывают нативный контекст 262 144 токена; для этой сборки следует ориентироваться на значение из метаданных. В README приведены результаты оценки исходной модели на MMLU, CMMLU и BBH, но они не являются отдельной оценкой конвертированной версии. В README перечислены китайский и английский наборы оценки, что указывает на релевантность китайского и английского языков; метаданные не задают языковые коды. Модель может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Указана лицензия Apache-2.0 для кода; для весов README сообщает об открытом доступе для академических исследований и необходимости запросить бесплатное коммерческое разрешение.

InternLM-Chat-7B — диалоговая модель семейства InternLM от команды InternLM, предназначенная для практических сценариев общения и генерации текста. Это плотная авторегрессионная модель класса InternLMForCausalLM с 6,9 млрд параметров; в репозитории представлены веса PyTorch. Карточка сообщает о тренировке на триллионах высококачественных токенов и оценивает модель по языковым, предметным, знаниевым, логическим и понимательным задачам. Модель подходит для диалоговых ассистентов, ответов на вопросы, объяснений и генерации текста; также заявлены возможности вызова инструментов для построения пользовательских рабочих процессов. Метаданные указывают контекст 2048 токенов, тогда как README заявляет окно 8k, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Карточка приводит результаты OpenCompass, включая C-Eval, MMLU и AGIEval. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов указано открытое использование в академических исследованиях, а коммерческое применение требует получения бесплатного разрешения.

K2-Horizon-32B MLX 6-bit — 6-битная квантизованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, подготовленная hermitdave для запуска на компьютерах Apple Silicon через MLX. Модель содержит 31,2 млрд параметров по метаданным, а README описывает исходную архитектуру как декодер с 64 слоями. Заявленная длина контекста — 524 288 токенов. Модель предназначена для генерации текста, диалогов, рассуждений и агентных задач; карточка характеризует исходную модель как reasoning-модель и приводит результаты нескольких бенчмарков. Квантование уменьшает объём весов примерно до 24 ГБ, что, согласно README, позволяет запускать модель на устройствах Apple Silicon с 64 ГБ памяти. Для использования указаны MLX и mlx-lm; README также сообщает о необходимости патча oMLX версии 0.6.4 или новее для поддержки типа модели и формата вызовов инструментов. Это чекпойнт Stage 1; автор README сообщает, что ожидается финальный чекпойнт с улучшенными результатами. Модель выпущена по лицензии Apache-2.0. Данные о поддерживаемых естественных языках в источниках не приведены.

K2-Horizon-MoVA-36B-A4B-GGUF — квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, опубликованная abenzerps в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и поддерживает сценарии диалогов и вызова инструментов; доступен формат tool calling с вариантами xml, json и xml_typed. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Исходная модель поддерживает контекст до 524 288 токенов (512K), а заявленный язык — английский. Модель текстовая и не требует vision projector. Доступны варианты квантования Q3_K_M, Q4_K_M, Q4_0, Q5_K_M, Q6_K и Q8_0 размером примерно от 17,66 до 39,83 ГБ. Ключевое преимущество модели — сочетание большого контекстного окна, разреженной MoE-архитектуры и нескольких вариантов квантования для выбора компромисса между качеством и требованиями к памяти. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, включая форк MBZUAI-IFM до появления поддержки в основной ветке. Лицензия исходной модели — Apache-2.0; фактическая производительность зависит от выбранной квантовки и доступной памяти.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.