I.7Речь, диалоги и встречи

RockTalk/Qwen3.8-Flash-Next-MLX-4bit — это 4-битная MLX-квантизованная версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Порт создан Rocktalk-Holdings для запуска на Apple Silicon; модель использует архитектуру qwen4_exp и предназначена для генерации текста, программного кода, структурированных ответов и агентских сценариев. Вариант с соответствующим мультимодальным окружением также поддерживает обработку изображений и видео, а сама модель — вызовы инструментов. Заявленный размер составляет около 180 млрд параметров: 125 млрд параметров MoE-трансформера, из которых активно около 6 млрд, 51,2 млрд параметров n-граммной embedding-таблицы и 4 млрд параметров MTP-головы для спекулятивного декодирования. Архитектура включает 512 экспертов, разреженное внимание QSA на 12 из 48 слоёв, Gated DeltaNet на 36 слоях и Hyper-connections. Основной заявленный язык — английский. Контекст модели в README не указан. Для MLX-версии применяется преимущественно 4-битная аффинная квантизация с размером группы 64, а отдельные компоненты используют 8-битное представление. Сильной стороной модели является эффективный запуск на компьютерах Apple Silicon: на M3 Ultra заявлена скорость около 26–35 токенов в секунду, а при использовании внешнего MTP-драфтера и gmlx — до 55–86 токенов в секунду в зависимости от типа содержимого. Спекулятивное декодирование сохраняет идентичность последовательностей с обычным жадным режимом в заявленных проверках. Ограничения включают очень высокие требования к памяти, зависимость от специализированного MLX/gmlx-стека и экспериментальный статус архитектуры; заявленная поддержка изображений, видео и инструментов относится к дополнительной конфигурации с отдельным vision projector и совместимым сервером. Лицензия указана как other, без дополнительных условий в README.

Smaug-Llama-3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Smaug-Llama-3-70B-Instruct, разработанной Abacus AI. Квантизацию выполнил bartowski с использованием imatrix и поддержки Smaug в llama.cpp. Модель предназначена для генерации текста по инструкциям, решения математических задач и работы с кодом; в качестве исходных данных указаны aqua_rat, microsoft/orca-math-word-problems-200k и m-a-p/CodeFeedback-Filtered-Instruction. Формат GGUF позволяет запускать её через llama.cpp, начиная с версии b3001. Модель содержит 70 миллиардов параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 75 ГБ до менее 20 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации отмечены как рекомендуемые: они предлагают компромисс между качеством и требованиями к памяти. Более сильная квантизация сохраняет качество, но требует значительных ресурсов, тогда как варианты Q2 и Q1 экономят память за счёт заметного снижения качества. Для корректной работы следует использовать указанный формат приглашений Llama 3 с системным сообщением, запросом пользователя и ответом assistant. README указывает лицензию llama2; дополнительные ограничения и условия коммерческого использования не описаны.

unsloth/DeepSeek-V3-0324-GGUF-UD — это набор динамически квантованных версий DeepSeek-V3-0324, подготовленный Unsloth на базе модели deepseek-ai/DeepSeek-V3-0324 в формате GGUF. Модель предназначена для локального запуска через llama.cpp, LM Studio, Open WebUI и другие совместимые фреймворки инференса. В метаданных указано, что основной язык модели — английский. Доступны варианты с эффективной разрядностью от 1,78 до 4,5 бит и размером файлов примерно от 192 до 384 ГБ. Квантизация Dynamic v2.0 выполняется выборочно; в README заявлено, что это позволяет сохранить более высокую точность по сравнению со стандартными методами квантизации. Модель использует архитектуру MoE, что отражено в описании разрядности компонентов смеси. Версии 2,42 бит IQ2_XXS и 2,71 бит Q2_K_XL рекомендованы как наиболее удачные по соотношению производительности и размера; для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Сильными сторонами являются возможность локального использования крупной модели в распространённых GGUF-фреймворках и оптимизированная динамическая квантизация. Ограничениями выступают чрезвычайно высокие требования к памяти и большой объём файлов. Варианты IQ1_S и IQ1_M обозначены как предварительные: по результатам тестирования они обычно работают нормально, но иногда хуже справляются с генерацией кода. В метаданных указана лицензия MIT.

G9v3-3B — плотная причинная языковая модель команды AI9Stars на архитектуре LlamaForCausalLM с примерно 2,7 млрд параметров. Она предназначена для локального запуска и сценариев с ограниченными ресурсами; поддерживает контекст длиной до 131 072 токенов. Модель рассчитана на повседневные задачи ассистента, программирование, работу с инструментами и рассуждения. В README описаны режимы генерации с включённым и отключённым режимом обдумывания; метаданные указывают поддержку чата и английского и китайского языков. Для запуска подходят Transformers, vLLM и SGLang. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому результаты следует проверять, особенно перед использованием в важных решениях. Лицензия — Apache-2.0.

axolotl-mirrors/gemma-3-4b-pt — это предварительно обученная модель семейства Gemma 3, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная мультимодальная модель с архитектурой Gemma3ForConditionalGeneration: она принимает текст и изображения и генерирует текст. Вариант 4B предназначен для понимания изображений, ответов на вопросы, суммаризации и других задач работы с языком и визуальными данными. Модель подходит для извлечения сведений из изображений, диалоговых интерфейсов, создания и редактирования текстов, а также экспериментов с vision-language-моделями. В README семейство Gemma 3 описано как многоязычное, с поддержкой более 140 языков и контекстом до 128 тысяч токенов; конкретные параметры этого варианта в метаданных не приведены. Для репозитория указан формат safetensors и лицензия Gemma. Качество ответов зависит от обучающих данных и формулировки запроса; возможны предвзятые, неточные или устаревшие ответы. Модель может затрудняться с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами.

Карточка модели NostraEmpire/mirror-phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

AceInstruct-7B-GGUF — это квантизированная версия инструкционной языковой модели AceInstruct-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к задачам генерации текста и ориентирована на выполнение инструкций, программирование, математику и задачи общего назначения. В README указана поддержка английского языка. Доступны варианты от F32 и F16 до Q2_K_L, включая различные форматы Q4, Q5, Q6, Q8 и IQ; размер файлов варьируется примерно от 3,35 до 30,47 ГБ. Это позволяет выбирать баланс между качеством, требованиями к памяти и скоростью локального вывода. Ключевые архитектурные характеристики исходной модели, включая точный тип архитектуры и размер контекста, в README не указаны. К преимуществам относятся широкий выбор уровней квантизации и возможность локального запуска, а ограничениями — потенциальное снижение качества у наиболее компактных вариантов, англоязычная специализация и отсутствие сведений о мультимодальности. Модель распространяется по лицензии CC BY-NC-4.0, допускающей использование с ограничениями для некоммерческих целей.

Карточка модели armandosds/Olmo-3-7B-Think на Hugging Face совпадает с карточкой allenai/Olmo-3-7B-Think, поэтому описание составлено по ней. Olmo-3-7B-Think — авторегрессионная плотная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Это вариант семейства Olmo 3 с упором на пошаговое рассуждение; карточка указывает обучение на данных Dolma 3 и последующее дообучение на наборах Dolci. В метаданных базовой моделью названа allenai/Olmo-3-7B-Think-DPO, а связь указана как finetune. Модель предназначена для диалогов и задач, где полезны развёрнутые рассуждения, в частности математики, программирования, ответов на общие вопросы и следования инструкциям. Она содержит 6,9 млрд параметров, поддерживает контекст до 65 536 токенов и рассчитана прежде всего на английский язык. Для запуска используется библиотека Transformers; веса опубликованы в формате safetensors. Модель может давать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент. Результаты следует проверять, а при практическом использовании учитывать возможную предвзятость. Лицензия — Apache 2.0; карточка также ссылается на рекомендации Ai2 по ответственному использованию.

Olmo-Hybrid-Think-SFT-7B — языковая модель Allen Institute for AI (Ai2) семейства OLMo Hybrid. Это плотная авторегрессионная модель с гибридной RNN-архитектурой, содержащая 6,3 млрд параметров и принимающая текстовые запросы для генерации текста и диалоговых ответов. Модель дообучена методом supervised fine-tuning на Dolci-Think-SFT-7B с примерами по математике, программированию, диалогу и общим знаниям; карточка указывает английский язык. Контекст — до 32 768 токенов. Модель предназначена для диалогового использования и задач рассуждения, включая математику и программирование. Ai2 сообщает о повышенной эффективности предобучения и улучшенной скорости и экономии памяти при работе с длинным контекстом; результаты отдельных бенчмарков приведены в карточке. Доступен интерфейс для вызова инструментов, однако сам по себе он не гарантирует корректность ответов или выполнения действий. Вес репозитория опубликован в формате safetensors, для работы указана библиотека Transformers версии 5.3.0 или выше. Лицензия — Apache 2.0; модель предназначена для исследований и обучения согласно рекомендациям Ai2 по ответственному использованию. Ответы могут содержать фактические ошибки и смещения, а без дополнительной фильтрации модель может генерировать вредный или чувствительный контент.

OpenCerebrum-1.0-7B-DPO — открытая языковая модель Locutusque, дообученная методом DPO на базе alpindale/Mistral-7B-v0.2-hf. Это плотная Mistral-модель с 7,1 млрд параметров и контекстом до 32 768 токенов; для обучения использовался формат ChatML. Модель предназначена для генерации текста, ответов на вопросы и следования инструкциям, в том числе для задач программирования, математики, естественных наук и рассуждений. Обучение примерно на 21 тысяче примеров из шести публичных наборов данных было направлено на воспроизведение возможностей Cerebrum; модель работает на английском языке. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что она может уступать оригинальной Cerebrum, отражать смещения обучающих данных и требовать заметных вычислительных ресурсов из-за размера 7B.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

benjzzz/Qwen3.8-27B-BenQ-6bit — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная автором benjzzz. Веса и vision tower представлены методом BenQ: 6-битные коды с отдельной таблицей значений для каждой строки, что, по README, даёт 6,16 бит на вес с учётом таблиц. Модель принимает текст и изображения и предназначена для диалогов, анализа изображений и программирования; метаданные также указывают интерфейс вызова инструментов. Для генерации текста в README приведён пример с кодом Python.

Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF — квантованная версия модели Qwen3.8-27B, опубликованная tooltd и распространяемая в формате GGUF для работы с llama.cpp. Модель оптимизирована для запуска на видеокартах с 16 ГБ VRAM примерно при 4 BPW, а отдельные варианты позволяют использовать карты с 12 ГБ памяти примерно при 3 BPW. Ключевая особенность репозитория — смешанное квантование ZB-ZipBrain, распределяющее разрядность тензоров с учётом их влияния на качество и калибровки по importance matrix. Доступны варианты IQ4_XS и IQ3, включая сборки с настройками для разных ограничений по памяти. В README модель также классифицирована как image-text-to-text, однако подробные сведения об архитектуре мультимодального компонента, поддерживаемых языках и максимальном контексте не указаны. Модель предназначена для локального запуска общих LLM-сценариев, включая генерацию текста и кода; для отдельных квантованных вариантов приведены результаты HumanEval и MBPP. Сильной стороной является сочетание размера 27B с уменьшенным потреблением памяти и относительно высоким качеством: вариант ZB4.00-MIN-v5.1-IQ4_XS показывает 0,921 на HumanEval+ и 0,780 на MBPP+. Ограничения связаны с потерями качества из-за квантования, зависимостью результата от конкретного варианта и отсутствием подробных данных о языках, контексте и мультимодальных возможностях. Лицензия — Apache-2.0.

Qwen-7B 是阿里云开发的通用预训练大语言模型，采用稠密 Transformer 架构，使用 RoPE、SwiGLU 和 RMSNorm。README указывает размер 7 млрд параметров, тогда как метаданные Hugging Face сообщают 11,4 млрд; поэтому фактический размер в описании не приводится. Модель обучена более чем на 2,4 трлн токенов из веб-текстов, книг, кода, математических и других материалов, а словарь токенизатора tiktoken насчитывает более 150 тысяч токенов. Метаданные указывают контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации и продолжения текста, а также может служить основой для приложений на китайском, английском и других языках, включая кодовые и математические сценарии. Она не является чат-версией Qwen-7B-Chat: в README отдельно отмечено, что чат-модель обучена с применением выравнивания. Среди описанных характеристик — сильные результаты в ряде китайских и английских оценок и широкое покрытие токенизатора; для практического использования требуется совместимое окружение PyTorch и Transformers, а ускорение на GPU может требовать CUDA. Лицензия в метаданных обозначена как other, конкретные условия следует проверять на странице репозитория.

Tulu 65B — языковая модель AllenAI на архитектуре LLaMA с 65 млрд параметров, дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT. Модель предназначена для ответов на инструкции и запросы, решения задач с рассуждением, ответов на вопросы, а также генерации кода. Для работы используется формат ввода Tulu, описанный в карточке; модельный репозиторий содержит diff и требует доступа к исходной модели LLaMA в формате Hugging Face. Контекст составляет 2048 токенов. В карточке авторы называют её сильнейшей моделью проекта по совокупности исследованных бенчмарков; приведены результаты по языковым знаниям, математике, рассуждениям, вопросам и генерации кода. Модель работает с текстом и ориентирована прежде всего на английский язык. Лицензирование регулируется лицензией модели Tulu и исходной лицензией LLaMA; перед использованием необходимо учитывать условия обеих лицензий.

NousResearch/Yarn-Mistral-7b-128k — языковая модель NousResearch на архитектуре Mistral-7B, дополнительно предобученная на данных с длинным контекстом в течение 1500 шагов с применением метода YaRN. Модель предназначена для генерации текста и обработки длинных входных последовательностей, например анализа объёмных документов и поиска ответов в них. В карточке заявлено окно контекста до 128 тысяч токенов. По метаданным, модель содержит 7,1 млрд параметров и распространяется в формате PyTorch для Transformers; базовая модель — Mistral-7B-v0.1. В README приведены результаты тестов длинного контекста и стандартных языковых бенчмарков, где качество на коротком контексте немного ниже, чем у исходной Mistral-7B-v0.1. Указанная лицензия — Apache-2.0. Для загрузки README рекомендует использовать актуальную версию Transformers и параметр trust_remote_code=True.

AAIKR 3.1 mini — компактная мультимодальная модель семейства Gemma 4, дообученная AI-исследовательской командой LOOP на базе google/gemma-4-e2b-it. Карточка указывает размер 2 млрд параметров и усиленную поддержку рассуждений на корейском языке; метаданные отмечают архитектуру Gemma4ForConditionalGeneration, чат и работу с изображениями. Модель предназначена для быстрых ответов на вопросы, рассуждений, генерации кода, поиска общих знаний и краткого пересказа документов, в том числе на устройствах с ограниченными ресурсами. К заявленным сценариям относятся системы вопросов и ответов в реальном времени, лёгкий помощник по коду, быстрое резюмирование документов и развёртывание на периферийных устройствах. Карточка предупреждает о возможных небольших смещениях в рассуждениях и сбоях памяти в очень длинных диалогах; для важных решений ответы следует проверять. Модель выпущена под лицензией Apache-2.0.

ANITA-NEXT-24B-Dolphin-Mistral-UNCENSORED-ITA — разговорная языковая модель семейства ANITA-NEXT, разработанная исследователем Марко Полиньяно из Университета Бари Альдо Моро и исследовательской группой SWAP. Это плотная авторегрессионная модель архитектуры Mistral на 23,4 млрд параметров, дообученная на базе dphn/Dolphin-Mistral-24B-Venice-Edition с помощью SFT, QLoRA и DPO. Она предназначена для диалога, следования инструкциям и генерации текста и кода; README характеризует её как модель с рассуждением и без фильтрации ответов. Модель принимает текст и генерирует текст, включая код. Она рассчитана прежде всего на итальянский язык, также заявлена поддержка английского и многоязычных сценариев. Метаданные указывают контекст 40 960 токенов; README отмечает деградацию качества после примерно 40 тысяч токенов, несмотря на заявленные там 128 тысяч. Указанная лицензия — Apache-2.0. Авторы предупреждают о галлюцинациях и возможности оскорбительных, неэтичных или опасных ответов; модель представлена для исследовательского применения.

calcuis/deepseek-r1 — это квантованная версия DeepSeek-R1 в формате GGUF, основанная на модели deepseek-ai/DeepSeek-R1. Разработчик исходной модели — DeepSeek; репозиторий calcuis предоставляет её GGUF-представление. Модель предназначена для генерации текста и запуска через совместимые GGUF-коннекторы, включая gguf-connector, что подходит для локального или специализированного инференса. README отдельно отмечает исправленную загрузку и совместимость с архитектурой llama. Исходный DeepSeek-R1 — текстовая модель с архитектурой MoE, 671 млрд общих параметров и 37 млрд активируемых параметров. Указан английский язык; поддержка других языков, точный размер квантованного файла, допустимая длина контекста и конкретный вариант квантования для этой сборки в README не описаны. Приведённые результаты исходной модели показывают сильные стороны в математике, программировании, рассуждениях и китайских языковых тестах, однако эти показатели не обязательно полностью отражают характеристики данной квантованной версии. К ограничениям относятся зависимость от совместимого GGUF-коннектора и возможное снижение качества или точности из-за квантования; конкретные потери качества не представлены. Модель распространяется по лицензии MIT. Использование требует оборудования и программной среды, совместимых с GGUF и выбранным размером квантованного файла.

Dolphin-2.9.2-Phi-3-Medium-abliterated-GGUF — это квантованное в формате GGUF семейство версий языковой модели Dolphin-2.9.2-Phi-3-Medium-abliterated. Исходная модель опубликована cognitivecomputations, а квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая программирование, решение математических задач, работу с агентскими инструкциями и обычный чат. Указан английский язык; сведения о поддержке других языков отсутствуют. Модель основана на unsloth/Phi-3-mini-4k-instruct и обучалась на наборах Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и других. Доступны варианты квантования от Q8_0 до Q2_K и IQ2/IQ3/IQ4; размер файлов составляет примерно от 4,19 до 14,83 ГБ. Более высокие уровни квантования обычно сохраняют лучшее качество, а низкие уменьшают требования к памяти ценой качества. Архитектура, точное число параметров, модальности и фактический размер контекста в README не указаны, однако название базовой модели указывает на вариант с контекстом 4K. Сильными сторонами являются локальный запуск через llama.cpp, широкий набор инструкционных и кодовых данных, а также выбор вариантов квантования для разного объёма доступной памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие подтверждённых характеристик производительности или безопасности; обозначение abliterated также указывает на модификацию исходной модели, поэтому ответы требуют проверки. Модель распространяется по лицензии MIT.

Dolphin3.0-Llama3.1-8B-GGUF — это GGUF-квантизированная версия языковой модели Dolphin3.0-Llama3.1-8B, разработанной cognitivecomputations и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке и запуска через совместимые средства, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.1 с размером 8 млрд параметров и относится к классу текстовых генеративных моделей. В обучении использовались наборы данных для программирования, математических задач, instruction following, function calling, агентных сценариев и диалогов. Доступны варианты от F32 и F16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством генерации, размером файла и требованиями к памяти. Контекст, мультимодальность и поддержка других языков в README не указаны. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска на различном оборудовании; варианты Q6 и Q5 характеризуются как близкие к исходному качеству, а Q4 рекомендуются как сбалансированные по размеру и качеству. Более агрессивные квантизации экономят память, но снижают качество. Ограничениями являются преимущественно англоязычная заявленная поддержка и отсутствие в README подробных данных о производительности, максимальном контексте и системных требованиях. Указана лицензия llama3.1.

canada-quant/glm-5.3-w4a16-mtp — это мультимодальная квантованная версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель предназначена для задач image-text-to-text, включая обработку текста и изображений, а также для сценариев, где важны длинный контекст и высокая эффективность инференса. Заявлена поддержка английского и китайского языков и контекста до 1 048 576 токенов. Используется INT4-квантизация весов по схеме W4A16 с GPTQ и group size 128; общий объём весов составляет около 177,7 GiB. BF16-компоненты, включая vision tower и MTP draft head, сохранены, что позволяет применять speculative decoding через MTP. Квантизация ориентирована на снижение требований к памяти и запуск на конфигурациях из 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark; максимальный контекст зависит от оборудования и настроек. Репозиторий сообщает о высокой производительности на длинных контекстах и конкурентном качестве на математических и общих тестах, однако результаты зависят от аппаратной конфигурации и serving stack. Это не новая базовая модель, поэтому её возможности определяются GLM-5.3-Flash, а INT4-квантизация может влиять на точность и совместимость. Лицензия — MIT.

GPT-5.6 Terra Pro — вариант GPT-5.6 Terra от OpenAI, работающий с параметром reasoning.mode, установленным в значение pro. Он предназначен для получения более качественных ответов на сложные задачи. В карточке модели не приведены сведения об архитектуре, размере, модальностях, языках или лицензии.

K2-Horizon-7B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-7B, разработанной IFM. Данный репозиторий подготовлен сообществом и предназначен для запуска модели локально через llama.cpp. Релиз является только квантизированной конверсией: обучение, дообучение, объединение моделей и иные изменения весов не выполнялись. Исходная модель представляет собой плотную reasoning-модель с 7B параметров и заявленным контекстом до 524 288 токенов. Она ориентирована на генерацию текста, рассуждения, программирование, работу на английском и китайском языках, обработку длинного контекста и agentic-сценарии. В набор входят варианты квантизации от Q8_0 до Q1_0, позволяющие выбирать компромисс между требованиями к памяти и близостью поведения к BF16-версии. По проведённому пилотному тесту Q4_K_M является практичной отправной точкой для локального использования, а Q5_K_M и Q6_K лучше сохраняют поведение исходной модели; более компактные варианты требуют проверки на целевой задаче. Модель поддерживает запуск и проверку генерации в llama.cpp, однако авторы этого релиза отдельно отмечают, что tool calling и полный upstream-набор бенчмарков повторно не оценивались, а включённый шаблон чата не является сертифицированным полным tool-aware шаблоном. Результаты проверки измеряют близость следующего токена к BF16 и не являются прямой оценкой сохранённых прикладных возможностей. Распространение выполняется по Apache License 2.0 с сохранением атрибуции и лицензии; релиз не является официальной публикацией или одобрением IFM.

Карточка модели schwyzquant/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели Mihaiii/Pallas-0.3 на Hugging Face совпадает с карточкой Mihaiii/Pallas-0.4, поэтому описание составлено по ней. Mihaiii/Pallas-0.4 — инструкционная дообученная языковая модель на архитектуре Llama, созданная на базе migtissera/Tess-34B-v1.4. Она содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для рассуждений и понимания текста, хорошо работает с длинными системными промптами. Её можно использовать для ответов на вопросы и анализа длинных текстовых материалов; для художественного повествования она не предназначена. Обучение выполнено на частном датасете. Лицензия указана как other.

Mungert/phi-4-GGUF — это набор GGUF-файлов с моделями Phi-4, предназначенными для локального запуска и инференса в формате GGUF. Репозиторий содержит варианты весов в BF16 и F16, а также квантованные версии Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Модель относится к классу текстовых генеративных моделей и ориентирована на диалоги, ответы на вопросы, работу с математическими задачами, программным кодом и другими текстовыми запросами. В метаданных указан английский язык и задача text-generation; поддержка других языков не заявлена. Главное преимущество набора — выбор между точностью и требованиями к памяти. Полноформатные BF16 и F16 подходят для оборудования с соответствующим ускорением, а квантованные варианты позволяют запускать модель на CPU и устройствах с ограниченной оперативной памятью или VRAM. Более агрессивное квантование уменьшает размер и потребление памяти, но может снижать точность. Сведения об архитектуре, количестве параметров, размере контекста, мультимодальности и результатах тестирования в README не приведены. Лицензия — MIT. README указывает связь с моделью Microsoft Phi-4 через ссылку на её лицензию; Mungert предоставляет варианты Phi-4 в формате GGUF. Для использования необходимо выбрать файл, совместимый с возможностями оборудования и требуемым уровнем качества.

88plug/Qwen3.6-27B-W8A16 — квантованная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen и опубликованной пользователем 88plug. Модель предназначена для обработки изображений и текста с генерацией текста: анализа изображений, визуально-текстовых запросов, рассуждений и задач общего назначения. Поддерживает английский язык; заявленный контекст составляет до 262 144 токенов. Это плотная модель примерно на 27 млрд параметров без MoE, с гибридной архитектурой Gated DeltaNet и полносвязных MLP-блоков. В ней 41 чередующийся слой полной и линейной внимания. Применена посттренировочная квантование AutoRound W8A16: веса хранятся в INT8, а активации — в BF16; размер группы квантования равен 32. Модель занимает около 27 ГБ и рассчитана на запуск на GPU Ampere и новее, включая RTX 4090, A6000 и A100-40. Для развёртывания предпочтителен vLLM версии 0.21 или новее с форматом compressed-tensors. К сильным сторонам относятся существенно меньшие требования к памяти по сравнению с BF16-версией, поддержка длинного контекста и возможность работы на распространённых GPU без ограничений, характерных для FP8. Текстовые компоненты калибровались на смешанном наборе UltraChat-200k и WikiText-103, однако визуальный энкодер получил некалиброванное RTN-квантование INT8, поэтому качество обработки изображений может быть менее проверенным. Формат compressed-tensors не поддерживается TGI, а виджет Hugging Face может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная fine-tune и merge-сборка модели Qwen3.8 с 27 млрд параметров, опубликованная trinityomni на основе версии DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В разработке использовались методы Cold Fusion и Fable Fusion, а также инструменты Unsloth. Репозиторий содержит обычные и MTP GGUF-квантизации, включая варианты с точностью 4 и 8 бит, ориентированные на запуск на потребительском оборудовании. Модель предназначена для общих задач, рассуждений, программирования, creative writing, художественной прозы, ролевых сценариев и работы с различными жанрами текста. В карточке указаны английский и китайский языки; также заявлен pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах и мультимодальной архитектуре не приведены. Размер контекста не указан. Основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении детализации ответа, включая поддержку трёх режимов мышления и MTP. По утверждению авторов карточки, модель превосходит базовую Qwen3.8-27B и ряд других моделей в семи ключевых бенчмарках, а результаты ARC-C и ARC-E составляют соответственно до 735 и 880 для 8-битной версии; эти показатели являются заявленными разработчиками и не сопровождаются независимой верификацией в README. Сильными сторонами считаются скорость, сниженное избыточное рассуждение, навыки программирования и генерации творческого текста. Ограничения включают отсутствие данных о контекстном окне, системных требованиях, точных характеристиках мультимодальности и независимых тестах; из-за uncensored и abliterated-настройки модель может чаще выдавать небезопасный или нежелательный контент. Указанная лицензия — Apache-2.0.