I.2Синтез, понимание и проверка знаний

EXAONE-3.5-32B-Instruct-GGUF — это набор GGUF-квантизованных версий языковой модели EXAONE-3.5-32B-Instruct, разработанной LGAI-EXAONE. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом режиме, включая запуск через LM Studio и другие совместимые инструменты. Модель содержит 32 миллиарда параметров и поддерживает английский и корейский языки. В репозитории доступны варианты от полноразмерного F16 весом около 64 ГБ до квантизаций Q3, Q4, Q5, Q6, Q8 и IQ различных размеров. Более качественные варианты требуют больше оперативной или видеопамяти, тогда как Q3 и некоторые IQ-варианты рассчитаны на системы с ограниченными ресурсами. Для взаимодействия используется специальный шаблон prompt с ролями system, user и assistant. Сильной стороной репозитория является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, размером и производительностью; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают отсутствие информации о размере контекста, архитектуре базовой модели, мультимодальности, результатах тестирования и системных требованиях. Лицензия указана как proprietary/other с названием exaone; перед использованием необходимо ознакомиться с условиями, приведёнными в файле LICENSE.

Experiment28M7_M7T3qm7x — объединённая языковая модель, опубликованная MaziyarPanahi. Она создана слиянием automerger/Experiment28M7-7B и automerger/M7T3qm7x-7B и предназначена для генерации текста и диалогов. Модель использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для генерации продолжений текста и ответов в диалоге. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает целевые языки и специализированные области применения.

Falcon-180B — авторегрессионная языковая модель с причинным декодером на 180 млрд параметров, разработанная Институтом технологических инноваций (TII) и обученная на 3,5 трлн токенов RefinedWeb и дополнительных отобранных корпусах. Архитектура включает 80 слоёв, вращательные позиционные эмбеддинги, multiquery-внимание и параллельные блоки внимания и MLP; веса доступны в формате Safetensors. Модель предназначена для генерации текста и как основа для дообучения под суммаризацию, чат-ботов и другие прикладные сценарии. Это базовая, предварительно обученная модель, поэтому для следования инструкциям и большинства пользовательских задач рекомендуется специализированное дообучение. Основные языки — английский, немецкий, испанский и французский; заявлены ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского. Для быстрого вывода в полной точности bfloat16 требуется примерно 8 ускорителей A100 по 80 ГБ или эквивалент; README указывает потребность как минимум в 400 ГБ памяти для комфортного запуска. Модель может наследовать предвзятости веб-данных и слабо обобщать на языки, не представленные в обучении. Распространяется по лицензии Falcon-180B TII License с Acceptable Use Policy; README заявляет возможность коммерческого использования при соблюдении этих условий.

RedHatAI/gemma-3-27b-it-FP8-dynamic — квантизированная версия мультимодальной модели Google Gemma 3 27B IT, подготовленная Neural Magic. Модель принимает изображения и текст, а генерирует текст, поэтому предназначена для визуально-текстового диалога, анализа изображений, ответов на вопросы по изображениям и обычных языковых задач. В README явно указан английский язык; сведения о поддерживаемых языках кроме него отсутствуют. Модель основана на архитектуре gemma-3-27b-it с 27 миллиардами параметров и использует FP8-квантизацию весов и активаций. Квантизация выполнена динамически для линейных слоёв; vision tower и мультимодальный проектор не квантизировались. Версия оптимизирована для инференса с vLLM версии 0.5.2 и выше, включая OpenAI-совместимый режим сервинга. Размер контекста в конфигурации оценки составлял 4096 токенов, однако это не обязательно соответствует максимальному контексту модели. По приведённым оценкам, FP8-версия в среднем сохраняет близкую к исходной модели точность на текстовом бенчмарке OpenLLM v1 и на vision-задачах MMMU и ChartQA. Её сильные стороны — сочетание обработки изображений и текста, снижение требований к памяти и эффективное развертывание с vLLM. Ограничения включают возможную потерю точности из-за квантизации, зависимость от совместимого инференсного стека и отсутствие в README подробностей о максимальном контексте, производительности, безопасном использовании и других языках. Модель распространяется по лицензии Apache-2.0.

Gemma 4 12B IT GGUF — квантизированная версия инструкционно дообученной модели google/gemma-4-12B-it, подготовленная bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель относится к классу image-text-to-text и предназначена для обработки запросов с текстом и изображениями, а также генерации ответов в диалоговых и прикладных сценариях, поддерживаемых исходной моделью и используемым программным обеспечением. Доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 5,3 до 23,8 ГБ. Более высокие уровни квантования сохраняют качество, но требуют больше памяти; низкие позволяют запускать модель на менее производительном оборудовании ценой снижения качества. Репозиторий ориентирован на локальный запуск через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. Формат prompt использует специальные токены Gemma. В README не указаны архитектурные детали, длина контекста, поддерживаемые языки, точный перечень мультимодальных возможностей и результаты бенчмарков, поэтому эти характеристики нельзя надёжно оценить по представленным данным. Для использования следует учитывать совместимость конкретного инструмента с моделью и выбранным вариантом квантования. В метаданных указана лицензия Apache 2.0 и приведена отдельная ссылка на лицензию Gemma.

TheCluster/Gemma-4-26B-A4B-Heretic-MLX-bf16 — мультимодальная диалоговая модель семейства Gemma 4, представленная TheCluster. Это версия Gemma-4-26B-A4B-it с ослабленным отказом отвечать на запросы: по README, её создали методом abliteration Heretic v1.2.0 с Arbitrary-Rank Ablation и сохранением нормы строк, а затем преобразовали в формат MLX из coder3101/gemma-4-26B-A4B-it-heretic. Метаданные указывают архитектуру Gemma4ForConditionalGeneration, поддержку изображений и текстовых диалогов, библиотеку MLX, формат safetensors и лицензию Apache-2.0. Модель предназначена для диалогов и анализа изображений с текстовым ответом. README сообщает о 11 отказах из 100 запросов против 100 из 100 у исходной модели и KL-дивергенции 0,0499; это результаты указанного в карточке сравнения, а не гарантия поведения на других запросах. В метаданных отмечены языки, включая английский, китайский и русский, а также ряд европейских, азиатских и других языков. Размер 26B-A4B входит в название репозитория, но описание точной структуры и значения A4B в предоставленных данных отсутствует. Ограничения на контент и допустимые сценарии использования не описаны; условия лицензии — Apache-2.0.

gemma-4-31B-it-GGUF — это набор статически квантизированных моделей в формате GGUF на базе google/gemma-4-31B-it. Репозиторий подготовлен пользователем giladgd для запуска через node-llama-cpp и llama.cpp. Модель относится к классу instruction-tuned и предназначена для диалогового взаимодействия и задач image-text-to-text, однако подробные сведения о поддерживаемых языках и возможностях обработки изображений в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16. Размер файлов составляет от 11,9 до 61,4 ГБ; более лёгкие варианты требуют меньше памяти, но могут сильнее уступать по качеству исходной модели, тогда как BF16 обеспечивает наиболее близкое к исходному представление при значительно больших требованиях к ресурсам. Архитектура, максимальный контекст и точное число параметров в README явно не описаны, кроме обозначения 31B в идентификаторе базовой модели. Модель можно использовать локально через node-llama-cpp или llama.cpp, включая CLI и серверный режим. Основные ограничения связаны с большими требованиями к дисковому пространству и оперативной или видеопамяти, особенно для высокоточных вариантов, а также с возможными потерями качества при агрессивной квантизации. Указана лицензия Apache 2.0; для Gemma также приведена отдельная ссылка на условия лицензии Google.

NoxStrix/gemma-4-31B-it-Q4_K_M-GGUF — это конвертированная в формат GGUF инструкциямодель на базе google/gemma-4-31B-it, подготовленная автором NoxStrix с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp, включая интерактивные запросы в CLI и работу в режиме сервера. Из доступных данных известно, что исходная модель имеет размер 31B параметров и относится к мультимодальным моделям image-text-to-text, то есть может обрабатывать изображения и текст и генерировать текстовые ответы. Ключевые характеристики исходной архитектуры, поддерживаемые языки и размер контекстного окна в README не указаны. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но README не содержит точных сведений о качестве, скорости и необходимых ресурсах. Для использования требуются llama.cpp и подходящее аппаратное обеспечение; возможна настройка сборки под конкретную платформу, включая Nvidia GPU. В README приведён пример контекста размером 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Модель распространяется по лицензии Apache-2.0, при этом для исходной Gemma могут действовать дополнительные условия лицензии Google Gemma.

OsaurusAI/gemma-4-E4B-it-qat-JANG_4M — это мультимодальная модель семейства Gemma 4 в формате MLX, подготовленная OsaurusAI на основе google/gemma-4-E4B-it-qat-q4_0-unquantized. В ней 42 текстовых слоя; эмбеддинги, нормализации и компоненты обработки медиа сохранены в fp16, проекции внимания и маршрутизатор MoE представлены в 8-битном аффинном формате, а основная часть декодера и экспертов — в 4-битном. Модель принимает текст и поддерживает обработку изображений; в исходной конфигурации также сохранены настройки аудио и видео. Модель предназначена для диалога и мультимодальных сценариев, включая вопросы по изображениям. Для запуска требуется совместимый с Gemma 4 загрузчик MLX/vMLX, поддерживающий конфигурацию квантования JANG и файлы процессора и шаблона чата Gemma 4. Репозиторий не содержит весов MTP для спекулятивного декодирования. Лицензия — Gemma; применимость аудио- и видеовхода зависит от поддержки конкретного загрузчика.

Gemopus-4-E4B-it — дообученная модель Jackrong на базе google/gemma4-E4B-it для диалогового помощника с локальным запуском на мобильных устройствах и маломощных компьютерах. Она принимает текст и изображения и генерирует текст; карточка заявляет поддержку зрения и инструкции для диалога. Модель относится к семейству Gemma 4, имеет плотную архитектуру и распространяется в формате safetensors. В карточке подчёркнуты настройка тона ответов, контекстное ведение многоходового диалога и структурированная подача информации. Указаны английский, китайский, корейский и японский языки. Модель подходит для повседневного помощника на устройстве, написания и редактирования текстов, кратких ответов, форматирования и извлечения сведений из текста или изображений. Автор ориентирует её на сценарии с низкой задержкой и локальной обработкой данных. Контекстное окно и размер модели в карточке не указаны. Лицензия — Apache-2.0. Автор предупреждает, что из-за сравнительно небольшого размера модель уступает крупным облачным моделям в широте знаний и сложных рассуждениях, а на узкоспециализированных темах и сложных математических задачах может допускать ошибки. Модель позиционируется как экспериментальная настройка для локального применения.

Genstruct-10.7B — языковая модель NousResearch, предназначенная для генерации инструкций на основе исходного текста. Её можно использовать как основу для дальнейшего дообучения или как замену Genstruct-7B. Модель создана методом Depth-Up Scaling из Genstruct-7B с помощью mergekit; архитектура — плотная MistralForCausalLM, размер — около 10,6 млрд параметров, формат весов — safetensors. Указанный контекст — 32 768 токенов. Модель принимает текстовые фрагменты и генерирует grounded-инструкции, включая вопросы по предоставленному контексту и сценарии, требующие подробного рассуждения. Это позволяет создавать частично синтетические наборы данных для обучения по инструкциям из обычных текстовых корпусов. Карточка содержит примеры для разных тем, в том числе права и медицины, но не заявляет специализацию в этих областях. Модель рассчитана на английский язык. Лицензия — Apache-2.0.

Sahajtomar/German-semantic — модель семейства BERT на базе Sentence Transformers, предназначенная для сравнения смысловой близости предложений на немецком языке. README приводит результаты на немецком наборе STS: 87,9% на dev и 84,3% на test. Модель преобразует предложения в плотные векторные представления, которые подходят для вычисления семантического сходства и поиска похожих фраз. В метаданных указаны форматы PyTorch и поддержка задач sentence-similarity и feature-extraction. Лицензия в предоставленных данных не указана.

GLM-5.3-Flash-Alis-MLX-6bit — это 6-битная квантованная версия модели GLM-5.3-Flash, разработанной организацией zai-org и конвертированная avlp12 в формат MLX для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживается библиотекой mlx-vlm с архитектурой glm5_next. Базовая модель имеет конфигурацию 320B-A18B и архитектуру Mixture-of-Experts. В README также указана vision tower в формате bfloat16, однако подробности поддерживаемых визуальных сценариев и языков не приведены. Квантование выполнено в 6 бит с использованием схемы g64 affine для экспертов, attention, dense/shared MLP, embeddings и output head. Маршрутизатор MoE, correction bias, параметры mHC и KDA decay, а также отдельные нормы, свёртки и другие компоненты сохранены без 6-битного квантования; MTP layer 45 удалён. На M3 Ultra 512GB заявлена скорость декодирования около 24,6–26,3 токена в секунду в зависимости от длины промпта. По приведённым измерениям эта сборка имеет меньшую ошибку относительно 8-битной версии, чем указанные 4-битные варианты, но результаты получены на закрытой тестовой панели и не сопоставимы напрямую с оценками относительно BF16. Модель ориентирована на локальный инференс на Apple Silicon и требует mlx-vlm с поддержкой glm5_next. Для корректной работы рекомендуются ветки с исправлениями swiglu clamp, fp32-обработки вспомогательных параметров mHC/KDA и eps. Преимуществами являются сохранение точности маршрутизации MoE и высокая для 6-битной сборки скорость работы; ограничениями — очень большой размер базовой модели, требования к памяти и зависимость от актуальной поддержки MLX. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-MLX-6bit — это конвертированная и 6-битно квантованная сборка модели GLM-5.3-Flash от Z.ai, подготовленная PipeNetwork для MLX и Apple Silicon. Архитектура исходной модели сохранена, однако слой multi-token prediction не включён. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; в сборке также присутствует vision tower в формате bfloat16. Языки и размер контекстного окна в представленном описании не указаны. Модель имеет размер 320B-A18B и построена как mixture-of-experts: включает 34 слоя с Kimi-Delta linear attention и 11 слоёв с разреженным вниманием DeepSeek, а также manifold-constrained hyper-connections. Размер файлов составляет около 255,9 ГБ против 642,7 ГБ у исходной bfloat16-версии. Основная масса параметров, включая 304B параметров routed experts, квантована в 6 бит с группами по 64; отдельные компоненты используют 8-битный или исходный формат. По результатам теста на wikitext-2 перплексия составила 3,4646 против 3,4607 у 8-битной сборки, что соответствует небольшой потере качества. Сильные стороны модели — значительное уменьшение размера по сравнению с bfloat16, близкое к 8-битной версии качество и адаптация к экосистеме MLX. Для корректной работы требуется runtime с исправлениями PipeNetwork для вычислительного пути; стандартной версии mlx-vlm может быть недостаточно из-за выявленных расхождений. Практическое использование требует около 256 ГБ дискового пространства и совместимого Apple Silicon-окружения. Модель и upstream-исходник распространяются по лицензии MIT; порт доступен в репозитории PipeNetwork.

GLM-RoBERTa-Large — плотная языковая модель семейства GLM от Z.ai, разработанная на основе подхода GLM с авторегрессионным заполнением пропусков. Модель содержит 454,2 млн параметров и 24 слоя Transformer с размером скрытого представления 1024 и 16 головами внимания; она предобучена на данных RoBERTa. Модель предназначена для извлечения признаков и может дообучаться для задач понимания и генерации естественного языка, включая генерацию текста и тесты с вариантами ответа. В карточке указана поддержка английского языка. Доступны веса в формате PyTorch; контекстное окно в источниках не описано. Лицензия в предоставленных данных не указана.

Hebrew-Mistral-7B-200K-HeQ-Chat — разговорная языковая модель семейства Mistral, разработанная itayl и дообученная на базе yam-peleg/Hebrew-Mistral-7B-200K. Модель содержит 7,2 млрд параметров, использует архитектуру MistralForCausalLM и принимает текст для генерации текста в формате диалога. Заявленная длина контекста — 262 144 токена. Модель предназначена для общения с пользователем и генерации текста, прежде всего на иврите и английском. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей обучающих данных.

Hermes-ClimateStorm-Sauerkraut-abliterated — объединённая диалоговая языковая модель, созданная MotherEarth с помощью mergekit линейным слиянием Hermes-Storm-Climate-lorablated и Llama-3.1-SauerkrautLM-8b-Instruct. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров; файлы представлены в формате safetensors. Она предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. Модель принимает текст и генерирует текст. Базовая модель SauerkrautLM рассчитана на немецкий и английский языки, однако README этой объединённой модели не описывает языковые характеристики и сравнительное качество слияния. Лицензия в предоставленных данных не указана.

Higgs-Llama-3-70B-IMat-GGUF — это набор GGUF-версий модели Higgs-Llama-3-70B от bosonai, подготовленный пользователем legraphista. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Исходная модель указана в формате FP32, а доступные файлы представлены в вариантах от BF16 и FP16 до различных уровней квантования. Модель относится к семейству Llama 3 и имеет размер 70B параметров. Это текстовая модель без заявленной поддержки дополнительных модальностей; конкретные языки и размер контекстного окна в README не указаны. Для ряда вариантов применена IMatrix-квантизация на основе calibration dataset, что позволяет уменьшить размер файлов при стремлении сохранить качество генерации. Доступны варианты Q2_K–Q8_0, IQ-квантизации и версии без дополнительного применения IMatrix. Размер файлов составляет примерно от 26,38 до 141,12 ГБ, поэтому требования к памяти зависят от выбранного варианта. Сильная сторона репозитория — широкий выбор уровней точности и формата GGUF, позволяющий подобрать компромисс между качеством, скоростью и потреблением памяти. Ограничениями являются значительные аппаратные требования 70B-модели, необходимость совместимого ПО для запуска и потенциальная потеря качества у наиболее агрессивных вариантов квантования. В метаданных указана лицензия other; дополнительные условия лицензирования в README не раскрыты.

Huihui-Qwen3.5-9B-abliterated-GPTQ-Pro-4bit-g64 — это квантизированный GPTQ-Pro чекпойнт, опубликованный groxaxo на базе huihui-ai/Huihui-Qwen3.5-9B-abliterated. Модель предназначена для генерации текста, локального или размещённого инференса, открытой оценки и воспроизводимых экспериментов. README указывает англоязычную конфигурацию и совместимость с Transformers, GPTQModel и vLLM при поддержке соответствующего формата и архитектуры. Модель содержит около 9 миллиардов параметров в 4-битном представлении GPTQ-Pro с размером группы 64. Для квантизации использовались 128 калибровочных образцов. По сравнению с исходной моделью заявлены близкие показатели языкового моделирования: perplexity на Wikitext-2 составляет 9,6579 против 9,5234 у оригинала, средняя деградация — 1,41%, KL-дивергенция — 0,03423, совпадение наиболее вероятного следующего токена — 91,96%, а совпадение в топ-5 — 99,98%. Квантизация должна заметно снизить потребление памяти, однако фактические требования зависят от длины контекста, размера кэша, параллелизма и аппаратной конфигурации. Сильной стороной модели является сохранение поведения исходного чекпойнта при более эффективном использовании памяти. Ограничения включают возможное изменение числового поведения, качества и пропускной способности после квантизации, а также необходимость проверять результаты на собственных задачах. Название базовой модели указывает на модифицированную или сниженную фильтрацию, но README не гарантирует одинаковое поведение для всех запросов. Лицензия обозначена как other; для условий использования и распространения необходимо изучить карточку базовой модели. Мультимодальность и размер контекста в README не указаны.

Huihui-Qwen3.8-27B-abliterated-MXFP4 — это квантованная версия мультимодальной модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная пользователем sahilchachra с использованием MLX. Модель предназначена для генерации текста по текстовым и визуальным входам, включая ответы на вопросы по изображениям, анализ их цветов и форм, а также обычные диалоги и рассуждения. Она работает на устройствах Apple Silicon через mlx-vlm и поддерживается LM Studio. Модель относится к семейству qwen3_5 и использует гибридную текстовую архитектуру GatedDeltaNet с линейным вниманием и полным вниманием: 64 слоя, при этом полный attention применяется в каждом четвёртом слое. В состав также входит vision tower Qwen3-VL. Текстовая часть, включая отдельную матрицу lm_head размером около 1,27 млрд параметров, квантована в MXFP4 с эффективными 4,449 битами на вес и занимает около 14 ГБ в 13 файлах; vision tower сохранена в формате bfloat16. Модель поддерживает рассуждения с предварительным каналом <think>. Языки и размер контекстного окна в README не указаны. Это намеренно uncensored/abliterated-производное: из текстовых слоёв 18–51 удалено направление отказов, поэтому модель может не применять ограничения исходной версии. Сильными сторонами являются мультимодальность, работа на Mac с 24 ГБ памяти, существенно меньший размер по сравнению с более точными вариантами и подтверждённая работа текстового и визуального трактов. Ограничения включают отсутствие MTP-головы для speculative decoding, возможные ограничения квантования и наследуемые особенности базовой модели. Модель распространяется по лицензии Apache-2.0; использовать её следует с учётом применимого законодательства и условий лицензии базовой модели.

Карточка модели tencent/Hunyuan-7B-Pretrain-0124 на Hugging Face совпадает с карточкой tencent/Hunyuan-7B-Instruct-0124, поэтому описание составлено по ней. Hunyuan-7B-Instruct-0124 — диалоговая языковая модель Tencent с плотной авторегрессионной архитектурой Hunyuan v1 и 7,5 млрд параметров. Она предназначена для генерации текста и общения на естественном языке; в карточке приведены результаты тестирования на ряде бенчмарков, включая CEval, ARC-C и BBH. Модель использует Grouped Query Attention и заявленную в README поддержку контекста до 256 тысяч токенов. Метаданные Hugging Face указывают нативный контекст 32 768 токенов; фактический предел зависит от конфигурации и используемого окружения. Доступны веса PyTorch и Safetensors, а для инференса описана поддержка vLLM. Модель совместима с форматом Hugging Face и может дообучаться. Модель ориентирована прежде всего на китайский язык, а метаданные также отмечают английский. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория. Показатели бенчмарков из README относятся к описанным там настройкам оценки и не гарантируют аналогичное качество во всех сценариях.

Hy4-preview-GGUF — это квантизированные GGUF-версии модели Tencent Hy4-preview, подготовленные qtum с использованием llama.cpp. Модель предназначена для генерации текста и поддерживает английский и китайский языки. Распространяется в формате GGUF, совместимом с llama.cpp, и требует сборку с поддержкой hy_v4. Модель имеет 780 млрд параметров, 78 слоёв и словарь из 120 832 токенов. В архитектуре используются attention MLA в стиле DeepSeek, гиперсвязи iHC, разреженное внимание DSA и MoE с 256 маршрутизируемыми экспертами, top-8 маршрутизацией и одним общим экспертом. Доступны варианты IQ4_XS размером 388,3 ГиБ, Q2_K размером 269,6 ГиБ и IQ2_XS размером 218,9 ГиБ; каждый состоит из 39 фрагментов и откалиброван с помощью importance matrix. IQ4_XS обеспечивает наилучшее качество среди представленных вариантов и сохраняет тот же наиболее вероятный токен, что и исходная BF16-модель, примерно в 90,5% позиций. Q2_K предлагает компромисс между качеством и размером и обозначен как лучший вариант для инференса только на CPU, тогда как IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Ограничения включают очень большой объём файлов, необходимость загрузить все 39 фрагментов и зависимость от актуальной версии llama.cpp; более ранние сборки модель не загружают. Лицензия — Apache-2.0.

IndoBART — предварительно обученная языковая модель для индонезийского языка, разработанная авторами проекта IndoBenchmark. Она основана на архитектуре BART и обучена на корпусе Indo4B-Plus объёмом 23,79 ГБ с использованием стандартной для BART схемы предварительного обучения. Модель предназначена для задач преобразования текста, включая генерацию и суммаризацию на индонезийском языке. В метаданных указаны архитектура mBART, класс MBartForConditionalGeneration, 87,3 млн параметров и контекст до 1024 токенов; README приводит другое число параметров — 132 млн. Доступны веса PyTorch. Лицензия MIT.

InnoSpark3.0-9B-260630 — мультимодальная модель на 9 млрд параметров, разработанная sii-research на базе Qwen/Qwen3.5-9B. Её дообучили на общих и образовательных данных с помощью supervised fine-tuning и многоэтапного обучения с подкреплением. Модель принимает текст и изображения и формирует текстовые ответы; карточка указывает поддержку английского и китайского языков. Модель предназначена для образовательных вопросов и ответов, пошагового объяснения понятий, помощи с домашними заданиями, подготовки уроков и учебных материалов, а также диалоговых помощников для учеников и преподавателей. Она также поддерживает общие задачи следования инструкциям, рассуждения и агентные сценарии. В README сообщается, что визуальные возможности специально не улучшали; по оценке авторов, их показатели снизились примерно на 1–2% относительно базовой модели. Модель распространяется по лицензии Apache-2.0. Она может выдавать неточные, неполные или предвзятые ответы; авторы рекомендуют проверять результаты педагогам, особенно при оценивании и других важных решениях. Перед внедрением в учебную среду следует провести дополнительную оценку.

Intern-S1 — открытая мультимодальная модель рассуждений, разработанная командой InternLM. Она предназначена для диалога, общих задач и научных сценариев, включая интерпретацию химических структур, понимание последовательностей белков и планирование синтеза соединений. Модель объединяет языковую архитектуру Qwen3 с 235 млрд параметров типа MoE и визуальный энкодер InternViT на 6 млрд параметров; она дополнительно обучена на 5 трлн мультимодальных токенов, из которых более 2,5 трлн относятся к научным данным. Intern-S1 принимает текстовые и визуальные входы; README также описывает обработку видео. Модель поддерживает режим рассуждений, который включён по умолчанию, и может использоваться для общения с внешними инструментами через совместимый интерфейс. Для развёртывания полной версии README указывает минимум восемь ускорителей A100, H800 или H100 либо четыре H200. Для работы с Transformers требуется версия 4.53.0 или новее. Модель распространяется по лицензии Apache-2.0. Описанные научные возможности ориентированы на исследовательскую работу, но README не приводит отдельной оценки надёжности для конкретных научных задач; результаты следует проверять. Указанные требования к оборудованию делают локальное развёртывание ресурсоёмким.

K2-Horizon-32B-heretic-GGUF — это производная модель для генерации текста, разработанная soyaakinohara на базе IFM/K2-Horizon-32B и soyaakinohara/K2-Horizon-32B-heretic. Модель обработана методом Heretic для ослабления отказов, после чего выполнены слияние LoRA, конвертация в формат GGUF и квантование. Она предназначена для локального запуска и генерации текста на совместимом программном обеспечении, включая llama.cpp. Модель использует пользовательскую архитектуру K2Horizon и содержит 34,8 млрд плотных параметров. Максимальный контекст составляет 524 288 токенов, однако на видеокартах с ограниченной памятью его необходимо уменьшать. Поддерживаются английский и другие многоязычные сценарии. Доступны варианты BF16, Q8_0, Q6_K, Q4_K_M и Q2_K; Q4_K_M отмечен как рекомендуемый и рассчитан на запуск примерно на двух видеокартах по 16 ГБ, тогда как Q2_K требует меньше памяти, но обеспечивает более низкую точность. К сильным сторонам относятся большой контекст, несколько уровней квантования и сниженная склонность к отказам: в указанном испытании Heretic модель отказала в 3 случаях из 100, при KL-дивергенции 0,056. Ограничения включают нестандартную архитектуру, для которой требуется специальная ветка llama.cpp MBZUAI-IFM; стандартная upstream-версия llama.cpp не поддерживается. Для длинного контекста также может потребоваться дополнительная память под KV-кэш и его квантование. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

K2-Horizon-MoVA-36B-A4B-GGUF — открытая GGUF-версия модели K2-Horizon-MoVA-36B-A4B, разработанная IFM. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего она содержит 36 млрд параметров, при обработке каждого токена активируется около 4 млрд. Модель предназначена для генерации текста, рассуждений и агентских сценариев; заявлена поддержка контекста до 524 288 токенов. В карточке указано, что модель обучалась на англоязычных данных и ориентирована на английский язык. К сильным сторонам относятся высокая заявленная эффективность при небольшом числе активных параметров, конкурентоспособные результаты на задачах рассуждения и агентского взаимодействия, а также открытый статус проекта. Файлы содержат метаданные токенизатора и совместимый с llama.cpp шаблон чата, однако для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon, которая на момент публикации находилась в разработке. Тензоры сохранены в исходной точности BF16, поэтому практические требования к ресурсам зависят от конкретной среды запуска. Модель распространяется по лицензии Apache-2.0.

TheBloke/Llama-2-7B-GPTQ — квантизированная версия языковой модели Llama 2 7B, разработанной Meta и основанной на meta-llama/Llama-2-7b-hf. Репозиторий подготовлен TheBloke и предназначен для генерации текста на английском языке. Модель использует архитектуру Llama и содержит 7 миллиардов параметров. Представлены варианты GPTQ-квантизации в основном с разрядностью 4 бита, размером примерно 3,90–4,28 ГБ и длиной последовательности 4096 токенов. Доступны конфигурации с разными group size и Act Order: варианты с меньшим group size обеспечивают более высокое качество, но требуют больше видеопамяти. Некоторые файлы совместимы с ExLlama и рассчитаны на инференс на GPU. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с полной моделью и наличие нескольких вариантов квантизации для выбора между качеством и эффективностью. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от совместимого программного обеспечения и преимущественной ориентацией на GPU-инференс. Модель распространяется по лицензии Llama 2.

Xiaojian9992024/Llama3.1-8B-ExtraMix — объединённая авторами репозитория языковая модель на архитектуре Llama 3.1. Она создана методом TIES с помощью mergekit на основе Llama-3.1-8B-Instruct и объединяет её с Llama-3.1-8B, Dobby-Mini-Unhinged-Llama-3.1-8B и Fino1-8B. Модель содержит 7,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Объединение включает модели общего назначения и модель, ориентированную на финансовую тематику, но README не приводит оценок качества или конкретных гарантий для специализированных сценариев. Метаданные указывают английский язык как язык карточки. Условия лицензирования в предоставленных данных не описаны.

Это квантизированная версия llama-3-70B-Instruct-abliterated в формате GGUF, подготовленная пользователем bartowski на основе модели failspy/llama-3-70B-Instruct-abliterated. Квантизация выполнена с помощью llama.cpp версии b2854 и метода imatrix. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая локальный запуск через совместимые инструменты llama.cpp. Модель относится к семейству Llama 3 и содержит 70B параметров, однако README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или набор модальностей. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, различающиеся размером файлов и качеством: от 74,97 ГБ у Q8_0 до 21,14 ГБ у IQ2_XS. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты требуют меньше памяти, но обычно снижают качество. Сильной стороной являются разнообразие квантизаций, возможность локального использования и сохранение высокого качества у вариантов Q6_K и Q5. Ограничения связаны с существенными требованиями к памяти для 70B-модели, потерей качества в низкобитных вариантах и отсутствием подробных сведений о результатах тестирования, языках и контекстном окне. Для корректного общения следует использовать указанный в README шаблон prompt format с системным, пользовательским и ассистентским сообщениями. Указана лицензия llama3; дополнительные условия следует уточнять в файле LICENSE исходной модели.