II.2Создание и понимание программного кода

CyberNeurova-Gemma-4-12B-it-abliterated — мультимодальная модель семейства Gemma 4, разработанная CyberNeurova Research на базе google/gemma-4-12B-it от Google. Это 12-миллиардная encoder-free модель с унифицированной архитектурой, которая напрямую проецирует изображения и аудиосигналы в пространство эмбеддингов языковой модели без отдельных vision- и audio-энкодеров. Заявлена поддержка текста, изображений и аудио, а также языков английского, испанского, французского, немецкого, китайского, хинди, японского, корейского, арабского, португальского, итальянского и русского. Модель предназначена для генерации текста, мультимодального анализа, программирования, рассуждений и исследовательских сценариев, включая задачи кибербезопасности. Главная особенность — постоянное удаление направления отказа из весов модели методом orthogonalization residual stream во всех 48 слоях трансформера и во входных эмбеддингах. По данным авторов, это резко снижает склонность к отказам, в том числе на многоязычных тестах, при сохранении показателей программирования, связности и рассуждений; результаты приведены авторами README и не являются независимой проверкой. Одновременно такая модификация существенно ослабляет встроенные защитные ограничения, поэтому модель может быть непригодна для применений, требующих безопасного поведения и фильтрации вредных запросов. Доступны варианты в формате bf16 Safetensors, а также GGUF F16, Q8_0 и Q4_K_M. Размеры составляют примерно 22,3 ГБ для bf16 и 7,5 ГБ для Q4_K_M; для последнего заявлена возможность запуска на GPU с 10–12 ГБ VRAM, тогда как нативной версии требуется около 28 ГБ или более. Указана лицензия Apache-2.0.

bartowski/DeepSeek-V2.5-1210-GGUF — это набор квантованных версий языковой модели DeepSeek-V2.5-1210, разработанной DeepSeek и подготовленной в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста и локального инференса; README указывает pipeline_tag text-generation. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Размеры отдельных вариантов составляют примерно от 76,92 до 250,62 ГБ, многие версии являются разделёнными файлами. Сильной стороной набора является широкий выбор квантований, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество, а также версии, оптимизированные для ARM или AVX. Ограничения связаны с очень большим объёмом модели, снижением качества при низких уровнях квантования и необходимостью использовать параметр --no-context-shift либо эквивалентную настройку для корректной политики переполнения контекста. Формат prompt должен соответствовать шаблону DeepSeek, приведённому в README. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Лицензия обозначена как deepseek; ссылка ведёт на лицензию модели DeepSeek.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

DeepSeek-V4-Flash-2bit-DQ — это версия модели DeepSeek-V4-Flash, подготовленная сообществом mlx-community при поддержке Lambda.ai для запуска с использованием библиотеки MLX. Модель предназначена для генерации текста и локального инференса через mlx-lm; в README приведён пример диалогового применения с использованием chat template. Ключевая особенность модели — динамическая смешанная квантизация. Большинство весов экспертов маршрутизируемой MoE-архитектуры упаковано в 2 бита, а чувствительные слои и проекции сохранены в форматах 4, 6 или 8 бит. Такой подход снижает потребление памяти по сравнению с базовым checkpoint с 4-битной квантизацией, сохраняя более высокое качество в критичных компонентах. Точный размер модели, объём контекста, список поддерживаемых языков и модальности в README не указаны. Для использования требуется установить пакет mlx-lm; модель рассчитана на экосистему MLX. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования требуют дополнительной проверки.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — модификация базовой модели Qwen3.6-27B, разработанная HauhauCS. Это мультимодальная модель для работы с текстом, изображениями и видео, представленная в формате GGUF и предназначенная для запуска в llama.cpp, LM Studio и других совместимых средах. Она ориентирована на агентное программирование, использование инструментов, рассуждения, творческое письмо и ролевые сценарии, а версия Aggressive специально настроена на прямые ответы без предварительных оговорок на жёсткие запросы. README заявляет отсутствие отказов в тесте из 465 запросов, однако это утверждение следует считать характеристикой автора сборки, а не независимой гарантией поведения модели. Модель содержит 27 млрд плотных параметров, 64 слоя и гибридную архитектуру с 48 слоями линейного внимания Gated DeltaNet и 16 слоями полноценного Gated Attention. Нативный контекст составляет 262 тыс. токенов и может быть расширен примерно до 1 млн с помощью YaRN. Указана поддержка английского, китайского и других языков, а также встроенная мультимодальность; для обработки визуальных данных поставляется отдельный компонент mmproj. Доступны квантизированные варианты от Q8 до Q2, включая специализированные K_P-квантизации, оптимизированные для сохранения качества. Сильными сторонами являются большой контекст, поддержка текста, изображений и видео, широкий выбор вариантов квантизации и отсутствие изменений в заявленных исходных возможностях Qwen3.6-27B. Ограничение версии Aggressive — менее сдержанная манера поведения и отсутствие защитных отказов, что повышает риски при использовании. Модель распространяется по лицензии Apache-2.0; сведения о требованиях к аппаратному обеспечению в README не приведены, но размер файлов квантизаций составляет примерно от 10 до 32 ГБ, не считая mmproj размером 928 МБ.

ExperimentTwo, также называемая NerdySamanthaV2, — языковая модель на архитектуре Mistral, созданная слиянием моделей методом Model Stock с помощью mergekit. В основу взята mistralai/Mistral-7B-v0.1; также объединены cognitivecomputations/samantha-1.2-mistral-7b и uukuguy/speechless-code-mistral-7b-v1.0. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста. Контекстное окно составляет 32 768 токенов; сочетание компонентов Samantha и Speechless Code ориентирует её на диалоговые ответы и задачи с кодом, хотя README не приводит отдельных оценок качества или подробных сценариев применения. Модель объединяет возможности исходных чекпойнтов, но карточка не содержит результатов тестирования, поэтому качество на конкретных задачах следует проверять самостоятельно. Лицензия — Apache-2.0.

FuseLLM-7B — языковая модель, разработанная исследователями Sun Yat-sen University и Tencent AI Lab. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, созданная методом слияния знаний трёх открытых моделей разных архитектур: Llama-2-7B, OpenLLaMA-7B и MPT-7B. Авторы извлекали их генеративные распределения и переносили общие знания и сильные стороны в целевую модель посредством дополнительного обучения. Модель предназначена для генерации текста и может применяться для рассуждений, ответов на вопросы, понимания прочитанного, генерации кода и машинного перевода. README приводит оценки на бенчмарках общих знаний, здравого смысла, кода и генерации текста. Модель принимает текст и генерирует текст; заявленный родной контекст — 2048 токенов, язык карточки — английский. Весы доступны в форматах PyTorch и Safetensors. FuseLLM-7B выпущена под лицензией Apache-2.0. Результаты бенчмарков не гарантируют качество в конкретном приложении; модель имеет относительно короткое окно контекста и не описана как instruction-tuned релиз.

Gaperon-1125-8B — двуязычная авторегрессионная языковая модель с 8 млрд параметров, разработанная командой ALMAnaCH в Inria Paris. Модель построена на архитектуре Llama 3 и обучена примерно на 4 трлн токенов с поэтапным смешиванием данных; финальная фаза включала около 20% данных в формате инструкций. Используется токенизатор Llama 3.1 BPE с размером словаря 128 256 токенов. Модель предназначена для генерации текста на французском и английском языках, работы с кодом и исследований двуязычного NLP, стратегий обучения и отбора данных. В обучающих данных преобладает английский язык (54–65% токенов), доля французского составляет 24–39%, кода — 8–14%. README указывает, что это основной выпуск проекта для общего использования в масштабе 8B, однако также характеризует его как исследовательскую модель и не рекомендует для производственных и критически важных применений. Для диалоговых задач авторы советуют SFT-вариант; качество на бенчмарках уступает моделям, специально оптимизированным под них или более крупным моделям. Лицензия в метаданных — BigScience OpenRAIL-M.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

systalyze/gemma-4-26B-A4B-it-ExpertsINT4-FP8 — это оптимизированная для инференса смешанно-точная квантованная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанной Google DeepMind. Квантование и выпуск модели выполнены Systalyze. Архитектура Gemma4ForConditionalGeneration принимает текст и изображения и генерирует текст; модель предназначена для мультимодального чата, следования инструкциям, рассуждений и работы с инструментами. Базовая модель представляет собой MoE-архитектуру с 30 слоями и 128 экспертами. Веса MoE-экспертов квантованы в INT4 методом GPTQ с размером группы 64, а остальные линейные слои Transformer используют динамическое FP8-квантование с активациями FP8 на уровне токенов. Router, эмбеддинги, lm_head и vision tower сохраняются без квантования. Чекпойнт занимает около 16 ГБ против 49 ГБ у BF16-версии, то есть примерно в 3,1 раза меньше, и загружается напрямую в vLLM через формат compressed-tensors. Сильная сторона модели — существенное снижение требований к памяти и высокая производительность при низкой и средней конкурентности: в приведённых тестах прирост относительно FP8 достигал 54,4% при concurrency 8. При высокой конкурентности 16–32 запросов обычная FP8-версия производительнее, поэтому выбор зависит от профиля нагрузки. Качество в целом близко к базовой модели, однако на отдельных задачах, включая GPQA Diamond, MMLU-Pro, HumanEval и DROP, наблюдается снижение результатов. Веса модели распространяются по лицензии Apache-2.0.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

Momix-44/gemma-4-31B-it-heretic-v2 — модифицированная версия мультимодальной модели Google DeepMind gemma-4-31B-it. Модель создана с использованием Heretic 1.2.0 и метода Magnitude-Preserving Orthogonal Ablation (MPOA), направленного на снижение количества отказов в ответах. Согласно README, она предназначена для генерации текста, рассуждений, программирования и анализа изображений. Модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и контекстное окно до 256 тысяч токенов. Она принимает текстовые и визуальные входные данные и генерирует текст. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер скользящего окна составляет 1024 токена. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой производной модели не указаны. Ключевая особенность модели — существенно меньшее число отказов по сравнению с исходной gemma-4-31B-it: в приведённом тесте 37 из 100 против 99 из 100 у оригинала. При этом значение KL divergence составляет 0,3801, поэтому поведение и распределение ответов отличаются от базовой модели. README не содержит независимых оценок качества, а снижение защитных ограничений может повышать риск генерации небезопасного или нежелательного контента. В качестве лицензии указана Apache 2.0 со ссылкой на лицензию Gemma 4.

ReadyArt/gemma-4-31B-it-scotoma-2-GGUF — это набор GGUF-квантизированных вариантов модели gemma-4-31B-it-scotoma-2, опубликованный ReadyArt. В основе лежит Gemma 4 31B от Google DeepMind, доработанная методом γ-fold и тремя раундами DPO на 9,3 тыс. пар предпочтений. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и мультимодального анализа изображений; GGUF-формат ориентирован на локальный запуск через llama.cpp и совместимые приложения. Базовая Gemma 4 31B — плотная модель примерно с 30,7 млрд параметров, гибридным вниманием, поддержкой текста и изображений и контекстом до 256 тысяч токенов. Семейство Gemma 4 поддерживает более 140 языков на уровне предобучения и имеет режимы рассуждений, но для конкретного производного варианта ReadyArt подробные отдельные языковые оценки не указаны. Доступны разные уровни квантизации, поэтому требования к памяти и качество зависят от выбранного GGUF-файла. Scotoma 2 изменяет поведение исходной instruction-tuned модели: ослабляет осторожные рефлексы и уменьшает повторяющиеся стилистические шаблоны, включая рефлексивные отрицания, конструкцию «not X, but Y», вставки с em dash и нагромождение прилагательных. По заявлению автора, модель сохраняет интеллект базовой версии и делает ответы более разнообразными, но это исследовательский артефакт, а не продукт; поведение зависит от запроса и контекста, а квантизация может дополнительно снижать качество. Модель не является полностью uncensored и в целом сохраняет отказы базовой модели. Указана лицензия Apache-2.0 с применением условий лицензии Gemma.

Карточка модели GodsDevProject/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking, поэтому описание составлено по ней. DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

Gorilla OpenFunctions v0 — языковая модель семейства Llama, разработанная проектом Gorilla при UC Berkeley. Она принимает описание функции, контекст API и запрос пользователя на естественном языке, а затем формирует JSON с аргументами для вызова этой функции. Модель рассчитана на интеграцию с приложениями, которым нужно преобразовывать намерения пользователя в структурированные вызовы API. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и имеет контекст длиной 2048 токенов. Репозиторий содержит веса PyTorch; модель предназначена для генерации текста с форматом ответа, совместимым с OpenAI Functions. Версия v0 ориентирована на подготовку аргументов для заданной функции; выбор между несколькими функциями и параллельные вызовы заявлены для v1. Модель обучена на английском языке, а карточка не описывает поддержку других языков. Лицензия — Apache 2.0. Описанный сценарий ограничен одной заданной функцией: возможности выбора между функциями и параллельного вызова для v0 не заявлены.

Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP — квантизированная версия модели Huihui-Qwen3.6-27B-abliterated, опубликованная пользователем или организацией sakamakismile и основанная на семействе Qwen3.5. Это гибридная модель с чередованием linear attention и периодических блоков full attention, дополненная встроенной MTP-головой для speculative decoding. Модель предназначена для генерации текста, рассуждений и вызова инструментов; заявлена также мультимодальная совместимость с визуальными и видеотокенами, но данный вариант ориентирован на текстовый режим. Модель использует формат NVFP4 с конфигурацией modelopt W4A4 и имеет размер 27B параметров. Поддерживается контекст до 262144 токенов, при этом в рекомендуемой конфигурации используется 65536 токенов. Предусмотрен вывод рассуждений в тегах <think> и XML-вызовы инструментов. Для ускорения генерации применяется MTP с тремя спекулятивными токенами; в приведённых тестах на четырёх NVIDIA RTX PRO 2000 Blackwell заявлены скорости около 81–83 токенов в секунду для одного потока и до примерно 880 токенов в секунду при 24 одновременных запросах. К сильным сторонам относятся поддержка длинного контекста, экономичное KV-кэширование, ускоренная генерация и интеграция с vLLM. Основные ограничения — необходимость четырёх GPU NVIDIA Blackwell по 16 ГБ, совместимого ПО и CUDA 13.x для оптимальных NVFP4-ядер, а также возможные риски, связанные с характером abliterated-модели и отсутствием заявленных ограничений безопасности. Лицензия — Apache-2.0.

Locutusque разработала Hyperion-3.0-Mixtral-3x7B — экспериментальную языковую модель с архитектурой Mixture of Experts на базе Mixtral. По карточке, в ней объединены три экспертные модели, предназначенные для научных и математических задач, программирования, открытых вопросов, суммаризации и ролевых диалогов. На каждом токене активируются два эксперта; общий размер модели по метаданным — 7,1 млрд параметров, длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст на английском языке. Это ранний прототип для исследований и экспериментов: автор предупреждает, что качество может быть неоптимальным и модель не подходит для критически важных задач. Указано, что экспертные модели ещё не опубликованы, поэтому полная сборка и оценка модели могут быть недоступны. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Kimi-K2-Base-BF16 — базовая языковая модель, опубликованная Unsloth на основе Kimi-K2-Base от Moonshot AI. Это модель семейства DeepSeek V3 с архитектурой Mixture-of-Experts: в исходной карточке указаны 1 трлн параметров всего и 32 млрд активируемых параметров; метаданные этого репозитория указывают 37,9 млрд параметров. Веса представлены в формате safetensors, библиотека — Transformers, контекст составляет 131 072 токена. Модель предназначена для генерации текста и служит основой для исследовательских и прикладных доработок, включая настройку под диалоги, рассуждения, программирование и агентные сценарии с вызовом инструментов. Карточка описывает возможности семейства Kimi K2, но отдельно отмечает, что Kimi-K2-Base — именно базовая модель; подробные рекомендации по чату и вызову инструментов относятся преимущественно к варианту Instruct. Карточка не сообщает поддерживаемые естественные языки и не приводит условий лицензии: в метаданных указано только значение «other».

Это экспериментальная квантизация GGUF модели huihui-ai/Huihui-Kimi-Linear-48B-A3B-Instruct-abliterated, подготовленная ENOSYS. Она предназначена для генерации текста в диалоге, включая ответы на запросы, связанные с кодом, математикой и инструментами. В README указаны калибровочные данные для английского и русского текста, кода, математики и инструментов, а также экспериментальная глобальная квантизация с целевым диапазоном 3,0–3,5 бит на вес. Тензоры записаны в F16 для совместимости с архитектурой Nvidia Pascal, включая P100; для квантования использовалась нестандартная ветка LLaMA C++, а репозиторий содержит небольшие патчи. Модель основана на Kimi Linear 48B A3B Instruct и предназначена для локального запуска в формате GGUF; карточка описывает её как разговорную мультиязычную модель. Квантизация уменьшает размер весов, но приводит к потерям качества: в README приведены сравнительные метрики perplexity и KL divergence для нескольких вариантов битности. Лицензия — MIT.

Модель namannn/llama2-13b-hyperbolic-cluster-pruned — производная от Meta Llama 2 13B, созданная с помощью слияния на основе гиперболоидных проекций. В карточке указано, что в модели сохранён 31 слой и что она сохраняет значительную часть результатов на бенчмарках, однако подробности оценки не приведены. Модель предназначена для генерации текста; метаданные также отмечают поддержку задач, связанных с кодом. Это плотная авторегрессионная архитектура LlamaForCausalLM с контекстом до 4096 токенов. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Модель распространяется по лицензии MIT. В карточке не описаны языки естественного текста и конкретные сценарии использования; сведения о сохранении результатов на бенчмарках не сопровождаются названиями тестов или численными оценками.

Llama-3-Open-Ko-8B — языковая модель Junbum Lee (Beomi), созданная продолжением предобучения Meta Llama 3 8B на общедоступных текстах. Модель содержит около 7,5 млрд параметров, использует плотную авторегрессионную архитектуру Transformer семейства Llama и принимает текст, генерируя текст или код. Для обучения использовано более 60 ГБ очищенных от дубликатов текстов и свыше 17,7 млрд токенов; контекст — 8192 токена. Модель предназначена для генерации текста и дальнейшей адаптации под языковые задачи, особенно для работы с корейским и английским языками. Это базовая, а не инструкционная версия; карточка отдельно упоминает предварительную инструкционную модель. Модель выпущена как статический чекпойнт, обученный на офлайн-данных. Указана лицензия Llama 3; для использования необходимо соблюдать условия Llama 3 Community License и Acceptable Use Policy.

Marin 8B Base — базовая языковая модель для генерации текста, разработанная сообществом marin-community. Данный репозиторий содержит её квантованные версии в формате GGUF, подготовленные mradermacher с использованием imatrix-квантования. Модель ориентирована на работу с англоязычным текстом и предназначена для локального запуска в совместимых инструментах и библиотеках. Модель обучалась на смеси наборов данных, включающей Dolmino и OLMo Mix, StarCoderData, Proof-Pile-2, MegaWika, DCLM, FineMath, материалы ar5iv, научные вопросы, Stack Exchange и Wikipedia. Это делает её пригодной для общих задач генерации и продолжения текста, работы с техническими и научными материалами, программным кодом и структурированным контентом. Из доступных данных известно, что это модель примерно на 8 миллиардов параметров; сведения об архитектуре, размере контекста и поддержке дополнительных модальностей не указаны. Репозиторий предлагает широкий диапазон квантований с размером файлов примерно от 2,1 до 6,7 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; в README в качестве сбалансированных вариантов отмечены i1-Q4_K_S и i1-Q4_K_M, а i1-Q6_K описан как близкий к статическому Q6_K по качеству. Модель является базовой, поэтому её возможности диалогового взаимодействия и следования инструкциям отдельно не заявлены. Распространение выполняется по лицензии Apache 2.0.

UCLA-EMC/Meta-Llama-3.1-8B-AWQ-INT4 — квантизированная версия базовой модели Meta-Llama-3.1-8B, разработанной Meta и подготовленной в формате AWQ сообществом UCLA-EMC. Это авторегрессионная текстовая генеративная модель: принимает текст и генерирует текст. Модель предназначена для локального запуска и задач общего текстового продолжения, включая генерацию кода и другой контент по заданному запросу. Версия является базовой, а не instruction-tuned, поэтому она не оптимизирована специально для диалогового следования инструкциям. Модель имеет размер 8B параметров и квантизацию INT4 с использованием AutoAWQ, GEMM-ядер, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 7,29 ГБ VRAM; модель тестировалась на GPU NVIDIA T4 и может запускаться на менее мощном оборудовании. В README указана поддержка английского языка; размер контекста для самой модели не указан, а параметр fuse_max_seq_len=512 приведён только в примере запуска. Для работы используются Transformers, Accelerate и AutoAWQ. Модель распространяется по лицензии CC BY-NC-4.0, поэтому её применение ограничено условиями этой лицензии, включая некоммерческий характер использования.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-i1-GGUF — это квантизированная версия модели MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic, опубликованная и подготовленная в формате GGUF пользователем mradermacher на основе базовой модели GnLOLot. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, рассуждений, а также сценариев с вызовом инструментов и функций. Из доступных данных известно, что модель относится к семейству MiniCPM, имеет около 2 млрд параметров и поддерживает английский и китайский языки. Она рассчитана на текстовые задачи; сведения о мультимодальности и размере контекстного окна не указаны. Доступно множество вариантов квантизации GGUF с размером примерно от 0,8 до 1,7 ГБ, что позволяет выбирать между требованиями к памяти, скоростью и качеством. Для большинства сценариев автор рекомендует варианты i1-Q4_K_M или i1-Q4_K_S, тогда как самые компактные варианты могут заметно уступать по качеству. Сильными сторонами модели являются небольшой размер, возможность локального запуска в совместимых с GGUF средах и ориентация на агентные сценарии, вызов функций и программирование. Ограничениями являются относительно малое число параметров, возможное снижение качества в низкобитных вариантах и отсутствие опубликованных сведений о контекстном окне, бенчмарках и фактической эффективности tool-calling. Модель распространяется по лицензии Apache-2.0.

Jeff98/MiniCPM5-2B-openvino — это версия языковой модели openbmb/MiniCPM5-2B, преобразованная в формат OpenVINO с помощью optimum-intel. Архитектура, токенизатор, шаблон диалога и основные возможности унаследованы от исходной модели; репозиторий не содержит дополнительного обучения или выравнивания. Модель предназначена для генерации текста и ведения диалогов. Модель содержит примерно 2 млрд параметров и поддерживает китайский, английский и другие языки, заявленные для исходной MiniCPM5-2B. Она рассчитана на локальный запуск, разработку ассистентов и инструментов программирования, edge-сценарии, а также эксперименты на рабочих станциях. OpenVINO обеспечивает выполнение на CPU и Intel GPU, а OpenVINO Model Server позволяет развернуть модель через совместимый с OpenAI REST API. Точный размер контекста и архитектурные детали в README не указаны. Сильная сторона модели — готовность к эффективному локальному развертыванию в OpenVINO, включая преобразованные токенизатор и детокенизатор, поддержку OVMS и OpenAI-совместимого интерфейса. Ограничения унаследованы от исходной модели: возможны фактические ошибки, галлюцинации, некорректная генерация кода, зависимость качества от формулировки запроса и различия в качестве между языками; конвертация может приводить к небольшим числовым отличиям. Модель распространяется по лицензии Apache-2.0.

amd/MiniMax-M3-MXFP4-AttnFP8 — мультимодальная модель условной генерации MiniMaxM3SparseForConditionalGeneration, созданная AMD на основе MiniMaxAI/MiniMax-M3. Она принимает текст и изображения и генерирует текст, поэтому предназначена для мультимодального диалога, анализа изображений, агентских сценариев, задач программирования и работы с видео при наличии соответствующей интеграции. Поддерживаются функции вызова инструментов и рассуждений через vLLM. Модель использует разреженную MoE-архитектуру и оптимизирована для AMD MI350/MI355 с ROCm 7.1.1, PyTorch 2.10.0 и Transformers 5.2.0 в Linux. Веса квантизированы в формате OCP MXFP4, а слои self-attention — в PTPC-FP8; активации используют динамическое квантование MXFP4 и FP8 для self-attention. Языки и размер контекста в README не указаны. На тесте GSM8K модель получила 94,01 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,65% исходного результата. Основные ограничения — требовательность к поддерживаемому оборудованию и программному стеку AMD, а также отсутствие в README подробных оценок мультимодальных возможностей, языковой поддержки и контекстного окна. Указана лицензия minimax-community; применяется лицензия с типом other.

ybelkada/mpt-7b-bf16-sharded — это шардированный checkpoint базовой языковой модели MPT-7B, опубликованный пользователем ybelkada на Hugging Face. Исходную модель разработала команда MosaicML. Репозиторий предназначен для запуска inference и fine-tuning в условиях ограниченной оперативной памяти, в частности в Google Colab, поскольку веса разделены на несколько файлов. Модель относится к decoder-only Transformer и предназначена для авторегрессионной генерации текста. Она содержит около 7 млрд параметров, сохранена в формате BF16 и работает с текстовыми данными; заявленная категория применения — text generation. Архитектура MPT использует модификации, ориентированные на эффективное обучение и inference, включая ALiBi, а для загрузки может требоваться trust_remote_code из-за нестандартной реализации MPT. Модель обучалась MosaicML с нуля на англоязычных текстах и коде. Сильные стороны — открытая реализация, возможность коммерческого использования исходной модели по Apache-2.0, поддержка эффективного inference и удобная шардированная упаковка. Ограничения включают отсутствие дообучения для следования инструкциям, возможность фактически неверных, предвзятых или нежелательных ответов, а также необходимость осторожной настройки и дополнительных защит при пользовательском применении. Точная длина контекста для данного шардированного репозитория в его карточке явно не указана.

NCP-ArchPreview 8.9B Stage 1 — базовая авторегрессионная языковая модель команды NCP из Shanghai AI Lab и LUMIA Lab Шанхайского университета Цзяотун. Она обучена предсказывать следующий токен и следующий концепт — представление группы из четырёх токенов в обучаемом латентном пространстве. Генерация сохраняет стандартный интерфейс предсказания следующего токена. Архитектура основана на токенной схеме OLMo 3 7B и дополнена модулем концептов, словарём концептов с произведённым квантованием и иерархическими остаточными связями. В модели около 11,1 млрд параметров по метаданным; README указывает приблизительно 8,94 млрд. Контекст — 8192 токена. Модель обучена на Dolma 3 Mix и предназначена для генерации текста и языкового моделирования. В отчёте авторов указаны улучшения на ряде оценок относительно OLMo 3 7B, включая GSM8K и HumanEval; эти результаты относятся к оцениванию Stage 1 и не гарантируют аналогичное качество для каждой задачи. Это базовый выпуск Stage 1, а не адаптер для пользовательской настройки. Для загрузки в Transformers в README показано использование trust_remote_code и bf16. Веса доступны по лицензии Apache 2.0.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.