II.2Создание и понимание программного кода

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_4S-GGUF — мультимодальная модель Lemura Labs на базе объединённых Qwen3.6-27B и Jackrong/Qwopus3.6-27B-v2. Последняя версия описана как дистилляция рассуждений Claude Opus на основе Qwen3.6-27B. Модель прошла abliteration для снижения числа отказов и выпущена в формате GGUF с квантизацией TQ3_4S; для обработки изображений требуется отдельный файл проектора mmproj.gguf. Модель предназначена для диалогов, рассуждений и работы с изображениями. Гибридная архитектура сочетает линейное внимание GatedDeltaNet и полнослойное softmax-внимание; заявленная длина контекста — 262144 токена. В карточке сообщается о снижении отказов с 91 до 4 из 100 проверочных запросов при KL-дивергенции 0,0176. Доступны GGUF-веса размером около 14 ГБ вместе с проектором; для TQ3_4S требуется форк llama.cpp от turbo-tan, а без mmproj вход изображений недоступен. Модель принимает текст и изображения и генерирует текст. В метаданных указаны английский и китайский языки, а также мультиязычная поддержка. Лицензия — Apache-2.0. Вследствие удаления отказов модель может отвечать на запросы, которые исходная модель отклоняла; результаты генерации требуют соответствующей проверки.

Это GGUF-копия модели unsloth/Qwen3.6-35B-A3B-NVFP4-Fast, преобразованная из исходного репозитория с помощью конвертера llama.cpp. Репозиторий публикует catlilface; модель предназначена для диалогов и задач с изображениями и текстом, включая агентные сценарии. В метаданных указаны архитектура Qwen, возможности чата и vision, а формат файлов — GGUF. Карточка рекомендует запускать модель на GPU с актуальной сборкой llama.cpp; также возможно выполнение с выгрузкой части вычислений на CPU. В README приведены ориентировочные показатели скорости для нескольких конфигураций оборудования, но качество предлагается оценивать по материалам базовой модели. Лицензия — Apache-2.0.

YFC-112358 создал эту плотную модель семейства Qwen объёмом 27 млрд параметров с помощью трёхэтапного слияния весов. В рецепте DELLA и линейная арифметика задач объединяют несколько моделей на базе Qwen3.6, после чего полученное изменение весов переносится на Cold-Fusion-GAIN-V1.1 на базе Qwen3.8. Репозиторий содержит веса safetensors и использует библиотеку Transformers; модель лицензирована по Apache-2.0. Модель предназначена для диалоговой генерации текста и может использоваться как ассистент для ответов и многошаговых запросов. В метаданных также заявлен интерфейс для вызова инструментов. Несмотря на мультимодальную архитектуру Qwen и наличие визуальной башни у базового семейства, README этой версии описывает прежде всего слияние весов и не подтверждает отдельно качество обработки изображений или видео. Главное ограничение — перенос прироста весов между поколениями Qwen3.6 и Qwen3.8: автор отмечает, что архитектуры совпадают по размерам, но это не гарантирует совместимость представлений, и модель может работать хуже без явной ошибки. Автор приводит значение cold_amp 0,1217 и считает его совместимым с продолжением обучения на общей базе, однако предупреждает, что базовые веса Cold-Fusion могли измениться, что затрудняет точное воспроизведение.

Terminis-7B — объединённая языковая модель от Q-bert, созданная слиянием v1olet/v1olet_marcoroni-go-bruins-merge-7B и mistralai/Mistral-7B-Instruct-v0.2 методом SLERP. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; её контекстное окно — 32 768 токенов. Модель предназначена для генерации текста и работы в форматах диалога ChatML и инструкций Alpaca. Лицензия — Apache-2.0. Карточка не приводит результатов оценки, поэтому качество на конкретных задачах по ней определить нельзя.

Это набор GGUF-квантизованных версий инструкционной языковой модели wisenut-nlp-team-wisenut-llama-3-8B-0.7-Instruct. Исходную модель разработала команда Wisenut NLP Team, а квантизации подготовил Featherless AI Quants. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3 и содержит 8 млрд параметров. Она работает в текстовой модальности; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Главное преимущество набора — возможность запускать модель в формате GGUF на совместимом программном обеспечении и подбирать уровень квантизации под имеющееся оборудование. При этом более агрессивная квантизация может снижать качество по сравнению с исходной моделью, а конкретные показатели производительности и качества в README не приведены. Лицензия и условия использования также не указаны.

YamshadowInex12_NeuralExperiment26 — слитая модель семейства Mistral с 7,1 млрд параметров, созданная из automerger/YamshadowInex12-7B и automerger/NeuralExperiment26-7B. Она предназначена для генерации текста и работы с запросами в пределах контекстного окна до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

ZEUS-8B-V17-abliterated — текстовая диалоговая модель, созданная T145 с помощью mergekit методом passthrough из T145/ZEUS-8B-V17 и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 7,1 млрд параметров и рассчитанная на генерацию текста и диалоговые сценарии. Метаданные указывают контекстное окно до 131 072 токенов и поддержку интерфейса вызова инструментов. Модель принимает текст и генерирует текст; карточка не приводит специальных предметных областей или перечня поддерживаемых естественных языков. В README опубликованы результаты Open LLM Leaderboard, включая 75,76% на IFEval и 31,52% на BBH. Эти оценки отражают отдельные тесты и не гарантируют качество в конкретном приложении. Лицензия в предоставленных данных не указана.

1.5-Pints-2K-v0.1 — языковая модель команды Pints Research на архитектуре Llama 2, предназначенная для диалогового помощника и последующей адаптации под специализированные задачи. Модель содержит около 1,5 млрд параметров, обучена на 57 млрд токенов предварительного корпуса и дообучена с оптимизацией предпочтений. Использует токенизатор Mistral и шаблон ChatML; размер контекста — 2 048 токенов. Модель генерирует текст и рассчитана на ответы пользователям и рассуждения при сравнительно скромных вычислительных ресурсах; авторы указывают, что для запуска достаточно GPU с 8 ГБ видеопамяти. Для запросов, требующих точных фактов или актуальных знаний, рекомендуется подключать поиск по документам через RAG. В опубликованном сравнении MTBench модель набрала 3,73 балла. Лицензия репозитория — MIT. Авторы отдельно предупреждают, что не гарантируют юридический статус материалов обучающих корпусов и возлагают на пользователей ответственность за проверку соблюдения местных законов об авторском праве.

Lambent/arsenic-v1.5-dpo-qwen2.5-14B — диалоговая модель на архитектуре Qwen2.5 с 14 млрд параметров, дообученная командой Lambent на основе Lambent/arsenic-v1-qwen2.5-14B. Карточка описывает её стиль ответов как более точный по сравнению с предыдущей версией при сохранении большей части её возможностей; обучение проводилось с использованием Axolotl 0.4.1. Модель принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых приложений и генерации текстовых ответов, в том числе структурированных. Карточка отмечает, что модель всё ещё достаточно ограничена в генерируемом содержимом; тег «not-for-all-audiences» относится к набору данных. Данные о конкретном наборе обучения и результаты оценки не приведены. Условия лицензии в предоставленных материалах не указаны.

Это GGUF-квантизированная версия модели command-a-reasoning-08-2025, разработанной CohereLabs. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; опубликованный вариант предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к генерации текста и, судя по названию, ориентирована на задачи, требующие рассуждений. Доступны варианты с уровнями квантизации от Q8_0 до Q3_K и IQ3, размером примерно от 43 до 118 ГБ. Более крупные варианты обычно обеспечивают более высокое качество, а компактные требуют меньше оперативной памяти, но заметно уступают по качеству. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в представленном README не указаны. Преимущество этой публикации — широкий выбор степеней квантизации и адаптация для эффективного локального инференса. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов, возможным снижением качества при низкой разрядности и отсутствием сведений о формате промптов. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели CohereLabs/command-a-reasoning-08-2025.

KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

nbeerbower представил слитую модель EVA-Rombos1-Qwen2.5-32B-lorablated на архитектуре Qwen2.5, предназначенную для генерации текста и диалогов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. Модель создана методом task arithmetic с помощью mergekit из nbeerbower/EVA-Rombos1-Qwen2.5-32B и nbeerbower/Qwen2.5-32B-abliterated-LORA. Она рассчитана на текстовые запросы и выдаёт текст; метаданные также отмечают интерфейс для вызова инструментов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Язык карточкой не уточнён.

Experiment26T3q-7B — созданная Maxime Labonne автоматическим слиянием методом SLERP моделей rwitz/experiment26-truthy-iter-1 и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Это плотная Mistral-модель с 7,1 млрд параметров для генерации текста; базовая математическая модель прошла DPO-дообучение на математических данных. Модель принимает текстовые запросы и предназначена для диалоговых ответов и генерации текста, в том числе для решения математических задач. Длина контекста — 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0.

Это англоязычная модель Sentence Transformers, дообученная thanhpham1 на базе sentence-transformers/all-mpnet-base-v2 на 5 146 парах технических текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска и сравнения текстов; близость оценивается косинусным сходством. Архитектура включает MPNet, усреднение токенных представлений и нормализацию векторов. Обучение Matryoshka позволяет использовать укороченные представления размерностью 512, 256, 128 или 64 с компромиссом между размером вектора и качеством поиска. Модель подходит для поиска ответов и фрагментов в технической документации, сопоставления технических вопросов с релевантными пояснениями, поиска перефразировок и кластеризации технических текстов. README приводит метрики поиска на нескольких размерностях, однако подробности тестового набора ограничены. Максимальная длина последовательности в README указана как 384 токена, а метаданные указывают контекст до 514 токенов. Лицензия Apache-2.0.

Flammades-Mistral-7B — диалоговая языковая модель FlammenAI на архитектуре Mistral с 7,1 млрд параметров. Она дообучена методом ORPO в течение трёх эпох на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1 поверх nbeerbower/Hermes2-Gutenberg2-Mistral-7B. Модель предназначена для генерации текста и ответов на инструкции в диалоге; заявленное контекстное окно — 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Transformers. Лицензия — Apache-2.0.

Gemma-2-Ataraxy-v4-Advanced-9B — слитая автором lemon07r диалоговая языковая модель на архитектуре Gemma 2 с 9 млрд параметров. Она объединяет модели lemon07r/Gemma-2-Ataraxy-v3-Advanced-9B и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25 методом SLERP с помощью mergekit; веса сохранены в формате safetensors, тип данных — bfloat16. Модель предназначена для генерации текста и ответов на текстовые запросы в диалоговом режиме. Заявленная длина контекста — 8192 токена. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оцениванию следования инструкциям и рассуждений, но не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

Gemma 3 12B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Квантизацию выполнил bartowski на основе llama.cpp; исходная модель — google/gemma-3-12b-it. Модель предназначена для генерации текста и понимания изображений. Поддерживаемые сценарии включают ответы на вопросы, суммаризацию, рассуждения и другие задачи обработки текста с учётом визуального контекста. Заявлена длина контекста до 128 000 токенов и максимальная длина вывода 8192 токена. Изображения обрабатываются в разрешении 896 × 896. Поддержка конкретных языков в README не указана. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большой контекст и возможность локального запуска в экосистеме llama.cpp. Ограничениями являются зависимость от совместимого runtime, требование llama.cpp версии 1.19.0 или более новой beta-версии, а также возможные компромиссы качества и скорости, связанные с квантизацией GGUF. Модель может выдавать неточные, вредные или неподходящие ответы. Для доступа к Gemma на Hugging Face требуется принять лицензию Google. В README указана лицензия Gemma; дополнительные условия её использования следует учитывать перед развёртыванием модели.

jenerallee78/gemma-4-26B-A4B-it-ara-abliterated — мультимодальная instruction-tuned модель, созданная на базе Google Gemma 4 26B-A4B-IT с применением метода Adaptive Refusal Abliteration (ARA). Разработчик заявляет, что модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями; в метаданных указан английский язык. Это модификация с ослабленными встроенными ограничениями на отказы, поэтому её применение требует самостоятельной оценки безопасности. Модель использует MoE-архитектуру со 128 экспертами и 8 активными экспертами на токен, примерно 4 млрд активных параметров на токен, 30 слоями и контекстом до 262 144 токенов. Она поддерживает мультимодальный ввод благодаря vision encoder на базе SigLIP; каждое изображение преобразуется примерно в 280 soft tokens. Доступны варианты BF16 SafeTensors и GGUF для Transformers, vLLM, SGLang и llama.cpp, а также смешанная 4-битная MLX-квантизация для Apple Silicon. Размеры файлов составляют около 48 ГБ для BF16, 20 ГБ для Q5_K_M GGUF и 15 ГБ для MLX-варианта. По приведённым автором результатам, на наборе из 507 тестовых вредоносных запросов доля отказов составила 7,7%, средняя оценка качества соблюдения запроса — 4,6 из 5, а KL-дивергенция относительно базовой модели — 0,1299. Эти показатели относятся к заявленной методике и конкретным бенчмаркам и не гарантируют аналогичное поведение в других условиях. Модель распространяется по лицензии Apache 2.0.

Granite-Embedding-97M-Multilingual-R2 — мультиязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Представленная версия в формате ONNX автоматически преобразована и опубликована сообществом onnx-community. Модель предназначена для семантического поиска, сопоставления запросов и документов, кластеризации, оценки сходства текстов, поиска по длинным документам, многошаговым диалогам, извлечения информации и поиска по программному коду. Модель использует архитектуру bi-encoder на базе ModernBERT и содержит около 97 млн параметров. Она формирует 384-мерные эмбеддинги для запросов, passages, документов и кода, которые можно сравнивать, например, с помощью cosine similarity. Максимальная длина контекста составляет до 32 768 токенов. Поддерживается более 200 языков, при этом для 52 языков и программного кода выполнено дополнительное retrieval- и cross-lingual-обучение. Указаны варианты развертывания через ONNX и OpenVINO, а также совместимость с Transformers.js. К сильным сторонам относятся компактный размер, низкие вычислительные требования, большой контекст и высокая заявленная эффективность в мультиязычном поиске: результат 60,3 на Multilingual MTEB Retrieval, а также поддержка поиска по коду и длинным документам. Ограничение модели состоит в том, что она предназначена для построения эмбеддингов и не является генеративной языковой моделью; качество может различаться между языками, причём наиболее явно улучшены только 52 языка и программный код. Модель распространяется по лицензии Apache 2.0.

satgeze/Hy3-1M-GGUF — это GGUF-квантизированная версия модели Tencent Hy3, основанной на архитектуре hy_v3. Модель имеет MoE-архитектуру примерно на 299 млрд параметров, из которых около 17 млрд активны при генерации. Конвертация в GGUF и расширение контекстного окна выполнены сообществом; заявлена поддержка llama.cpp, включая MTP speculative decoding. Модель предназначена для генерации текста, рассуждений и работы с очень большими документами или наборами данных, где требуется контекст до 1 048 576 токенов. Для расширения контекста используется YaRN. Поддержка длинного контекста подтверждена тестами Needle-in-a-Haystack: достигнут результат 10/10 на длине до 786 тысяч токенов, тогда как на полном окне в 1 миллион токенов средний результат составил около 70% на иглу и зависит от случайного начального состояния. На 524 тысячах токенов многозвенное извлечение достигло 4/5. Доступны варианты с различной степенью квантования, включая IQ1_M, IQ2_M, Q2_K и Q4_K_M. Более агрессивные варианты требуют меньше памяти, но заметнее теряют качество; в README IQ2_M рекомендован как практический компромисс, тогда как IQ1_M описан как наиболее слабый. Для запуска нужен недавний mainline llama.cpp с поддержкой hy_v3 и MTP, а также исправленный шаблон чата chat_template_llamacpp.jinja. MTP показал сопоставимое с официальной реализацией Tencent поведение и может ускорять декодирование на CUDA, но эффективность зависит от порога уверенности и конфигурации. Модель распространяется по лицензии Apache 2.0. README не указывает поддерживаемые естественные языки и не содержит полноценных сравнительных оценок качества, поэтому её языковые возможности и общую точность следует проверять отдельно.

HyperLLama3.1-8b-Nova — объединённая языковая чат-модель, созданная bunnycore с помощью mergekit и метода Model Stock. В объединение вошли bunnycore/LLama-3.1-8b-Ultra-Max-Pro, bunnycore/HyperLlama-3.1-8B, bunnycore/StockLLama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и доступна в формате safetensors для Transformers. Карточка описывает способ объединения, но не приводит сравнительных оценок качества или подробностей о поведении модели. В метаданных указана англоязычная базовая модель Arcee.ai на базе Llama 3.1 8B Instruct; отдельные сведения о лицензии этой модели здесь не приведены.

Kaoeiri/Interleaved-Upscale-Cydonyanoi-39B — объединённая языковая модель на архитектуре Mistral, созданная методом passthrough с помощью mergekit на основе TheDrummer/Cydonia-22B-v1.3. Веса опубликованы в формате safetensors; модель содержит 38,8 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области или языки применения. Модель распространяется по лицензии CC BY-ND 4.0. Карточка не приводит оценок качества или подробных ограничений применения.

Карточка модели KeefeBuild/Keefe-Discere-v3.1-Final на Hugging Face совпадает с карточкой KeefeBuild/Keefe-Discere-v3.1, поэтому описание составлено по ней. KeefeBuild/Keefe-Discere-v3.1 — дообученная KeefeBuild языковая модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 32 768 токенов. Веса сохранены в формате safetensors. По карточке, модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Она дообучена от KeefeBuild/Keefe-Discere-v3.0-Final и распространяется по лицензии Apache-2.0.

KRONOS 8B V4 — языковая модель семейства Llama 3.1, созданная T145 слиянием нескольких моделей методом Model Stock. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли mukaj/Llama-3.1-Hawkish-8B и три версии KRONOS 8B V1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Модель предназначена для генерации текста и диалогов, в том числе для следования инструкциям. В README автор описывает её как эксперимент со слиянием моделей, направленный на улучшение результата IFEval; приведены результаты IFEval 78,89 и BBH 30,14. Поддерживается интерфейс вызова инструментов, однако качество и надёжность выполнения таких вызовов отдельно не подтверждены. Сведения о лицензии в предоставленных данных отсутствуют.

LB Reranker v1.0 — компактная модель-реранжировщик, разработанная Питером Девайном для Lightblue. Она оценивает соответствие текста запросу и предназначена для ранжирования результатов поиска и других систем извлечения информации. Модель дообучена на базе Qwen/Qwen2.5-0.5B-Instruct и построена как плотная причинная языковая модель Qwen2 с 494 млн параметров и контекстом до 32 768 токенов. На вход подаются запрос и текстовый фрагмент, а на выходе модель генерирует оценку от «1» до «7». Она обучалась на данных более чем на 95 языках; метаданные также отмечают поддержку широкого набора языков, включая английский, китайский, испанский, немецкий и русский. Модель рассчитана на применение в многоязычном поиске и может ранжировать фрагменты кода; авторы сообщают о результатах оценки на наборе BEIR и о высокой точности ранжирования кода. Формат причинной языковой модели позволяет запускать её через распространённые средства инференса, включая vLLM и LMDeploy. Модель распространяется под лицензией Apache-2.0. Результаты зависят от языка, домена и формулировки запроса; README описывает оценку на первых 250 запросах девяти наборов BEIR и не приводит универсальных гарантий качества.

Это квантизированная в формате GGUF версия инструкционной модели Llama-3.1-8B-Instruct, разработанной Meta и подготовленной ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp или Ollama на CPU и GPU. Модель содержит 8 миллиардов параметров, работает только с текстом и заявлена для английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты KQ, оптимизированные для CPU, и IQ, ориентированные на современные Nvidia GPU; размер файлов составляет примерно 2,56–4,33 ГБ, а средняя разрядность — от 2,54 до 4,31 бит на вес. Разные варианты предлагают компромисс между скоростью, размером и качеством, однако README не указывает размер контекстного окна и не приводит подробностей об ограничениях качества или безопасности. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и оптимизация под разные аппаратные платформы при сохранении качества исходной модели. Ограничения связаны с потерями качества, неизбежными при низкой разрядности, а также с тем, что эффективность зависит от выбранного варианта и оборудования. Модель распространяется по лицензии llama3.1.

nm-testing/Llama-3.2-1B-Instruct-FP8-KV — тестовый вариант Meta Llama 3.2 1B Instruct, опубликованный организацией nm-testing на Hugging Face. Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности. Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

legraphista/Llama-3.2-3B-Instruct-IMat-GGUF — это GGUF-версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и опубликованной пользователем legraphista. Модель предназначена для диалоговых приложений, генерации и преобразования текста, ответов на инструкции и локального запуска через совместимые инструменты инференса. Обозначение IMat указывает на вариант упаковки или представления модели, однако точная схема квантования в предоставленных данных не указана. Модель относится к семейству Llama 3.2 и содержит около 3 миллиардов параметров. Она является текстовой, но сведения о поддерживаемых языках, размере контекстного окна, конкретной архитектуре квантования и результатах тестирования в README не приведены. Компактный размер может быть удобен для запуска на локальном оборудовании с ограниченными ресурсами, однако по возможностям и качеству генерации модель уступает более крупным системам. Использование и распространение регулируются Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется включать текст лицензии и обозначение «Built with Llama», сохранять предусмотренное уведомление об авторских правах и соблюдать Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено дополнительное лицензирование Meta.

Ministral-3-14B-Reasoning-2512-GGUF — мультимодальная языковая модель в формате GGUF, созданная на основе Ministral-3-14B-Reasoning-2512 от MistralAI. Конвертацию и квантизацию выполнил EnlistedGhost с использованием llama.cpp версии 8189. Модель предназначена для локального запуска через Ollama и llama.cpp и поддерживает как текстовые, так и визуальные запросы благодаря двум файлам мультимодального проектора mmproj. Модель ориентирована на диалоговые сценарии, рассуждение, анализ изображений и генерацию ответов на нескольких языках: английском, французском, испанском, немецком, итальянском, португальском, нидерландском, китайском, японском, корейском, арабском и русском. Заявлен размер базовой модели — 14B параметров. В поставку входит пользовательский шаблон чата с ограничением скользящего окна примерно до 46 взаимодействий, которое можно изменять в шаблоне. К сильным сторонам относятся совместимость с Ollama и llama.cpp, локальный запуск, мультимодальность, многоязычность и наличие квантованных вариантов, позволяющих снизить требования к ресурсам. Ограничения связаны с потерями качества и точности, характерными для квантизации, а также с возможными проблемами шаблона чата: автор сообщает, что при загрузке с Hugging Face механизм тегов рассуждений может работать некорректно и требует исправления или настройки. Модель распространяется по лицензии Apache-2.0.