II.2Создание и понимание программного кода

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-1M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель относится к семейству Llama 3.1, имеет около 8 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. В названии указана поддержка сверхдлинного контекста до 1M токенов; в метаданных README заявлен английский язык. Модель подходит для локального запуска в сценариях вопросно-ответного взаимодействия, написания и преобразования текста, анализа длинных документов и других задач text-generation. Файлы представлены в формате GGUF с вариантами квантизации от bf16 до Q3 и IQ4; наиболее качественные варианты требуют больше памяти, а компактные версии позволяют запускать модель на системах с ограниченными ресурсами, но могут сильнее уступать исходным весам по качеству. Квантизация выполнена с использованием imatrix и llama.cpp release b5074. Запуск поддерживается через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Лицензия модели — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями этой лицензии.

Это версия NVIDIA Nemotron 3 Ultra 550B A55B в формате GGUF BF16, опубликованная DevQuasar как копия модели NVIDIA. Она предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения, работу с длинным контекстом и агентные приложения. В метаданных указана возможность чата, а README называет версию Zeroshot. Модель основана на nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16. Репозиторий описывает её как квантованную версию, хотя формат указан как GGUF BF16; подробности о способе квантования и аппаратных требованиях не приведены. Лицензия в предоставленных данных не указана.

Octen-Embedding-8B-INT8 — текстовая embedding-модель, разработанная Octen на основе Qwen/Qwen3-Embedding-8B и дообученная методом LoRA. Она предназначена для семантического поиска, retrieval-сценариев, оценки сходства текстов и построения векторных представлений документов, запросов и кода. Заявлены прикладные области: юридические документы, финансовые отчёты и вопросы, медицинские диалоги и консультации, программирование и SQL-поиск. Модель содержит около 8 млрд параметров, использует INT8-квантизацию через bitsandbytes и формирует embeddings размерностью 4096. README указывает поддержку английского, китайского и более чем 100 языков, включая языки программирования, а также мультиязычный, кросс-языковой и code retrieval. Заявлена работа с очень длинным контекстом: до 32 768 токенов в основных характеристиках, при этом в разделе Model Details указано значение 40 960 токенов. Память для INT8-версии оценивается примерно в 8 ГБ против около 16 ГБ для BF16-версии. К сильным сторонам относятся высокая заявленная точность retrieval, поддержка специализированных доменов, мультиязычность, большая размерность embeddings и сниженное потребление памяти. На RTEB модель указана как лидер по состоянию на 12 января 2026 года со средним показателем 0,8045. Ограничение заключается в том, что INT8-квантизация не гарантирует ускорения инференса и на некоторых аппаратных платформах может работать немного медленнее BF16-версии; также следует учитывать расхождение в заявленной максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Phi-3-medium-4k-instruct-IMat-GGUF — квантизированная версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Релиз подготовлен пользователем legraphista с использованием llama.cpp и представлен в формате GGUF для локального запуска и генерации текста. Модель предназначена для диалоговых сценариев, выполнения инструкций и других задач текстовой генерации. Исходная модель использует формат BF16, а репозиторий содержит варианты с разными уровнями точности и размером от 4,13 до 27,92 ГБ: FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели с сохранением качества по сравнению с обычной квантизацией. Указаны мультиязычная поддержка и контекст до 4096 токенов; доступна только текстовая модальность. Преимущества модели — широкий выбор вариантов квантизации, возможность подбора соотношения качества и требований к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при использовании наиболее компактных вариантов и высокие требования к ресурсам для полноточных версий; конкретные языки, архитектурные детали и результаты оценки в README не указаны. Модель распространяется по лицензии MIT.

Qwen35B-Agent-R2-i1-GGUF — квантизированная GGUF-версия модели Qwen35B-Agent-R2, подготовленная mradermacher. Базовая модель разработана автором или организацией hotdogs; точная информация о разработчике в README не указана. Модель предназначена для генерации текста, диалоговых сценариев, reasoning, агентских задач, использования инструментов и tool calling. Обучение или дообучение связано с датасетами для рассуждений, агентскими траекториями и conversational-задачами. Модель относится к архитектуре Mixture-of-Experts и имеет заявленный размер 35B, поддерживает текстовый ввод и вывод. В метаданных указаны английский и тайский языки. Модель распространяется в виде набора квантизаций GGUF с разным компромиссом между размером, скоростью и качеством: от IQ1_S размером 7,6 ГБ до Q6_K размером 28,6 ГБ. Варианты IQ-квантизации могут быть предпочтительнее сопоставимых обычных вариантов по размеру, но низкобитные версии заметно ограничены по качеству. Оптимальными по соотношению размера, скорости и качества README называет i1-Q4_K_S, а i1-Q4_K_M — быстрой и рекомендуемой. В README не указаны размер контекстного окна, точные параметры архитектуры, мультимодальные возможности и результаты бенчмарков, поэтому нельзя сделать выводы об этих характеристиках. Лицензия модели — AGPL-3.0; условия использования производных квантизированных файлов следует учитывать вместе с лицензией базовой модели.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 — мультимодальная языковая модель от AEON-7, основанная на AEON-7/Qwen3.6-27B-AEON-Ultimate. Она предназначена для генерации и обработки текста, а также анализа изображений в сценариях, поддерживаемых исходной моделью. В карточке заявлена поддержка английского, китайского и других языков. Модель содержит 27 млрд параметров и использует гибридную архитектуру с полноформатными слоями внимания и 48 слоями линейного внимания GatedDeltaNet. Это аппаратно-квантизированная версия NVFP4: размер на диске уменьшен примерно с 51 до 26 ГБ. Vision tower, слои linear attention, нормализации, эмбеддинги и lm_head сохранены в BF16, поэтому заявлена сохранность мультимодальности и устойчивости гибридной архитектуры. Для развёртывания указан контекст до 256 000 токенов в рекомендованной конфигурации vLLM. К сильным сторонам относятся существенное снижение требований к хранению и возможность использовать native FP4-ускорение на DGX Spark с GB10, B100/B200 и некоторых видеокартах Blackwell, а также сохранение обработки изображений. Ограничения связаны с необходимостью совместимого программного стека и оборудования; заявленные характеристики качества, включая близость к BF16 и отсутствие отказов, требуют независимой проверки после развёртывания. Модель помечена как superseded и рекомендована автором к замене более новой версией Qwen3.8. Лицензия — Apache-2.0.

Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3.8-27B. Квантование выполнено разработчиком Ar4ikov с BF16-весов базовой модели с использованием llm-compressor и формата compressed-tensors/pack-quantized. Модель предназначена для генерации и понимания текста, а также работы с изображениями через image-text-to-text сценарии. Она поддерживает режимы рассуждения и обычной генерации, параметр reasoning_effort и нативный контекст до 262 144 токенов; расширение до 1 млн токенов возможно через YaRN согласно данным базовой модели. Языковой стек и полный список поддерживаемых языков в README не указаны. Модель использует схему W4A16_ASYM с asymmetric zero-point, размером группы 128 и BF16-активациями; основные линейные слои текстовой части хранятся в INT4. Эмбеддинги, lm_head, vision-башня, чувствительные компоненты Gated DeltaNet и MTP-голова оставлены в BF16, что сохраняет визуальную часть и спекулятивное декодирование. Ключевое преимущество — снижение потребления памяти и ускорение инференса в рантаймах с нативными INT4-ядрами, например vLLM или SGLang. При загрузке через transformers веса распаковываются в BF16, поэтому экономии VRAM не будет. Квант не прошёл полноценную benchmark-валидацию, проверена только связность генерации, поэтому перед промышленным использованием необходимы собственные оценки качества. Модель распространяется по лицензии Apache-2.0.

kelnei/Qwen3.8-27B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная на основе исходной модели Qwen/Qwen3.8-27B. Она предназначена для генерации текста и обработки изображений с текстом, включая сценарии чат-взаимодействия и инференса на NVIDIA Blackwell GPU с архитектурой SM 12.0 и выше. Модель использует смешанную квантизацию: большинство линейных слоёв работают в NVFP4 (W4A4, group-16), отдельные компоненты — в FP8, а vision tower, merger, embeddings, norms и часть DeltaNet-слоёв сохранены в BF16. Размер чекпойнта и требуемой видеопамяти составляет около 21,8 ГБ против примерно 56 ГБ у версии BF16. Поддерживаются KV-кэш FP8 и multi-token prediction (MTP); заявленная точность относительно BF16-оригинала — 94,1% совпадения top-1 при эмулированном W4A4-инференсе. Главное преимущество модели — существенное снижение требований к памяти при сохранении близкого к исходному качеству и повышение скорости декодирования, особенно при MTP speculative decoding. Рекомендуемый сервер — vLLM с оптимизированными NVFP4-ядрами; для SGLang необходимо использовать более раннюю ревизию с BF16-головой, поскольку текущая FP8-голова может приводить к вырожденным результатам. Для работы требуется совместимый NVIDIA Blackwell GPU, поэтому модель не является универсальной для старых видеокарт. Модель распространяется по лицензии Apache-2.0.

Sohailhosseini/Qwen3.8-9B-Distill-AWQ-W4A16 — квантизированная версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста и диалогового взаимодействия, а заявленный pipeline_tag указывает на поддержку сценариев image-text-to-text. В README также отмечена пригодность для instruction-тuned и многоязычных моделей, однако конкретный набор поддерживаемых языков не указан. Модель содержит 9,7 млрд параметров и использует схему AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет около 8,6 ГБ — примерно в 2,24 раза меньше исходных 19,3 ГБ. Квантизация выполнена на GPU A40 с использованием 256 образцов из набора HuggingFaceH4/ultrachat_200k. Слои lm_head и компоненты, связанные с visual, vision_tower, vision_model, multi_modal_projector и merger, оставлены без квантизации, что соответствует мультимодальной конфигурации. Основные преимущества — сниженные требования к хранению и потенциально более эффективный запуск при сохранении качества исходной модели; README отдельно отмечает быструю калибровку и обычно более высокую устойчивость на instruction-тuned и многоязычных моделях. Для запуска рекомендуется vLLM с максимальной длиной контекста 32768 токенов. Ограничение схемы заключается в её асимметричности: некоторые старые ядра vLLM могут лучше работать с симметричным W4A16. Лицензия — Apache-2.0, унаследованная от исходной модели.

Qwen3-Reranker-4B — модель ранжирования текстовых пар из семейства Qwen3, разработанная авторами Qwen; репозиторий AIArchiveInfo/Qwen3-Reranker-4B является побайтной архивной копией оригинала. Модель присваивает оценку релевантности паре «запрос — документ» и предназначена для повторного упорядочивания результатов поиска и других задач текстового retrieval. Она основана на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов по метаданным; README указывает длину 32K. Заявлена поддержка более 100 языков, включая языки программирования, и возможность задавать инструкцию под конкретную задачу. Модель подходит для многоязычного поиска по текстам и коду, а также для повышения релевантности выдачи после первичного поиска. Оценки модели являются сырыми разностями логитов; README рекомендует при необходимости преобразовывать их сигмоидой и отмечает пользу пользовательских инструкций. Модель распространяется по лицензии Apache-2.0. Архивная копия не изменяет веса оригинала.

Qwen3-VL-4B-Thinking — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen и представленная в виде репозитория весов. Она принимает изображения и текст и формирует текстовые ответы; версия Thinking предназначена для задач, где требуется визуальное и логическое рассуждение. Модель работает через библиотеку Transformers, поддерживает диалог и интерфейс вызова инструментов. Контекст составляет 256 тысяч токенов с возможностью расширения до 1 миллиона. Модель предназначена для распознавания и анализа изображений, OCR, понимания видео, пространственных вопросов, STEM-задач и взаимодействия с графическими интерфейсами. README также описывает генерацию разметки Draw.io и кода HTML/CSS/JS по изображениям и видео. Среди заявленных особенностей — обработка временных меток в видео, распознавание текста на 32 языках и объединение визуальной и текстовой информации. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Размер модели — 4 млрд параметров. Это компактная плотная модель, однако для обработки изображений, видео и длинного контекста нужны соответствующие вычислительные ресурсы. В карточке не приведены количественные результаты бенчмарков; заявленные возможности не заменяют проверку качества на конкретных данных и сценариях.

ClaudioItaly/QwenTies-14B — плотная языковая модель семейства Qwen2.5, созданная автором репозитория с помощью TIES-слияния предварительно обученной Qwen2.5-14B и инструкционной Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors; для работы указан стек Transformers. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая структурированные ответы и интерфейс вызова инструментов. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также для сценариев, где требуется длинный контекст. Карточка не приводит результатов оценки качества. Сведения о лицензии в доступных данных отсутствуют.

SlimOpenOrca-Mistral-7B — языковая модель семейства Mistral, созданная Weyaxi слиянием TIES моделей Open-Orca/Mistral-7B-SlimOrca и Open-Orca/Mistral-7B-OpenOrca. Это плотная авторегрессионная модель на 7,1 млрд параметров, распространяемая в формате safetensors; нативный контекст составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и следование инструкциям. В README указаны веса слияния 0,5 для SlimOrca и 0,3 для OpenOrca, а также плотность 0,5 для каждой исходной модели. Лицензия — Apache-2.0. Карточка также сообщает о вариантах GPTQ, GGUF и AWQ, опубликованных TheBloke; это отдельные квантованные версии.

enfuse/smol-tools-4b-32k — языковая модель для агентских сценариев и вызова инструментов, разработанная enfuse на базе Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled. Модель дообучена методом LoRA на 8 059 примерах, включая многошаговые диалоги с использованием инструментов длиной до 32K токенов. Она предназначена для выбора одного или нескольких инструментов, формирования структурированных вызовов функций, работы с результатами инструментов в многоходовых диалогах, анализа длинных документов и выполнения сложных агентских рабочих процессов. Архитектура — Qwen3_5ForCausalLM с 4 млрд параметров, 32 слоями и гибридным вниманием: 24 слоя используют линейное внимание, 8 — полное. Модель текстовая, поддерживает английский язык и контекст до 32 768 токенов. Доступны BF16 safetensors размером 9,7 ГБ, а также варианты GGUF Q8_0 на 4,9 ГБ и Q4_K_M на 2,9 ГБ. Заявлены 100% валидность JSON, 100% корректность аргументов и 100% точность отказа от инструментов, а F1 выбора инструментов составляет 0,940 на отложенной выборке из 200 примеров. Сильные стороны модели — длинный контекст, высокая надежность структурированного вывода, поддержка последовательных и параллельных вызовов инструментов и сохранение точности в многоходовых сценариях. Ограничение — некоторое снижение F1 выбора инструментов по сравнению с 4K-версией: 0,940 против 0,955; в сложных многошаговых рабочих процессах показатель составляет 0,818, а в сценариях с интенсивным рассуждением — 0,914. Модель распространяется по лицензии Apache-2.0.

Synatra-7B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и maywell/Synatra-7B-Instruct-v0.2 методом SLERP с помощью MergeKit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Она принимает текст и выдаёт текст; заявленная длина контекста составляет до 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

EuroLLM-22B-Instruct-2512-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-22B-Instruct-2512, разработанной utter-project и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, благодаря чему может использоваться в локальных чат-ботах, ассистентах и приложениях на базе llama.cpp. Модель имеет размер 22 млрд параметров и представлена в формате GGUF с вариантами квантизации от BF16 до Q3. Доступна поддержка llama.cpp, LM Studio и других совместимых проектов. Заявлена работа с широким набором языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, китайский, японский, корейский, арабский, хинди и многие другие европейские языки. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются широкий языковой охват, возможность локального запуска и выбор между вариантами квантизации, позволяющий балансировать качество и требования к памяти. Рекомендуемыми считаются варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним; менее битные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут обеспечивать более низкое качество. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по имеющимся данным модель является текстовой и не поддерживает изображения или другие модальности. Распространение осуществляется по лицензии Apache-2.0.

Это резервная исследовательская копия чекпойнта в стандартном формате Hugging Face, совместимая с AutoModelForCausalLM. Модель на архитектуре Qwen2 с плотной структурой и примерно 7,1 млрд параметров предназначена для генерации текста и диалогового взаимодействия; заявлено контекстное окно до 131 072 токенов и интерфейс вызова инструментов. В карточке не описаны специальные области применения, языковое покрытие и результаты оценки качества. Файлы представлены в формате safetensors, библиотека — Transformers. Лицензия в доступных сведениях не указана.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

GLM-5.3-Flash — EXL3 4.65bpw — это квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai. Квантизация выполнена в формате EXL3 с использованием инструментария exllamav3; модель предназначена для запуска через ExLlamaV3 версии 1.4.5 или новее. В сборку включены vision tower и компонент MTP для ускорения генерации. Модель рассчитана на задачи обработки и генерации текста, а также на мультимодальные сценарии с изображениями. В карточке заявлены английский и китайский языки, а максимальный контекст составляет 262 144 токена. Размер модели на диске — около 189,6 ГБ, эффективная разрядность — 4,67 bpw; для загрузки требуется примерно 210 ГиБ VRAM плюс значительный объём памяти под кеш. Конфигурация содержит 45 декодерных слоёв и 35 файлов-шардов. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с исходной BF16-версией, включённая поддержка MTP и vision tower, а также высокая скорость обработки длинных контекстов на многокарточной конфигурации. Ограничения — очень высокие аппаратные требования, необходимость совместимого рантайма ExLlamaV3 и корректной настройки распределения GPU; приведённые показатели производительности относятся к конкретной конфигурации из четырёх ускорителей CMP 170HX. Модель и её квантизированная версия распространяются по лицензии MIT.

Huihui-Qwen3.8-27B-Abliterated-INT4-W4A16-AutoRound — производная мультимодальная модель, опубликованная LeTechLead на основе Huihui-Qwen3.8-27B-abliterated и Qwen3.8-27B от Qwen. Она предназначена для генерации и понимания текста, а также обработки изображений и видео в сценариях, поддерживаемых архитектурой Qwen3.5 и установленными библиотеками Transformers или vLLM. Модель сохраняет аблированное поведение исходной версии и может использоваться для исследований, оценки и контролируемых приложений. Архитектура указана как Qwen3_5ForConditionalGeneration; текстовая часть содержит 64 слоя, скрытое представление размером 5120, словарь из 248 320 токенов и максимальный контекст до 262 144 позиций. В конфигурации предусмотрены 48 слоёв с linear attention и 16 слоёв с полной attention, MTP-путь и vision tower. Языки явно не указаны. Языковая часть и MTP-путь квантизованы методом AutoRound до INT4 в формате W4A16 с размером группы 128, тогда как vision tower сохраняет BF16. Индексированные веса представляют около 6,28 млрд параметров, размер репозитория — около 19,02 ГБ. Ключевые преимущества модели — мультимодальность, длинный контекст и снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают зависимость от совместимых версий Transformers или vLLM, требований доступного оборудования и возможное ухудшение характеристик из-за квантизации. Модель может генерировать чувствительный, спорный или небезопасный контент, поэтому результаты требуют проверки. Указана лицензия Apache-2.0; пользователи несут ответственность за соблюдение законодательства, правил платформ и организационных политик.

Jina Reranker v2 Base Multilingual — модель Jina AI для повторного ранжирования результатов поиска. Это кросс-энкодер на базе XLM-RoBERTa, дообученный на парах «запрос — документ»: он принимает запрос и текст документа и возвращает оценку их релевантности, по которой можно переставить результаты поиска. В метаданных указано 305,2 млн параметров; модель доступна в форматах PyTorch, Safetensors и ONNX и использует библиотеку Transformers. Модель предназначена для мультиязычного поиска по документам, коду и структурированным данным, а также для отбора результатов в системах поиска с вызовом инструментов или генерацией SQL. Контекст составляет до 1026 токенов по метаданным; README указывает 1024 токена и описывает разбиение более длинных текстов на фрагменты со скользящим окном. В модели также используется Flash Attention. Карточка приводит сравнительные результаты на нескольких тестах поиска, но они не гарантируют качество для конкретного корпуса или языка. Лицензия CC-BY-NC-4.0 разрешает исследовательское и оценочное использование, но ограничивает коммерческое применение; для коммерческого использования README предлагает обратиться к сервисам Jina AI или связаться с разработчиком.

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

nreHieW/Llama-3.1-8B-Instruct — копия Meta Llama 3.1 8B Instruct от Meta, опубликованная пользователем nreHieW. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 131 072 токена. Модель принимает текст и генерирует текст. README отсылает к репозиторию Meta для условий лицензии и рекомендует получить одобрение перед использованием; дополнительные сведения о языках и специализированных областях применения в предоставленных данных отсутствуют.

Llama-3-SauerkrautLM-8b-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3 в формате GGUF, опубликованная пользователем или организацией bartowski. По названию и указанным метаданным модель имеет размер 8 миллиардов параметров и ориентирована на диалоговое взаимодействие и выполнение инструкций. В карточке заявлена поддержка немецкого и английского языков, а также указано обучение методом DPO в два этапа. Модель предназначена для генерации текста, ответов на инструкции и других сценариев использования локальной LLM, совместимой с инструментами инференса, поддерживающими формат GGUF. Ключевыми особенностями являются принадлежность к семейству Llama 3, инструкционная настройка и оптимизация предпочтений методом DPO. Сведения о точной архитектуре, длине контекста, модальностях, конкретных вариантах квантования, производительности и ограничениях в README не приведены, поэтому их необходимо уточнять отдельно. Использование регулируется Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об атрибуции и отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов на их основе. Для производных моделей также требуется включать «Llama 3» в начало названия; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Miss.Z-V0.1 — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP из HuggingFaceH4/zephyr-7b-beta и mistralai/Mistral-7B-Instruct-v0.3. Репозиторий содержит веса в формате Safetensors; модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов, а её интерфейс также поддерживает вызов инструментов. Она принимает текст и выдаёт текст. Данные о конкретных языках применения и специализированных предметных областях не приведены. Модель опубликована 9 сентября 2024 года. Условия лицензии в предоставленных данных не указаны.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

FiditeNemini/Qwen2.5-14B-DeepSeek-R1-1M-Uncensored — объединённая модель на 14 млрд параметров, созданная с помощью mergekit и метода TIES на основе mkurman/Qwen2.5-14B-DeepSeek-R1-1M с включением huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Она использует архитектуру Qwen2 с плотной языковой моделью для генерации текста и диалогов; заявленная длина контекста составляет около 1,01 млн токенов. Модель предназначена для диалогового взаимодействия и генерации текста с поддержкой интерфейса вызова инструментов. Многоязычная поддержка, включая конкретные языки, в предоставленных данных не описана. В названии и базовой модели указано ослабление отказов, поэтому поведение модели может быть менее ограничительным. Файлы представлены в формате safetensors; лицензия в доступных данных не приведена.

bamec66557/Qwen-2.5-14B-MINUS — объединённая методом SLERP модель на архитектуре Qwen2, созданная с помощью mergekit из sometimesanotion/Qwen2.5-14B-Vimarckoso-v3 и djuna/Q2.5-Veltha-14B. Это плотная языковая модель с 14 млрд параметров для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации ответов в диалоге и других задач генерации текста. Заявленная длина контекста — 131 072 токена. Сведения о поддерживаемых естественных языках и специализированных областях в предоставленных данных отсутствуют. Условия лицензии в карточке не приведены.

Qwen3-EZO-8B-beta — диалоговая языковая модель с плотной архитектурой Qwen3ForCausalLM, разработанная AXCXEPT на базе Qwen/Qwen3-8B. Модель содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Она предназначена для многоходового диалога, генерации текста и параллельной обработки запросов с углублённым рассуждением по технике Deep-Think. Модель можно развернуть через vLLM с совместимым с OpenAI API интерфейсом; в карточке указана работа на одной GPU A40. README приводит внутренние оценки MT-Bench 9,08 и JMT-Bench 8,87, но предупреждает, что результаты могут отличаться при внешней оценке. Модель дообучена на Qwen3-8B, использует формат Safetensors и распространяется по лицензии Apache-2.0. В метаданных указаны японский и английский языки; результаты и заявленные возможности основаны на карточке разработчика.

Saba1-7B — слитая модель для генерации текста и диалогов, созданная Sakalti методом TIES с помощью mergekit. В слиянии использованы AIDC-AI/Marco-o1 и базовая Sakalti/model-3; архитектура Qwen2, около 7,1 млрд параметров, веса в формате safetensors и точности bfloat16. Модель работает через библиотеку Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в диалоге и других задач генерации текста; метаданные также отмечают интерфейс вызова инструментов. Лицензия в доступных сведениях не указана.