II.2Создание и понимание программного кода

EuroLLM-9B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-9B-Instruct, разработанной проектом utter-project и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций и локальный запуск через совместимые приложения, например LM Studio. Модель имеет около 9 миллиардов параметров и поддерживает широкий набор языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, украинский, китайский, японский, корейский, арабский и хинди. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Модель удобна для локального инференса благодаря большому выбору квантизаций; рекомендованным вариантом по умолчанию назван Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. Некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости, в частности отдельные сборки не рекомендуются для Mac или GPU. Лицензия — Apache-2.0.

Gemma-3-12b-it-GGUF — квантизированная GGUF-версия мультимодальной модели Gemma 3 12B Instruct, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалогов, генерации и анализа текста, а также обработки изображений с использованием соответствующего мультимодального проектора. Модель содержит 12 миллиардов параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размеры файлов составляют примерно от 4,77 до 23,5 ГБ. Для обработки изображений требуется файл gemma-3-12b-it-mmproj-f16.gguf, изображения необходимо нормализовать до разрешения 896×896, при этом каждое изображение кодируется в 256 токенов. README не указывает поддерживаемые языки. Основные преимущества — большой контекст, поддержка текста и изображений и возможность локального запуска через LlamaEdge. Качество и требования к ресурсам зависят от выбранной квантизации: малые варианты экономичнее, но могут заметно терять в качестве, тогда как Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Модель распространяется по лицензии Gemma.

Gemma 3 1B IT QAT Q4_0 GGUF — лёгкая инструкционная мультимодальная модель Google DeepMind из семейства Gemma, созданная на основе технологий, использованных в Gemini. Модель принимает текст и изображения и генерирует текст; версия предназначена для запуска в формате GGUF, в том числе через llama.cpp и совместимые среды. Модель имеет размер 1B параметров, использует квантизацию Q4_0 и Quantization Aware Training, благодаря чему снижает требования к памяти при сохранении качества, близкого к версии bfloat16. Для варианта 1B заявлено контекстное окно до 32K токенов, максимальный объём генерируемого ответа — 8192 токена. Изображения обрабатываются с нормализацией до 896×896 пикселей и кодированием в 256 токенов; модель поддерживает более 140 языков. Gemma 3 1B IT подходит для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Небольшой размер облегчает локальное развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения включают меньший контекст по сравнению с более крупными версиями Gemma 3 и зависимость мультимодальных возможностей от используемого программного обеспечения: например, указанное использование через Ollama поддерживает только текстовый ввод. Доступ к модели на Hugging Face требует принятия условий лицензии Google Gemma; точные условия определяются лицензией Gemma.

AxionML Gemma-4-12B-FP8 — квантизированная версия мультимодальной модели Google Gemma-4-12B-it, разработанная AxionML для открытого использования и производительного развертывания. Модель поддерживает сценарии image-text-to-text и рассчитана на применение в задачах обработки текста, изображений и аудио, включая диалоговые приложения, рассуждения и вызовы инструментов. Точный список языков и размер контекстного окна в карточке не указаны. Модель содержит около 11,95 млрд параметров. Веса линейных слоёв преобразователя квантизированы в FP8 E4M3 по блокам 128×128 с MSE-калибровкой, активации сохраняются в BF16, а KV-кэш хранится в FP8. Мультимодальные эмбеддеры и lm_head оставлены в BF16. Размер чекпойнта составляет около 13 ГБ вместо примерно 24 ГБ у версии BF16. По данным README, такая схема сохраняет качество на GSM8K и поддерживает запуск на GPU NVIDIA Hopper и Blackwell, включая H100 и H200. Сильными сторонами являются уменьшенное потребление памяти, сохранение активаций в BF16 для защиты от потери качества и совместимость с оптимизированными средствами обслуживания SGLang и TensorRT Model Optimizer. Ограничение состоит в том, что для работы требуются совместимые версии программного обеспечения и поддерживаемое оборудование; стандартная квантизация активаций W8A8 для этой модели, согласно README, заметно ухудшает качество. Указана лицензия Apache-2.0.

GLM-4.6V-Flash-GGUF — это набор GGUF-сборок мультимодальной модели GLM-4.6V-Flash, разработанной zai-org и опубликованной пользователем prithivMLmods. Модель относится к классу vision-language и предназначена для локального развёртывания и приложений с низкой задержкой. Доступны варианты с разными форматами точности и квантования, включая F16, BF16, F32, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-варианты. Модель рассчитана на работу с текстом и изображениями, включая фотографии, скриншоты и страницы документов. Она предназначена для визуального понимания документов, таблиц, графиков и макетов, мультимодального function calling, взаимодействия с инструментами, генерации HTML/CSS по скриншотам интерфейсов и редактирования изображений по инструкциям на естественном языке. Заявлено контекстное окно до 128K токенов и около 9 млрд параметров; поддерживаются китайский и английский языки. К сильным сторонам относятся мультимодальное понимание текста, структуры страниц и визуальных элементов, возможность напрямую использовать изображения в сценариях с инструментами, а также широкий выбор квантованных вариантов для подбора баланса между качеством и требованиями к памяти. Ограничения зависят от выбранного уровня квантования: более компактные варианты требуют меньше ресурсов, но могут снижать точность. В README не приведены подробные результаты тестирования, системные требования и инструкции по запуску. Лицензия модели указана как MIT.

LibertAIDAI/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai; квантизацию выполнила LibertAI, не связанная с Z.ai. Модель предназначена для работы с текстом и изображениями, включая задачи image-text-to-text, рассуждения и вызов инструментов. Поддерживаются английский и китайский языки. Это разреженная MoE-модель общим объёмом 320B параметров, из которых при обработке активны 18B. Она сочетает 34 слоя линейного внимания KDA и 11 слоёв разреженного внимания DeepSeek, имеет нативную мультимодальность и контекст до 1M токенов. Квантизация NVFP4-A16 применяется преимущественно к routed-expert FFN-тензорам, занимающим около 97% параметров; активации, механизм внимания, vision tower, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Это уменьшает размер с 598,5 до 181 ГиБ при заявленном round-trip cosine 0,99665. Сильными сторонами являются значительное снижение требований к памяти, сохранение мультимодального поведения vision tower без изменений и совместимость с современными ускорителями NVIDIA Blackwell, включая H100, B200, GB200 и GB10/DGX Spark. Для запуска требуются поддерживаемые специализированные сборки vLLM или SGLang и корректная конфигурация движка; vLLM и SGLang пока не имеют полной поддержки архитектуры glm5_next в стандартных версиях. llama.cpp и формат GGUF не поддерживаются. Указанная лицензия — MIT.

Snowball GLM 5.3 RLVR SFT — диалоговая MoE-модель семейства Grug, разработанная open-athena. Это дообученный чекпойнт open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21: модель обучали с учётом только ответов ассистента на 5 000 диалогах GLM 5.3 RLVR, используя последовательности длиной 32 768 токенов и 136 шагов оптимизации. Модель предназначена для генерации текста в диалоге, рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 262 144 токенов и имеет 2,8 млрд параметров; формат весов — safetensors. Лицензия — OpenMDW 1.1, унаследованная от базовой модели.

Kiel-2-Sol — диалоговая языковая модель KielTech для генерации текста, созданная дообучением Meta Llama 3.2 3B Instruct с помощью параметрически эффективной адаптации слоёв внимания и MLP. Модель содержит 3,2 млрд параметров, использует плотную архитектуру Transformer и поддерживает контекст до 131 072 токенов; в репозитории есть веса Safetensors и варианты GGUF Q4_K_M и Q8_0. Модель предназначена для многоходовых диалогов, многошаговых рассуждений, структурированного вывода, включая JSON, и автоматизации API-сценариев. В карточке заявлен английский язык и лицензия Apache 2.0. Метаданные отмечают возможность чата; README предлагает развёртывание через vLLM, но пример ограничивает длину контекста до 2048 токенов.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF — модель в формате GGUF, подготовленная Unsloth на основе Meta Llama 4 Maverick 17B-128E-Instruct. Она предназначена для работы в режиме instruct: диалогов, следования инструкциям и решения широкого спектра текстовых задач. В README указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Из доступных данных известны обозначенные в названии характеристики: 17B и 128E, а также формат GGUF, обычно ориентированный на локальный инференс в совместимом программном обеспечении. Сведения о длине контекста, точной архитектуре, модальностях, вариантах квантования, требованиях к оборудованию, результатах тестирования и ограничениях качества в README не приведены, поэтому их нельзя оценить по имеющимся данным. Модель распространяется в соответствии с Llama 4 Community License от Meta. Лицензия предоставляет ограниченные безвозмездные права на использование, копирование, распространение и создание производных работ при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama» при распространении материалов или продуктов, сохранение обязательного уведомления об атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено дополнительное лицензионное условие Meta.

LLamaPhi3 — языковая модель семейства Llama, созданная bunnycore путём объединения частей двух моделей с помощью Mergekit: Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 и HyperLlama-3.1-8B. В конфигурации указаны метод passthrough и формат весов bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса Safetensors, а заявленный контекст составляет 131072 токена. Модель насчитывает 6,2 млрд параметров. Лицензия — Apache-2.0. Карточка не описывает языковую специализацию или подробные ограничения качества, поэтому их нельзя надёжно уточнить.

tbhrc/meta_llama_3_1_8b_instruct_4bit — конверсия Meta Llama 3.1 8B Instruct в формат MLX с 4-битным представлением весов. Исходную модель разработала Meta; конверсию выполнил mlx-community, а репозиторий размещён пользователем tbhrc. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README указывает на конверсию MLX из meta-llama/Meta-Llama-3.1-8B-Instruct; лицензия — llama3.1. Репозиторий описывает конвертированную MLX-версию с 4-битными весами, тогда как в метаданных формат файлов указан как safetensors.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

chargoddard/mistral-11b-slimorca — текстовая генеративная модель, созданная Chargoddard дообучением на двух эпохах датасета Open-Orca/SlimOrca. Она использует формат запросов Mistral Instruct и предназначена для диалогов и генерации ответов по инструкциям. Модель основана на варианте рецепта Mistral 11B: до обучения добавленные слои были настроены так, чтобы выход совпадал с Mistral 7B. Это плотная архитектура MistralForCausalLM с 10,6 млрд параметров и контекстом до 32 768 токенов. В карточке приведены результаты нескольких тестов, но они не гарантируют качество в конкретных прикладных сценариях. Модель распространяется по лицензии Apache-2.0.

MistralInstructLongish-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и MistralInstructLongish методом SLERP. Она предназначена для генерации ответов на инструкции и диалоговые запросы; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. Указана лицензия Apache-2.0. Карточка не сообщает о языковом охвате и конкретных специализированных областях применения.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Qwen2.5-3B-Instruct-MLX-4bit — текстовая языковая модель для генерации ответов и диалогового взаимодействия. Она основана на Qwen2.5-3B-Instruct, разработанной командой Qwen, и подготовлена в формате MLX с 4-битным квантованием bartowski для запуска на Mac с Apple Silicon. Модель предназначена для чат-сценариев, генерации и обработки текста, а также работы со структурированными данными. Она поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер около 3 млрд параметров, возможность локального запуска на совместимых компьютерах Apple и поддержка длинного контекста. README не содержит результатов бенчмарков и подробностей об ограничениях квантования; как и другие языковые модели, система может генерировать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Qwen Research; для точных условий использования следует обратиться к указанному в README тексту лицензии.

Qwen3.8-27B-Opus-Distill-v2-GGUF — семейство GGUF-квантизаций модели barozp/Qwen3.8-27B-Opus-Distill-v2, разработанной сообществом на базе Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated-DeltaNet и full-attention, 64 слоями, поддержкой текста и изображений или видео через отдельный vision-модуль mmproj. Модель предназначена для диалогов, генерации текста и решения задач, требующих рассуждений; исходная модель дообучена методом LoRA на 11 716 проверенных примерах рассуждений, связанных с Opus. Главное назначение версии v2 — исправление дефекта v1, при котором некоторые сочетания ограничений формата могли запускать бесконечный цикл самопроверки без видимого вывода. По данным README, новая версия корректно завершается на проверенных тестах и показывает заметный прирост относительно базовой модели в ARC Challenge и GPQA Diamond, при сопоставимых результатах на MMLU и wikitext. Доступны варианты от BF16 и Q8_0 до экстремально низкобитных IQ-квантизаций; Q4_K_M указан как сбалансированный вариант, а выбор зависит от объёма доступной видеопамяти. IQ-квантизации требуют imatrix и актуальной поддержки llama.cpp. Модель может использоваться в llama.cpp в текстовом режиме, а для мультимодального ввода требуется отдельный vision-файл mmproj. Поддержка языков и размер контекстного окна в README не указаны. К ограничениям относятся потери качества при низкобитной квантизации, повышенные требования к памяти для старших вариантов и необходимость отдельного vision-модуля для изображений и видео. Указанная лицензия — Apache-2.0.

alexliap/Qwen3-Embedding-8B-FP8-DYNAMIC — динамически квантованная версия текстовой embedding-модели Qwen3-Embedding-8B, разработанной командой Qwen. Модель предназначена для преобразования текста в векторные представления и задач семантического поиска, извлечения документов и кода, классификации, кластеризации и межъязыкового поиска. Она поддерживает более 100 языков, включая языки программирования, а также кросс-язычные сценарии. Модель содержит около 8 млрд параметров, имеет контекст длиной до 32K токенов и максимальную размерность эмбеддингов 4096. Благодаря поддержке Matryoshka Representation Learning можно выбирать размер выходного вектора от 32 до 4096 измерений, а инструкции во входных данных позволяют адаптировать поведение под конкретную задачу, язык или сценарий. Производный вариант использует схему FP8_DYNAMIC: все Linear-слои квантованы в FP8, веса масштабируются по каналам, активации — динамически по токенам, а слой embed_tokens сохраняется в формате bfloat16. Ключевое преимущество версии — примерно двукратное снижение потребления памяти по сравнению с исходной моделью в bfloat16 при сохранении возможностей Qwen3-Embedding-8B. Исходная модель показывала высокий результат в многоязычном рейтинге MTEB, однако в README нет отдельных результатов для квантованной версии, поэтому возможное влияние квантования на качество не уточняется. Для развёртывания указан vLLM с режимом pooling, преобразованием в embedding и поддержкой compressed-tensors. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct — плотная vision-language модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также поддерживает понимание видео и временных меток; предназначена для диалога, визуальных вопросов и ответов, распознавания текста в изображениях и документах, пространственного анализа и работы визуального агента с интерфейсами и инструментами. Модель объединяет текстовую и визуальную обработку. В карточке описаны улучшенное распознавание объектов и деталей, OCR на 32 языках, анализ положения объектов и временной структуры видео, а также создание HTML/CSS/JS или схем Draw.io по визуальным примерам. Архитектура использует Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. Весовой репозиторий предназначен для версии Instruct; модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия Apache-2.0. README не приводит результаты тестов или отдельные численные показатели качества, поэтому заявленные преимущества не следует трактовать как независимую оценку.

samantha-1.2-mistral-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная MaziyarPanahi методом слияния mistralai/Mistral-7B-Instruct-v0.2 и cognitivecomputations/samantha-1.2-mistral-7b. Она предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текст и выдаёт текст; контекст — до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP. Репозиторий содержит веса safetensors, а README указывает тип данных bfloat16. Модель распространяется по лицензии Apache-2.0. Источники не описывают специальные предметные области или конкретные ограничения качества.

Spark-X2.5-4B-GGUF — это GGUF-квантизированная версия модели Spark-X2.5-4B, разработанной XHToken. Квантизацию выполнил stornic56 с использованием imatrix и форка llama.cpp на базе коммита b10514-4a3635c32; начиная с версии llama.cpp b10828 архитектура spark2_5 поддерживается в основном репозитории. Модель содержит около 4,11 млрд параметров, принимает текстовые данные и поддерживает английский и китайский языки. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, включая рассуждения и thinking-режим, а также вызов инструментов. Шаблон чата встроен в каждый GGUF-файл и поддерживает автоматическое применение через --jinja. По умолчанию рассуждения выводятся внутри тегов <think>...</think> перед итоговым ответом. Доступны варианты от BF16 до низкобитных Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, Q3_K_M, IQ3_M и IQ2_M; вариант Q4_K_M рекомендован как компромисс между размером и качеством. К сильным сторонам относятся широкий выбор квантизаций, поддержка imatrix и возможность запуска через llama.cpp, включая ускорение на Intel Arc с Vulkan. IQ2_M сохраняет работоспособность в расширенном тесте связности, тогда как Q2_K был исключён из выпуска из-за циклов повторения; варианты ниже IQ2_M не создавались из-за ожидаемой существенной потери качества. Максимальная длина контекста в README не указана, поэтому параметры запуска с 8192 или 16384 токенами нельзя считать подтверждённым ограничением модели. Распространение осуществляется по лицензии Apache-2.0.

Sakalti/ultiima-72B-v1.5 — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована Sakalti/ultiima-72B; в объединение также вошли newsbang/Homer-v1.0-Qwen2.5-72B и shuttleai/shuttle-3. Модель содержит 71,5 млрд параметров, работает с текстом и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; метаданные также указывают интерфейс вызова инструментов. Веса представлены в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

T145/ZEUS-8B-V12 — объединённая авторами репозитория языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она создана методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct с добавлением arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции; метаданные также отмечают интерфейс для вызова инструментов. Она принимает текст и поддерживает контекст до 131 072 токенов. Репозиторий использует Transformers и хранит веса в формате safetensors. README приводит результаты оценивания на Open LLM Leaderboard, в том числе 78,16% на IFEval и среднее значение 30,26% по указанным метрикам. В состав объединения входит модель с пометкой uncensored, поэтому при использовании стоит учитывать возможность генерации нежелательного или небезопасного текста. Условия лицензирования в предоставленных данных не приведены.

Aya Expanse — открытая исследовательская мультиязычная языковая модель, разработанная Cohere For AI на основе предварительно обученных моделей семейства Command. В README указаны варианты с 8 и 32 млрд параметров. Модель предназначена для генерации текста и работы с широким кругом языковых задач в многоязычных сценариях. Модель поддерживает 23 языка и создавалась с использованием исследований в области data arbitrage, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Она может применяться в локальных приложениях и инструментах, поддерживающих Cortex или Jan. Модальность — текстовая; сведения о точной архитектуре, максимальной длине контекста и перечне поддерживаемых языков в README не приведены. К сильным сторонам относятся широкий мультиязычный охват, наличие двух вариантов размера и открытые веса, что делает модель пригодной для исследовательского и локального использования. Ограничения включают отсутствие в предоставленных данных подробных характеристик качества, архитектуры, контекстного окна и требований к ресурсам. В метаданных указана лицензия CC BY-SA 4.0, а для оригинальной модели в разделе Credits приведена ссылка на C4AI CC-BY-NC License; условия следует уточнить для конкретного варианта и сценария использования.

NVIDIA DeepSeek-V3.2-NVFP4 — текстовая авторегрессионная модель на архитектуре Transformer с классом DeepseekV32ForCausalLM, основанная на DeepSeek-V3.2 от DeepSeek AI. NVIDIA выпустила эту квантованную версию с помощью TensorRT Model Optimizer; она предназначена для генерации текста и развёртывания в чат-ботах, агентных системах, RAG и других приложениях на базе ИИ. Модель принимает текст и генерирует текст, поддерживает контекст до 163 840 токенов и насчитывает 37,6 млрд параметров по метаданным Hugging Face. Квантование NVFP4 снижает требования к диску и памяти GPU примерно в 1,66 раза; для запуска README указывает TensorRT-LLM версии 1.2.0rc8 или новее и восемь GPU B200. Оптимизация рассчитана на оборудование NVIDIA Blackwell и Linux. Модель заявлена для коммерческого и некоммерческого использования по лицензии MIT. Она может воспроизводить токсичные формулировки и социальные предубеждения из обучающих данных, а также давать неточные, неполные, нерелевантные или избыточные ответы; перед внедрением её следует проверять на данных конкретного сценария.

EVA-Qwen2.5-72B-v0.2-GGUF — это GGUF-квантизированная версия текстовой генеративной модели EVA-Qwen2.5-72B-v0.2, подготовленная пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Базовая модель указана как EVA-UNIT-01/EVA-Qwen2.5-72B-v0.2; её основой является Qwen2.5-72B. Модель ориентирована на генерацию текста, следование инструкциям, написание различных материалов и ролевые сценарии. В обучающих данных использовались наборы для instruction-following, письма, roleplay и синтетической генерации, включая материалы на базе Opus, Sonnet 3.5, ChatGPT-4o и Dolphin. Модель доступна в нескольких вариантах квантования от Q8_0 до Q2_K и IQ-квантов, с размером файлов примерно от 27 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска рекомендуется использовать LM Studio или совместимый с GGUF движок на базе llama.cpp. В README не указаны точная архитектура, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия обозначена как Qwen; в качестве официального документа приведена лицензия Qwen2.5-72B-Instruct. Условия конкретного использования необходимо проверять по указанному лицензионному тексту. Основные ограничения связаны с большими требованиями к памяти и снижением качества при использовании низких уровней квантования; вариант Q4_K_M описан как оптимальный по размеру для большинства сценариев, а Q6_K и Q5 считаются высококачественными рекомендуемыми вариантами.

Falcon-H1-3B-Instruct — многоязычная генеративная языковая модель семейства Falcon-H1, разработанная TII. Это причинная decoder-only модель с гибридной архитектурой Transformer и Mamba; в метаданных указано 2,2 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения. Модель можно запускать через Transformers, vLLM и llama.cpp. В карточке приведены результаты сравнительной оценки на общих тестах, включая BBH и ARC-C. Указана лицензия Falcon-LLM License; её условия следует учитывать перед использованием и распространением.

ThomasBaruzier/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций instruction-tuned модели Gemma 2 27B, разработанной Google. Квантизации выполнены с помощью llama.cpp с использованием метода imatrix на основе оригинальной модели google/gemma-2-27b-it и калибровочного файла Bartowski. Модель предназначена для текстовой генерации, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии взаимодействия по инструкциям. Это decoder-only языковая модель формата text-to-text с открытыми весами; в README указана поддержка английского языка. Доступно множество вариантов квантизации от IQ1_S до Q8_0, а также F16, с размером файлов примерно от 5,8 до 51,9 ГБ. Более компактные варианты требуют меньше памяти, но уступают менее квантизированным версиям по измеренным показателям perplexity и accuracy. Сильной стороной набора является возможность запускать крупную 27-миллиардную модель в llama.cpp и выбирать компромисс между качеством, размером и требованиями к ресурсам. Ограничения включают потенциальную потерю качества при сильной квантизации, значительные требования к памяти для крупных вариантов и преимущественную ориентацию на английский язык. Контекстное окно и точные аппаратные требования в README не указаны. Использование модели регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию Google.

SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.