I.14Автоматизация процессов и AI-агенты

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

uzairkhn/Qwen3.8-27B-FP4 — дообученная и 4-битно квантованная версия causal language model Qwen/Qwen3.8-27B. Квантование FP4 выполнено с использованием библиотеки bitsandbytes разработчиком uzairkhanux; исходную модель разработала команда Qwen. Модель предназначена для генерации текста, диалогового взаимодействия, zero-shot и few-shot prompting, а также инференса в прикладных сценариях, где важны сниженные требования к видеопамяти. Это трансформерная авторегрессионная модель размером 27B параметров, доступная в формате FP4. По данным карточки, её потребление памяти снижено примерно с 54 ГБ для исходных 16-битных весов до около 14 ГБ, что позволяет запускать её на одной GPU с 16 ГБ VRAM или конфигурациях вроде двух NVIDIA T4. Модель поддерживает несколько языков, включая английский и китайский, а также другие языки, поддерживаемые базовой моделью. Для загрузки рекомендуется экосистема Hugging Face Transformers и bitsandbytes с возможностью выгрузки части весов в оперативную память. Главное преимущество модели — существенное уменьшение требований к памяти при сохранении возможностей исходной большой языковой модели. Ограничения связаны с потерями качества из-за lossy-квантования: по сравнению с исходными 16-битными или BF16-весами возможно ухудшение сложного рассуждения. Использование CPU offloading снижает скорость генерации, поэтому модель плохо подходит для чувствительных к задержкам производственных систем без оборудования с большим объёмом VRAM. Модель может наследовать предвзятости и ошибки исходных и дообучающих данных; перед применением нужны тестирование и защитные механизмы. Лицензия определяется лицензией базовой модели Qwen/Qwen3.8-27B.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-Aggressive-i1-IQ4_XS-Smaller-GGUF — это предназначенная для llama.cpp смешанно-квантованная версия модели philbert440/Qwen3.8-27B-Uncensored-Aggressive, опубликованная пользователем aldenw. Модель ориентирована на генерацию текста, включая диалоги, объяснение технических концепций и написание кода. Исходное семейство является мультимодальным, однако в этом репозитории доступен только текстовый вариант без совместимого vision mmproj. Модель содержит 27 млрд параметров, 64 трансформерных блока и поддерживает нативный контекст до 262 144 токенов. Основной GGUF-файл размером 13,34 ГБ использует гибридную схему квантования: FFN-проекции сжаты до IQ3_S, основной набор весов представлен в IQ4_XS, отдельные тензоры внимания — в Q5_K, а output.weight — в Q6_K. Для ускорения методом speculative decoding доступна отдельная MTP-модель Q4_0 размером 1,68 ГБ. К сильным сторонам относятся экономия памяти по сравнению с полноразмерной моделью, сохранение повышенной точности для отдельных важных тензоров и возможность самостоятельного использования основной модели без MTP-компонента. Ограничения связаны с требованиями к памяти: оба файла занимают около 15,02 ГБ без учёта runtime-буферов и KV-кэша, поэтому на видеокартах класса 16 ГБ может потребоваться частичный offload, уменьшение контекста или отказ от MTP. Прирост скорости speculative decoding не гарантирован и зависит от оборудования, контекста и acceptance rate. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-8B-Base-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-8B-Base, подготовленная Unsloth на основе модели Qwen Team. Это причинная языковая модель на этапе предварительного обучения, предназначенная для генерации и продолжения текста, адаптации под прикладные задачи, программирования, STEM, рассуждений и работы с многоязычными данными. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою, и имеет 36 слоёв. Используется Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на 36 трлн токенов на 119 языках, однако README не уточняет точный перечень языков и отдельно не описывает мультимодальные возможности; по указанным характеристикам это текстовая модель. 4-битное представление снижает требования к памяти и облегчает локальный запуск, сохраняя совместимость с экосистемой Transformers, но может влиять на точность по сравнению с полноразмерной версией. Это базовая, а не инструкционно настроенная модель, поэтому для диалоговых сценариев и следования сложным инструкциям может потребоваться дополнительное дообучение или специальное форматирование запросов. Для работы рекомендуется актуальная версия transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: qwen3. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-113B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель была подвергнута структурному прореживанию экспертов, реконструкции и дистилляции, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческих задач на компьютерах Apple Silicon, особенно моделях с 64 ГБ unified memory. Модель содержит 113B параметров, из которых около 5,4B активны для каждого токена. Архитектура включает 48 слоёв, до 512 маршрутизируемых экспертов и top-k 10; эксперты используются в 32 слоях и имеют промежуточный размер 448. Эксперты хранятся в 3-битном формате с группировкой 64, backbone — в 4-битном, а таблица n-gram embeddings PLE — в 2-битном формате. Размер модели на диске составляет 42,2 ГБ, поддерживается только текстовая модальность, языки явно не указаны. Для запуска требуются MLX, mlx-vlm и специальный загрузчик Niwaki; заявлена производительность около 31 токена в секунду на M4 Max. Главное преимущество — существенное сокращение требований к памяти при сохранении 99,8% среднего результата базовой 4-битной модели на указанном наборе задач. Ограничения включают повышенную perplexity, меньшую надёжность чисел и редких технических фактов, недостаточную проверку поведения в узких предметных областях и унаследованные от базовой модели смещения. При включённом режиме рассуждений модель может генерировать чрезмерно длинные ответы; для кратких задач рекомендуется отключать thinking. Лицензия указана как other со ссылкой на лицензию базовой модели Qwen3.8-Flash-Next.

Qwen_Qwen3-Coder-Next-GGUF — это квантизированная версия текстовой генеративной модели Qwen3-Coder-Next, разработанной Qwen. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки текста, включая задачи, связанные с программированием, и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые приложения. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, благодаря чему можно выбирать между качеством ответа, размером файлов и требованиями к оперативной памяти. Размеры представленных файлов составляют примерно от 31,73 до 84,81 ГБ; некоторые варианты разделены на несколько частей. Наиболее качественными считаются Q8_0 и варианты Q6, а Q4_K_M указан как типовой компромисс между качеством и размером. Поддерживаемые модальности, языки, архитектура, количество параметров и размер контекста в README не указаны. Сильной стороной модели является возможность локального запуска и широкий выбор уровней квантизации, включая варианты, оптимизированные для различных аппаратных конфигураций. Ограничения связаны с большими требованиями к дисковому пространству и памяти, а также с потенциальным снижением качества у низкобитных вариантов; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-2x-TIES-v1.0 — объединённая модель для генерации текста на основе Qwen/QwQ-32B-Preview. Автор собрал её методом TIES с помощью mergekit, объединив базовую модель с rombodawg/Rombos-LLM-V2.5-Qwen-32b и rombodawg/Rombos-Coder-V2.5-Qwen-32b. Модель относится к архитектуре Qwen2ForCausalLM, содержит 32 млрд параметров и рассчитана на контекст до 32 768 токенов. Она предназначена для диалоговой генерации текста; каталог также отмечает интерфейс вызова инструментов. В качестве сценариев подходят ответы на вопросы, рассуждения и помощь с программированием, унаследованные от указанных базовых моделей. Модель распространяется в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана; описание README не приводит оценок качества или подробных ограничений применения.

sarvam-m — текстовая многоязычная модель Sarvam AI на архитектуре Mistral-Small, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Модель содержит 23,4 млрд параметров, принимает и генерирует текст и поддерживает контекст до 32 768 токенов; для работы с Transformers используются веса в формате Safetensors. Модель предназначена для диалогов на английском и индийских языках, а также для решения математических задач, программирования и логических рассуждений. В режиме think она ориентирована на сложные задачи, а режим non-think подходит для обычного общения. Поддерживаются индийские языки как в родной письменности, так и в латинской транслитерации. Разработчик сообщает об улучшениях относительно базовой модели на тестах индийских языков, математики и программирования. Модель выпущена под лицензией Apache-2.0. В карточке заявлены текстовый ввод и вывод; работа с изображениями и другими модальностями не заявлена.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

Это GGUF-сборка Qwen3.8 27B, подготовленная zhangrover для локального запуска на компьютерах с ограниченной видеопамятью. В основе лежит unsloth/Qwen3.8-27B-GGUF; веса подвергнуты смешанной квантизации KQV-Q4 + IQ3 Floor, а полный MTP-блок из 15 тензоров сохранён в файле размером около 10,13 ГиБ. Модель предназначена для диалогов и генерации текста, включая рассуждения и программирование. По заявлению автора, на видеокарте с 16 ГБ памяти при кэше KV Q4 помещается контекст свыше 130 тысяч токенов. В полной точности ключевые K/Q/V-блоки оставлены на уровне Q4_K, нормализации — F32, а значительная часть FFN-контуров снижена до IQ3_XXS; MTP позволяет использовать спекулятивное декодирование в llama.cpp. Сборка рассчитана на запуск через llama.cpp; производительность и качество зависят от оборудования, настроек квантизации и совместимости используемой версии. Автор указывает, что модель предоставляется без гарантий. Лицензия — Apache-2.0.

Chimera-Apex-7B — экспериментальная диалоговая языковая модель, созданная объединением нескольких моделей семейства Mistral с помощью mergekit. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, генерации кода и широкого круга текстовых задач. В состав объединения входят Azazelle/Half-NSFW_Noromaid-7b, cognitivecomputations/dolphin-2.0-mistral-7b, Endevor/InfinityRP-v1-7B и FuseAI/FuseChat-7B-VaRM. README отмечает экспериментальный характер модели и возможность ошибок и унаследованных предубеждений; также упоминается возможность генерации NSFW-контента. Модель распространяется по лицензии Apache-2.0.

Карточка модели ckoozzzu/d3 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Это экспериментальная версия DeepSeek-R1-Distill-Llama-70B, созданная huihui-ai методом abliteration: из модели удаляли склонность отказываться от ответов. Это плотная причинно-следственная языковая модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; она работает через Transformers и принимает и выдаёт текст. Модель предназначена для диалогов и генерации текста, в том числе для математических рассуждений, программирования и ответов на сложные вопросы — эти возможности унаследованы от базовой модели. Вариант с abliteration нацелен на ответы без типичных отказов, однако автор описывает метод как грубый proof of concept. Лицензия в предоставленных данных не указана.

EXAONE-Deep-32B GGUF — квантизированная GGUF-версия языковой reasoning-модели EXAONE-Deep 32B, разработанной LG AI Research. Репозиторий Mungert содержит вариант базовой модели LGAI-EXAONE/EXAONE-3.5-32B-Instruct, преобразованный с помощью llama.cpp. Модель предназначена для генерации текста, решения математических задач, рассуждений, программирования и диалогового использования. Модель содержит около 30,95 млрд параметров без эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 Q-головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, контекст — до 32 768 токенов. Заявлена поддержка английского и корейского языков. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp; конкретные характеристики зависят от выбранного уровня квантизации. Ключевая особенность сборки — экспериментальный подход к квантизации: отдельные важные слои переводятся в более высокую точность с помощью tensor-type bumping. Это может повысить точность при заданном размере файла, особенно на низких уровнях квантизации, но увеличивает объём модели. Модель ориентирована на задачи, требующие рассуждений, однако README не содержит полной информации о требованиях к оборудованию, ограничениях применения и сравнительных результатах именно этой GGUF-сборки. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.

FlexOlmo-7x7B-1T-RT — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (Ai2). Это чат-модель для генерации текста на основе архитектуры Mixture-of-Experts (MoE); версия RT представлена в README как модель без обучения маршрутизатора экспертов. README описывает набор экспертов, обученных на публичных данных, новостях, математике, коде, академических текстах, творческих текстах и Reddit. Для этой версии в метаданных указано 6,9 млрд параметров, контекст — 4096 токенов. Модель предназначена для диалога и генерации текста в сценариях, связанных с общими вопросами, математикой, кодом, новостями, академическими и творческими текстами. README описывает подход FlexOlmo к совместной разработке моделей: владельцы данных могут контролировать активность своих данных и получать атрибуцию без передачи исходных данных. В README приведена оценка отдельных плотных моделей, а не этой MoE-версии, поэтому эти результаты нельзя считать прямой оценкой FlexOlmo-7x7B-1T-RT. Модель распространяется по лицензии Apache-2.0.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

GLM-4-9B — базовая плотная языковая модель семейства GLM-4, разработанная Zhipu AI. Репозиторий содержит версию с 8,8 млрд параметров в формате safetensors; она предназначена для генерации текста и служит базой для последующей настройки под диалоговые и другие задачи. Модель оценивалась на задачах семантики, математики, рассуждений, программирования и общих знаний. В карточке описана многоязычная поддержка, включая китайский и английский; метаданные также указывают эти языки. Контекст этой версии составляет 8192 токена. Упомянутые в README возможности вызова инструментов, веб-поиска и контекст до 128K относятся к GLM-4-9B-Chat, а не к данной базовой версии. Для работы с весами требуется transformers версии 4.46.0 или новее. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория. Модель не является мультимодальной: описание этой линейки отдельно выделяет GLM-4V-9B как визуальную модель.

ICT-TIME-and-Querit-embedding-v1 — модель текстовых эмбеддингов, разработанная ICT-TIME-and-Querit на основе Qwen3-4B. Она предназначена для поиска по смыслу, сопоставления предложений, ранжирования и других задач, где текст нужно представить в виде векторов. Модель использует архитектуру Qwen3 с 3,7 млрд параметров, pooling по последнему токену и контекст до 40 960 токенов по метаданным (в README указано 32k). Модель обучена на общих текстовых данных и данных для поиска кода, а итоговая версия объединяет модели двух этапов обучения методом Multi-SLERP. В README приведены результаты на MTEB English v2, HUME и MTEB Code; заявленная область применения охватывает как обычные тексты, так и код. Основной язык обучения — английский, также в обучающих данных есть китайские и другие языки. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Показатели бенчмарков из README не гарантируют такого же качества на конкретных данных; особенно важно оценивать модель на целевом языке и домене.

Jett-w26-abliterated — объединённая модель для генерации текста, опубликованная giannisan. Она построена на архитектуре Mistral и создана методом DARE TIES с помощью mergekit; в качестве основы использована yam-peleg/Experiment26-7B, а также объединены модели для диалогов, математики, программирования и следования инструкциям. Модель содержит 7,1 млрд параметров, работает с текстом и имеет контекстное окно до 32 768 токенов. Автор описывает её как uncensored-версию Jett-w26. Она предназначена для генерации ответов и свободного диалога; состав объединённых моделей также ориентирует её на математические задачи и помощь с кодом. Доступны веса в формате safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Hutgaecha дообучил диалоговую модель Kakao kanana-1.5-8b-instruct-2505 и объединил результат в отдельную модель. Это плотная авторегрессионная языковая модель семейства Llama с 7,5 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста в диалоге; базовая модель также поддерживает программирование, математические задачи и интерфейс вызова инструментов. Модель принимает текстовые запросы и генерирует текстовые ответы. Для обучения использовались Unsloth и библиотека TRL от Hugging Face. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

Ling-lite-1.5-2507 — разговорная языковая модель серии Ling-lite, разработанная inclusionAI. Она предназначена для генерации ответов в диалоге, рассуждений, работы с профессиональными знаниями и задачами программирования. Карточка разработчика сообщает о 16,8 млрд параметров и 2,75 млрд активируемых параметров; метаданные каталога указывают архитектуру Bailing MoE и 794,8 млн параметров. Эти оценки размера расходятся, поэтому точное число параметров требует проверки. Модель использует Transformers, веса опубликованы в формате safetensors, контекст составляет 32 768 токенов. Модель стремится давать краткие ответы на простые запросы и развёрнуто разбирать сложные задачи; заявлены улучшения в логическом рассуждении, профессиональных знаниях, программировании и субъективных открытых вопросах. Подходит для диалоговых помощников, объяснений и решения задач. Опубликована по лицензии MIT. README не приводит перечень поддерживаемых языков или подробные результаты оценок, поэтому качество в конкретных сценариях следует проверять отдельно.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.

Meta Llama 4 Maverick 17B 128E Instruct FP8 — инструкционная квантованная версия модели семейства Llama 4, разработанная Meta. Она предназначена для диалоговых сценариев и генерации текста, включая ответы на запросы, выполнение инструкций и интеграцию в приложения на базе Transformers. Модель заявлена как мультиязычная и поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. В идентификаторе указаны 17B и 128E, однако README не раскрывает архитектурные детали, длину контекста, точные модальности и характеристики качества. Обозначение FP8 указывает на 8-битное представление весов, но конкретные преимущества и ограничения этой версии не приведены. Модель распространяется по Llama 4 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая передачу текста лицензии, атрибуцию «Built with Llama» и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено получение отдельной лицензии Meta.

Mellum2-12B-A2.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Mellum2, разработанной JetBrains и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста по инструкциям, включая задачи программирования, рассуждений, ответов на вопросы и вызова функций. В README заявлена поддержка английского языка и текстовая модальность. Модель основана на Mellum2-12B-A2.5B-Instruct; из идентификатора следует обозначение 12B-A2.5B, однако подробности архитектуры и контекстного окна не указаны. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством и требованиями к памяти. Для запуска указаны llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Приведены результаты на наборах для программирования, математики, следования инструкциям, вызова функций и оценки безопасности, но они не верифицированы. Лицензия модели — Apache 2.0. Ограничениями являются отсутствие в предоставленных данных подробной информации об архитектуре, размере контекста, полном наборе языков, системных требованиях и качестве работы на языках, кроме английского; перед использованием также может потребоваться обновление программного обеспечения для поддержки модели.

Это общественная квантованная версия Meta-Llama-3.1-70B-Instruct, разработанной Meta AI и подготовленной сообществом hugging-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в качестве инструкционного чат-ассистента. Она поддерживает текстовый ввод и вывод и ориентирована на многоязычное применение. Модель содержит 70 миллиардов параметров и использует архитектуру Llama 3.1. Версия преобразована из FP16 в INT4 с помощью AutoAWQ: применяется GEMM-квантизация с нулевой точкой и размером группы 128. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для загрузки контрольной точки требуется около 35 GiB видеопамяти без учёта KV-кэша и CUDA-графов, поэтому фактические требования выше. README не указывает размер контекста исходной модели. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с FP16-версией и совместимость с Transformers, AutoAWQ и Text Generation Inference, включая оптимизацию инференса с Marlin kernels. Ограничения связаны с потерями точности, возможными для INT4-квантизации, значительными требованиями к видеопамяти и отсутствием заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Llama 3.1.