I.3Извлечение и структурирование данных

IoannisKat1 выпустил эту модель Sentence Transformers как дообученную версию intfloat/multilingual-e5-large. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 на основе XLM-RoBERTa-large; в архитектуру входят усреднение токенов и нормализация векторов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации. Для поиска и сравнения можно вычислять косинусное сходство; благодаря Matryoshka-обучению предусмотрено усечение векторов до меньших размерностей с соответствующими компромиссами точности.

jina-embeddings-v3-hf — мультиязычная модель эмбеддингов текста от Jina AI на архитектуре Jina-XLM-RoBERTa. Она преобразует текст в векторы для поиска по смыслу, сопоставления текстов, кластеризации и классификации. Для разных сценариев предусмотрены пять адаптеров LoRA: retrieval_query, retrieval_passage, separation, classification и text_matching. Модель содержит 658,7 млн параметров и принимает последовательности длиной до 8192 токенов. Matryoshka-эмбеддинги позволяют выбирать размер вектора от 32 до 1024 измерений. Модель ориентирована на 30 языков, включая русский, английский, китайский, арабский и хинди; исходная архитектура поддерживает более широкий набор языков. Доступны веса в форматах Safetensors и ONNX, а карточка описывает использование через Transformers и Sentence Transformers. Модель подходит для семантического поиска, извлечения документов, сравнения текстов и подготовки векторных признаков для последующей классификации или кластеризации. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование.

IFM/K2-Horizon-32B-FP8 — открытая FP8-квантизированная версия K2-Horizon-32B-Stage1, разработанная IFM. Это плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, агентских сценариев, программирования и задач рассуждения. Модель поддерживает английский язык и нативное контекстное окно до 524 288 токенов. Веса всех линейных слоёв, кроме lm_head, квантизированы в FP8: для весов используется статическое масштабирование по блокам 128×128, а для активаций — динамическое масштабирование по группам 1×128. По данным разработчиков, FP8-версия близка к исходной BF16-модели по результатам оценивания, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Модель относится к этапу Stage1 обучения, а финальный чекпойнт на момент публикации ещё не выпущен, поэтому заявленные характеристики могут быть неполными. Указано, что тренировочные данные, рецепт и код обучения будут открыты, а промежуточные чекпойнты планируется публиковать для анализа изменений возможностей. Модель распространяется по лицензии Apache-2.0.

IFM/K2-Horizon-7B-FP8 — плотная авторегрессионная decoder-only модель класса 7B, разработанная IFM. Это FP8-квантизированная версия модели IFM/K2-Horizon-7B, предназначенная для генерации текста и оценки возможностей в задачах рассуждений, программирования, работы с длинным контекстом и агентных сценариях. Модель поддерживает контекстное окно до 524 288 токенов и заявлена для работы с английским языком. Все линейные слои, кроме lm_head, квантизированы в FP8: веса используют статическое масштабирование блоками 128×128, а активации — динамическое масштабирование группами 1×128. По данным разработчиков, версия FP8 близка к исходной BF16-модели по результатам внутренних оценок, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Сильными сторонами модели являются большой контекст, открытость обучающих данных, кода обучения и оценочных ресурсов, а также доступность промежуточных чекпойнтов. Ограничения включают специализацию на текстовой модальности, заявленную поддержку английского языка и зависимость преимуществ FP8 от аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

K-EXAONE-236B-A23B-FP8 — мультиязычная языковая модель, разработанная LG AI Research. Это FP8-квантизированная версия K-EXAONE-236B-A23B, предназначенная для генерации текста, рассуждений, работы с общими знаниями, многоязычного понимания, обработки длинного контекста и агентских сценариев с использованием инструментов и поиска. Модель использует архитектуру Mixture-of-Experts с 236 млрд параметров, из которых 23 млрд активируются при инференсе. Она поддерживает Multi-Token Prediction для ускорения самоспекулятивного декодирования примерно в 1,5 раза, 256K токенов контекста и гибридную схему внимания 3:1 со скользящим окном размером 128 токенов. В составе архитектуры 128 экспертов, 8 активных экспертов и один общий эксперт; словарь SuperBPE содержит 153 600 токенов. Поддерживаются корейский, английский, испанский, немецкий, японский и вьетнамский языки. Дата отсечения знаний — декабрь 2024 года. Сильные стороны модели — высокая эффективность MoE-архитектуры, длинный контекст, заявленные возможности рассуждения и работы в агентских системах, а также учет корейского культурного и исторического контекста. FP8-квантизация может снизить требования к ресурсам по сравнению с полноразмерной моделью, но модель всё равно остается крупной и требует специализированной инфраструктуры. Данные о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Лицензия указана как специальная k-exaone; условия использования следует уточнять в файле LICENSE.

Linkbricks-Horizon-AI-Japanese-Advanced-V8-70B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на основе версии V7. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста, диалога и вызова инструментов. В карточке указано контекстное окно 128 тыс. токенов. Модель усилена для работы на японском, корейском, китайском и английском языках. Среди заявленных сценариев — перевод между этими языками, анализ отзывов клиентов и публикаций в социальных сетях, написание текстов и кода, а также решение математических и логических задач. Для обучения использовались японские новостные и вики-корпуса, многоязычные данные для разных задач и примеры по математике и логике. Модель основана на V7 и прошла японское SFT, DPO и слияние. Веса опубликованы в формате Safetensors для Transformers; лицензия — Apache-2.0. Заявленные возможности и качество описаны в карточке модели и могут зависеть от языка, запроса и способа использования.

Meta Llama 3.1 405B Instruct — разработанная Meta инструктивно дообученная большая языковая модель для диалогового взаимодействия. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; вариант Instruct использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. Модель работает с текстом на входе и выходе и рассчитана на многоязычные сценарии. Модель предназначена для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям, а также для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для некоторых дополнительных возможностей, включая интеграцию с инструментами, требуется самостоятельная настройка приложения. Модель представляет собой статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться по языкам и сценариям, а выводы требуют проверки. Использование регулируется пользовательской лицензией Meta Llama 3.1 Community License и Acceptable Use Policy; до коммерческого или иного применения следует ознакомиться с их условиями.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

ehristoforu/moremerge — объединённая языковая модель, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-7B-Instruct и ещё девяти моделей семейства Qwen2.5. В состав объединения входят инструктивные и разговорные модели, варианты для кода и математики, а также DeepSeek-R1-Distill-Qwen-7B. Модель имеет архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; её компоненты ориентированы также на ответы по инструкциям, код и математические рассуждения. Метаданные отмечают интерфейс вызова инструментов. Доступна в формате safetensors для Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

sentence-transformers/msmarco-distilbert-base-v2 — модель Sentence-Transformers, обученная командой Sentence Transformers на базе DistilBERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства, кластеризации и других задач с текстовыми эмбеддингами. Модель принимает текст, использует архитектуру DistilBERT и рассчитана на контекст до 512 токенов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0.

sentence-transformers/msmarco-MiniLM-L12-v3 — модель Sentence Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для семантического поиска, сравнения текстов и кластеризации. В основе лежит архитектура BERT; модель содержит 40 млн параметров и поддерживает контекст до 512 токенов. Для получения корректных представлений при использовании через Transformers требуется применить соответствующую операцию pooling к контекстным представлениям токенов. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Доступны варианты весов PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или оценках качества; размер контекста ограничен 512 токенами.

Карточка модели nounagnonsavoedo/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

Multilingual-E5-base — модель текстовых эмбеддингов на архитектуре XLM-RoBERTa, основанная на xlm-roberta-base и дополнительно обученная на смеси многоязычных данных методом контрастивного обучения. В карточке указаны 12 слоёв и размер эмбеддинга 768; метаданные указывают около 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для получения векторных представлений запросов и текстов, семантического сравнения, поиска и ранжирования документов, в том числе в многоязычных сценариях. Модель поддерживает 100 языков семейства XLM-RoBERTa; в метаданных явно перечислены языковые коды для части языков. Для асимметричного поиска следует добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и получения признаков рекомендуется префикс «query: ». Длинные входы обрезаются до 512 токенов, а качество может быть ниже для языков с малым объёмом ресурсов. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и ONNX; лицензия — MIT.

Это многоязычная модель Sentence Transformer, дообученная на базе intfloat/multilingual-e5-large командой thang1943. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 1024, пригодные для сравнения по косинусному сходству. Архитектура основана на XLM-RoBERTa-large с усреднением токенных представлений и нормализацией; максимальная длина входа составляет 512 токенов, библиотека — sentence-transformers. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Обучение выполнено на датасете dataset_full_fixed из 54 755 пар запросов и положительных примеров; приведённая в карточке оценка cosine_accuracy@5 для информационного поиска составляет 0,9092. Лицензия в предоставленных данных не указана.

Карточка модели luganoquant/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

sentence-transformers/nli-mpnet-base-v2 — модель эмбеддингов, обученная командой Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 на основе архитектуры MPNet с 136,7 млн параметров. Модель предназначена для поиска по смыслу, сравнения предложений и кластеризации текстов; доступна через библиотеку Sentence-Transformers и поддерживает форматы PyTorch, TensorFlow, ONNX и OpenVINO. Модель принимает текст и выдаёт векторные представления. Её контекстное окно составляет 514 токенов. Лицензия Apache-2.0 разрешает свободное использование с соблюдением её условий.

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

Qevacot-7B — объединённая языковая модель семейства Qwen2.5, созданная автором репозитория bunnycore с помощью mergekit и метода TIES. В основу слияния взята Qwen/Qwen2.5-7B; также объединены EVA-Qwen2.5-7B-v0.1, T.E-8.1, Qwen2.5-7B-Instruct, Qwen2.5-7B-Instruct-abliterated-v2, Qwen2.5-7B-HyperMix и CoT-2.5. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Доступна в формате safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о специальной предметной области или поддерживаемых языках, поэтому область применения следует считать общей, а языковые возможности — неуточнёнными.

Qwen1.5-72B-Chat-GGUF — квантованный вариант чат-модели Qwen1.5, разработанной командой Qwen. Это авторегрессионная языковая модель на основе архитектуры Transformer decoder-only, предназначенная для ведения диалогов и генерации текста. Модель подходит для чат-ботов, ответов на вопросы, обработки инструкций и других сценариев текстовой генерации. Модель содержит 72 миллиарда параметров и поддерживает контекст длиной до 32K токенов. Она работает с текстом и обучена для многоязычных сценариев, включая естественные языки и программный код; в метаданных README явно указан английский язык. После предварительного обучения модель прошла supervised fine-tuning и direct preference optimization, что направлено на улучшение качества диалогов и соответствия человеческим предпочтениям. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии заявлено отсутствие GQA и сочетания sliding window attention с full attention, кроме отдельных вариантов. Репозиторий предоставляет GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, позволяющие выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Сильными сторонами являются большой размер, контекст 32K и поддержка локального запуска через llama.cpp. Ограничения включают высокие требования к памяти и вычислительным ресурсам для 72B-модели, а также возможные потери качества при более агрессивной квантизации. Лицензия указана как other, с названием tongyi-qianwen; подробные условия доступны по ссылке на LICENSE.

Это дообученная диалоговая языковая модель Qwen2.5-32B-Instruct, опубликованная пользователем qfq и обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и сообщения пользователя; поддерживает чат и интерфейс вызова инструментов. Модель построена на плотной архитектуре Qwen2 (Qwen2ForCausalLM), содержит 32 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекстное окно составляет 32 768 токенов. В карточке не приведены отдельные оценки качества или список поддерживаемых естественных языков; возможности и характеристики унаследованы от базовой модели Qwen2.5-32B-Instruct. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория Hugging Face. Для запуска приведён пример с Transformers и CUDA; для модели такого размера требуются значительные вычислительные ресурсы.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

QuantTrio/Qwen3.5-9B-AWQ — квантованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантование выполнено методом, не использующим обучающие данные. README не уточняет состав команды, выполнившей квантование. Модель предназначена для генерации и понимания текста и изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Это каузальная языковая модель с vision-энкодером, поддерживающая 201 язык и диалект. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Размер файлов модели составляет около 12 ГиБ. Ключевое преимущество — сочетание мультимодальности, длинного контекста и сниженных требований к памяти благодаря формату AWQ, что делает модель подходящей для локального и серверного инференса. Ограничения включают зависимость от актуальных версий vLLM и Transformers, необходимость CUDA 12.8 и возможные проблемы совместимости или настройки среды; количественные результаты бенчмарков в предоставленных данных отсутствуют. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-9B-GGUF — квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная Atomic Chat. Модель распространяется в формате GGUF для локального и полностью офлайн-использования, в том числе через llama.cpp, Ollama, LM Studio и Jan. Репозиторий содержит текстовые варианты модели без vision projector, поэтому мультимодальные возможности базовой версии здесь недоступны. Модель имеет 9,7 млрд параметров, 32 слоя и заявленный контекст до 262 144 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads; базовая модель поддерживает текст и изображения, а опубликованные файлы предназначены только для генерации текста. Указаны варианты квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0 с размером примерно от 5,6 до 9,5 ГБ. Квантизация выполнена с importance matrix, что помогает сохранить качество при уменьшении требований к памяти; Q4_K_M позиционируется как оптимальный баланс размера, скорости и качества, тогда как Q8_0 обеспечивает почти исходную точность. Модель подходит для диалогов, генерации текста, программирования, рассуждений и агентских сценариев при локальном запуске. Ограничения включают отсутствие поддержки изображений в данном репозитории, зависимость качества и скорости от выбранного уровня квантизации и оборудования, а также необходимость применять chat template Qwen3.5. Исходная модель выпущена под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-GGUF — GGUF-версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с визуальным энкодером, предназначенная для программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Модель ориентирована на более стабильную и продуктивную интерактивную разработку, поддерживает сохранение контекста рассуждений из предыдущих сообщений и улучшенный разбор вложенных объектов при tool calling. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, из которых для каждого запроса выбираются 8 маршрутизируемых и 1 общий эксперт; также используются Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные визуальные возможности не перечислены, но заявлена поддержка обработки текста и изображений. Сильные стороны модели — большой контекст, экономичная активация параметров благодаря MoE, ориентация на агентное программирование, repository-level reasoning и работу с инструментами. Ограничения включают отсутствие в представленных данных подробностей о поддерживаемых языках, конкретном формате квантования GGUF, требованиях к ресурсам и полном наборе результатов тестирования; качество также может зависеть от выбранного квантования. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.