I.3Извлечение и структурирование данных

DS-Archive/L3.3-70B-Magnum-v4-SE-Cirrus-x1 — диалоговая языковая модель, созданная объединением моделей Sao10K и Doctor-Shotgun с помощью SLERP и mergekit. Она построена на архитектуре Llama 3.3 с плотной конфигурацией и содержит 69,5 млрд параметров; модель предназначена для генерации текста в формате диалога и поддерживает интерфейс вызова инструментов. Нативная длина контекста — до 131 072 токенов. Модель подходит для диалоговых приложений и генерации ответов с большим контекстом. В README указаны объединённые модели и метод слияния, но не приведены результаты оценки качества, сведения о поддерживаемых языках или специальные ограничения применения. Файлы опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

LFM2-24B-A2B-GGUF — языковая модель семейства LFM2, разработанная Liquid AI для эффективного развертывания на периферийных устройствах и пользовательских компьютерах. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск на ноутбуках и настольных компьютерах; доступна в формате GGUF с поддержкой llama.cpp, а также заявленной совместимостью с vLLM и SGLang. Модель использует гибридную архитектуру Mixture-of-Experts с 24 миллиардами общих параметров, из которых около 2 миллиардов активируются для каждого токена. По данным разработчика, она рассчитана на работу в пределах 32 ГБ оперативной памяти и обеспечивает высокую скорость инференса на совместимом оборудовании. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Размер контекста, конкретный вариант квантования и подробные результаты оценки в README не указаны. Сильными сторонами модели являются сочетание крупного общего числа параметров с низкими вычислительными затратами на токен, ориентация на локальное выполнение и высокая заявленная скорость генерации. Ограничения включают отсутствие в предоставленных данных подробностей о качестве по отдельным задачам, требованиях к точному объёму памяти для разных вариантов GGUF и поддерживаемом размере контекста. Модель распространяется по лицензии lfm1.0; условия лицензии следует уточнять в файле LICENSE.

TheBloke/Llama-2-70B-Chat-GPTQ — это GPTQ-квантизированная версия диалоговой языковой модели Llama 2 70B Chat, разработанной Meta. Репозиторий подготовлен TheBloke и содержит варианты модели для запуска с разными параметрами квантования. Базовая модель — meta-llama/Llama-2-70b-chat-hf; тип задачи — генерация текста, основной заявленный язык — английский. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей и создания текста в формате ассистента. Для корректного взаимодействия используется шаблон Llama-2-Chat с системными инструкциями, ориентированными на полезные, безопасные и честные ответы. Доступны варианты GPTQ с разной разрядностью, размером групп и настройками Act Order, что позволяет выбирать баланс между требованиями к VRAM, скоростью и точностью; поддерживается запуск на GPU, включая совместимые с ExLlama конфигурации для 4-битных моделей. Ключевое преимущество — существенно меньшие требования к памяти по сравнению с исходной моделью в формате fp16 при сохранении назначения и диалоговых возможностей Llama 2 70B Chat. Ограничения включают возможное снижение точности из-за квантования, зависимость характеристик от выбранных параметров и программного обеспечения, а также отсутствие в предоставленных данных подробностей об архитектуре, максимальном контексте и результатах оценки. Модель распространяется по лицензии Llama 2; условия исходной лицензии Meta следует учитывать при использовании.

Llama-3-8B-Synthia-v3.5 — языковая модель общего назначения на архитектуре Llama, дообученная на наборе Synthia-v3.5 и других общедоступных данных. Вычисления для обучения профинансировала KindoAI. Модель содержит около 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель дообучена для следования инструкциям и ведения длительных диалогов. Её можно использовать для ответов на вопросы, диалогового помощника, генерации и продолжения текста. Карточка описывает оценивание на наборах задач Language Model Evaluation Harness, но не приводит результаты метрик. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент. В README она обозначена как uncensored. Лицензия — Llama 3 Community License (llama3).

Lumen-8b-05-2025 — языковая модель Noetic Labs, дообученная методом LoRA на базе Qwen3-8B. Она рассчитана на академические и технические запросы, сложное следование инструкциям и диалог. В обучении использованы менее 5 000 примеров из наборов EvolKit-75K и Academic-Chains; версия модели содержит около 7,6 млрд параметров и распространяется в формате safetensors. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 40 960 токенов; в карточке заявлены 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для сложных запросов автор рекомендует режим рассуждений. Это экспериментальный первый выпуск серии Lumen; автор предупреждает, что результаты на бенчмарках могут уступать исходной Qwen3-8B. Лицензия — Apache 2.0.

MaziyarPanahi/mamba-gpt-7b-v2-Mistral-7B-Instruct-v0.2-slerp — диалоговая модель генерации текста, полученная слиянием Mistral-7B-Instruct-v0.2 и CobraMamba/mamba-gpt-7b-v2 методом SLERP. Модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; репозиторий предоставляет веса в формате safetensors. Модель предназначена для генерации ответов в диалоге и выполнения инструкций на входном тексте. Заявленная длина контекста — до 32 768 токенов. В метаданных указана лицензия Apache-2.0. Карточка не сообщает отдельные результаты оценки качества или специальные гарантии поведения после слияния.

MiniCPM5-2B-Claude-Fable5-heretic — языковая модель для генерации текста и агентских сценариев, созданная RACER IS OP на основе SauravMahalik/MiniCPM5-2B-Claude-Fable5. Родительская модель получена дообучением openbmb/MiniCPM5-2B на агентских трассах, дистиллированных из Claude Fable-5 и других передовых моделей, а затем в этой версии поведение отказов было подавлено методом Heretic v1.4.0 посредством направленного редактирования весов, без дополнительного дообучения. Модель предназначена для многошагового следования инструкциям, диалогов, вызова функций и инструментов, а также разработки локальных и автономных агентов. Она поддерживает английский и китайский языки, имеет архитектуру Llama и около 2,57 млрд параметров. Доступны версии Safetensors и GGUF различных уровней квантования, благодаря чему модель рассчитана на запуск на потребительских GPU, CPU, Apple Silicon и небольших устройствах через llama.cpp, Ollama, LM Studio или Jan. Размер контекста в README не указан. К сильным сторонам относятся компактный размер, сохранение заявленных способностей к использованию инструментов и агентскому диалогу, а также значительно сниженное количество отказов по сравнению с родительской моделью: 3 из 100 против 89 из 100 в приведённом авторами тесте. При этом модель является uncensored-вариантом без исходных защитных ограничителей, поэтому её ответы требуют дополнительной проверки и мер безопасности. Приведённые показатели основаны на тестах авторов и не являются независимой оценкой; влияние абляции и квантования на качество может различаться. Модель распространяется по лицензии Apache-2.0.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

Mistral-7B-Instruct-guidance-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-guidance. Модели объединены методом SLERP с настройками по слоям и типам блоков; архитектура — плотная причинная модель MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста в диалогах и ответов на инструкции. Она принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст. В метаданных не указаны поддерживаемые естественные языки; поэтому конкретные языки не перечисляются. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Это шардинг версии Mistral-7B-v0.1 — предварительно обученной языковой модели Mistral AI с 7,1 млрд параметров. Весовые файлы разбиты на части размером до 2 ГБ, чтобы снизить требования к оперативной памяти при загрузке; модель сохраняет исходные параметры Mistral-7B-v0.1 и представлена в форматах PyTorch и Safetensors. Модель предназначена для генерации текста и может служить базой для приложений на основе языковых моделей и дальнейшей адаптации под конкретные задачи. Архитектура — плотный Transformer с Grouped-Query Attention и Sliding-Window Attention; нативный контекст составляет 32 768 токенов. По заявлению карточки, модель превосходит Llama 2 13B на проверенных разработчиками бенчмарках. Модель не имеет встроенных механизмов модерации, поэтому сгенерированный текст может быть неподходящим или небезопасным. Распространяется по лицензии Apache-2.0.

Это конвертированная в формат MLX модель Mistral-Small-3.2-24B-Instruct-2506 от mlx-community, предназначенная для запуска на платформах Apple с MLX. В основе — плотная архитектура Mistral 3 с 24 млрд параметров; исходная модель поддерживает диалог по инструкциям, анализ изображений и вызов функций. Модель подходит для диалоговых приложений и генерации текста по запросам на нескольких языках, включая русский, английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский и китайский. Репозиторий содержит веса safetensors в формате MLX, полученные конвертацией исходной модели с помощью mlx-lm 0.25.2. Лицензия — Apache-2.0. Карточка этого репозитория подтверждает текстовую генерацию; возможности анализа изображений и вызова функций указаны в описании базовой модели, поэтому их доступность в данной конверсии зависит от используемого MLX-инструментария.

kallam/Mixtral-8x7B-It-v0.1 — диалоговая instruction-модель на основе Mixtral-8x7B от Mistral AI. Это генеративная разреженная архитектура Mixture of Experts, предназначенная для выполнения инструкций и ведения диалога. Модель поддерживает контекст до 32 768 токенов и, согласно README, предназначена для запуска через vLLM; в репозитории также приведены сведения о совместимости с Transformers, хотя карточка предупреждает, что веса пока нельзя непосредственно инициализировать через HF Transformers. Файлы представлены в формате safetensors; лицензия — Apache 2.0. Модель подходит для диалоговых помощников, ответов на инструкции и генерации текста на французском, итальянском, немецком, испанском и английском языках. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает высокие результаты Mixtral-8x7B в сравнении с Llama 2 70B на проверенных авторами бенчмарках. У модели нет встроенных механизмов модерации, поэтому ответы могут требовать внешних ограничителей и проверки.

Motif-2-12.7B-Instruct — плотная авторегрессионная языковая модель семейства Motif от Motif Technologies, созданная методом supervised fine-tuning на базе Motif-Technologies/Motif-2-12.7B-Base. Она предназначена для диалогов и генерации текста по инструкциям. Модель содержит 10,8 млрд параметров по метаданным каталога; в README заявлено 12,7 млрд. Контекстное окно составляет до 32 768 токенов. Поддержка чата подтверждена метаданными, а в карточке приведены результаты оценки на языковых бенчмарках. Модель принимает текст и генерирует текст. В тегах карточки указаны английский и корейский языки. Для запуска описано использование Transformers; README также приводит способ запуска через vLLM с временным контейнером, пока официальная поддержка модели проходит рассмотрение. Модель распространяется по лицензии Apache-2.0.

automerger/Multi_verse_modelM7-7B — объединённая языковая модель на базе архитектуры Mistral с 7,1 млрд параметров, созданная с помощью mergekit методом DARE TIES. В объединении использованы ammarali32/multi_verse_model как базовая модель и liminerity/M7-7b; README указывает параметры слияния и формат bfloat16. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. Для загрузки доступны веса Safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

NbAiLab/nb-notram-llama-3.3-70b-instruct — диалоговая языковая модель, разработанная лабораторией NB-AiLab Национальной библиотеки Норвегии. Это дообученная на базе Meta Llama 3.3 70B Instruct плотная трансформерная модель с 69,5 млрд параметров и контекстом до 131 072 токенов. Для обучения использовались публично доступные данные и синтетические данные; материалы, доступные только по обязательному экземплярному хранению, не включались. Модель предназначена для следования инструкциям и диалогов на норвежском букмоле, норвежском нюноске и английском языке. Подходит для ответов на вопросы и суммаризации на норвежском, а также для генерации текста и работы в качестве ассистента. Настройка включает supervised fine-tuning и лёгкий этап DPO; ответы обычно короче, чем у более разговорчивых ассистентов. Поддерживаются чатовый формат и интерфейс вызова инструментов. Лицензия — Llama 3.3 Community License. Модель может ошибаться и уверенно выдавать вымышленные сведения. Знания о норвежской культуре и истории могут проявляться непоследовательно и зависеть от формулировки запроса; настройки безопасности ограничены. В README релиз назван исследовательским, поэтому перед прикладным использованием рекомендуется оценка в целевом сценарии; для медицинских, юридических и финансовых задач нужны дополнительные проверки и надзор человека.

Neural-Chat-v3-1 — языковая модель Intel на архитектуре Mistral, дообученная на базе mistralai/Mistral-7B-v0.1 на наборе Open-Orca/SlimOrca. Для выравнивания ответов применялся метод Direct Preference Optimization (DPO) с парами предпочтений Intel/orca_dpo_pairs. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалоговых сценариев; в метаданных указан контекст до 32 768 токенов, тогда как README приводит значение 8 192 токена. Модель подходит для ответов на запросы, ведения диалога и других языковых задач, а также для последующей адаптации под конкретное применение. В опубликованной оценке она показала средний результат 59,06 на наборе бенчмарков, однако качество зависит от формулировки запроса. Модель может выдавать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед внедрением рекомендуется проверка безопасности и качества. Лицензия — Apache 2.0.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная Norallm на базе NorMistral-7b-warm, который, в свою очередь, относится к семейству Mistral. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, многоходовые беседы, выполнение инструкций, подготовку текстов и задачи программирования. Основной фокус — норвежские языки Bokmål и Nynorsk; в метаданных также указан язык no. Модель поддерживает ChatML-подобный формат диалогов и контекст длиной 4096 токенов. Размер модели в README явно не указан для инструкционной версии, однако она названа NorMistral-7b-warm-instruct. Дообучение выполнено методом supervised fine-tuning на отфильтрованных и дополненных открытых наборах Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant; preference optimization не применялась. К сильным сторонам относятся открытая доступность, ориентация на норвежскую языковую специфику, поддержка многоходовых диалогов и увеличенный до 4096 токенов контекст относительно базовой модели. Ограничения включают статус первой рабочей итерации, возможные изменения весов, чувствительность к параметрам генерации и отсутствие preference optimization, поэтому качество и устойчивость ответов могут быть неравномерными. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование. README не сообщает о поддержке изображений или других модальностей, поэтому модель следует считать текстовой.

Notus-TheTop-7b-Slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit методом SLERP из argilla/notus-7b-v1 и MaziyarPanahi/TheTop-5x7B-Instruct-S3-v0.1. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ведение диалога; заявленная длина контекста составляет 32 768 токенов. Модель может использоваться для ответов на вопросы, инструктивного диалога и генерации текста. В карточке указаны формат Safetensors и тип точности bfloat16. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

O2-27B-Preview — предварительная модель с 27 млрд параметров, разработанная Ant International на базе Qwen3.5-27B. Это плотная модель семейства Qwen3.5, предназначенная для агентного рассуждения, работы с инструментами, разработки программного обеспечения и автоматизации офисных процессов. Модель обучали на взаимодействиях, собранных в исполняемых средах реальных рабочих процессов: она выполняла действия, получала результаты проверок и могла исправлять ошибки. Для постобучения применялся метод Runtime OPSD — дистилляция последовательностей на состояниях, посещённых самой моделью. По отчёту разработчика, модель улучшила результаты базовой Qwen3.5-27B в десяти из одиннадцати опубликованных тестов, однако результаты предварительные и не сопровождаются оценкой разброса между запусками или контролем вычислительных затрат. На SWE-bench Verified отмечено снижение результата относительно базовой модели. Проверки зависят от полноты спецификаций и могут пропускать ошибки или поощрять обходные решения; качество также зависит от инструментов и среды выполнения. Модель следует применять с изоляцией инструментов и независимой проверкой результатов. Лицензия — Apache-2.0.

OpenBuddy Mistral 7B v13.1 — это языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Данный репозиторий подготовлен TheBloke и содержит квантизированные версии модели в формате GGUF, предназначенные для запуска через llama.cpp и совместимые приложения и библиотеки, включая LM Studio, KoboldCpp, text-generation-webui и llama-cpp-python. Модель имеет около 7 миллиардов параметров и ориентирована на задачи ассистирования, ответов на вопросы, рассуждений и многоязычного общения. В метаданных заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Информация о размере контекстного окна и мультимодальных возможностях не указана; модель предназначена для работы с текстом. К сильным сторонам относятся относительно компактный размер, широкий выбор уровней квантизации и возможность локального запуска на разнообразном оборудовании. Ограничения включают потенциальное снижение качества в квантизированных вариантах, отсутствие заявленных мультимодальных возможностей и неизвестный размер контекста. Модель распространяется по лицензии Apache 2.0.

OpenDolphin-7B-slerp — объединённая модель WesPro, созданная методом slerp с помощью LazyMergekit на основе macadeliccc/Mistral-7B-v0.2-OpenHermes и cognitivecomputations/dolphin-2.8-mistral-7b-v02. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Модель принимает текст и генерирует текст; её нативная длина контекста составляет 32 768 токенов. Она подходит для диалоговых приложений и генерации ответов, в том числе в сценариях RAG с передачей контекста в запросе. Карточка не описывает отдельные специализированные области применения или языковые приоритеты. В репозитории указаны веса Safetensors. Лицензия в предоставленных данных не указана. Качество и устойчивость ответов зависят от запроса и переданного контекста; README не приводит оценки качества или подробных ограничений.

Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

Orpomis-Prime-7B-dare — объединённая с помощью Mergekit языковая модель от автора saucam. Она сочетает kaist-ai/mistral-orpo-beta и NousResearch/Hermes-2-Pro-Mistral-7B методом dare_ties; в конфигурации заданы веса 0,6 и 0,4, плотность 0,5 и тип данных bfloat16. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по запросу. Её можно применять для ответов на вопросы, написания и преобразования текста, а также выполнения инструкций в текстовом чате. В репозитории представлены веса safetensors. Модель объединяет две базовые модели; самостоятельное дообучение Orpomis-Prime-7B-dare в карточке не заявлено. Сведения о лицензии, поддерживаемых языках и специальных ограничениях в доступных данных отсутствуют.

POCKET-35B-GGUF — языковая модель семейства POCKET, разработанная FINAL-Bench. Это GGUF-сборка, предназначенная для запуска через стандартный llama.cpp без CUDA, GPU и облачных сервисов. Модель позиционируется для локального использования на ПК, серверах, мини-ПК и мобильных устройствах, включая сценарии on-device и edge-инференса. Модель имеет заявленный размер 35B параметров и архитектуру mixture-of-experts; в карточке она связана с FINAL-Bench/Darwin-36B-Opus, а также обозначена как основанная на Qwen3.5-35B-A3B. Доступны варианты квантования от IQ1_M и Q2_K до Q4_K_M: размер файлов составляет примерно от 8,2 до 21 ГБ, что позволяет выбирать между экономией памяти и качеством. В качестве ориентиров приведены показатели GPQA Diamond от 60,1% для Q2_K до 68,7% для Q4_K_M, а также измерения скорости генерации на CPU и GPU. Модель ориентирована на диалоговые и общие текстогенерационные задачи, включая локального повседневного ассистента. Среди сильных сторон заявлены работа на CPU, совместимость с upstream llama.cpp и высокая скорость генерации в ряде сравнительных тестов. Ограничения включают заметные требования к оперативной памяти, снижение качества при сильном квантовании и отсутствие завершённых измерений производительности на iPhone и Strix Halo. В карточке явно указаны английская и корейская специализации отдельных сборок, но полный набор поддерживаемых языков и максимальный контекст не приведены. Лицензия — Apache 2.0.

Qwen1.5-1.8B-Chat-GGUF — чатовая версия языковой модели Qwen1.5, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer, дообученная с использованием supervised fine-tuning и direct preference optimization для более качественного взаимодействия с пользователем. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, поддержание беседы и другие задачи text generation. Заявлена поддержка нескольких естественных языков и программного кода; базовая карточка модели указывает английский язык. Модель поддерживает контекст длиной до 32K токенов. Репозиторий содержит GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, рассчитанные на запуск с llama.cpp. Размер 1.8B параметров делает модель относительно компактной и удобной для локального запуска, однако по возможностям и качеству она уступает более крупным моделям семейства. Квантизация снижает требования к ресурсам, но при более низкой точности может ухудшать качество генерации. Модель работает только с текстом; поддержка изображений и других модальностей не указана. Лицензия обозначена как Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

Mungert/Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-14B от команды Qwen, подготовленная пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая работу чат-ассистента, ответы на инструкции и локальный запуск на системах с ограниченными ресурсами. В метаданных указаны английский язык и задача text-generation; название модели указывает на поддержку контекста до 1 миллиона токенов, однако подробные характеристики контекстного окна в README не приведены. Ключевая особенность сборки — ультранизкая 1–2-битная квантизация с динамическим распределением точности IQ-DynamicGate. Для разных слоёв применяются форматы IQ1 и IQ2, а критические embedding- и output-слои защищаются квантизацией Q5_K. Такой подход снижает требования к памяти и подходит для CPU, edge-устройств и GPU с ограниченным VRAM, но может уступать моделям с более высокой точностью и требует проверки качества именно на Qwen2.5-14B, поскольку приведённые в README бенчмарки выполнены на Llama-3-8B-Instruct. Размер файлов, конкретный вариант квантизации и скорость зависят от выбранного GGUF-файла. Лицензия — Apache-2.0.

Qwen2.5-Mavapy-b-7B — слитая методом della модель генерации текста, созданная с помощью mergekit на основе Qwen2.5-Mavapy-7B и объединяющая Locutusque/StockQwen-2.5-7B и fblgit/cybertron-v4-qw7B-MGS. Модель разработана сообществом mergekit-community; архитектура — плотная Qwen2ForCausalLM с 7,1 млрд параметров, доступная в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает контекст до 32 768 токенов и работает с текстовым вводом и выводом. README описывает конфигурацию с типом выходных весов bfloat16. README рекомендует дообучить модель перед использованием. Данных о лицензии и конкретных языках в предоставленных источниках нет.

FreedomAISVR/Qwen3.5-4B-MTP-NVFP4-GGUF — квантизированная сборка мультимодальной модели Qwen3.5-4B, разработанной командой Qwen компании Alibaba. Репозиторий содержит веса GGUF в формате NVFP4 и проектор изображений SigLIP ViT в F16; заявлена поддержка Multi-Token Prediction (MTP), предсказывающей два токена за шаг генерации. Сборка рассчитана прежде всего на ускоренный запуск на видеокартах NVIDIA Blackwell и предназначена для использования через llama.cpp и совместимые инструменты. Модель подходит для генерации текста и диалога, а с мультимодальным проектором — для обработки изображений вместе с текстовым запросом. README указывает контекстное окно 262 144 токена, мультиязычность и режим рассуждения, включённый по умолчанию. В архитектуре базовой модели описаны гибридные слои Attention и Mamba-2, MLA и 3D MRoPE. NVFP4 может ускорить инференс на Blackwell; заявленное увеличение пропускной способности MTP до 30–40% приведено автором репозитория и не является независимым бенчмарком. Лицензия — Apache-2.0. Формат NVFP4 ориентирован на GPU Blackwell; для более старых видеокарт и CPU автор рекомендует другие варианты квантования. Это производный квантованный артефакт, а не отдельное дообучение базовой модели.

Qwen35B-Agent-R2-Abliterated-i1-GGUF — набор квантизированных GGUF-файлов модели hotdogs/Qwen35B-Agent-R2-Abliterated, подготовленный mradermacher. Модель ориентирована на агентские сценарии, использование инструментов и вызов функций, рассуждения и диалоговое взаимодействие. В README также заявлена поддержка обработки изображений и задач image-text-to-text, однако подробности мультимодальной архитектуры не указаны. Модель относится к семейству Qwen и использует архитектуру mixture-of-experts (MoE); заявленный размер — 35B параметров. В качестве языков указаны английский и тайский. Модель обучалась с применением SFT на наборах данных, связанных с рассуждениями, агентскими траекториями и диалогами. Размер контекста, точные характеристики базовой архитектуры и результаты оценивания не указаны. Репозиторий предоставляет варианты квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 7,6 до 28,6 ГБ, а также imatrix-файл. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; в README рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный баланс размера, скорости и качества. Ограничения включают возможное снижение качества при низких уровнях квантизации, а также отсутствие подробных данных о производительности и требованиях к оборудованию. Лицензия — AGPL-3.0.

Qwen3.6-27B Q4KM dequant BF16 for vLLM — это преобразованная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Исходные веса взяты из GGUF-файла Q4_K_M репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы и сохранены в формате BF16 в шардах safetensors; конфигурация и токенизатор взяты из Qwen/Qwen3.6-27B. Архитектура — плотная Qwen3_5ForConditionalGeneration; валидация описывает текстовую генерацию, а визуальная башня намеренно отсутствует. Модель предназначена для диалоговой генерации текста и развёртывания через vLLM. В README указаны успешная загрузка через Transformers CUDA и короткая генерация, а также проверка совместимости с интерфейсом vLLM completions. Для запуска автор рекомендует режим только языковой модели и максимальную длину контекста 4096 токенов. Хотя метаданные содержат тег image-text-to-text и возможность vision, данная сборка не включает визуальную башню и рассчитана на текстовый режим. Это конверсия и деквантизация исходного GGUF Q4_K_M в BF16, а не исходный чекпойнт BF16: точность ограничена исходными квантованными весами. Репозиторий не сообщает лицензию; условия использования следует сверить с лицензиями исходной модели и файла. Для запуска нужны совместимые версии vLLM и подходящее GPU-оборудование; проверка проводилась на H200 с vLLM 0.23.0.