I.3Извлечение и структурирование данных

QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF — это квантованная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 млрд параметров, подготовленная QuantFactory в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, поддержку пользователей и другие задачи обработки естественного языка. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель относится к текстовым генеративным системам; сведения о контекстном окне, конкретном методе и уровне квантования, требованиях к памяти и производительности в предоставленных данных отсутствуют. Формат GGUF обычно ориентирован на локальный запуск, однако точные параметры использования для данной сборки не указаны. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрено дополнительное требование получить отдельное разрешение Meta.

NoelJacob/Meta-Llama-3-8B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционно дообученной языковой модели Meta Llama 3 с приблизительно 8 млрд параметров, подготовленная NoelJacob в формате GGUF для использования с llama.cpp и совместимыми инструментами. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии и выполнение инструкций. В метаданных указан английский язык; другие языки и поддержка дополнительных модальностей не заявлены. Обозначение Q4_K_M указывает на 4-битную квантизацию варианта K_M, которая обычно уменьшает требования к памяти и упрощает локальный запуск по сравнению с полноразмерными весами, но может снижать точность относительно исходной модели. В предоставленных данных не указаны размер файла, максимальная длина контекста, конкретные требования к оборудованию, результаты тестирования или дополнительные ограничения качества. Модель распространяется на условиях Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению обозначения «Built with Meta Llama 3», соблюдению Acceptable Use Policy и специальные коммерческие условия для продуктов с более чем 700 млн ежемесячных активных пользователей.

mindy-7b-v2-Mistral-7B-Instruct-v0.1 — разговорная языковая модель, созданная объединением Mistral-7B-Instruct-v0.1 и mindy-7b-v2 методом SLERP. Это плотная трансформерная архитектура MistralForCausalLM с 7,1 млрд параметров; модель рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специальные предметные области или отдельные ограничения качества.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

Карточка модели Griffin88/my_new_model3 на Hugging Face совпадает с карточкой Griffin88/sentence-embedding-LaBSE, поэтому описание составлено по ней. Griffin88/sentence-embedding-LaBSE — PyTorch-порт модели LaBSE, предназначенный для представления предложений на 109 языках в общем векторном пространстве. Модель основана на архитектуре BERT и содержит 498,1 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий предоставляет веса PyTorch и safetensors, а для работы через Sentence-Transformers README рекомендует библиотеку sentence-transformers. Модель подходит для получения эмбеддингов предложений и оценки их семантического сходства, в том числе для сопоставления текстов на разных языках. Лицензия — Apache-2.0. README отсылает к публикации LaBSE, но не уточняет автора этого порта или детали обучения именно этой версии.

Nemotron-SEA-LION-v4.8-120B-A12B — инструктивная языковая модель AI Singapore для диалога и выполнения разнообразных текстовых задач с учётом языков и контекста Юго-Восточной Азии. Она дообучена на базе aisingapore/Nemotron-SEA-LION-v4.8-120B-A12B-Base с помощью SFT и онлайн-дистилляции по собственным ответам модели; архитектура сочетает Mamba2, Transformer и MoE. В метаданных указано 6,6 млрд параметров, контекст — до 262 144 токенов. Модель предназначена для ответов на вопросы, многоходового диалога, следования инструкциям, суммаризации, анализа тональности, перевода, рассуждений и других текстовых задач. Она рассчитана на английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Модель распространяется по лицензии MIT. Модель не выравнивалась по безопасности; её устойчивость к состязательным запросам не проверялась. Возможны галлюцинации, нерелевантные ответы и несогласованность, поэтому результаты следует проверять; для прикладного использования разработчикам рекомендуется самостоятельно настроить меры безопасности.

Nero-7B-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная teodortita слиянием Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоге; модель принимает текст и выдаёт текст. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. В README приведены сравнительные результаты на AGIEval, GPT4All, TruthfulQA и Bigbench; Nero показала более высокие значения, чем обе исходные модели, на GPT4All и Bigbench. Эти результаты относятся только к указанным бенчмаркам и не гарантируют качество для конкретных запросов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Next-1B — компактная авторегрессионная языковая модель на базе Gemma 3, разработанная Lamapi. Модель содержит около 1 млрд параметров, использует трансформерную архитектуру и дообучена методом instruction fine-tuning (SFT) на турецких и многоязычных наборах данных. Она ориентирована на работу с текстом, поддерживает турецкий язык и широкий набор других языков, включая английский, русский, арабский, немецкий, французский, испанский, китайский, японский и корейский. Модель предназначена для генерации текста, суммаризации, ответов на вопросы, творческого письма, рассуждений и решения задач на естественном языке. К её сильным сторонам относятся небольшой размер, низкие требования к ресурсам, возможность запуска на пользовательских GPU с малым объёмом видеопамяти, а также поддержка CPU-развёртывания и вариантов квантования. README не указывает размер контекстного окна, точные показатели качества, доступные модальности помимо текста или систематические ограничения модели, поэтому её возможности в специализированных и критически важных сценариях требуют отдельной проверки. Модель распространяется по лицензии MIT, разрешающей использование, изменение и распространение.

Nomic Embed Vision v1.5 — модель семейства Nomic BERT от Nomic AI для получения признаковых представлений изображений. Она предназначена для извлечения эмбеддингов и мультимодального поиска, включая поиск изображений по текстовому запросу в системах retrieval и RAG. В README также описан совместный анализ пространств эмбеддингов изображений и текста. Модель принимает изображения и выдаёт векторные представления; для текстовых запросов в мультимодальном поиске README рекомендует префикс «search_query: ». В метаданных указаны архитектура NomicVisionModel, библиотека Transformers и форматы Safetensors и ONNX. Язык карточки — английский; размер модели и длина контекста не указаны. Лицензия — Apache-2.0.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Ogma Small — компактная англоязычная модель эмбеддингов текста от Axiotic. Это encoder-only модель семейства Ogma с 8,6 млн параметров и контекстом до 1024 токенов; она преобразует текст в векторы для семантического поиска, извлечения документов и RAG. Поддерживаются Matryoshka-размерности векторов 256, 128, 64 и 32, а маршрутизация включает режимы для симметричного сравнения и поиска. В README заявлены результат 56,32 на английском бенчмарке MTEB и более высокая скорость CPU-инференса по сравнению с MiniLM-L6-v2. Модель предназначена для локального и серверного поиска по документам, памяти агентных систем, кластеризации и классификации текста. Она не генерирует текст и рассчитана на английский язык; в задачах reranking уступает MiniLM-L6-v2, а её скорость ниже, чем у статических моделей эмбеддингов. Репозиторий содержит форматы ONNX и Safetensors. Лицензия — CC-BY-NC-4.0, коммерческое использование ограничено.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

OpenChat 3.6 8B 20240522 — языковая модель семейства OpenChat, разработанная командой OpenChat и основанная на Meta Llama 3 8B. Данный репозиторий содержит её GGUF-квантизации, предназначенные для локального запуска и эффективного развертывания. Модель работает в режиме генерации текста и диалогов, поддерживает совместимый с OpenAI ChatCompletion API сервер и может использоваться через OpenChat Web UI. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и обучалась с применением подхода C-RLFT на данных смешанного качества. README не указывает точный размер контекстного окна и перечень поддерживаемых языков. Для работы рекомендуется шаблон подсказок на основе формата Llama 3; сервер оптимизирован для высокой пропускной способности и, согласно README, может запускаться на потребительском GPU с 24 ГБ памяти. Квантизация снижает требования к ресурсам, но конкретные варианты GGUF могут различаться по размеру и качеству. Сильными сторонами заявлены производительность на уровне открытых 8B-моделей и улучшенное следование инструкциям и few-shot-шаблонам по сравнению с некоторыми альтернативами. Ограничениями являются зависимость качества и скорости от выбранного типа квантизации, а также отсутствие в предоставленных данных подробных результатов тестирования, точного контекстного окна и языкового охвата. Репозиторий распространяется по лицензии Llama 3; условия её применения следует учитывать при использовании модели.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Phi-3.5-mini-instruct-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе microsoft/Phi-3.5-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в локальных приложениях и интерфейсах, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. В репозитории представлены квантизованные варианты с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером модели, требованиями к памяти и качеством генерации. README не содержит сведений о точном размере модели, архитектуре, длине контекста, поддерживаемых языках, модальностях и лицензии. Формат GGUF ориентирован на эффективный локальный запуск, включая сценарии с GPU-ускорением, однако конкретные требования к оборудованию зависят от выбранного варианта квантизации и программного обеспечения.

Phi-3.5-mini-instruct-IMat-GGUF — это GGUF-квантизованная версия модели microsoft/Phi-3.5-mini-instruct, подготовленная legraphista с использованием llama.cpp b3608. Модель предназначена для генерации текста в формате инструкций, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций размером примерно от 1,42 до 7,64 ГБ. Для многих вариантов с низкой разрядностью применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели; файлы предоставляются в формате GGUF и подходят для использования с совместимыми инструментами, включая llama.cpp. Точная архитектура, число параметров и размер контекста в README не указаны. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, скоростью и требованиями к памяти, а также наличие IMatrix для ряда компактных вариантов. Ограничения связаны с возможной потерей качества при агрессивной квантизации и отсутствием сведений о целевых метриках и производительности. Модель распространяется по лицензии MIT; исходная модель принадлежит Microsoft.

Phi-4-reasoning-plus-w4a16-llmcompressor — это квантизованная версия языковой модели Phi-4-reasoning-plus, разработанной Microsoft. Модель предназначена для генерации текста и работы с текстовыми запросами, включая задачи рассуждения; исходная архитектура представлена как Phi3ForCausalLM. Модель поддерживает английский язык. Чекпойнт подготовлен компанией AMD для инференса на процессорах AMD EPYC под Linux. Используется 4-битная квантизация весов без квантизации активаций (W4A16): веса представлены в формате INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Для запуска рекомендован стек vLLM 0.26.0, LLM Compressor 0.12.0, ZenDNN 6.1.0, ZenTorch 2.11.0.3 и PyTorch 2.11.0. Ключевое преимущество модели — существенное сокращение размера весов при сохранении качества: на тесте GSM8K она показала 0,8688 против 0,8704 у исходной BF16-модели, то есть восстановила 99,82% результата базовой версии. Ограничения включают ориентацию на CPU AMD EPYC, зависимость от совместимых версий программного стека и возможную потерю точности из-за агрессивной 4-битной квантизации. В README указана лицензия MIT; также отмечено, что модель распространяется на условиях лицензии исходной модели.

Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.

CultriX/Qwen2.5-14B-Hyperionv5 — объединённая языковая модель семейства Qwen2.5, созданная CultriX с помощью mergekit и метода DARE TIES. В основе объединения указана CultriX/Qwen2.5-14B-Wernickev3; также в него вошли другие варианты Qwen и дообученные модели семейства, перечисленные в карточке. Модель предназначена для генерации текста и диалогового общения. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Метаданные указывают интерфейс для вызова инструментов. Карточка не описывает специализированную предметную область или список поддерживаемых естественных языков. В репозитории представлены веса safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

RedHatAI/Qwen2.5-1.5B-quantized.w8a8 — квантизированная версия языковой модели Qwen2.5-1.5B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, включая коммерческое и исследовательское применение на нескольких языках. На вход принимает текст и возвращает текст; заявленный язык — английский. Архитектура — Qwen2, размер — 1,5 млрд параметров. Модель использует INT8-квантизацию весов и активаций, что примерно на 50% снижает требования к видеопамяти и размер диска, а также может примерно вдвое увеличить производительность матричных умножений. Квантизуются линейные операторы в трансформерных блоках: веса — статически по каналам, активации — динамически для каждого токена. Для эффективного развертывания рекомендуется vLLM; в README указан контекст до 8192 токенов. По среднему результату OpenLLM Leaderboard модель набрала 58,34 против 58,48 у неквантизированной версии, сохранив 99,8% исходного результата. Ограничениями являются снижение точности по отдельным задачам и отсутствие в предоставленных данных подробной информации о поддерживаемых языках, безопасности, специализированных доменах и качестве за пределами указанных бенчмарков. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

EasierAI/Qwen-2.5-32B — это GGUF-квантизированная версия Qwen2.5-32B-Instruct, предназначенная для генерации текста и диалогового взаимодействия. Исходная модель разработана командой Qwen, а представленные квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Модель ориентирована на чат, локальный запуск и другие сценарии текстовой генерации, включая использование в LM Studio. В README указано, что модель поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Размер исходной модели составляет 32B параметров; доступны варианты от F16 до IQ3 и Q3-квантизаций с объёмом файлов примерно от 13,71 до 65,54 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Точная архитектура и максимальная длина контекста в README не указаны; отмечено лишь обновление настроек контекста и токенизатора. Сильными сторонами являются многоязычность, широкий выбор квантизаций и возможность локального инференса, включая варианты, оптимизированные для ARM. Ограничения связаны с компромиссом между качеством и требованиями к памяти при использовании низкоразрядных вариантов, а также с отсутствием в описании результатов тестирования и точных характеристик производительности. Модель распространяется по лицензии Apache-2.0.

SirSahOl подготовил конверсию инструктивной языковой модели Qwen2.5-7B-Instruct для запуска через MLX на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Репозиторий содержит веса в формате safetensors с точностью 16 бит; модель поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста, кода и структурированных ответов, а также для локальной оценки и сравнения результатов на совместимых устройствах Apple. Модель подходит для разработки и тестирования чат-приложений, помощи с кодом и ответов на инструкции. Для запуска требуется около 15,2 ГБ объединённой памяти по оценке README; фактическая скорость зависит от устройства и длины контекста. Конверсия оптимизирована для GPU Apple Silicon и не предназначена для обычного запуска в других средах MLX. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-GPTQ-Int4 — квантизированная версия модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором superjob/Qwen3-4B-Instruct-2507-GPTQ-Int4. Она предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где важны компактность модели и снижение требований к памяти. Заявлена поддержка 104 языков, включая русский и другие языки стран СНГ. Модель использует 4-битную GPTQ-квантизацию весов и 16-битные активации (W4A16), размер группы — 128, порядок активаций статический. Формат compressed-tensors обеспечивает нативную поддержку в vLLM и оптимизирован для запуска с этим движком. README не содержит данных о точном размере контекстного окна, числе параметров исходной архитектуры, поддерживаемых модальностях помимо текста или результатах тестирования, поэтому оценить качество и ограничения по бенчмаркам невозможно. Модель распространяется по лицензии Apache 2.0, как и исходная модель.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

ente-ai/Qwen3.5-2B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-2B, разработанной командой Qwen и основанной на Qwen/Qwen3.5-2B. Репозиторий подготовлен с использованием подхода Unsloth Dynamic 2.0 и предназначен для локального запуска, прототипирования, специализированного дообучения, исследований и разработки. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks и элементы разреженной Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель совместима с экосистемой Transformers, а также с vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальное понимание, большой контекст, компактный размер и пригодность для локального инференса и дообучения. При этом масштаб 2 млрд параметров ограничивает максимальную глубину рассуждений и качество на сложных задачах по сравнению с более крупными моделями; README прямо указывает приоритет прототипирования и исследовательских сценариев. Модель распространяется по лицензии Apache 2.0.

ZuzeTt/Qwen3.5-4B-heretic-GGUF — это децензурированная версия мультимодальной модели Qwen3.5-4B, основанной на разработках команды Qwen. Модель модифицирована с помощью Heretic v1.2.0 методом abliteration, направленным на снижение частоты отказов при ответах. Файлы представлены в формате GGUF и были квантизированы с использованием llama.cpp. Модель предназначена для задач обработки текста и изображений, включая диалоговые сценарии, рассуждения, программирование, работу с агентами и визуальное понимание. Базовая архитектура описана как авторегрессионная языковая модель с vision encoder, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя, скрытое измерение 2560 и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — существенно меньшее количество отказов по сравнению с исходной моделью: в приведённом тесте 8 из 100 запросов против 99 из 100 у оригинала, при KL-дивергенции 0,0361. Это может повысить полезность модели в сценариях локального запуска и свободного диалога, но одновременно означает ослабление встроенных ограничений безопасности. Конкретный тип квантизации, требования к оборудованию и фактическое качество на прикладных задачах в README не указаны. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию относится к базовой модели Qwen/Qwen3.5-4B.