I.3Извлечение и структурирование данных

CrossGemma-sts-300m — кросс-энкодер для оценки семантического сходства двух текстов, созданный на основе google/embeddinggemma-300m и дообученный dleemiller. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1: более высокое значение означает более близкий смысл. Модель предназначена для ранжирования и сравнения текстовых пар, оценки ответов языковых моделей и семантического поиска. Она содержит около 303 млн параметров, использует архитектуру Gemma 3 Text для классификации последовательностей и обрабатывает до 2048 токенов. В README указаны результаты на STS-Benchmark: корреляция Пирсона 0,9175 и Спирмена 0,9135. Обучение включало данные wiki-sim и sentence-transformers/stsb; оценка качества на других данных не приведена. Лицензия — Apache-2.0.

DeepSeek-V2-Lite-Chat-GGUF — это квантизированная GGUF-версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek-ai и подготовленной компанией Second State Inc. Модель предназначена для локального запуска и генерации ответов в формате чат-ассистента; в README также указана совместимость с LlamaEdge версии 0.12.3 и выше. Модель поддерживает контекст размером до 128 000 токенов и использует шаблон запросов deepseek-chat-2. В репозитории доступны варианты квантования от Q2_K до Q8_0, а также f16, с размером файлов примерно от 6,43 до 31,4 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Более сильное квантование уменьшает требования к памяти, но может заметно снижать качество ответов. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии DeepSeek с обозначением other; ссылка на условия лицензии приведена в исходном описании.

unsloth/DeepSeek-V3-0324-GGUF-UD — это набор динамически квантованных версий DeepSeek-V3-0324, подготовленный Unsloth на базе модели deepseek-ai/DeepSeek-V3-0324 в формате GGUF. Модель предназначена для локального запуска через llama.cpp, LM Studio, Open WebUI и другие совместимые фреймворки инференса. В метаданных указано, что основной язык модели — английский. Доступны варианты с эффективной разрядностью от 1,78 до 4,5 бит и размером файлов примерно от 192 до 384 ГБ. Квантизация Dynamic v2.0 выполняется выборочно; в README заявлено, что это позволяет сохранить более высокую точность по сравнению со стандартными методами квантизации. Модель использует архитектуру MoE, что отражено в описании разрядности компонентов смеси. Версии 2,42 бит IQ2_XXS и 2,71 бит Q2_K_XL рекомендованы как наиболее удачные по соотношению производительности и размера; для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Сильными сторонами являются возможность локального использования крупной модели в распространённых GGUF-фреймворках и оптимизированная динамическая квантизация. Ограничениями выступают чрезвычайно высокие требования к памяти и большой объём файлов. Варианты IQ1_S и IQ1_M обозначены как предварительные: по результатам тестирования они обычно работают нормально, но иногда хуже справляются с генерацией кода. В метаданных указана лицензия MIT.

DeepSeek-V4-Flash-0731-ds4-GGUF — набор квантизированных сборок финальной версии DeepSeek-V4-Flash от DeepSeek, подготовленных пользователем nazeshinjite для инференс-движка DwarfStar (ds4), разработанного antirez. Модель предназначена для локальной генерации текста, диалоговых приложений, программирования и агентских сценариев; поддерживаются интерактивный CLI, OpenAI- и Anthropic-совместимый HTTP API, а также дисковый KV-кэш для многошаговых сессий. Базовая модель использует архитектуру Mixture-of-Experts: около 284 млрд параметров, из которых примерно 277 млрд приходятся на маршрутизируемые эксперты. Репозиторий содержит смешанную Q2/Q4-сборку размером 90,9 GiB, плоские Q2- и Q4-варианты, а также опциональные draft head для speculative decoding. В основной сборке маршрутизируемые эксперты в последних слоях используют Q4_K, остальные — преимущественно 2-битные форматы, а attention-проекции, общие эксперты и выходной слой — Q8. Указана поддержка контекста до 1 млн токенов на подходящем локальном оборудовании; для 256K контекста заявлено потребление менее 3,5 GiB KV-кэша. Языки и мультимодальные возможности в README не указаны. Сильные стороны модели — существенное уменьшение размера при сохранении качества, высокая скорость декодирования в DwarfStar и эффективная работа с длинными повторяющимися контекстами благодаря дисковому KV-кэшу. На Apple M5 Max автор README сообщает скорость 36,8–27,1 токена в секунду в зависимости от длины контекста, однако эти результаты относятся к предварительным измерениям. Главные ограничения — файлы совместимы только с DwarfStar и не загружаются в llama.cpp, Ollama или LM Studio; для запуска требуется специализированный движок и мощное оборудование, включая системы с большим объёмом памяти, CUDA или ROCm. Распространение указано по лицензии MIT.

ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g — квантизированная версия мультимодальной модели Gemma 3 27B IT, разработанная на основе google/gemma-3-27b-it. Модель предназначена для диалогов, генерации и понимания текста, а также обработки изображений с текстовыми запросами, включая описание визуального содержимого. Она поддерживает работу через Transformers и vLLM. Весовые параметры модели сжаты до INT4 с применением алгоритма GPTQ, симметричной поканальной групповой схемы с размером группы 128 и формата compressed_tensors. Квантизации подверглись линейные операторы языковой части трансформерных блоков; vision-модель и мультимодальный проекционный слой сохранены в исходной точности. Такое сжатие примерно на 75% уменьшает размер модели на диске и требования к видеопамяти по сравнению с представлением FP16, при этом средний результат на указанных тестах OpenLLM снижается незначительно: 0,7810 против 0,7854 у исходной модели. Модель подходит для мультимодальных ассистентов и сценариев, где важны более низкие требования к памяти GPU. В README не указаны точные длина контекста и список поддерживаемых языков; приведённый пример использует максимальную длину контекста 4096 токенов. Ограничением является возможная небольшая потеря качества из-за INT4-квантизации и необходимость использовать совместимые версии Transformers или vLLM. Модель распространяется по лицензии Gemma.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

p-e-w/gpt-oss-20b-heretic-v2 — версия модели gpt-oss-20b, обработанная методом abliteration для снижения частоты отказов. В приведённом сравнении число отказов составило 49 из 100 против 98 из 100 у исходной openai/gpt-oss-20b; KL-дивергенция относительно оригинала — 0,1248. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и сценарии с инструментами при использовании формата Harmony. Это разреженная MoE-модель семейства gpt_oss с архитектурой GptOssForCausalLM. В README для исходной gpt-oss-20b указано 21 млрд параметров, из которых активно 3,6 млрд; однако метаданные этого репозитория указывают 1,6 млрд параметров. Контекст составляет 131 072 токена. Модель использует формат safetensors; библиотека — Transformers. README описывает gpt-oss как модель с открытыми весами под лицензией Apache 2.0 и отмечает необходимость формата Harmony. Подходит для локальных диалоговых приложений, генерации и анализа текста, а также агентных сценариев с вызовом функций. Abliteration уменьшила отказы в приведённой оценке, но не устраняет их полностью; результаты оценки ограничены указанной выборкой из 100 примеров. Для этой производной версии README не приводит отдельной оценки качества по задачам.

Granite-4.1-30B (FP8) — это версия модели IBM Granite 4.1-30B, представленная в формате FP8. Репозиторий подготовлен для использования с библиотекой Transformers и предназначен для языковых задач; более подробные сведения о возможностях и сценариях применения приведены в карточке исходной модели ibm-granite/granite-4.1-30b, которая в предоставленных данных отсутствует. Ключевая характеристика этой версии — представление весов в формате FP8, что может быть полезно для более эффективного хранения и выполнения модели в совместимой инфраструктуре. Из доступного README не указаны архитектура, точный размер в параметрах помимо обозначения 30B, поддерживаемые языки, длина контекста, модальности, результаты тестирования, сильные стороны и ограничения. Модель распространяется по лицензии Apache-2.0.

Heretical-Qwen3.5-9B — мультимодальная модель на 9 млрд параметров, дообученная на базе Qwen/Qwen3.5-9B-Base. Её разработчик применил метод decensoring на основе orthogonalized projected abliteration с поиском параметров, настроенным через TPE; в README указаны 3 отказа из 100 тестовых запросов и KL divergence 0,0366. Модель использует гибридную архитектуру Gated DeltaNet и attention, принимает текст и изображения и предназначена для диалогов, рассуждений и понимания визуального содержимого. Модель поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000. README базовой модели заявляет поддержку 201 языка и диалекта, но не приводит языковую таблицу для этой конкретной производной модели. Веса доступны в формате safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Показатель отказов относится к ограниченному тесту в карточке и сам по себе не гарантирует поведение на других запросах; универсальные ограничения качества не описаны.

Hermes-3-Llama-3.1-70B-lorablated — диалоговая модель mlabonne на архитектуре Llama 3.1, созданная слиянием Hermes-3-Llama-3.1-70B от NousResearch с адаптером abliteration. Модель предназначена для генерации ответов в диалоге и выполнения инструкций; версия lorablated настроена на снижение отказов отвечать на допустимые запросы. В карточке приведены результаты оценивания на IFEval и BBH. Модель содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Для работы с ней нужны текстовые запросы, ответы генерируются в текстовом виде. Указана библиотека Transformers. Сведений о лицензии в доступных данных нет.

EXAONE-Deep-32B-GGUF — это квантованные версии языковой модели EXAONE-Deep-32B, разработанной LGAI-EXAONE и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на текстовые сценарии, включая диалоговое взаимодействие, написание и преобразование текста, программирование и другие задачи генерации на естественном языке. В README указаны английский и корейский языки. Базовый размер модели — 32B параметров; архитектура и размер контекстного окна не указаны. Доступны варианты от BF16 до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ, размер файлов составляет примерно от 13 до 64 ГБ. Главное преимущество — возможность локального запуска при выборе подходящего уровня квантования: высокоточные варианты Q6 и Q5 обеспечивают качество, близкое к исходной модели, а более компактные Q4 и Q3 снижают требования к памяти. Ограничения связаны с существенными аппаратными требованиями 32B-модели, возможным снижением качества при сильном квантовании и отсутствием информации о мультимодальности, контекстном окне и результатах оценивания. Указана лицензия EXAONE; подробные условия следует уточнять в файле LICENSE.

Ling-2.6-flash-JANGTQ — квантованная версия модели inclusionAI Ling-2.6-flash, подготовленная Jinho Jang (JANGQ-AI) для запуска через MLX на компьютерах Apple Silicon. Это гибридная MoE-модель семейства Bailing-V2.5: в README указаны около 103 млрд общих параметров и 8 млрд активируемых, 32 слоя с MLA и Lightning Linear Attention, 256 маршрутизируемых экспертов и контекст до 131 072 токенов. Заявленный размер набора весов — около 30 ГБ. Модель предназначена для диалоговой генерации текста, рассуждений, вызова инструментов и многошаговых агентных задач. Квантование JANGTQ2 использует 2-битное представление для маршрутизируемых экспертов, 8-битное для ряда остальных весов и FP16 для отдельных компонентов; конфигурация рассчитана на запуск в MLX на Apple Silicon с 64 ГБ или более памяти. Метаданные указывают библиотеку MLX и лицензию MIT. README описывает шаблон чата и формат вызова инструментов, но не перечисляет поддерживаемые естественные языки.

Ling-3.0-tiny-GGUF — лёгкая гибридная reasoning-модель с архитектурой Mixture of Experts (MoE), разработанная командой inclusionAI. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и агентских сценариев, где важны широкие возможности при низкой стоимости инференса. Формат GGUF ориентирован на локальное и ресурсно-ограниченное развертывание. Модель содержит 7,9 млрд параметров, при этом для обработки каждого токена активируется около 1,3 млрд параметров, что снижает вычислительные затраты по сравнению с полным использованием всех параметров. README не сообщает поддерживаемые языки, размер контекстного окна, доступные модальности и конкретные ограничения качества. Модель распространяется по лицензии MIT.

Apollo Raines представляет эту модель как вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze для усиления следования контексту и аналитического рассуждения. По README, изменения внесены непосредственно в веса без дополнительного обучения; метаданные каталога классифицируют происхождение как дообучение. Модель предназначена для диалоговой генерации текста и анализа предоставленных материалов с опорой на контекст. Она может отвечать на вопросы, объяснять вычисления и писать код; карточка также указывает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM, распространяется в формате safetensors, имеет 7,5 млрд параметров по метаданным и контекст до 131 072 токенов. В карточке указан английский язык; базовая Llama 3.1 8B Instruct описана как многоязычная. Автор предупреждает, что публичная версия намеренно ослаблена и выпущена как демонстрация возможностей jBlaze. Лицензия — llama3.1.

MiniCPM5-1B-heretic — модифицированная версия MiniCPM5-1B, разработанная автором RACER IS OP на основе модели openbmb. С помощью Heretic v1.4.0 к модели применена направленная абляция: целевые изменения весов в выходных проекциях attention и down-projection MLP подавляют поведение, связанное с отказами, без дообучения. Заявлено, что при этом в основном сохраняются знания, следование инструкциям, генерация кода, рассуждения и использование инструментов. Модель предназначена для диалоговых приложений, локальных агентов, генерации кода, function calling, ролевых сценариев и исследований механизмов alignment и отказов. Это текстовая causal language model примерно на 1,1 млрд параметров с поддержкой английского и китайского языков, контекста до 128K токенов и режимов Think/No-Think. Доступны форматы Transformers и GGUF, запуск возможен через llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang; модель ориентирована на потребительские GPU, CPU, Apple Silicon и edge-устройства. Ключевое заявленное преимущество — существенное снижение отказов: 2 из 100 против 96 из 100 у исходной MiniCPM5-1B в описанном тесте, при низком KL-divergence 0,0381. Ограничения включают небольшой для сложных задач размер модели, возможное снижение качества на низких уровнях квантования и отсутствие защитных ограничений, поэтому результаты и безопасность применения требуют дополнительной проверки. Указана лицензия Apache-2.0.

Ttimms/MiniCPM5-2B-NVFP4 — это квантованная версия языковой модели openbmb/MiniCPM5-2B, подготовленная разработчиком Ttimms для генерации текста. Базовая модель основана на архитектуре LlamaForCausalLM и содержит около 2,5 млрд параметров. Модель предназначена прежде всего для англоязычных и китайскоязычных сценариев, включая генерацию и обработку кода. В модели применена 4-битная квантование весов NVFP4 по схеме W4A16 с GPTQ-округлением, блоками по 16 элементов и FP8-масштабами; активации, эмбеддинги и lm_head сохраняются в формате bfloat16. Размер на диске составляет около 2,03 ГиБ — на 57% меньше исходной версии в bfloat16. Модель рассчитана на запуск через vLLM с поддержкой compressed-tensors; в README приведён пример с максимальной длиной контекста 32 768 токенов и FP8 KV-кэшем. Главное преимущество — малый объём занимаемой памяти, что удобно для видеокарт с ограниченным объёмом памяти и сценариев с большим KV-кэшем. GPTQ сохраняет качество лучше, чем простое RTN-округление, однако по сравнению с исходной версией в bfloat16 модель теряет около 2,4 процентного пункта на HumanEval и 4,8 пункта на MBPP. На архитектуре Blackwell SM120 NVFP4-веса декодируются через Marlin в матричное умножение bfloat16, поэтому выигрыш в первую очередь связан с уменьшением занимаемой памяти, а не с ускорением вычислений. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Это экспериментальная версия MiniMax M3, подготовленная Spark Arena для запуска на двух узлах DGX Spark. Модель основана на MiniMax M3 и использует квантование NVFP4 с сокращением REAP50, чтобы уменьшить требования к размещению по сравнению с вариантом на четырёх узлах. Архитектура MiniMax M3 — мультимодальная модель с разреженным вниманием MiniMax Sparse Attention (MSA); заявлено около 428 млрд параметров, из которых активируется около 23 млрд, и контекст до 1 млн токенов. Модель предназначена для диалогов с изображениями и видео, задач программирования и длительных агентных сценариев с вызовом инструментов. Разработчик заявляет ускорение обработки длинного контекста благодаря MSA, однако эта сборка помечена как экспериментальная: калибровка NVFP4 ещё дорабатывается, а влияние REAP50 на качество проверено не полностью. Для корректного использования калибровки требуется поддержка соответствующих масштабов NVFP4 в среде запуска. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

cloudyu/mistral_28B_instruct_v0.2 — плотная языковая модель на архитектуре Mistral с 28 млрд параметров и контекстом до 32 768 токенов. В README указано, что модель имеет 128 слоёв и была обучена методом DPO на наборе Intel/orca_dpo_pairs; заявленный шаблон использует инструкцию, входные данные и ответ. Модель предназначена для диалоговой генерации текста и выполнения инструкций в текстовом формате. Её можно применять для ответов на вопросы, составления текстов и интерактивных чат-сценариев. Карточка не указывает поддерживаемые естественные языки и конкретные предметные области. Репозиторий содержит веса в формате safetensors. Лицензия — CC BY 4.0. README не приводит оценок качества или подробных сведений о рекомендуемых аппаратных требованиях; указанное число слоёв не подтверждено метаданными.

MaziyarPanahi/mistral-7b-finetuned-orca-dpo-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная с помощью слияния SLERP весов mistralai/Mistral-7B-Instruct-v0.1 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных указана лицензия Apache-2.0. Карточка не описывает отдельную специализацию по языкам или предметным областям.

Карточка модели PIXMELT/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой Sacralet/mistral-7B, поэтому описание составлено по ней. Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

Карточка модели Hisham480/multilingual-r2 на Hugging Face совпадает с карточкой ibm-granite/granite-embedding-97m-multilingual-r2, поэтому описание составлено по ней. Granite Embedding 97M Multilingual R2 — текстовая модель эмбеддингов, разработанная командой Granite Embedding в IBM. Она использует архитектуру bi-encoder на базе ModernBERT и преобразует запросы, документы, фрагменты текста и код в векторы размерностью 384 для сравнения по косинусному сходству и поиска похожего содержимого. Модель предназначена для многоязычного семантического поиска, сопоставления запросов с документами и поиска по коду. Она содержит 97,4 млн параметров, 12 слоёв и поддерживает контекст до 32 768 токенов. Улучшенное обучение данными для поиска заявлено для 52 естественных языков и кода; энкодер предварительно обучен на текстах более чем 200 языков. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия — Apache 2.0. Компактный размер позволяет использовать модель при меньших требованиях к ресурсам, чем у более крупной версии Granite Embedding. Компромисс — возможное снижение точности, особенно для языков с малым объёмом ресурсов; качество токенизации также может различаться между языками, а тексты длиннее контекстного окна усекаются.

Muse-Glimmer-30B-M — это средняя по степени сжатия 4-битная квантованная версия языковой модели Muse-Glimmer-30B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования LLM, включая агентские задачи, диалоги, обучение с учителем и работу с длинным контекстом. Подробные сведения об исходной архитектуре, размере контекстного окна и поддерживаемых языках в данной карточке не указаны. Квантование выполнено методом асимметричного целочисленного представления с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные случайные преобразования Адамара; также использованы посттренировочное квантование и дистилляция с учётом квантования. По внутренним оценкам KL эта версия сопоставима с Unsloth UD-Q4_K_XL GGUF. Основные ограничения — поддержка инференса только на Apple silicon и зависимость характеристик, возможностей и ограничений от исходной модели Muse-Glimmer-30B. Лицензия — Apache-2.0.

mxbai-rerank-large-v2, также называемая ProRank-1.5B, — крупная модель-реранкер семейства mxbai от Mixedbread. Она предназначена для повторной оценки релевантности найденных документов или фрагментов относительно запроса и их сортировки, в том числе в конвейерах поиска и RAG. Модель основана на плотной архитектуре Qwen2ForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов; опубликованные веса представлены в формате safetensors. Разработчик заявляет поддержку более 100 языков, особо отмечая английский и китайский, а также поиск по коду и длинному контексту. В README приведены результаты на BEIR, мультиязычных и китайских тестах и поиске по коду; задержка в таблице измерена на A100. Лицензия — Apache-2.0. Модель ориентирована на ранжирование кандидатов, поэтому её основной результат — оценки релевантности, а не развернутые ответы пользователю.

OpenSonnet-Lite-MAX — дообученная языковая модель hadadxyz на архитектуре Qwen3, основанная на Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалоговой генерации текста, следования инструкциям и решения задач с рассуждением; в карточке также показана демонстрация вызова инструментов. Модель содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Указаны многоэтапное дообучение в два прохода и оценка 85,22 на GSM8K; результатов для MMLU-Pro и GPQA Diamond карточка не приводит. Модель распространяется в формате safetensors через Transformers по лицензии Apache 2.0. Языки обучения или поддерживаемые естественные языки в предоставленных данных не обозначены. Результаты бенчмарка и заявленные возможности основаны на карточке модели и сами по себе не гарантируют аналогичное качество на других задачах.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.

Porpoise-6b-instruct — языковая модель NewstaR, дообученная на базе DeciLM-6b-instruct на наборе Dolphin GPT4 Dataset. Это плотная модель семейства LLaMA с архитектурой DeciLMForCausalLM и 6,6 млрд параметров; она предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Для запуска через Transformers в карточке указана настройка naive_attention_prefill=true. Модель принимает текст и генерирует текст. Контекст составляет 4096 токенов. В метаданных также перечислены OpenOrca, SlimPajama-627B и ehartford/dolphin. Карточка не сообщает о специализированной предметной области или известных ограничениях качества. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.