I.12Рекомендации и персонализация

Qwen3.8-27B-Uncensored-xCloud — производная мультимодальная модель компании 云碩科技（xCloudinfo） на базе Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с архитектурой смешанного внимания: gated-delta линейное внимание чередуется с полным вниманием. Разработчик удалил направление отказа методом abliteration, ортогонализовав его в 80 матрицах проекций attention и MLP; дообучение и дополнительные данные не использовались. Визуальная башня и голова языковой модели сохранены. Модель предназначена для диалогов и генерации текста, включая многоязычные вопросы и арифметические задачи; базовая архитектура также принимает изображения. Это reasoning-модель, которая может выводить блок рассуждений перед ответом, и поддерживает интерфейс вызова инструментов. В небольшом red-team тесте разработчика доля отказов составила 0 из 4; такая проверка ограничена малой выборкой и не гарантирует поведение на других запросах. Для загрузки README рекомендует один вычислительный прибор, поскольку разбиение на несколько GPU может нарушить рекуррентное состояние. Лицензия — Apache-2.0; удаление отказов ослабляет один из защитных механизмов, поэтому применение требует осторожности.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

QwQ-LCoT-7B-Instruct — языковая модель на архитектуре Qwen2, дообученная prithivMLmods на Qwen2.5-7B-Instruct с использованием набора amphora/QwQ-LongCoT-130K. Она предназначена для следования инструкциям, генерации текста и решения задач, требующих многошаговых рассуждений и подробных объяснений. Модель содержит около 7,1 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов; в карточке заявлено обучение на примерах цепочек рассуждений. Репозиторий содержит веса safetensors для Transformers. Модель подходит для диалоговых помощников и задач, где нужны логические выводы и развернутые ответы. Язык карточки и метаданные указывают на английский. Лицензия — CreativeML OpenRAIL-M.

Qwythos-9B-PerfectSplit-CoT-GGUF — GGUF-квантование модели Qwythos-9B-Claude-Mythos-5-1M, подготовленное Aronstk15. Это разговорная модель для генерации текста, рассуждений и работы с длинным контекстом; карточка описывает смешанную точность: эмбеддинги, выходная голова и чувствительные компоненты внимания сохраняются в F16, а часть слоёв MLP сжимается. По заявлению автора, размер уменьшен примерно на 37% относительно исходной версии F16, до 10,88 ГБ, с приоритетом сохранения связности многошаговых рассуждений и извлечения информации из длинного контекста. Для запуска README приводит пример с llama.cpp; заявленная лицензия — Apache-2.0. Модель предназначена для диалоговой генерации, объяснений и анализа текста или данных, а также задач, где нужно учитывать большой объём предшествующего контекста. В метаданных указан базовый чекпойнт empero-ai/Qwythos-9B-Claude-Mythos-5-1M, описанный каталогом как дообученная на Qwen3.5-9B модель; исходная карточка заявляет контекст до 1 млн токенов, но конкретный доступный предел зависит от реализации и настроек запуска. Преимущество этой сборки — сохранение полной точности для выбранных чувствительных тензоров при сжатии менее чувствительных слоёв. Качество длинных рассуждений и контекстного извлечения описано автором как ожидаемое, без приведённых независимых результатов оценки. Модель распространяется по лицензии Apache-2.0.

Карточка модели rhombus18/rhododendron-default-1o на Hugging Face совпадает с карточкой rhombus18/rhododendron-professor-1o, поэтому описание составлено по ней. Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

Карточка модели rhombus18/rhododendron-efficiency-1o на Hugging Face совпадает с карточкой rhombus18/rhododendron-professor-1o, поэтому описание составлено по ней. Rhombus18 Rhododendron Professor 1o — дообученная языковая модель семейства Qwen3, разработанная пользователем rhombus18 на основе unsloth/qwen3-32b-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 29,7 млрд параметров. Карточка указывает обучение с помощью Unsloth и библиотеки TRL от Hugging Face; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает английский язык и контекст длиной до 128 000 токенов. В README не описаны специализированные области применения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно. Лицензия — Apache 2.0.

synapticstudio/rxcortix-qwen3-14b-merged — дообученная языковая модель synapticstudio на архитектуре Qwen3 с плотной причинной языковой моделью Qwen3ForCausalLM. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 14 млрд параметров и рассчитана на контекст до 40 960 токенов. В карточке указано, что обучение выполнялось с Unsloth и библиотекой TRL от Hugging Face. Базовая модель — unsloth/qwen3-14b-unsloth-bnb-4bit. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не описывает специализацию по предметным областям или отдельные результаты оценки качества.

Saba-Passthrough-2 — объединённая языковая модель Sakalti, созданная методом passthrough с помощью mergekit на основе Sakalti/Saba1.5-Pro. Это плотная авторегрессионная модель семейства Qwen2 с 2,9 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель распространяется в формате safetensors под лицензией Apache-2.0. README указывает на слияние одной модели, хотя метаданные каталога описывают происхождение как дообучение Sakalti/Saba1.5-Pro, поэтому способ происхождения в карточке трактуется как слияние по описанию автора.

Saiga/MistralNemo 12B — русскоязычная чат-модель, разработанная Ильёй Гусевым на основе изменённой версии Mistral Nemo. Это плотная авторегрессионная модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и помощи пользователям на русском языке. README описывает версии, обученные с использованием SFT и SimPO на наборах данных Saiga; для работы используется формат запросов Mistral Nemo с системным сообщением в начале диалога. Модель принимает текстовые запросы и генерирует текстовые ответы. В метаданных указан нативный контекст размером до 1 024 000 токенов, формат весов — safetensors. Лицензия — Apache-2.0. README указывает на базу в виде abliterated-версии Mistral Nemo, но точный идентификатор базового репозитория не приведён.

SauerkrautLM-7b-HerO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и SauerkrautLM-7b-HerO; конфигурация слияния использует bf16. Модель предназначена для генерации текста и ответов на инструкции в формате диалога. Контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Seraph-7B-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием Mistral-7B-Instruct-v0.1 и Weyaxi/Seraph-7B методом SLERP. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и принимает текстовые инструкции и диалоговые запросы для генерации ответов. Модель предназначена для диалоговых приложений и генерации текста по инструкциям. Нативный контекст составляет 32 768 токенов; файлы опубликованы в формате safetensors. Лицензия — Apache-2.0. Данных о языковой специализации и ограничениях качества в карточке нет.

SphinxMind-14B — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой указана shuttleai/shuttle-3-mini; также в объединении участвовала EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2. Модель предназначена для генерации текста и диалогового общения. Размер составляет 14 млрд параметров, максимальный контекст — 65 536 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о конкретных языках, лицензии и специальных ограничениях в предоставленных данных отсутствуют.

T3qm7xNeuralsirkrishna_ShadowYam — объединённая модель семейства Mistral с 7,1 млрд параметров, созданная на основе automerger/T3qm7xNeuralsirkrishna-7B и automerger/ShadowYam-7B. Она предназначена для генерации текста и диалогов, принимает текст и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Tralalabs_Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Tralalabs/Qwen3-2507-4B-Instruct-Haiku-4.5-Merged-FP16. Исходная модель связана с семейством Qwen3 и обучена с использованием набора данных TeichAI/claude-haiku-4.5-1700x; квантизацию выполнил bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель содержит около 4 миллиардов параметров, поддерживает текстовый ввод и вывод, а в метаданных указан английский язык. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; размеры файлов составляют примерно от 2,36 до 8,05 ГБ. В README приведён формат шаблона чата на основе специальных токенов Qwen. Контекстное окно, точный набор поддерживаемых языков и результаты сравнительных оценок не указаны. Основное преимущество модели — выбор вариантов квантизации, позволяющий адаптировать качество и требования к памяти, причём Q6_K и Q6_K_L отмечены как варианты очень высокого качества, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает потребление памяти, но может снижать качество генерации. Для запуска требуется совместимое программное обеспечение с поддержкой данной архитектуры; для новых моделей иногда необходимо обновление используемого инструмента. Лицензия — Apache-2.0.

zephyr-7b-beta-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.1 и HuggingFaceH4/zephyr-7b-beta методом SLERP. Веса имеют около 7,1 млрд параметров, формат репозитория — safetensors, нативная длина контекста — 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Её можно использовать для чат-ботов, черновиков текстов, ответов на вопросы и кратких сводок. В README также перечислены отдельные варианты модели в форматах GPTQ и GGUF с разными уровнями квантизации для запуска на GPU или CPU и GPU. В метаданных указан английский язык. Качество ответов и фактическая точность могут различаться; для надёжных результатов требуется проверка человеком. Лицензия — Apache-2.0.

ZEUS 8B V27 — языковая модель, созданная автором репозитория T145 слиянием нескольких моделей через mergekit и метод DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли модели Skywork, HuatuoGPT, SuperNova Lite, SauerkrautLM, Lexi Uncensored и Storm. Это плотная авторегрессионная архитектура Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Модель подходит для диалоговых приложений и генерации ответов по инструкциям. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; эти оценки не гарантируют качество на конкретных пользовательских задачах. Языки, на которых модель специально оптимизирована, в предоставленных данных не обозначены. Лицензия в предоставленной карточке и метаданных отсутствует, поэтому условия использования здесь определить нельзя.

dranger003/c4ai-command-r-v01-iMat.GGUF — это GGUF-квантизированная версия C4AI Command-R, исследовательской генеративной языковой модели с открытыми весами, разработанной CohereForAI. Версия содержит importance matrix-квантизации, подготовленные для запуска в совместимом программном обеспечении, включая llama.cpp. Модель предназначена для генерации текста, рассуждений, суммаризации, ответов на вопросы, многоязычного общения и сценариев retrieval-augmented generation (RAG). Она также поддерживает использование инструментов: на основе диалога и списка доступных инструментов модель может формировать JSON-список действий. Для grounded generation она принимает фрагменты извлечённых документов и использует их при подготовке ответа. Command-R имеет около 35 миллиардов параметров, 40 слоёв и контекстное окно до 131072 токенов. Это текстовая модель без заявленной поддержки изображений или других мультимодальных входов. Многоязычная генерация оценивалась для 10 языков, однако их конкретный перечень в предоставленных данных не указан. Importance matrix обучалась примерно на 100 тысячах токенов из корпуса WikiText; квантизация может уменьшать требования к ресурсам по сравнению с полноразмерной моделью, но потенциально сопровождается потерей точности, зависящей от выбранного варианта квантования. Модель распространяется по лицензии CC-BY-NC-4.0, которая допускает использование с соблюдением условий лицензии, но ограничивает коммерческое применение. Для корректной работы требуется поддержка архитектуры Command-R, GGUF и соответствующего шаблона чата.

calme-2.2-qwen2-72b — плотная языковая модель на базе Qwen2-72B-Instruct, дообученная MaziyarPanahi. Она предназначена для диалоговых систем, генерации и обобщения текста, ответов на вопросы, работы с кодом и решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2 и шаблон диалога ChatML; контекст — до 32 768 токенов. Поддерживаемый в метаданных язык — английский. Модель подходит для виртуальных помощников, генерации контента, суммаризации, анализа кода и систем поддержки решений. В README приведены результаты оценок на нескольких бенчмарках, включая TruthfulQA. Это текстовая модель, работающая через библиотеку Transformers; веса доступны в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензирования репозитория. Как и другие большие языковые модели, она может выдавать предвзятые или ошибочные ответы; при внедрении рекомендованы safeguards и проверка человеком.

calme-2.3-llama3.1-70b — языковая модель MaziyarPanahi, дообученная на базе Meta Llama 3.1 70B Instruct с использованием датасета truthy-dpo-v0.1-axolotl. Это плотная авторегрессионная архитектура LlamaForCausalLM на 69,5 млрд параметров; модель предназначена для генерации текста в формате чата ChatML и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество в конкретном приложении. Возможны смещения и ошибки; при использовании следует предусмотреть проверки человеком. Доступна в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.

calme-2.3-rys-78b — дообученная MaziyarPanahi диалоговая языковая модель на базе dnhkng/RYS-XLarge. Она предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации текстов, работы с кодом, решения сложных задач и поддержки принятия решений. Модель использует архитектуру Qwen2 с 76,7 млрд параметров, работает с текстом и поддерживает шаблон диалога ChatML; заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а в качестве обучающего набора — truthy-dpo-v0.1-axolotl. Модель распространяется по лицензии MIT. Как и другие большие языковые модели, она может воспроизводить смещения и выдавать ненадёжные ответы; для ответственных сценариев нужны проверка результатов и человеческий контроль.

Qwen2.5-72B-Instruct-GGUF — квантованная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, поэтому модель предназначена для локального запуска в совместимых инструментах, включая LM Studio, и относится к моделям генерации текста и диалогового взаимодействия. Модель рассчитана на общение по инструкциям, генерацию и обработку текста, а также работу со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Поддерживается контекст до 128 000 токенов с настройками YaRN RoPE и генерация до 8 000 токенов. В обучении использовался набор данных объёмом 18 триллионов токенов. К сильным сторонам относятся большой размер модели, широкий языковой охват, поддержка длинного контекста и улучшенная работа со структурированной информацией. Ограничения связаны с тем, что это GGUF-квантизация: конкретный уровень точности, требования к памяти и возможные компромиссы между качеством и производительностью в README не указаны. Как и другие генеративные модели, она может создавать неточную, вредную или вводящую в заблуждение информацию. Лицензия обозначена как Qwen; точные условия следует уточнять в лицензии оригинальной модели Qwen2.5-72B-Instruct.

GPT-4 — крупная мультимодальная языковая модель OpenAI. В карточке она описана как флагманская модель, способная решать сложные задачи с большей точностью, чем предыдущие модели, благодаря широким общим знаниям и развитым способностям к рассуждению. Модель предназначена для генерации текста и решения разнообразных сложных задач. Карточка указывает на мультимодальность, но не уточняет поддерживаемые типы входных и выходных данных, языки, размер модели или длину контекста. Сведения о лицензии также отсутствуют.

Saxo, специалист по данным компании Linkbricks, дообучил Hermes-3-Llama-3.1-70B, чтобы усилить работу модели с японским языком. Модель семейства Llama с архитектурой dense содержит 69,5 млрд параметров и принимает текст. Для обучения использовали продолженное предобучение на японском корпусе новостей и Википедии, затем SFT и DPO; токенизатор оставили от базовой модели без расширения словаря. Модель предназначена для диалогов, генерации и редактирования текстов, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач. Она обучалась на японских, корейских, китайских и английских данных, поддерживает контекст до 131 072 токенов и интерфейс вызова функций и инструментов. Доступна по лицензии Apache-2.0.

NVIDIA Qwen3.5-397B-A17B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-397B-A17B, разработанной Alibaba и подготовленной с помощью NVIDIA Model Optimizer. README отдельно уточняет, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели. Она предназначена для коммерческого и некоммерческого использования, в том числе для AI-агентов, чат-ботов, RAG-систем и других приложений на базе искусственного интеллекта. Модель использует архитектуру Transformers и сеть Qwen3.5-397B-A17B с 397 млрд параметров, из которых активируется 17 млрд. Она поддерживает текстовые, графические и видео входы, включая строки, изображения RGB и видео в форматах MP4/WebM, а также контекст длиной до 262 тысяч токенов. Выходом служит текст. Квантизация NVFP4 применяется к весам и активациям линейных операторов в MoE-блоках трансформера. Ключевое преимущество модели — готовая к инференсу низкоразрядная версия, ориентированная на NVIDIA GPU и совместимая с архитектурой Blackwell. Для запуска заявлена поддержка SGLang и vLLM в Linux; версия Model Optimizer — 0.42.0. Ограничения включают высокие требования к аппаратным ресурсам и зависимость от поддерживаемой GPU-инфраструктуры; сведения о полном составе обучающих и тестовых данных, языках и некоторых аспектах базовой модели в README не раскрыты. Лицензия — Apache License 2.0.

MaziyarPanahi/calme-2.1-qwen2.5-72b — плотная языковая модель на 71,5 млрд параметров, дообученная Maziyar Panahi на основе Qwen/Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста, включая ответы на вопросы, работу виртуальных помощников, создание и суммаризацию контента, генерацию и анализ кода, решение задач и поддержку принятия решений. Модель использует архитектуру Qwen2 и шаблон диалога ChatML; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского языка. Модель подходит для широкого круга текстовых сценариев и имеет интерфейс чата. Возможны предвзятость и ошибки; при практическом применении рекомендуется человеческий контроль. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

calme-2.2-qwen2.5-72b — плотная языковая модель MaziyarPanahi, дообученная на основе Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат весов safetensors; для общения применяется шаблон ChatML. Контекст составляет до 32 768 токенов. В метаданных указан английский язык; README описывает широкие языковые сценарии, но не подтверждает поддержку конкретных дополнительных языков. README приводит результаты Open LLM Leaderboard, в том числе 84,77 по IFEval и 61,80 по BBH; оценки относятся к указанным настройкам тестирования и не гарантируют качество в конкретном применении. Известные ограничения — возможные предвзятость и ошибки, поэтому при внедрении важны проверка ответов и человеческий контроль. Лицензия обозначена как other, без уточнения конкретных условий в предоставленных данных.

Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V6-70B — языковая модель Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе V5. Модель семейства Llama с плотной архитектурой содержит 69,5 млрд параметров и принимает контекст длиной до 131 072 токенов. Веса доступны в формате Safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста и диалогов, а также для многоязычных задач на японском, корейском, китайском и английском языках. В карточке заявлены усиленная работа с отзывами и публикациями в социальных сетях, программированием, письмом, математикой и логическими задачами, а также интерфейс вызова функций и инструментов. Обучение включало японский SFT и DPO, многоязычные данные и корпус японских новостей и Википедии.

Mistral Medium 3 — корпоративная языковая модель от Mistral AI. Она предназначена для рассуждений и мультимодальных задач при сниженных эксплуатационных затратах; описание заявляет производительность передового уровня и стоимость в восемь раз ниже.

Mistral-Small-3.1-24B-Instruct-2503-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная версия инструкционной модели Mistral-Small-3.1-24B-Instruct-2503, разработанной Mistral AI. Сборку подготовил David_AU, применив собственный набор данных Neo Imatrix и конфигурацию «MAXED» с тензорами embedding и output в формате BF16 для повышения качества при увеличении размера файлов. Модель предназначена для генерации текста, выполнения инструкций, творческого письма, рассуждений и других универсальных текстовых сценариев. Она поддерживает контекст до 128 тысяч токенов и работает с текстом без компонентов компьютерного зрения. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Neo Imatrix и «MAXED»-квантизация направлены на улучшение следования инструкциям, качества вывода и связности идей. Для общего использования рекомендуются варианты Q5, Q6 и Q8, а для творческих задач — IQ3, IQ4XS, IQ4NL и Q4. Очень низкие варианты IQ1S характеризуются автором как неприемлемые по качеству, тогда как IQ2 и выше считаются пригодными с оговорками. К ограничениям относятся зависимость результата от выбранного кванта и отсутствие поддержки изображений. Модель распространяется по лицензии Apache-2.0.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.