II.8Инженерия данных и аналитика

Huntfat/Qwen3.8-27B-OBLITERATED-huntfat — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, опубликованная пользователем Huntfat. Это модификация Qwen3.8-27B, созданная с применением метода abliteration: из весов удалялись направления, связанные с отказами и уклончивыми ответами. В README указано, что версия V3 дополнительно использует итеративное уточнение и целевую обработку корпуса данных. Модель предназначена для генерации текста, программного кода и ответов на запросы, включая сценарии, в которых исходная модель могла отказывать или заменять содержательный ответ предупреждениями. Заявлены совместимость с режимом рассуждений, применение в агентских и длинноконтекстных сценариях, а также варианты распространения в форматах GGUF, Safetensors и MLX. Точные размер контекста, перечень поддерживаемых языков и мультимодальные возможности в представленном README не указаны. По заявленным данным, V3 сохраняет большую часть возможностей исходной модели: результат MMLU составляет 82,3% против 84,5% у базовой версии, при этом автор сообщает о 20 успешных из 20 проверок задач генерации кода и о снижении склонности к отказам. Ограничениями являются умеренная потеря качества относительно базовой модели, возможные циклы при генерации без repetition_penalty и чувствительность к настройкам декодирования. Рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов; для агентских сценариев допускаются temperature 0,1–0,3 и ограничение длины ответа. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-int4-AutoRound — локально обслуживаемая INT4-квантизированная версия плотной модели Qwen3.8 с 27 млрд параметров, опубликованная под идентификатором johannrplaster. Модель предназначена для быстрого инференса через Transformers и vLLM XPU, прежде всего на видеокартах Intel Arc Pro B70. Она сохраняет MTP (multi-token prediction) head, поэтому поддерживает speculative decoding без отдельной draft-модели, а проекции linear attention in_proj_a и in_proj_b оставлены в FP16 для снижения потерь качества. Квантизация выполнена с помощью AutoRound 0.14.2 в формате W4A16 с симметричными группами размера 128 и упаковкой auto_gptq. Квантизированы декодерные слои и MTP head; нормы, MTP-слой fc, vision tower и указанные проекции сохраняются в FP16 или BF16. Размер модели на диске составляет около 18 ГБ. В комплект входит шаблон чата Qwen3.8 с поддержкой reasoning и tool-call блоков. Заявлена работа с контекстом до 128K при использовании FP8 KV-кэша, тогда как пример конфигурации задаёт 8192 токена. Сильные стороны модели — уменьшенный размер, высокая скорость декодирования на Intel Arc Pro B70, поддержка speculative decoding и сохранение качества на заявленных проверках арифметики, кода, JSON-схем, длинного контекста и стабильности повторных ответов. Ограничения включают возможные потери качества и отличия от BF16-версии из-за INT4-квантизации, а также зависимость производительности и эффективности speculative decoding от нагрузки. Модель является uncensored и может отвечать на запросы, которые обычно отклоняют модели с настройкой безопасности; ответственность за применение и проверку контента несёт пользователь. Лицензия — Apache-2.0.

Swift-Qwen3.8-27b-BF16-AMD — полноразмерная BF16-версия модели UkisAI Swift, производной от Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration; опубликована в формате safetensors для Transformers и предназначена для AMD/ROCm и рабочих процессов AMD Quark. Веса включают компонент обработки изображений и видео и MTP-голову. Модель ориентирована на диалоги и многошаговые рассуждения, включая программирование, решение математических задач, ответы на вопросы и генерацию структурированного JSON. Метод дообучения нацелен на сокращение избыточных рассуждений: в тестах UkisAI модель использовала на 58,3% меньше токенов мышления при потере качества менее 1% и ускорении до 1,95 раза на ряде задач. Эти результаты относятся к описанным в карточке испытаниям и не гарантируют аналогичных показателей в каждом сценарии. Модель принимает текст и изображения, а также поддерживает визуальные возможности базовой модели для анализа видео; выдаёт текст. Указанная в README длина контекста для приведённых тестов — 262 144 токена. Лицензия обозначена как other; карточка сообщает, что доступ к API бесплатен для исследований, но не задаёт полных условий лицензии весов. Для использования на AMD требуется совместимая среда ROCm; AMD/ROCm-развёртывание и его производительность на момент описания не проверены, а приведённые результаты получены не на оборудовании AMD.

airoboros-34b-3.3 — экспериментальная разговорная модель, разработанная Jon Durbin как дообучение 01-ai/yi-34b-200k. Это плотная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 33,9 млрд параметров; она принимает текст и генерирует текст. Модель настроена на формат диалога Llama 2 и предназначена для многошаговых бесед, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, инструкций и структурированных аргументов для вызова функций. Обучение опирается главным образом на синтетические данные Airoboros 3.2, а также на сторонние наборы для диалогов, рассуждений, кода, суммаризации и ролевых сценариев. Хотя базовая Yi поддерживает контекст до 200 000 токенов, эту версию дообучали с длиной контекста 8 000 токенов, поэтому качество на более длинном вводе может быть ненадёжным. Автор отмечает склонность к выдумыванию ответов и рекомендует низкую температуру и явные инструкции для задач по контексту. Лицензия указана как other; конкретные условия в предоставленных данных не описаны.

airoboros-l2-70b-2.2 — экспериментальная языковая модель от Jon Durbin, дообученная на базе Llama 2 70B преимущественно на синтетических данных набора airoboros-2.2. Это плотная авторегрессионная модель примерно с 68,7 млрд параметров, рассчитанная на генерацию текста; нативное контекстное окно составляет 4096 токенов. Карточка описывает формат общения с метками USER и ASSISTANT, а также отдельный формат для ответов по предоставленному контексту. Модель предназначена для ответов на инструкции и вопросы, создания текстов, помощи с кодом и генерации структурированных аргументов функций в JSON или YAML. Она также может строить планы выполнения задач с инструментами, но сама по себе инструменты не вызывает. Обучение ориентировано на пары «инструкция — ответ» больше, чем на свободный чат или ролевые сценарии; карточка отмечает возможность переопределения системных инструкций и отсутствие де-алignment данных в этой версии. Модель доступна в формате PyTorch и распространяется по лицензии Llama 2. README характеризует её как экспериментальную и предупреждает, что ответы по контексту могут быть выдуманными; для снижения риска рекомендуется явно просить не придумывать неизвестное и останавливать генерацию перед продолжением от имени пользователя.

DeepHermes 3 Mistral 24B Preview — языковая модель Nous Research, дообученная на базе Mistral-Small-24B-Base-2501. Это предварительная версия гибридной модели, объединяющей обычный режим ответов и режим рассуждений, который включается системным сообщением. Модель предназначена для диалогов, следования инструкциям, решения задач с рассуждениями и вызова функций; также поддерживает структурированные ответы в формате JSON. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст длиной до 32 768 токенов. В карточке указан английский язык. Модель доступна под лицензией Apache-2.0. Это preview-релиз с ранними возможностями рассуждения, дистиллированными из R1; авторы предупреждают о возможных особенностях и ошибках. Для сложных задач модель может генерировать длинные цепочки рассуждений, поэтому может потребоваться увеличить лимит выходных токенов.

DFlash-Qwen3.5-27B-Uncensored-i1-GGUF — GGUF-квантизированная версия модели DFlash-Qwen3.5-27B-Uncensored, разработанной AEON-7 и квантизированной mradermacher. Модель относится к семейству Qwen3.5 и предназначена для диалоговой генерации текста, рассуждений, программирования, агентских сценариев, вызова функций и работы с инструментами. Доступны варианты для локального запуска через совместимое с GGUF программное обеспечение, включая экосистемы с поддержкой vLLM и llama.cpp-подобных движков. Заявлены размер 27B параметров, гибридная архитектура с hybrid attention, linear attention и gated deltanet, поддержка длинного контекста, текстовой и визуальной информации. Это vision-language модель: для обработки изображений могут потребоваться отдельные mmproj-файлы. В README указан английский язык, однако точный перечень поддерживаемых языков и максимальная длина контекста не приведены. Доступно множество квантизаций от очень компактных IQ1 до более качественных Q5 и Q6; варианты различаются размером, скоростью и качеством, при этом README рекомендует i1-Q4_K_M как быстрый сбалансированный вариант. К сильным сторонам относятся мультимодальность, возможности для программирования, рассуждений, tool calling и локального развертывания с выбором размера файла. Ограничения связаны с потерями качества при низкобитных квантизациях, отсутствием в README количественных бенчмарков и точных требований к памяти, а также с тем, что заявленный uncensored-профиль может означать ослабленные ограничения на содержание. Модель распространяется по лицензии Apache-2.0.

QuantFactory/dolphin-2.8-mistral-7b-v02-GGUF — это GGUF-квантизированная версия модели Dolphin 2.8 Mistral 7B v0.2, созданная с использованием llama.cpp на основе cognitivecomputations/dolphin-2.8-mistral-7b-v02. Модель основана на Mistral-7B-v0.2 и предназначена для генерации текста, диалогового взаимодействия, выполнения инструкций и решения задач программирования. Заявленный язык — английский. Базовая модель поддерживает контекст до 32 000 токенов, а дообучение выполнялось на последовательностях длиной до 16 000 токенов. Квантизация в формате GGUF ориентирована на использование с совместимыми инструментами локального запуска, однако конкретный вариант квантизации в README не указан. К сильным сторонам относятся conversational-, instruction- и coding-навыки, а также возможность коммерческого использования по лицензии Apache 2.0. Модель описывается как uncensored и не содержит встроенных ограничений безопасности и выравнивания, поэтому может быть чрезмерно послушной, включая потенциально вредные или неэтичные запросы. Перед предоставлением модели как сервиса рекомендуется реализовать собственный уровень фильтрации и выравнивания; ответственность за создаваемый контент возлагается на пользователя. В README также указано, что при обучении использовались данные, сгенерированные GPT-4 и другими моделями.

dolphin-2.9.1-mixtral-1x22b-IMat-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.9.1-mixtral-1x22b, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем legraphista. Модель предназначена для локального запуска и задач генерации текста, включая диалоговое взаимодействие, следование инструкциям, программирование, математические задачи, function calling и агентские сценарии, на которые указывают использованные при обучении наборы данных. Заявленный язык — английский. Модель основана на архитектуре Mixtral и имеет обозначение 1x22b; точные характеристики архитектуры и размер контекстного окна в README не указаны. Доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 с размером файлов примерно от 8,27 до 44,48 ГБ. Для ряда вариантов применена IMatrix-квантизация, предназначенная для более эффективного уменьшения размера при сохранении качества. Это позволяет выбирать баланс между требованиями к памяти и качеством вывода, однако квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно у компактных вариантов. Для запуска используются совместимые инструменты экосистемы llama.cpp. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, данных о поддерживаемых языках помимо английского, точного контекстного окна или подробных сведений о системных требованиях, поэтому эти характеристики нельзя надежно оценить.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

Это квантованная версия Qwen3.5-35B-A3B, доработанная huihui-ai в стиле Claude 4.6 Opus и опубликованная cesarsal1nas в формате GGUF. Модель предназначена для диалогов, следования инструкциям, программирования, рассуждений, генерации структурированных ответов и работы с инструментами. Она также поддерживает обработку изображений при использовании отдельного vision-проектора. Архитектура — qwen35moe: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов, из которых активируются 8. Используется квантование Q4_K_M с размером основного файла около 20 ГБ; vision-проектор F16 занимает около 858 МБ. Заявленная длина контекста — 262 144 токена, однако в примерах запуска рекомендуется 131 072. Языки в README не указаны. К сильным сторонам относятся сочетание MoE-архитектуры с относительно небольшим числом активных параметров, поддержка текста и изображений, а также заявленная пригодность для reasoning, coding и tool use. Модель подвергнута abliteration: механизмы отказа и ограничения выравнивания удалены, поэтому её ответы могут быть менее безопасными и требуют особенно внимательного контроля. Указанные возможности основаны преимущественно на тестировании автора в Hermes Agent; независимые оценки качества не приведены. Лицензия — Apache 2.0.

MLX-версия модели K2-Horizon-3.7B от IFM, подготовленная сообществом mlx-community для компьютеров Apple с Apple Silicon. Это плотная авторегрессионная языковая модель с 3,7 млрд параметров и контекстом 524 288 токенов, предназначенная для генерации текста и диалогов. Сборка использует веса bf16 без квантизации и формат safetensors; размер на диске — около 10,1 ГБ. Модель подходит для ответов на вопросы, рассуждений, программирования и агентных сценариев в приложениях на базе MLX. Реализация архитектуры K2-Horizon поставляется вместе с репозиторием, поскольку поддержка этой архитектуры в mlx-lm может зависеть от версии библиотеки. Для запуска требуется mlx-lm; в некоторых версиях необходимо разрешить загрузку удалённого кода. Длинный контекст требует значительной дополнительной памяти для KV-кэша. Конвертация сверялась с реализацией IFM на PyTorch. Лицензия — Apache-2.0.

Kiwen1.1-27B-MTP-GGUF — это набор смешанных GGUF-квантизаций модели Kiwen1.1-27B, разработанной beyoru и подготовленной пользователем NikiKrutan для запуска через llama.cpp. Модель ориентирована на диалоговые сценарии, программирование, агентские задачи, рассуждения, математику и работу с текстами на нескольких языках, включая английский, русский и вьетнамский. Суффикс MTP и метаданные указывают на вариант, связанный с multi-token prediction, однако подробности архитектуры MTP в README не приведены. Квантизации создаются инструментом niki-allocator, который подбирает тип квантования отдельно для каждого тензора с учётом целевого размера файла и оценок качества на основе KLD. Доступно 15 вариантов размером примерно от 8500 до 23000 МиБ; автор рекомендует выбирать максимально крупный вариант, помещающийся в доступную память, поскольку больший размер обычно обеспечивает более высокое качество. Производительность зависит от оборудования и конфигурации и отдельно не измерялась. Сильной стороной модели является тщательная оценка качества квантизаций на корпусах для программирования, агентских задач, рассуждений, сложной логики, мультиязычных текстов и научных материалов, а также сравнение с альтернативными сборками. Ограничения включают зависимость скорости и пригодности от аппаратной конфигурации, возможные потери качества из-за квантования и отсутствие в README точных сведений о размере контекста, полном наборе поддерживаемых языков и характеристиках исходной архитектуры. Распространение заявлено по лицензии Apache-2.0.

LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

casperhansen/llama-3.2-3b-instruct-awq — это общественно созданная AWQ-квантизованная версия текстовой instruction-tuned модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий содержит модель примерно на 3 млрд параметров в формате Safetensors с 4-битным представлением AWQ, предназначенным для снижения требований к памяти и запуска на устройствах с ограниченными вычислительными ресурсами. Модель рассчитана на многоязычный диалог, следование инструкциям, ассистентские сценарии, извлечение знаний, суммаризацию, написание и перефразирование текста. Архитектура — авторегрессионный оптимизированный Transformer с Grouped-Query Attention; исходная модель обучена с применением supervised fine-tuning и reinforcement learning from human feedback. Это текстовая модель: принимает и генерирует текст, включая код. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Сильные стороны — небольшой размер, сниженное потребление памяти благодаря 4-битной AWQ-квантизации, 3.21 млрд параметров и пригодность для локального инференса. Ограничения включают меньшую мощность по сравнению с более крупными моделями, текстовый характер без обработки изображений и возможные потери качества из-за квантизации. Для исходной текстовой Llama 3.2 заявлен контекст до 128k токенов, а для квантизованных вариантов — до 8k токенов; дата отсечения знаний — декабрь 2023 года. Для базовой Llama 3.2 применяется специальная коммерческая Llama 3.2 Community License с требованиями к перераспределению, указанием атрибуции и соблюдением Acceptable Use Policy. В карточке репозитория casperhansen отдельная лицензия не указана, поэтому условия использования следует проверять с учётом лицензии исходной модели Meta.

PrimeIntellect публикует веса Meta Llama 3 70B Instruct, разработанной Meta. Это плотная авторегрессионная языковая модель на архитектуре Transformer с 69,5 млрд параметров. Репозиторий содержит веса, разбитые на части для более эффективной загрузки в Petals; формат файлов — safetensors. Модель принимает текст и генерирует текст и код, а версия Instruct настроена для диалогов с помощью контролируемого дообучения и обучения с подкреплением по обратной связи от людей. Используйте её для чат-ассистентов и генерации текста на английском языке. Контекст модели — до 8192 токенов. Модель предназначена для коммерческого и исследовательского применения в рамках лицензии Meta Llama 3 Community License. Она оптимизирована для полезных и безопасных ответов, но требует дополнительных мер защиты в приложениях: документация отмечает остаточные риски, в том числе связанные с опасным контентом. README указывает английский как целевой язык; использование на других языках обозначено как выходящее за рамки назначения, хотя разработчики могут дообучать модель для дополнительных языков с соблюдением лицензии и политики использования.

unsloth/MiniMax-M3 — производная версия MiniMax-M3 от MiniMax, представленная в формате safetensors. Это мультимодальная модель архитектуры MoE со Sparse Attention: около 428 млрд параметров, из которых активируются около 23 млрд. Она принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Модель предназначена для диалогов с визуальным содержимым, анализа изображений и видео, программирования и агентных сценариев с вызовом инструментов. В README заявлены ускорение обработки длинного контекста и сильные результаты в длительных агентных задачах, однако конкретные бенчмарки для этой копии не приведены. Для запуска README рекомендует SGLang, vLLM или Transformers. В метаданных указана лицензия other; дополнительные условия следует сверять с лицензией базовой модели. Карточка описывает модель как дообучение MiniMaxAI/MiniMax-M3, но не сообщает о собственном обучающем наборе или отдельных изменениях относительно базы.

Mixtral-8x22B-Instruct-v0.1 — инструктивная языковая модель от команды Mistral AI на архитектуре Mixtral с причинным декодированием и смесью экспертов (MoE). Это дообученная версия Mixtral-8x22B-v0.1; в метаданных указан размер 22B параметров и контекст до 65 536 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, объяснений и взаимодействия с инструментами через предусмотренный формат function calling. Метаданные указывают поддержку английского, испанского, итальянского, немецкого и французского языков. Для запуска README описывает токенизацию и инференс через mistral-common и mistral-inference; в метаданных также указана библиотека vLLM. Модель распространяется по лицензии Apache-2.0. README отмечает, что для function calling нужно корректно применять специальные токены и формат токенизатора SentencePieceTokenizerV3; результаты вызова инструментов зависят от совместимой обработки этого формата.

MyAwesomeModel — языковая модель, представленная в репозитории qf-iquest/MyAwesomeModel-TestRepo. README не указывает разработчика или организацию, стоящую за моделью. Модель предназначена для диалогового использования через веб-интерфейс и API, а также для локального запуска с библиотекой Transformers. Заявленные сценарии включают математическое и логическое рассуждение, ответы на вопросы, понимание текста, классификацию, анализ тональности, генерацию кода, творческих текстов и диалогов, суммаризацию, перевод, извлечение знаний и выполнение инструкций. Также заявлены поддержка системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска. В обновлённой версии улучшены рассуждение и вывод, снижена частота галлюцинаций; на тесте AIME 2025 приведён рост точности с 70% до 87,5% и увеличение среднего объёма рассуждений с 12K до 23K токенов на вопрос. README не содержит надёжных сведений об архитектуре, количестве параметров, размере, поддерживаемых языках, модальностях и длине контекста. Упоминается вариант MyAwesomeModel-Small с архитектурой, идентичной базовой модели, и отдельной конфигурацией tokenizer, однако подробности не раскрыты. Рекомендованная температура генерации — 0,6; специальный токен в начале ответа не требуется. Лицензия модели — MIT.

Nemotron-Cascade-2-30B-A3B-AWQ-4bit — 4-битная AWQ-версия диалоговой языковой модели семейства NVIDIA Nemotron-Cascade-2. В README исходная модель описана как модель Mixture of Experts на 30 млрд параметров с 3 млрд активируемых параметров; она дообучена на базе Nemotron-3-Nano-30B-A3B-Base и поддерживает режимы рассуждений и обычных инструкций. Метаданные указывают задачу генерации текста, библиотеку Transformers и базовую модель nvidia/Nemotron-Cascade-2-30B-A3B. Модель предназначена для диалогов, решения сложных задач и агентных сценариев; README сообщает о высоких результатах на математической олимпиаде IMO и олимпиаде по информатике IOI 2025. Она использует шаблон ChatML, а для запуска исходной версии README описывает контекст до 262 144 токенов. AWQ-квантизация снижает точность весов до 4 бит; показатели качества и требования к ресурсам именно этой сборки в предоставленных сведениях не приведены. Лицензия указана как other, конкретные условия следует сверять с карточкой модели.

openNemo-Cascade-2-30B-A3B — реализация модели NVIDIA Nemotron-Cascade-2-30B-A3B от Empero AI, в которой CUDA-зависимые операции заменены на операции PyTorch. Это позволяет использовать веса исходной модели без преобразования и применять 4-битную квантизацию bitsandbytes и QLoRA дообучение на совместимых потребительских GPU. Модель предназначена для генерации текста в диалогах и задач сложного рассуждения; в карточке приведены результаты исходной модели на математических и программных олимпиадах. Архитектура гибридная: 52 слоя сочетают блоки Mamba2, смесь экспертов MoE с выбором 6 из 128 экспертов и несколько блоков Grouped Query Attention. В README указано около 30,87 млрд параметров всего и около 3 млрд активных на токен; метаданные каталога сообщают 1,9 млрд параметров, поэтому оценка размера противоречива. Метаданные указывают контекст до 262 144 токенов и поддержку английского, испанского, французского, немецкого, итальянского и японского языков. Репозиторий сохраняет имена весов NVIDIA и заявляет совместимость с исходным чекпойнтом. Для 4-битной загрузки README оценивает потребление видеопамяти примерно в 17 ГБ, а для QLoRA — около 19 ГБ. Лицензия в метаданных обозначена как «other»; конкретные условия использования следует проверять в файлах репозитория и у базовой модели.

RedHatAI/phi-4-FP8-dynamic — квантизированная версия языковой модели Microsoft Phi-4, разработанная Red Hat совместно с Neural Magic. Это текстовая causal language model на архитектуре Phi3ForCausalLM: принимает текст и генерирует текст, преимущественно на английском языке. Модель предназначена для исследовательских задач, генеративных AI-функций, диалоговых и общих текстовых сценариев, а также задач рассуждения, логики, работы с математикой и кодом в условиях ограниченных ресурсов или повышенных требований к задержке. В модели к FP8 квантизированы веса и активации линейных операторов внутри трансформерных блоков. Веса используют симметричную статическую поканальную квантизацию, а активации — симметричную динамическую потокенную квантизацию. По заявлению разработчиков, это примерно на 50% снижает требования к GPU-памяти и размер диска, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Для квантизации использована библиотека llm-compressor; модель оптимизирована для развертывания с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Длина контекста в предоставленных данных не указана. Сильные стороны модели — уменьшенные требования к памяти и дисковому пространству, потенциально более высокая производительность и поддержка сценариев, где важны рассуждение, логика, низкая задержка и эффективность вычислений. Ограничения включают преимущественную ориентацию на английский язык, отсутствие специальной оценки для всех прикладных сценариев и типичные для языковых моделей риски ошибок, проблем безопасности и несправедливых результатов; перед применением в ответственных областях необходимы отдельная проверка и меры контроля. Модель выпущена под лицензией MIT.

Mungert/Phi-4-mini-instruct.gguf — GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и распространяемой на основе этой модели. Это компактная открытая instruction-tuned модель для генерации текста, диалогов, следования инструкциям, рассуждений, генерации кода и function calling. Модель ориентирована на локальный запуск с ограниченными ресурсами и низкой задержкой, а также поддерживает сценарии чат-комплитов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Заявлена поддержка контекста до 128K токенов и мультиязычных сценариев, однако конкретный перечень языков в README не указан. Для диалогов используется специальный chat format, а для вызова инструментов предусмотрен структурированный формат с описанием функций в JSON. Преимуществами являются открытая доступность, большой контекст, поддержка reasoning, генерации кода и function calling, а также наличие GGUF-формата, подходящего для локального inference. Ограничения зависят от аппаратной конфигурации и выбранной квантизации; в описанном CPU-сценарии на шести потоках загрузка занимала около 15 секунд, а inference был медленным и обрабатывал только один пользовательский запрос одновременно. Модель распространяется по лицензии MIT.

Qwen2.5-14B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2, созданная с помощью MergeKit методом TIES. В качестве базовой использована Qwen/Qwen2.5-14B-Instruct-1M; в объединение также вошли DeepSeek-R1-Distill-Qwen-14B и Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 1 010 000 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая работу с длинным контекстом. Метаданные также указывают интерфейс для вызова инструментов. Данные карточки описывают способ объединения и состав моделей, но не приводят отдельные оценки качества или подробные рекомендации по применению. Лицензия в предоставленных данных не указана. Для использования следует учитывать условия лицензий исходных моделей; их совместимость здесь не подтверждена.

unsloth/Qwen2.5-7B — базовая предобученная языковая модель Qwen2.5, представленная в репозитории Unsloth и основанная на Qwen/Qwen2.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; веса доступны в формате safetensors. Модель предназначена для генерации и продолжения текста, а также для дальнейшего дообучения под конкретные задачи. Модель поддерживает более 29 языков, включая китайский, английский, русский, французский, испанский, немецкий, японский и арабский. Контекст составляет 131 072 токена. Среди описанных возможностей семейства — генерация длинного текста, работа с кодом, математическими задачами, таблицами и структурированными ответами, включая JSON. Это базовая модель без инструкционной настройки, поэтому в карточке не рекомендуется использовать её напрямую для диалогов; для чат-сценариев её следует дообучить. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная модель семейства Qwen3.5, дообученная и собранная DavidAU совместно с Nightmedia на основе нескольких собственных дообучений Qwen3.5-9B. Это плотная архитектура с 9 млрд параметров, 32 слоями и зрительным энкодером; модель принимает текст и изображения и формирует текстовые ответы. В карточке заявлены контекст до 256 тыс. токенов, режимы рассуждения и диалога, а также интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая ролевые сценарии. По заявлению автора, она прошла многоэтапное дообучение и слияние моделей; опубликованы также варианты GGUF, включая квантизованные и MTP-сборки, но эта карточка содержит исходные веса BF16 в safetensors. Автор приводит сравнительные результаты тестов, однако они не гарантируют превосходства на любых задачах. Модель помечена как uncensored; лицензионные условия — Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-GGUF — модель tvall43 на базе Qwen3.6-14B-A3B-FableVibes, представленная в формате GGUF для запуска на локальном оборудовании. Это обобщённая модель рассуждений, дообученная на трассах рассуждений Claude Fable 5 и дополненная данными Claude Opus, Qwen для tool calling и Evol-Instruct-Code. Модель предназначена для генерации текста, решения сложных задач с многошаговым рассуждением, программирования и сценариев, связанных с вызовом инструментов. Она использует архитектуру MoE с примерно 14B активных параметров после pruning исходной модели Qwen3.6-35B-A3B. Поддерживается мультимодальный режим через файлы mmproj, однако конкретные характеристики контекстного окна и полный перечень поддерживаемых языков не указаны. Модель ориентирована на англоязычные сценарии. К сильным сторонам относятся структурированное рассуждение, улучшенные способности к работе со сложными задачами и возможность запуска на потребительском оборудовании благодаря нескольким вариантам квантования: от F16 до Q2_K. Модель поддерживает llama.cpp и совместимые интерфейсы, включая LM Studio, Ollama и text-generation-webui. Ограничениями являются повышенная задержка до первого токена из-за режима thinking, значительный расход токенов на рассуждение и возможное снижение качества в сильно сжатых вариантах квантования. Распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Jormungandr-i1-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-27B-Jormungandr, разработанной nightmedia и подготовленной пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и распространяется в виде imatrix-квантов различных уровней точности и размера. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, рассуждений, творческого и художественного письма, а также ролевого взаимодействия. В метаданных заявлена поддержка английского, китайского, японского и испанского языков. README указывает, что это vision-модель; для работы с визуальными данными могут потребоваться mmproj-файлы из статического репозитория. Также заявлена поддержка контекста до 256 тысяч или 1 миллиона токенов, однако конкретные ограничения зависят от исходной модели и используемого программного обеспечения. Главное преимущество — широкий выбор квантов GGUF, позволяющий выбирать баланс между размером, скоростью и качеством: от вариантов примерно на 11 ГБ до 22,5 ГБ. Для части вариантов приведены рекомендации по качеству и скорости, но независимые бенчмарки в README отсутствуют. Ограничения включают возможную потерю качества из-за квантования, необходимость совместимого GGUF-движка и дополнительных mmproj-файлов для мультимодальной работы; точные возможности и производительность зависят от выбранного кванта и оборудования. Модель и квантизированные файлы распространяются по лицензии Apache-2.0.

RentedNoodle/Qwen3.8-27B-GSQ-RCO-IQ3_XXS-Uncensored — это квантизированная GGUF-версия модели Qwen3.8-27B, созданная на основе abliterated-чекпойнта huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это не новая дообученная модель: снижение выраженности отказов унаследовано от Huihui, а квантизация выполнена по методологии GSQ/RCO, разработанной ISTA-DASLab. Модель ориентирована на генерацию текста, диалоги, рассуждения, программирование, извлечение информации, работу с инструментами и мультимодальные сценарии, заявленные для базовой Qwen3.8. В README явно указаны английский и китайский языки, а также поддержка long-context и vision; конкретные характеристики мультимодального ввода для этого файла отдельно не подтверждены. Модель использует смешанную 3-битную квантизацию IQ3_XXS с размером файла около 9,75 GiB и примерно 27,3 млрд параметров. Сохранена MTP-head для speculative decoding, а 96 чувствительных тензоров оставлены в BF16. Заявлен контекст до 196K токенов с KV-кэшем q4_0 на видеокарте с 16 ГБ памяти, однако полноценная точность извлечения на всём окне 196K ещё не подтверждена: основные проверки проводились при 32K и 64K. Есть шаблон froggeric-qwen3.8-tool-use.jinja для вызова инструментов. Сильные стороны модели — возможность размещения большого контекста на одной 16-ГБ GPU, поддержка MTP и заметное ускорение генерации при совместимом llama.cpp, а также хорошие результаты в тестах извлечения из контекста, базового tool calling, связности диалога и смешанных задач. Ограничения связаны с потерями качества из-за квантизации и abliteration: для конкретного файла GPQA-Diamond составил 60,6% без рассуждений и 61,6% с рассуждениями, а расширенный тест вызова инструментов дал 9/14. Снижение отказов не гарантирует универсального соблюдения запросов, поэтому ответственность за безопасное и соответствующее требованиям использование несёт развёртывающая сторона. Модель распространяется по лицензии Apache-2.0.