I.6Перевод и языковая адаптация

RodKykis/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — мультимодальная модель на базе Qwen3.6-27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии RodKykis, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также обработку изображений, однако точный размер контекстного окна в README не указан. Основное назначение модели — универсальная работа с инструкциями, решение задач, рассуждения, генерация кода, творческое письмо, художественная проза и roleplay. Заявлены улучшенные instruction following, общее решение задач и reasoning. Модель позиционируется как uncensored и heretic-вариант без заявленного изменения базовых возможностей Qwen; при этом README содержит маркетинговые заявления о превосходстве над рядом базовых моделей, которые не следует считать независимой проверкой качества. Репозиторий включает обычные и MTP-варианты GGUF-квантов, выполненные с использованием NEO IMATRIX; часть выходного тензора сохранена в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуется использовать обычные кванты. Доступны варианты для различных ограничений памяти и конфигураций AMD/Vulkan. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.6-35B-A3B-w8a8-llmcompressor — квантизированная AMD версия модели Qwen3.6-35B-A3B, созданная с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и поддерживает текстовый ввод и вывод; в исходной архитектуре используется Qwen3_5MoeForConditionalGeneration с разреженной MoE-структурой. Указан английский язык. README не приводит общее число параметров в явном виде, но размер исходных весов составляет 67,0 GiB, а после квантизации — 35,1 GiB. Применяется для инференса на CPU AMD EPYC под Linux через vLLM. Используется квантизация W8A8: веса представлены в INT8 с симметричным поканальным масштабированием, активации — в INT8 с динамическим поточным масштабированием. Маршрутизатор MoE, отдельные gating-модули, модули линейного внимания, визуальная башня и lm_head сохранены в BF16. Это снижает размер модели примерно на 48% и ориентировано на эффективный CPU-инференс с оптимизациями ZenDNN и ZenTorch. В предоставленной оценке на GSM8K модель получила 0,9629 против 0,9629 у исходной BF16-версии, однако результаты приведены только для одного бенчмарка. Основные ограничения — ориентация на AMD EPYC CPU, отсутствие целевой поддержки GPU и зависимость от конкретного стека: ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0, LLM Compressor 0.12.0 и vLLM 0.26.0; на других версиях корректная загрузка не гарантируется. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

Starw1/Qwen3.8-27B-absolute-heresy-W4A16 — 4-битная версия модели MuXodious/Qwen3.8-27B-absolute-heresy, подготовленная для инференса с использованием Transformers и vLLM. Модель разработана как мультимодальная система для работы с текстом и изображениями; исходная модель относится к классу примерно 27-миллиардных параметров, а логический размер квантованной версии составляет около 28 млрд параметров. Модель использует квантизацию весов W4A16: 4-битные целочисленные веса и активации в формате 16-bit. Квантизация выполнена методом AutoRound с симметричной схемой, group_size=128 и упаковкой pack-quantized в формате compressed-tensors. Зрительная башня оставлена в формате bf16, чтобы сохранить возможности анализа изображений. Размер модели на диске составляет около 15,79 ГБ, а занимаемый объём весов в VRAM — примерно 14,71 ГиБ, что ориентирует её на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. README также указывает поддержку MTP-весов для speculative decoding и контекст до 140 000 токенов при соответствующей конфигурации vLLM. Основные сценарии применения — генерация и анализ текста, а также обработка запросов с изображениями в локальной или серверной среде. К преимуществам относятся сниженные требования к памяти и сохранение визуального компонента в bf16; ограничения связаны с использованием квантованной версии, зависимостью от совместимой инфраструктуры vLLM и отсутствием в README подробностей об архитектуре, языках, обучении и фактическом качестве модели. Лицензия в карточке этой квантованной версии не указана; за условия использования необходимо обращаться к карточке исходной модели.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.

Это текстовая языковая модель семейства Qwen3.8 от RVN, опубликованная пользователем 0bserverx как полный набор весов в формате safetensors для запуска через Transformers, vLLM и SGLang. Репозиторий представляет собой реконструкцию FP16-весов из существующего GGUF-чекпойнта; это не новая тренировка и не точное восстановление недоступного исходного чекпойнта RVN. Архитектура — плотная Qwen3_5ForCausalLM, в метаданных указано 22,3 млрд параметров, контекст — до 262 144 токенов. Модель предназначена для генерации текста в диалогах и развёртывания как локальный или серверный чат-интерфейс. Карточка подтверждает короткие проверки генерации текста, перевода на турецкий, JSON-ответа и формирования вызова инструмента; вызов инструмента проверял генерацию запроса, а не исполнение внешней функции. Модель текстовая: визуальный энкодер и MTP-голова в опубликованных весах отсутствуют. В README модель названа abliterated и uncensored, поэтому она рассчитана на генерацию с ослабленными ограничениями отказа. Представлены 13 шардов весов: 498 тензоров хранятся в F16, 353 — в F32. Проверки запуска на vLLM и SGLang прошли на одной конфигурации GPU с контекстом 4096 токенов; авторы подчёркивают, что это дымовые тесты, а не широкая оценка качества, производительности или длинного контекста. Лицензия — Apache-2.0.

majentik/Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной для Apple Silicon с использованием MLX и mlx-lm. Квантование выполнено методом affine с размером группы 64: текстовая часть модели использует 5-битное представление, а vision tower и projector сохранены в формате BF16. Модель предназначена для генерации текста и обработки задач image-text-to-text, включая сценарии, где требуется анализ изображений и формирование текстового ответа. Модель рассчитана на локальный запуск через mlx-lm на устройствах Apple Silicon. В README не указаны точное число параметров исходной архитектуры сверх обозначения 27B, поддерживаемые языки и размер контекстного окна. Среди доступных результатов оценки приведены 0,6050 на ARC Easy и 0,5350 на HellaSwag; также сообщается о прохождении проверки связности генерации без пустых ответов, циклов повторения и артефактов специальных токенов. Квантование снижает требования к памяти по сравнению с полной точностью, но может несколько ограничивать качество относительно исходной модели; характеристики производительности и совместимости зависят от конкретного устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной Qwen/Qwen3.8-27B.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-Math на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT-Search на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

evsinlb/Qwen3.8-Flash-Next-oQ4e-fp16-mtp — это 4-битная MLX-квантизированная версия Qwen3.8-Flash-Next, разработанной командой Qwen. Сборка подготовлена с использованием oQ/oMLX и предназначена для запуска на Apple Silicon, прежде всего M1 и M2. Модель относится к архитектуре qwen4_exp и поддерживает генерацию текста, а также встроенные компоненты для работы с изображениями. Модель использует MoE-архитектуру с 512 экспертами и маршрутизацией top-10, 48 слоями и гибридом линейного и полноформатного внимания. В ней присутствует таблица PLE n-грамм объёмом 51,2 млрд параметров, Lightning MTP-голова, 4-битные веса с отдельными 5-битными улучшениями для чувствительных тензоров и контекст до 262 144 токенов. Размер модели на диске составляет около 99,82 GiB в 21 шарде; компоненты vision и MTP сохранены. Сильная сторона сборки — обработка длинных документов: она подходит для пакетного суммирования, извлечения данных и одноразового анализа больших текстов. На M2 Ultra заявлена высокая скорость предварительной обработки, около 525 токенов в секунду при контексте 8K, тогда как генерация выполняется примерно со скоростью 23–25 токенов в секунду. Ограничениями являются очень большой объём памяти, зависимость производительности от режима размещения PLE-таблицы и аппаратной платформы, а также сравнительно невысокая скорость декодирования для интерактивных сценариев. Модель распространяется по лицензии Apache 2.0. Формат — MLX safetensors; для запуска требуется совместимое окружение oMLX/MLX и достаточный объём оперативной памяти, поскольку только постоянно резидентная часть занимает около 70 GiB, а полное размещение модели требует примерно 100 GiB.

Qwen3-VL-32B-Abliterated-xCloud-GGUF — мультимодальная vision-language модель, разработанная xCloudinfo (云硕科技) на основе Qwen/Qwen3-VL-32B-Instruct. Модель предназначена для задач понимания и генерации текста по текстовым и визуальным входным данным, включая анализ изображений, исследовательские и академические сценарии, контент-модерацию, легальные исследования информационной безопасности и red team-тестирование. Модель распространяется в формате GGUF с вариантами квантования Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 19,8 до 34,8 ГБ. Для работы с изображениями требуется отдельный визуальный проектор mmproj в формате F16 размером около 1,2 ГБ. Поддерживаются китайский и английский языки; отдельно заявлено сохранение качества вывода на традиционном китайском. Контекст модели в README не указан. Ключевая особенность — abliteration: без дополнительного обучения из весов удаляется направление, связанное с чрезмерными отказами, методом ортогонализации, основанным на работе Arditi et al. (2024). В заявленном тесте из 10 опасных запросов доля отказов снизилась примерно с 10/10 у исходной модели до 1/10 у версии Q4_K_M, при сохранении обычных задач и визуального понимания. Это не означает полного удаления механизмов безопасности; модель может быть менее склонна к отказам и требует ответственного применения. Её фактические ограничения, включая возможные ошибки, унаследованы от базовой Qwen3-VL, а мировоззренческие и ценностные особенности не изменялись. Модель лицензирована по Apache-2.0. README ограничивает её использование законными и ответственными сценариями и возлагает юридическую и этическую ответственность за применение на пользователя.

coder3101/Qwen3-VL-4B-Thinking-heretic — дообученная методом abliteration версия мультимодальной модели Qwen3-VL-4B-Thinking от Qwen. Она принимает текст и изображения, поддерживает диалог и предназначена для визуальных вопросов и ответов, анализа изображений и видео, распознавания текста на изображениях, пространственного рассуждения и взаимодействия с графическими интерфейсами. Архитектура — плотная Qwen3-VLForConditionalGeneration; веса опубликованы в формате safetensors. Базовая модель заявляет контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона и поддержку OCR на 32 языках, однако эти характеристики в README относятся к исходной модели и отдельно для производной версии не подтверждены. README описывает уменьшение числа отказов: 3 отказа из 100 против 97 у исходной модели, при KL-дивергенции 0,0259. Это указывает на ослабление отказного поведения, но не гарантирует отсутствие отказов или точность ответов. Модель распространяется по лицензии Apache-2.0.

synapticstudio/rxcortix-qwen3-14b-merged — дообученная языковая модель synapticstudio на архитектуре Qwen3 с плотной причинной языковой моделью Qwen3ForCausalLM. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 14 млрд параметров и рассчитана на контекст до 40 960 токенов. В карточке указано, что обучение выполнялось с Unsloth и библиотекой TRL от Hugging Face. Базовая модель — unsloth/qwen3-14b-unsloth-bnb-4bit. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не описывает специализацию по предметным областям или отдельные результаты оценки качества.

SEC-1.6-Calme-7B-Instruct — объединённая Arcee AI чат-модель на архитектуре Mistral, созданная с помощью mergekit из arcee-ai/sec-mistral-7b-instruct-1.6-epoch и MaziyarPanahi/Calme-7B-Instruct-v0.2. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Её контекстное окно составляет 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. README описывает слияние методом SLERP с настройками для слоёв self-attention и MLP; отдельных оценок качества или ограничений применения карточка не приводит.

SFGEMOMNISCIEN-Mistral-ties — текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров, созданная объединением моделей через mergekit методом TIES. В README указана NeuralHermes-2.5-Mistral-7B и базовая модель Warit2/SFGEMOMNISCIEN; каталог характеризует NeuralHermes как диалоговую модель, дообученную для выполнения инструкций и генерации текста. Модель предназначена для генерации текста и ответов в диалогах по текстовым запросам. Заявленная длина контекста — 32 768 токенов. Файлы представлены в формате safetensors; лицензия — Apache-2.0. Карточка не сообщает результаты оценки качества или конкретные ограничения применения.

smartyplats-7b-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и vihangd/smartyplats-7b-v2 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и сообщения в диалоге. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. В карточке указаны формат safetensors и лицензия Apache-2.0. README описывает схему слияния, но не приводит отдельные результаты оценки качества или специализированные области применения.

StrangeMerges_54-7B-model_stock — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Gille с помощью LazyMergekit и метода model_stock. В конфигурации указаны несколько исходных моделей, включая Gille/StrangerPerciVaaled_Strange-7B-slerp в качестве базовой; метаданные также связывают модель с другими объединёнными чекпойнтами.

T3qm7xNeuralsirkrishna_ShadowExperiment29 — объединённая текстовая модель на архитектуре Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/ShadowExperiment29-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors. Модель принимает текст и выдаёт текст. Её можно применять для диалоговых интерфейсов, составления черновиков и продолжения текста. Репозиторий распространяется по лицензии Apache-2.0.

Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.1 и migtissera/Tess-XS-v1-3-yarn-128K. В README указано слияние методом SLERP; модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст. В метаданных указан контекст длиной 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Документация не приводит конкретных ограничений или результатов оценки качества.

TriomphantV2-ECE-78B-SLERP-V1 — разговорная языковая модель, созданная студентами инженерной школы ECE под руководством преподавателя ECE и технического директора TW3 Partners. Это слияние методом SLERP двух моделей: MaziyarPanahi/calme-3.2-instruct-78b и dfurman/CalmeRys-78B-Orpo-v0.1; в конфигурации указана базовая модель MaziyarPanahi/calme-3.2-instruct-78b. Модель основана на плотной архитектуре Qwen2ForCausalLM и содержит 71,5 млрд параметров. Модель предназначена для диалогов и генерации текста. Она опубликована в формате safetensors с лицензией Apache-2.0; максимальная длина контекста — 32 768 токенов. В карточке не описаны специализированные предметные области или поддерживаемые языки, поэтому область применения следует считать общей.

uzbek-minilm — модель эмбеддингов предложений на базе BERT, дообученная разработчиком sukhrobnurali на многоязычной sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для семантического поиска и извлечения документов на узбекском языке, а также поиска между узбекским и английским. Модель содержит 124,3 млн параметров, преобразует текст в нормализованные векторы и принимает предложения или документы без специальных префиксов; максимальная длина контекста — 512 токенов. По README, дообучение на парах узбекских текстов заметно улучшило результаты поиска относительно базовой модели. Модель подходит для поиска фрагментов в узбекских корпусах и RAG, сравнения сходства предложений, кластеризации и двуязычного поиска uz↔en. Разработчик сообщает высокие результаты на тесте узбекского поиска, но на кросс-языковой оценке модель уступает своей модели uzbek-e5-small. Качество кириллического узбекского проверено ограниченно; редкие тематики представлены хуже, а часть параллельных данных содержит шум машинного перевода. Лицензия — Apache 2.0.

Это набор GGUF-квантизированных файлов модели vicky4s4s/gemma-2-2b-instruct, подготовленный организацией featherless-ai-quants. Базовая модель относится к семейству Gemma 2 и предназначена для генерации текста в инструкционном режиме: диалогов, ответов на запросы и других задач, где требуется следовать текстовым инструкциям. В README не указаны точные сведения о разработчике базовой модели, языках, длине контекста, архитектурных деталях и поддерживаемых модальностях, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки изображений или других типов данных. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 1,17 до 2,66 ГБ. Квантизация уменьшает требования к памяти и упрощает локальный запуск, но более компактные варианты могут уступать вариантам с большей разрядностью по качеству и точности. README не содержит результатов тестирования, поэтому сравнительные преимущества и ограничения конкретных вариантов количественно не подтверждены. Лицензия в предоставленных данных не указана. Условия использования следует уточнить отдельно для базовой модели vicky4s4s/gemma-2-2b-instruct и опубликованных квантизированных файлов.

Badger/δ Llama 3 Instruct 32k — чат-модель семейства Llama 3, созданная автором maldv путём рекурсивной интерполяции и объединения нескольких моделей. В репозитории указано, что для неё настроен масштаб RoPE 4; автор сообщает, что ответы сохраняют связность при контексте 16–32 тыс. токенов. Метаданные указывают 7,5 млрд параметров, архитектуру LlamaForCausalLM, формат safetensors и нативный контекст 8192 токена. Модель предназначена для диалоговой генерации текста и инструктивных запросов. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 69,49, но этих результатов недостаточно, чтобы судить о качестве во всех задачах. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; перед применением следует соблюдать её условия.

Beepo-22B-GGUF — набор GGUF-квантизированных версий языковой модели Beepo-22B, разработанной concedo и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указан английский язык; поддерживается формат инструкций Alpaca, несмотря на сохранённый формат Mistral. Модель имеет размер 22 млрд параметров. Доступны варианты от F16 до различных уровней Q8, Q6, Q5, Q4, Q3 и Q2, включая IQ-квантизации, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4-варианты, тогда как младшие Q3 и Q2 экономят память, но снижают качество. Для некоторых вариантов указаны ограничения совместимости с ARM, AVX и Mac. Архитектура, размер контекста, дополнительные модальности и лицензия в README не указаны.

BidirLM-0.6B-Embedding — разработанная командой BidirLM многоязычная двунаправленная модель-энкодер для получения текстовых эмбеддингов и последующего дообучения под задачи обработки текста. Это контрастивно дообученная версия промежуточной модели BidirLM-0.6B-Base, основанной на Qwen3-0.6B; архитектура BidirLM использует маскированное предсказание следующего токена и mean pooling. В README указано 596 млн параметров и размерность эмбеддингов 1024, а в метаданных — 507,9 млн параметров. Метаданные указывают контекст до 40 960 токенов; в оценках извлечения длинного контекста версия 0.6B показала лучший результат при 8k токенах, а стандартная оценка MTEB проводилась при длине 512 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, кластеризации, ранжирования и поиска соответствий между текстами. Её также можно дообучать для классификации последовательностей и токенов, включая NER и POS. Карточка заявляет поддержку более 119 языков, но приводит подробности обучения на 87 языках; список языков в метаданных покрывает меньший поднабор. Модель распространяется по лицензии Apache-2.0. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers.

ByT5-small — небольшая предобученная модель Google на архитектуре T5, работающая напрямую с последовательностями байтов UTF-8 и не требующая токенизатора. Она содержит около 364,6 млн параметров и обучалась на mC4 с задачей восстановления замаскированных фрагментов; для практического решения конкретных задач её необходимо дообучить. Модель предназначена для последующего дообучения на задачах преобразования текста: например, для работы с шумными или ошибочными текстами, где важны написание и произношение. Предобучение охватывает многоязычный текст, а обработка байтов позволяет принимать текст на разных языках без отдельного словаря токенов. По данным README, ByT5-small превосходила mT5-small на TweetQA. Это модель кодировщик-декодер для генерации текста по текстовому входу. Последовательности байтов обычно длиннее токенизированных последовательностей, что может снижать скорость обработки. Лицензия — Apache-2.0.

Это дообученная модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения семантической близости, поиска похожих текстов и кластеризации. Архитектура включает BERT-трансформер и усреднение токенных представлений; сходство оценивается косинусной метрикой. Модель дообучена на 1 800 парах текстов с ContrastiveLoss. Примеры обучающих данных и название модели указывают на акцент на текстах на хинди. Максимальная длина последовательности в конфигурации README — 128 токенов; метаданные указывают контекст до 512 токенов. Для сопоставления текстов следует учитывать предел 128 токенов из описания Sentence Transformers. Размер модели — 124,3 млн параметров; формат весов — safetensors. Лицензия в предоставленных данных не указана.

DeepSeek-V4.1-Flash (GGUF) — квантизированная версия текстовой модели DeepSeek-V4.1-Flash, разработанной DeepSeek и преобразованной в формат GGUF автором mxxm-t. Сборка предназначена для запуска через mx-llama.cpp — форк llama.cpp с поддержкой много-GPU инференса, pipeline и tensor parallelism, а также DSpark/MTP speculative decoding. Модель использует MoE-архитектуру с маршрутизируемыми экспертами и квантованием MXFP4; основные веса занимают около 375,8 GiB в 12 файлах, а после загрузки требуют примерно 302 GiB без учёта KV-кэша и вычислительных буферов. В комплект входит отдельный файл DSpark размером 7,43 GiB, который не является самостоятельной моделью и применяется только для speculative decoding. Поддерживается генерация текста; языки и максимальный контекст в README явно не указаны, хотя приведён пример запуска с контекстом 32768 токенов. Сильные стороны сборки — эффективный много-GPU инференс, поддержка режимов layer и tensor parallelism, MXFP4 для routed experts, сжатие KV-кэша и ускорение генерации с помощью DSpark. Ограничения заключаются в высоких требованиях к памяти и накопителю, необходимости совместимого mx-llama.cpp, отсутствии vision tower, projector и файла mmproj, а также в том, что DSpark нельзя использовать отдельно. Для chat completions ответ этой архитектуры помещается в поле reasoning_content, а не content. Лицензия MIT, унаследованная от базовой модели DeepSeek.

e5-sk-small — компактная модель текстовых эмбеддингов для словацкого языка, выпущенная в рамках проекта SkMTEB. Это плотная BERT-модель на базе intfloat/multilingual-e5-small: после сокращения словаря и дообучения она содержит 45 млн параметров по README, а в метаданных указано 51,4 млн; размер вектора составляет 384 измерения. Модель принимает текст и выдаёт эмбеддинги для семантического поиска, сравнения предложений, кластеризации и классификации. Для поиска используйте префикс query: у запроса и passage: у документов; для симметричных задач префикс не нужен. Модель ориентирована прежде всего на словацкие тексты и показывает результаты на бенчмарке SkMTEB, сопоставимые с multilingual-e5-small и text-embedding-3-small. Также заявлена поддержка межъязыкового поиска между словацким, английским и чешским. Контекстная длина архитектуры по метаданным — 512 токенов; при дообучении использовались последовательности до 256 токенов. Лицензия — MIT, веса доступны для локального запуска.