II.10Разработка и эксплуатация AI/ML-систем

Квантизированная версия Ministral-3-3B-Reasoning-2512, разработанной Mistral AI, подготовленная bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для задач генерации и анализа текста, а также сценариев image-text-to-text, однако подробные сведения о поддерживаемой обработке изображений в README не приведены. Заявлены языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Модель имеет размер 3B параметров; доступны варианты от BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,93 до 6,87 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp, что позволяет выбирать между качеством, потреблением памяти и скоростью локального запуска. Конкретная архитектура, размер контекстного окна, требования к оборудованию и формат промптов в README не указаны; для исходной модели рекомендуется обращаться к её оригинальной странице. Распространение заявлено по лицензии Apache-2.0.

Muse-Glimmer-30B-M — это средняя по степени сжатия 4-битная квантованная версия языковой модели Muse-Glimmer-30B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования LLM, включая агентские задачи, диалоги, обучение с учителем и работу с длинным контекстом. Подробные сведения об исходной архитектуре, размере контекстного окна и поддерживаемых языках в данной карточке не указаны. Квантование выполнено методом асимметричного целочисленного представления с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные случайные преобразования Адамара; также использованы посттренировочное квантование и дистилляция с учётом квантования. По внутренним оценкам KL эта версия сопоставима с Unsloth UD-Q4_K_XL GGUF. Основные ограничения — поддержка инференса только на Apple silicon и зависимость характеристик, возможностей и ограничений от исходной модели Muse-Glimmer-30B. Лицензия — Apache-2.0.

JANGQ-AI публикует Nemotron-Cascade-2-30B-A3B-JANG_2L — квантованный вариант NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленный проектом JANG для запуска через MLX на Apple Silicon. Это языковая модель для диалогов, пошаговых рассуждений и задач с вызовом инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, MoE и слои внимания; README указывает 52 слоя, включая 6 слоёв внимания. Метаданные сообщают о 1,9 млрд параметров и контексте до 262 144 токенов. README заявляет размер файлов 10,3 ГБ, скорость генерации до 130 токенов в секунду и результат 88% на тесте MMLU из 200 вопросов в режиме рассуждений. Модель ориентирована на Mac с Apple Silicon и унифицированной памятью от 16 ГБ; для загрузки автор рекомендует MLX Studio или пакет JANG для MLX. Эти показатели приведены в карточке модели и зависят от оборудования и методики измерения. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории. README называет представление JANG квантованием 2,3 бита с 8-битным вниманием, хотя метаданные перечисляют формат safetensors.

Neutrino-8B — диалоговая языковая модель на 8,19 млрд параметров, разработанная FermionResearch на основе Qwen/Qwen3-8B. Она предназначена для общения с пользователем, генерации текста, следования инструкциям, создания структурированного JSON и вызова инструментов; режим рассуждений отключён. Модель использует плотную архитектуру TrtcV4ForCausalLM с 36 слоями и шириной скрытого представления 4096. Линейные слои упакованы в пятизначное представление с разрядностью менее двух бит на вес, а таблицы эмбеддингов хранятся в int8. Репозиторий содержит GGUF-сборку; модель также запускается через Transformers, CPU, MLX и llama.cpp на поддерживаемых платформах. Модель унаследовала многоязычную токенизацию Qwen3-8B, но в карточке не перечислены конкретные поддерживаемые естественные языки. Контекстное окно в предоставленной информации не описано. Разработчик приводит результаты MMLU-Redux и IFEval и рекомендует параметры генерации отдельно для диалога, структурированного вывода и длинных текстов. Для корректной остановки нативного C-бинарника требуется задать EOS-токен; при генерации JSON рекомендуется отключать штраф за повторения. Лицензия — Apache-2.0.

Ornith-1.5-35B-A3B-NInfer — производный инференс-артефакт модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Это мультимодальная языковая модель архитектуры Qwen 3.5 Mixture-of-Experts, принимающая текст и изображения. Артефакт предназначен для запуска и обслуживания через движок NInfer, а не является исходным репозиторием модели. Модель содержит 40 слоёв и 256 экспертов, из которых для каждого токена активны 8; эффективный объём активных параметров составляет около 3 млрд при общем классе модели 35B. Используются скрытый размер 2048, GQA с 16 attention- и 2 KV-головами, словарь из 248 320 токенов и контекст до 262 144 позиций. Зрительный энкодер состоит из 27 слоёв. Артефакт включает DFlash-компонент для multi-token prediction и обученную MTP-head, оптимизированную с помощью knowledge distillation. Заявленный язык — английский. Весы упакованы в единый файл размером около 21,22 GiB с групповой смешанной квантизацией Q4, Q5, Q6 и W8; часть тензоров сохранена в BF16. По измерениям из карточки, обученная MTP-head повысила долю принятых черновых токенов с 21,8% до 39,0% и увеличила скорость декодирования примерно на 21,5% в указанной конфигурации RTX 5090 и однопоточном CLI-тесте. Ограничения включают зависимость от движка NInfer, специфичного формата артефакта и доступности соответствующих аппаратных ресурсов; приведённые показатели не являются универсальной гарантией производительности. Базовая модель распространяется по лицензии MIT. Встроенная grafted MTP-head указана как производная от Qwen и распространяется по Apache-2.0, поэтому условия использования следует учитывать для компонентов отдельно.

PM-AI разработала эту модель для получения эмбеддингов предложений на немецком и английском языках. Это плотная модель семейства XLM-RoBERTa на базе xlm-roberta-base, обученная методом дистилляции с учительской моделью sentence-transformers/paraphrase-distilroberta-base-v2. В карточке указано, что при обучении использовались параллельные немецко-английские данные и 83,3 млн обучающих примеров. Модель предназначена для поиска семантически похожих предложений и фрагментов текста, парафразирования через сравнение эмбеддингов, семантического поиска и извлечения документов. Она принимает текст и выдаёт векторные представления; контекст составляет до 514 токенов. Модель содержит 305,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Лицензия — MIT. Разработчик отмечает внутреннее и тестовое назначение модели; качество на конкретных задачах и доменах может отличаться, а карточка не приводит результатов оценки.

BlueAvenir/prosieben_event_based_model_updated — модель Sentence Transformers на базе XLM-RoBERTa, разработанная BlueAvenir. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов; архитектура содержит около 305,2 млн параметров, а длина контекста составляет 514 токенов. Модель предназначена для построения семантического поиска и группировки похожих текстов. README описывает обучение с CosineSimilarityLoss, но не раскрывает обучающие данные и точный языковой охват; идентификатор и карточка не позволяют установить конкретную предметную область. Репозиторий содержит веса PyTorch.

BlueAvenir/prosieben_media_activities_scoring_model_updated — модель на базе XLM-RoBERTa, созданная с использованием Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, поиска по смыслу и кластеризации. В README указано обучение с CosineSimilarityLoss; всего модель содержит около 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для ранжирования текстов по смысловому сходству, семантического поиска и группировки похожих текстов. В метаданных и карточке не указана специализированная предметная область или лицензия, поэтому условия распространения по имеющимся сведениям определить нельзя.

bartowski/Qwen2.5-14B-Instruct-1M-GGUF — это набор GGUF-квантизированных версий языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговой генерации текста и других задач text-generation, включая локальное использование через llama.cpp и LM Studio. В README явно указан английский язык; формат взаимодействия предусматривает системные, пользовательские и ассистентские сообщения. Модель содержит 14B параметров и поддерживает контекст размером до 1M токенов согласно идентификатору и названию базовой модели. Доступны варианты от F32 и F16 до Q8_0, Q6, Q5, Q4, Q3 и Q2 с размерами файлов примерно от 6,5 до 59 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты используют legacy-форматы или оптимизации для CPU и Apple Silicon. Конкретные требования к оборудованию и производительность в README не указаны. Распространение выполняется по лицензии Apache 2.0. Для использования необходимо учитывать значительный объём модели и выбрать подходящий уровень квантизации в зависимости от доступной памяти и требований к качеству.

YOYO-AI/Qwen2.5-14B-YOYO-V3 — языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная YOYO-AI путём слияния нескольких моделей семейства Qwen2.5 и производных от него. В описании автор рассказывает о последовательном слиянии моделей разными методами, чтобы повысить стабильность ответов и сохранить способности к следованию инструкциям, ролевому диалогу и творческому письму. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст длиной до 1 010 000 токенов, а языковые теги карточки — английский и китайский. Репозиторий содержит веса в формате safetensors. В карточке приведены результаты Open LLM Leaderboard, включая IFEval 83,98 и BBH 49,47; эти оценки относятся к указанным бенчмаркам и не гарантируют качество в иных сценариях. Лицензия — Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов, а также другие задачи общего назначения. Вариант распространяется в формате GGUF и создан bartowski на основе llama.cpp release b6096; LM Studio выступает площадкой распространения, а не разработчиком модели. Модель содержит 4 миллиарда параметров и относится к текстовым autoregressive-моделям для text generation. Формат GGUF и поддержка llama.cpp упрощают локальный запуск и позволяют использовать её в совместимых инструментах, однако конкретные уровни квантования, размер контекста, поддерживаемые языки и дополнительные характеристики в README не указаны. К преимуществам относятся относительно компактный размер и возможность локального использования; ограничения включают возможное снижение точности из-за квантования, меньшие возможности по сравнению с более крупными моделями и типичные риски генерации неточной или неподходящей информации. Лицензия в предоставленных данных не указана.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-i1-GGUF — это квантизированная GGUF-версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и многоязычного использования. В README указана поддержка английского, китайского, японского и испанского языков. Модель описана как vision model, поэтому для работы с изображениями могут потребоваться дополнительные файлы mmproj из статического репозитория. Вариант доступен в нескольких форматах квантизации i1, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6; размеры файлов составляют примерно от 13,3 до 29,3 ГБ. Квантизация позволяет запускать модель с меньшими требованиями к памяти, однако качество и скорость зависят от выбранного варианта: Q4_K_M отмечен как рекомендуемый, а Q4_0 — как быстрый, но менее качественный. К сильным сторонам относятся широкий набор заявленных сценариев, мультиязычность, поддержка изображений и наличие вариантов с разным компромиссом между размером, качеством и скоростью. Ограничения включают отсутствие в README сведений о размере контекста, точной архитектуре, числе активных параметров, результатах тестирования и фактическом качестве мультимодальной обработки. Модель распространяется под лицензией Apache-2.0.

Qwen3.8-27B-NInfer — мультимодальный вариант модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в нативный формат .ninfer для движка NInfer. Артефакт предназначен для генерации текста в режимах с рассуждением и без него, а также для обработки изображений, нескольких изображений, видео и смешанных мультимодальных сообщений. Модель содержит 27 млрд параметров базовой модели и использует groupwise-квантизацию с распределением Q4/Q5/Q6 для текстовой части, а также W8G32_F16S для эмбеддингов и выходной головы. Поддерживаются MTP-спекулятивное декодирование, BF16 и INT8 group-64 KV-кэш, CUDA Graph decode, повторное использование совместимых префиксов и небольшое параллельное пакетное обслуживание. В README указаны текстовый контекст до 262 144 токенов и мультимодальный лимит до 81 920 токенов в проведённых тестах. Сильные стороны модели — поддержка мультимодальных сценариев, высокая точность на AIME 2025 и AIME 2026 — по 96,67%, а также результаты 87,37% на GPQA-Diamond и 82,22% на RealWorldQA. Ограничения связаны с узкой средой запуска: требуется NInfer версии с ревизии 5232055, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее. Артефакт не является чекпойнтом Transformers, Safetensors или GGUF. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.8-27B, созданная vrfai на основе исходной модели Qwen. Она предназначена для задач понимания текста и изображений, включая визуальные вопросы и ответы, анализ документов, диаграмм, OCR и математических изображений. Модель рассчитана на использование через Transformers и vLLM. Модель имеет 27 млрд параметров и распространяется в формате NVFP4 W4A4 с сериализацией compressed-tensors. Размер контрольной точки составляет 18,4 ГБ против 52 ГБ у базовой модели. Квантизация применяется к 93,28% весов линейных слоёв; отдельные компоненты, включая зрительную башню, lm_head, нормализации, эмбеддинги и некоторые слои Gated DeltaNet, сохранены в bf16. В архитектуре используются attention и Gated DeltaNet, однако размер контекстного окна и список поддерживаемых языков в карточке не указаны. Основное преимущество модели — существенно меньшее потребление памяти при сохранении мультимодальных возможностей. При наличии GPU с compute capability 10.0 или новее, например NVIDIA Blackwell B100, B200 или GB200, поддерживается полноценная NVFP4-арифметика. На H100, H200 и графических процессорах Ada модель работает через weight-only путь Marlin FP4: экономия памяти сохраняется, но вычисления, особенно при обработке длинных входов и больших пакетов, могут быть медленнее, чем у версии bf16. Результаты тестов показывают измеримые потери на отдельных задачах компьютерного зрения и обработки документов; опубликованные оценки не следует напрямую считать показателями полноценного W4A4-режима на Blackwell. Модель распространяется по лицензии Apache-2.0.

andyman5002/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B с архитектурой Qwen3 и размером 27B параметров. Модель создана как модифицированная версия базовой Qwen3.8-27B с применением abliteration — удаления направлений, связанных с отказами и защитными ответами, посредством операций в пространстве весов. Доступны форматы GGUF, safetensors и MLX; лицензия Apache-2.0. Модель предназначена для генерации текста, программного кода и работы в агентных сценариях, включая задачи кибербезопасности и red-team-исследований. Заявлена совместимость с режимом рассуждений, однако рекомендуется отключать thinking для получения более прямых ответов. В документации указаны результаты MMLU 82,3% в режиме 0-shot, а также 20 из 20 успешных тестов на задачах генерации кода; эти показатели приведены разработчиком и могут зависеть от методики оценки. К сильным сторонам относятся снижение числа жёстких отказов и защитных лекций, сохранение значительной части возможностей базовой модели и пригодность для локального использования. Ограничения включают снижение результата MMLU примерно на 2,1 процентного пункта относительно базовой модели, склонность к зацикливанию без repetition_penalty и потенциальные риски применения в задачах, связанных с вредоносным или опасным содержанием. Для рекомендуемой генерации используются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов; системный промпт разработчик советует не задавать.

Qwen3.8-4B — текстовая причинно-следственная модель на 4 млрд параметров, разработанная Empero. Это полное дообучение Qwen/Qwen3.5-4B методом дистилляции: модель обучали на примерно 45 тысячах отобранных трасс рассуждений более крупной модели учителя, включая математику, общие рассуждения и следование инструкциям. Модель предназначена для диалогов, решения математических задач, рассуждений и выполнения инструкций; она также поддерживает вызов инструментов в формате Qwen3.5. Контекст составляет 262 144 токена. Весам в формате bf16 требуется около 8 ГБ памяти, а квантованные варианты позволяют запускать модель на ноутбуках и потребительских видеокартах. Карточка сообщает об улучшении результата на MMLU относительно базовой модели, но о снижении на GSM8K. Модель принимает текст и ориентирована на текстовую генерацию. Возможности зрения унаследованы от мультимодальной базовой архитектуры, однако дообучение было текстовым, а зрительные способности не оценивались. Для запуска нужен свежий Transformers с поддержкой Qwen3.5; без специализированных CUDA-ядер некоторые слои работают медленно и потребляют больше памяти. При длинной генерации возможны циклы повторений, особенно при жадном декодировании. Лицензия — Apache-2.0; веса предоставлены «как есть» для исследований и экспериментов.

Qwen3.8-Flash-Next-BF16-GGUF — объединённая сборка модели AMAImedia на основе Tencent/Hy4-preview и AngelSlim/Hy4-preview-GGUF. Это диалоговая причинная языковая модель со зрительным энкодером, предназначенная для генерации текста и работы с изображениями. В README указаны 180 млрд физических параметров, из которых 6 млрд активируются на токен, и нативное окно контекста 262 144 токена с возможностью расширения до 1 млн. Архитектура сочетает разреженное внимание QSA, Gated DeltaNet, смесь экспертов и n-граммные эмбеддинги. Модель поддерживает диалог и интерфейс вызова инструментов; заявлены языки, включая английский, русский, китайский, вьетнамский и японский. Репозиторий содержит GGUF Q4_K и safetensors; несмотря на BF16 в названии, README не подтверждает точность этих файлов. Лицензия — Apache-2.0. Модель подходит для диалоговых и агентных задач с длинным контекстом, анализа изображений, программирования и офисной аналитики. Полный запуск требует значительных ресурсов: заявленные 6 млрд активных параметров не отражают объём всех физических весов, а README отмечает необходимость мощного оборудования или аренды ускорителей для крупных сборок.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

QwQ-R1-Distill-7B-CoT — диалоговая языковая модель от prithivMLmods, дообученная на базе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Это плотная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста, следование инструкциям и многошаговые рассуждения с подробными объяснениями. Она подходит для решения логических задач, ответов на вопросы, создания и суммирования текстов, а также учебных приложений. Модель принимает текст и генерирует текст; заявленный нативный контекст — 131 072 токена. В карточке указан английский язык. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README отмечены риски фактических ошибок и галлюцинаций, возможные смещения обучающих данных, ограниченные знания в узких областях и высокие требования к вычислительным ресурсам.

SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.

TERNARY-BONSAI-2-27B-DERISKED-GGUF — мультимодальная производная модель семейства TERNARY BONSAI, выпущенная Blackfrost AI на основе prism-ml/Ternary-Bonsai-2-27B-gguf и в конечном счёте Qwen/Qwen3.8-27B. Модель предназначена для диалоговых сценариев и работы с текстом, а при загрузке соответствующего мультимодального проектора также поддерживает входные изображения. Доступна через llama.cpp и совместимый с OpenAI API интерфейс. В релиз входят две языковые версии: высокоточная BF16 и компактная нативная тернарная PQ2_0 с групповой FP16-масштабизацией. Архитектура описана как гибридная causal language model на базе Qwen3.8, примерно на 27,36 млрд параметров и с 64 трансформерными блоками. Заявленное upstream-окно контекста составляет 262 144 токена, однако для данного релиза валидировано только 32 768 токенов; также проверена работа с одним параллельным потоком генерации. Для изображений используются отдельные проекторы BF16 или Q8_0, соответствующие языковой версии. BF16-вариант ориентирован на качество и точность, тогда как PQ2_0 существенно компактнее и демонстрирует более высокую наблюдаемую скорость декодирования в заявленной конфигурации. Обе версии прошли проверку связности оператором и HITL, а PQ2_0 указан как принятый компактный кандидат без зацикливания. При этом комплексные тесты программирования, безопасности, длинного контекста и мультимодальности ещё не опубликованы, оценка отказов находится в ожидании, а приведённые скорости не являются гарантией производительности. Процесс поведенческой модификации является проприетарным и не распространяется. Лицензия Apache-2.0 унаследована от непосредственной родительской модели.

TIGER-Lab_Qwen2.5-32B-Instruct-CFT-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct-CFT, разработанной TIGER-Lab и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста, выполнения инструкций, решения математических задач и рассуждений; исходная модель обучалась с использованием датасета TIGER-Lab/WebInstruct-CFT. В README заявлен английский язык. Модель основана на архитектуре Qwen2.5 с 32 миллиардами параметров и поддерживает текстовый сценарий использования через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 размером 34,82 ГБ до более компактных IQ3 и Q3 с размером около 14–18 ГБ. Более качественными и рекомендуемыми названы варианты Q6, Q5 и Q4, тогда как Q3 обеспечивают экономию памяти ценой снижения качества. Размер контекста, мультимодальные возможности и дополнительные языки в предоставленных данных не указаны. Преимуществами являются крупный размер модели, специализация исходной версии на инструкциях, математике и рассуждениях, а также широкий выбор квантизаций для различного объёма оперативной памяти. Ограничения связаны с потерями качества при агрессивной квантизации, значительными требованиями к памяти и отсутствием сведений о производительности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии Apache-2.0.

T-lite-it-2.1 — русскоязычная диалоговая модель компании T-Tech, дообученная на архитектуре Qwen3. Это плотная языковая модель на 7,6 млрд параметров для генерации текста и общения; она принимает текст и выдаёт текст. Метаданные указывают контекст до 40 960 токенов, тогда как README заявляет нативную длину 32 768 токенов. Модель предназначена для следования инструкциям, обычных диалоговых задач и многошаговых сценариев с вызовом инструментов. Обучение включало instruction midtraining, supervised fine-tuning и online RL; итоговая модель объединяет специализированных экспертов методом SLERP. По заявлению разработчика, она улучшает следование инструкциям и вызов инструментов относительно Qwen3-8B и работает в русском текстовом режиме с повышенной пропускной способностью благодаря оптимизированному токенизатору. Поддерживается только режим без thinking. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README рекомендует внимательно проверять ответы и обеспечивать необходимый контроль при внедрении, особенно в промышленных и коммерческих системах.

Trida-7B-Preview — языковая модель на 7,76 млрд параметров, разработанная Trillion Labs. Это Block Diffusion Language Model на базе Transformer Decoder с RoPE, SwiGLU и RMSNorm. Модель создана непрерывным предварительным обучением Trillion Labs/Tri-7B и последующим обучением по подходу Block Diffusion, который сочетает параллельную генерацию блоков с авторегрессионными зависимостями. Длина контекста — 4096 токенов; модель распространяется в формате safetensors и поддерживает диалоговую генерацию текста. Модель оптимизирована для корейского, английского и японского языков. Её можно применять для ответов на вопросы, следования инструкциям, рассуждений, математических задач и генерации кода. README приводит результаты тестирования на языковых и задачах рассуждения, кодирования, математики и следования инструкциям, но не описывает ограничения по вычислительным ресурсам или гарантии качества. Для других языков качество может снижаться; знания ограничены данными до февраля 2025 года. Лицензия — Apache-2.0.

TriFusionNexus-7b — объединённая языковая модель, созданная EryriLabs с помощью mergekit и метода TIES на основе CultriX/NeuralTrix-7B-dpo; в объединение также вошли bardsai/jaskier-7b-dpo-v5.6 и mlabonne/AlphaMonarch-7B. Модель построена на архитектуре Mistral с плотной причинно-языковой сетью, содержит 7,1 млрд параметров и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста, диалогов, следования инструкциям и рассуждений. В README приведены результаты Open LLM Leaderboard, включая средний балл 76,32, 72,78 в AI2 Reasoning Challenge и 89,17 в HellaSwag; это результаты указанных оценок, а не гарантия качества в пользовательских задачах. Репозиторий содержит веса в формате safetensors. Лицензия CC-BY-NC-2.0 ограничивает коммерческое использование.

Sakalti/ultiima-14B-v0.3 — объединённая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная с помощью mergekit методом TIES на основе sometimesanotion/Qwenvergence-14B-v9 с включением sometimesanotion/Qwen2.5-14B-Vimarckoso-v3. Модель предназначена для генерации текста в диалоговом формате, ответов на запросы и следования инструкциям; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет до 131072 токенов. Веса опубликованы в формате safetensors, с точностью float16, для использования через Transformers. Модель подходит для чат-ботов, генерации ответов и приложений, которым нужен длинный контекст. README описывает способ объединения моделей, но не приводит результаты оценки качества, рекомендуемые параметры генерации или подробное описание поведения. Лицензия в предоставленных данных не указана.

EuroLLM-22B-Instruct-2512-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-22B-Instruct-2512, разработанной utter-project и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, благодаря чему может использоваться в локальных чат-ботах, ассистентах и приложениях на базе llama.cpp. Модель имеет размер 22 млрд параметров и представлена в формате GGUF с вариантами квантизации от BF16 до Q3. Доступна поддержка llama.cpp, LM Studio и других совместимых проектов. Заявлена работа с широким набором языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, китайский, японский, корейский, арабский, хинди и многие другие европейские языки. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются широкий языковой охват, возможность локального запуска и выбор между вариантами квантизации, позволяющий балансировать качество и требования к памяти. Рекомендуемыми считаются варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним; менее битные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут обеспечивать более низкое качество. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по имеющимся данным модель является текстовой и не поддерживает изображения или другие модальности. Распространение осуществляется по лицензии Apache-2.0.

Whittle-Qwen-3.8-35B-A3B — экспериментальная языковая модель с архитектурой Qwen3.8-Flash-Next (qwen4_exp), разработанная автором проекта Whittle. Это MoE-модель с 35,1 млрд параметров, включая 10 млрд параметров хешированной n-граммной памяти; на каждом токене активны примерно 3 млрд параметров. Модель получена дистилляцией Qwen3.8-27B на обучающих примерах с математическими задачами, кодом, диалогами, строгим JSON и эпизодами работы агента. По данным метаданных, базовая модель — logic65/Whittle-Next-27B-A3B. Модель предназначена для генерации текста и диалогов, написания кода, математических рассуждений и сценариев с инструментами. Она поддерживает контекст до 262 144 токенов; автор сообщает о запуске через стандартный llama.cpp, а файлы репозитория представлены в safetensors. Английский и китайский указаны среди языков карточки; метаданные также характеризуют модель как многоязычную. Это исследовательский предварительный выпуск: дистилляция охватывает ответы учителя, помещавшиеся в окно обучения 4k токенов, длинные примеры пока не использовались, а этап дистилляции на собственных ответах модели ещё не начат. Автор предупреждает, что модель не следует напрямую сравнивать с Qwen3.8 на равных условиях. Лицензия — Apache-2.0.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.