II.3Рефакторинг, миграция и модернизация

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

leonsarmiento/Qwen3.8-27B-3bit-mtp-mlx — это 3-битная MLX-квантизация мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач text-to-text и image-text-to-text, включая диалоговую работу с текстом и изображениями, генерацию кода и другие сценарии локального запуска на устройствах Apple через совместимые MLX-инструменты. В основу входит dense hybrid-attention VLM с 64 слоями: 48 слоями linear attention и 16 слоями full attention, контекстом до 262K токенов и сохранённой vision tower. Поддерживаемые языки в README не указаны. Основная часть слоёв использует 3-битное affine-квантование с group_size=64; embedding layers и lm_head имеют 4-битное квантование, а vision tower — 8-битное. Размер модели составляет около 13,04 ГБ в трёх шардах. Отличительная особенность — встроенный Multi-Token Prediction (MTP) слой, позволяющий включать спекулятивное декодирование без отдельной модели-черновика. В oMLX с включённым MTP заявлено ускорение генерации примерно на 30,7% в однопоточном режиме и до 90,9 токена в секунду при пакетной генерации 4×, однако требуется около 15,69 ГБ пиковой памяти. Сильными сторонами являются мультимодальность, большой контекст, относительно небольшой размер для класса 27B и высокая скорость декодирования при использовании oMLX. Ограничения включают повышенное потребление памяти при активном MTP, отсутствие поддержки ускорения MTP в LM Studio и снижение качества на задачах, требующих интенсивного рассуждения: для таких сценариев рекомендуется отключать MTP. Лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, разработанная DavidAU при участии Nightmedia и TeichAI. Модель обучалась с использованием авторского метода COLD FUSION, объединяющего GAIN и инструменты Unsloth, а также датасетов Polar-STRICT-Datasets и Reasoning-STRICT-Datasets. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Модель предназначена для широкого спектра сценариев: диалогов, следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй и ролевых взаимодействий. Она поддерживает работу с изображениями и текстом, а также три режима рассуждения — xhigh, medium и low. По заявлению разработчика, настройка направлена на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении подробности ответов и качества решения задач. Поддержка MTP дополнительно ориентирована на повышение скорости вывода. Ключевые характеристики включают 27 миллиардов параметров, архитектурное семейство Qwen3.8 и форматы GGUF с различными уровнями квантования. Разработчик заявляет, что 4-битные и 8-битные варианты сохраняют около 99% производительности BF16, однако эти показатели требуют самостоятельной проверки на конкретных задачах. Ограничения включают возможные особенности и непредсказуемость изменённого поведения рассуждений, а также отсутствие в представленном README сведений о размере контекстного окна, точной архитектуре, системных требованиях и конкретных вариантах квантования.

RukaRat/Qwen3.8-27B-INT8-W8A8-imatrix-MTP — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем RukaRat. Модель предназначена для генерации и анализа текста, работы с изображениями, вызова инструментов и запуска локальных inference-сервисов на видеокартах Ampere, включая конфигурации с двумя RTX 3090 по 24 ГБ. Указана интеграция с Transformers, SGLang и vLLM, а также поддержка tool calls в формате qwen3_coder и reasoning-парсера qwen3. Весовая часть представлена в формате compressed-tensors с квантизацией INT8 W8A8; общий размер составляет около 29,1 GiB, при этом часть параметров сохранена в BF16. Архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet linear attention и 16 — full attention. Сохранены vision tower и MTP-модуль, благодаря чему поддерживаются мультимодальный ввод и speculative decoding. Нативное окно контекста заявлено до 262 144 токенов, а в описанной конфигурации на двух RTX 3090 протестирован контекст до 245 760 токенов. Языки модели в README не указаны. К сильным сторонам относятся сохранённая обработка изображений, MTP для ускорения декодирования, совместимость с видеокартами Ampere и сравнительно экономичное INT8-представление. Ограничения связаны с высокой потребностью в памяти: каждая параллельная последовательность требует значительный фиксированный recurrent state, поэтому число одновременных запросов приходится ограничивать. Производительность и доступный контекст зависят от настроек SGLang или vLLM, а сведения о работе vLLM отмечены как устаревшие. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-35B-A3B-Distill-GGUF — это набор GGUF-квантизаций дистиллированной модели Qwen3.8-35B-A3B, разработанный и выпущенный Empero. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые среды. Указанный базовый вариант создан на основе архитектуры Qwen3.6-35B-A3B и доступен для задач рассуждения и общего текстового вывода; заявленный язык — английский. Модель использует разреженную Mixture-of-Experts-архитектуру: всего около 35 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Архитектура включает 30 слоёв Gated DeltaNet и 10 слоёв полной attention, а также 256 экспертов с маршрутизацией 8 экспертов на токен. Доступны варианты квантизации от 2-битных до BF16 размером примерно от 12,6 до 71,1 ГБ. Контекстный размер в карточке не указан. Для работы требуется свежая версия llama.cpp с поддержкой Qwen3.6, Gated DeltaNet и MoE. Разреженность архитектуры делает инференс заметно быстрее плотной модели аналогичного общего размера и повышает практичность запуска на CPU или при частичном переносе на GPU. При этом весь файл весов должен помещаться в оперативную или видеопамять, а при длинном контексте дополнительные затраты на KV-кэш могут существенно увеличить требования к памяти. Поддерживается ввод изображений через отдельный vision projector, однако поведение визуальной части не оценивалось. Модель выводит рассуждения в блоках <think>, которые при необходимости следует удалять перед показом ответа пользователю. Весовые файлы распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen. Для квантизаций рекомендуется выбирать вариант с учётом доступной памяти и требуемого качества; в карточке наиболее сбалансированным указан Q4_K_M.

Qwen3-Swallow-32B-CPT-v0.2 — плотная языковая модель на 29,7 млрд параметров, разработанная проектом Swallow на базе Qwen3-32B. Это вариант continual pre-training (CPT), обученный для улучшения японского языка и японско-английского перевода при сохранении и усилении навыков математики и программирования. В обучении использовались японские и английские корпуса, параллельные тексты, а также наборы данных по математике, коду, STEM и диалогам. Модель принимает текст и генерирует текст; поддерживает японский и английский языки. Метаданные указывают контекст до 40 960 токенов, а карточка рекомендует ограничивать длину контекста 32 768 токенами или меньше. Модель рассчитана на генерацию текста, диалог, перевод и задачи рассуждения, математики и программирования. Для инференса авторы преимущественно проверяли vLLM. Модель находится на раннем этапе разработки; авторы предупреждают, что её не настраивали для надёжного следования человеческим намерениям и требований безопасности. Использование инструментов явно не обучалось, а переключатель режима рассуждений не поддерживается. Лицензия — Apache-2.0.

Карточка модели thoddnn/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Jebadiah/Tess-gradient-ruby — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Tess-2.0-Llama-3-8B и Llama-3-8B-Instruct-Gradient-4194k. В README указан метод линейного слияния DARE; модель построена на архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для диалогов и генерации текста по запросам пользователя. Её можно применять для ответов на вопросы, следования инструкциям и помощи с программированием. Метаданные указывают контекст до 8192 токенов и формат весов safetensors; модель работает через библиотеку Transformers. Карточка не приводит результаты оценки качества или подробные ограничения. Лицензия в предоставленных данных не указана.

Agents-A1 — агентная модель от InternScience, созданная для длительных многошаговых задач в поиске, инженерии, научных исследованиях, следовании инструкциям и работе с инструментами. В карточке указана архитектура Mixture-of-Experts и размер 35 млрд параметров; модель распространяется в формате Safetensors и поддерживает диалог и интерфейс вызова инструментов. Для запуска подходят Transformers, vLLM и SGLang. Модель предназначена для разбиения сложных запросов на шаги, планирования, использования внешних инструментов и адаптации по промежуточным результатам. Разработчики сообщают о трёхэтапном обучении: широкая supervised fine-tuning, обучение доменных моделей-учителей и многодоменная дистилляция с учётом различий между задачами. В карточке приведены сильные результаты на агентных, научных и инструкционных бенчмарках; они отражают оценку авторов и зависят от сценария и настроек. Веса опубликованы по лицензии Apache-2.0. Карточка не сообщает поддерживаемые естественные языки или длину контекста; описание стандартного варианта упоминает контекст 262K, но подробности конфигурации приведены не полностью. Тег метаданных указывает на генерацию текста; изображение упоминается среди тегов VLM, однако README не описывает визуальный ввод для этой конкретной модели.

airoboros-l2-7b-2.2.1 — экспериментальная инструкция-настроенная языковая модель jondurbin на архитектуре Llama. Это обновлённая версия airoboros-l2-7b-2.2: в обучении использованы преимущественно синтетические данные набора airoboros-2.2.1, обновлены примеры написания текстов, добавлены более длинные контекстные блоки и удалены данные для ролевых сценариев. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и распространяется в формате PyTorch по лицензии Llama 2. Модель предназначена для следования инструкциям, ответов на вопросы по предоставленному контексту, суммаризации, написания текстов и кода. Также она может формировать JSON- или YAML-подобные аргументы и планы для сценариев вызова функций, но выполнение этих планов требует отдельной реализации. Карточка отмечает склонность к инструкциям вместо непринуждённого общения и ролевой игры. Для диалога используется формат с маркерами USER и ASSISTANT; для вопросов по источникам автор рекомендует явные разделители контекста и инструкции не выдумывать ответ при нехватке сведений. Модель может галлюцинировать, поэтому её ответы и планы следует проверять; для предотвращения продолжения от лица пользователя нужно настроить критерии остановки генерации.

BrainTransformers-3B-Chat — чат-модель на 3,1 млрд параметров от LumenScopeAI, построенная на архитектуре BrainGPTForCausalLM с использованием спайковых нейронных сетей (SNN). Она предназначена для генерации текста и диалогового взаимодействия; карточка также указывает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, а её контекст составляет до 32 768 токенов. В README приведены результаты на общих, математических, научных, программных и многоязычных бенчмарках, включая MMLU, GPQA, MATH и HumanEval. Текущая версия сохраняет часть вычислений с плавающей точкой; разработчики сообщают о планах оптимизации для более энергоэффективного SNN-оборудования. Лицензия — Apache-2.0.

ChatHercules-2.5-Mistral-7B — диалоговая языковая модель, созданная объединением Locutusque/Hercules-2.5-Mistral-7B и openchat/openchat-3.5-0106 методом SLERP с помощью LazyMergekit. Модель построена на плотной архитектуре Mistral для генерации текста и имеет 7,1 млрд параметров; для работы с длинными диалогами заявлен контекст до 32 768 токенов. Модель предназначена для общения и генерации ответов в сценариях общего назначения. В описании базовой модели также указаны программирование и математические рассуждения. Репозиторий содержит веса в формате Safetensors, а лицензия — Apache-2.0. Карточка приводит результаты оценки на Open LLM Leaderboard, но не описывает отдельные ограничения или подробную языковую специализацию этой сборки.

huihui-ai/DeepSeek-R1-Distill-Qwen-7B-abliterated-v2 — разговорная языковая модель на архитектуре Qwen2, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Разработчик описывает её как экспериментальную версию с уменьшенным количеством отказов при ответах; модель предназначена для диалогов и генерации текста. Размер — 7,1 млрд параметров, контекст — до 131 072 токенов. Работает через библиотеку Transformers, веса опубликованы в формате safetensors. Модель унаследовала от базовой дистиллированной модели DeepSeek возможности многошаговых рассуждений, включая задачи по математике и программированию. README называет abliteration грубой реализацией и демонстрацией концепции; в отдельных случаях модели может потребоваться пример, задающий формат ответа. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Pro — крупная языковая модель, разработанная DeepSeek и преобразованная сообществом mlx-community в формат MLX. Эта версия предназначена для генерации текста и запуска с библиотекой mlx-lm, преимущественно в сценариях локального инференса на совместимом оборудовании Apple MLX. Модель использует архитектуру Mixture-of-Experts (MoE), содержит около 1,6 трлн параметров в общей сложности, из которых активируется около 49 млрд, и поддерживает контекст до 1 млн токенов. Представленная версия имеет 8-битное представление весов. В карточке указана поддержка английского языка и текстовая модальность; сведения о других языках и модальностях отсутствуют. К сильным сторонам относятся очень большой контекст, MoE-архитектура с существенно меньшим числом активируемых параметров при каждом обращении и адаптация к MLX. Ограничения этой карточки — отсутствие подробных данных о качестве, бенчмарках, требованиях к памяти, скорости, поддерживаемых языках и особенностях применения; за дополнительной информацией предлагается обращаться к исходной карточке DeepSeek-V4-Pro. Лицензия указана как MIT.

Enteli-49B — текстовая генеративная модель, разработанная командой EnteliMind. В карточке заявлены возможности понимания и генерации текста, рассуждений, программирования и математических задач; также описана адаптация под отраслевые сценарии. Эти заявления о качестве и сравнении с GPT-3.5 не подтверждены приведёнными данными бенчмарков. Метаданные указывают архитектуру MixtralForCausalLM семейства Mixtral с разреженной смесью экспертов (MoE), 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогового использования и выдаёт текст; карточка описывает удобство интеграции через Hugging Face Transformers. README не сообщает поддерживаемые естественные языки или лицензию, поэтому их нельзя уточнить. Модель распространяется в формате safetensors. В карточке заявлены эксперименты с нормализацией EMADNorm, однако подробностей для оценки их влияния на качество не приведено.

Gemma 4 26B A4B it GGUF — квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач, а также сценариев image-text-to-text, согласно указанному pipeline tag. Модель распространяется в формате GGUF с вариантами точности от BF16 до Q3 и IQ3/IQ4, поэтому подходит для запуска на системах с разным объёмом памяти. Размер файлов составляет примерно от 12,55 до 50,51 ГБ. В README приведён специальный chat template и указана совместимость с llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и LoLLMs. Варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как рекомендуемый баланс качества и размера; более сильное сжатие экономит память, но снижает качество. Языки, точное устройство архитектуры, максимальная длина контекста и подробные характеристики мультимодальности в представленном README не указаны. Модель распространяется по лицензии Apache 2.0; для базовой Gemma также приведена отдельная ссылка на условия лицензии Google.

Hercules-5.0-Qwen2-1.5B — дообученная компанией M4-ai плотная языковая модель на 1,5 млрд параметров на базе Qwen2-1.5B. Она предназначена для общего ассистентского общения и поддерживает формат запросов ChatML; заявленные области применения включают ответы на вопросы, математику, программирование и написание текстов. Модель работает с текстом и имеет контекст до 131 072 токенов. Для обучения использован набор данных Locutusque/hercules-v5.0. Модель опубликована в формате safetensors под лицензией Apache-2.0. В карточке не приведены результаты оценки качества; разработчики также отмечают, что сведения о рисках, смещениях и ограничениях требуют уточнения.

Hermes-3-Llama-3.1-405B-GGUF — это квантизированная версия текстовой генеративной модели Hermes-3-Llama-3.1-405B, разработанной NousResearch и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогов, генерации текста, ролевых сценариев, следования инструкциям, работы с ChatML, function calling и вывода в формате JSON. Указана поддержка английского языка и текстовая модальность. Модель основана на архитектуре Llama 3.1 и содержит 405 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 93,5 до 431,24 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют значительно больше оперативной или видеопамяти; низкие уровни позволяют экономить ресурсы ценой снижения качества. Квантизации созданы с использованием llama.cpp и imatrix, запуск рекомендуется через LM Studio. Сильными сторонами являются большой размер модели, поддержка инструкций, диалогового формата, function calling и JSON mode, а также широкий выбор вариантов квантизации. Ограничениями выступают исключительно текстовая специализация, заявленная языковая поддержка английского языка и очень высокие требования к памяти даже у компактных вариантов. Контекстное окно в представленном README не указано. Модель распространяется по лицензии llama3.

ClaudioItaly/Intelligence-R1-Distill-7B — слитая модель генерации текста на архитектуре Qwen2, созданная автором репозитория с помощью mergekit и метода SLERP из DeepSeek-R1-Distill-Qwen-7B и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 7,1 млрд параметров и рассчитана на диалоговую генерацию текста; в карточке указано контекстное окно 32 768 токенов. Слияние объединяет возможности двух исходных моделей, одна из которых — дистилляция DeepSeek R1 на Qwen. Карточка не описывает отдельные гарантированные преимущества или результаты оценки именно этой слитой версии. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.

NoesisLab/Kai-3B-Instruct — это инструктивно дообученная языковая модель NoesisLab с 3,1 млрд параметров на архитектуре SmolLM3ForCausalLM. Она предназначена для диалоговых ответов, рассуждений, решения математических задач и генерации кода. В карточке описана техника Adaptive Dual-Search Distillation (ADS): адаптивная функция потерь для дистилляции, которая не меняет архитектуру модели. Заявлена длина контекста 65 536 токенов; модель принимает текст и генерирует текст. В README приведены результаты отдельных бенчмарков, включая 39,27% на GSM8K в режиме 0-shot, однако методика и сравнительные результаты в карточке описаны не полностью. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0.

cyankiwi/Llama-3.1-8B-Instruct-AWQ-INT4 — это квантизированная версия инструкционной языковой модели Llama 3.1 8B Instruct. Модель основана на Meta Llama 3.1 8B Instruct, разработанной Meta, а версия в формате AWQ INT4 опубликована пользователем cyankiwi. Модель предназначена для диалоговых задач и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, а также другие сценарии применения языковых моделей. Ключевая характеристика версии — 8 миллиардов параметров и 4-битное квантование AWQ, которое может снизить требования к памяти и упростить запуск на совместимом оборудовании по сравнению с полноразмерными весами. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, модальностях и результатах бенчмарков. Преимуществами являются инструкционная настройка исходной модели и более компактное представление весов. Ограничения связаны с возможной потерей качества из-за квантования, зависимостью от совместимого программного обеспечения для AWQ и отсутствием в предоставленных данных подробностей о производительности. Использование регулируется Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, указании «Built with Llama», соблюдении Acceptable Use Policy и дополнительные коммерческие ограничения.

RLHFlow/LLaMA3-SFT-v2 — диалоговый чекпойнт с контролируемой тонкой настройкой (SFT) от команды RLHFlow, подготовленный для проекта Online-RLHF и описанный в работе «RLHF Workflow: From Reward Modeling to Online RLHF». Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; веса представлены в safetensors и предназначены для использования через Transformers. Модель дообучена от meta-llama/Meta-Llama-3-8B на RLHFlow-SFT-Dataset-ver2 в течение двух эпох. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, общих рассуждений и задач вроде математических задач и генерации кода. В README приведены результаты академических бенчмарков, включая GSM8K, MATH, HumanEval и MMLU; это результаты оценки, а не гарантия качества для конкретного применения. Карточка не описывает поддержку конкретных естественных языков и не приводит лицензию чекпойнта, поэтому такие сведения здесь не утверждаются. Как и другие языковые модели, она может выдавать фактически неверные ответы; показатели бенчмарков не заменяют проверку на целевых данных.

Luqwen4-4B — русскоязычная инструкционная текстовая модель, разработанная LLiserginov на основе Qwen3.5-4B-Base. Она дообучена методом LoRA/QLoRA и предназначена для диалогов, следования инструкциям, генерации художественных текстов и притч, решения задач по математике, физике, истории и аналитике, а также написания и объяснения программного кода. Модель также обучалась сценариям вызова инструментов, работе с API и файлами. Базовая модель содержит около 4 млрд параметров и использует гибридную архитектуру Qwen3.5 For Causal LM с Gated DeltaNet и Full Attention. Она включает 24 слоя, скрытую размерность 1024, словарь на 248 320 токенов и поддерживает контекст до 262 144 токенов. Дообучающие данные охватывают русский и английский языки; значительная часть корпуса посвящена креативному письму, русским инструкциям, притчам, веб-разработке, Windows batch-скриптам, логическим и математическим задачам на внимательность. Указанная максимальная длина последовательности при обучении составляет 4096 токенов. Сильные стороны модели — ориентация на русский язык, выразительная генерация, работа с инструкциями, кодом, инструментами и задачами на пошаговое рассуждение. Ограничения включают небольшой по современным меркам размер, возможные ошибки в математике, коде и фактических ответах, а также отсутствие заявленных количественных результатов оценки. Модель распространяется на условиях лицензии Apache-2.0; после обучения LoRA-адаптер был объединён с базовой моделью в формате 16-bit.

mlx-community/Meta-Llama-3.1-70B-Instruct-8bit — 8-битная версия инструкционно дообученной большой языковой модели Meta Llama 3.1 с 70 миллиардами параметров, подготовленная сообществом mlx-community для использования в экосистеме MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы, написание и преобразование текста. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к классу text-generation и использует библиотеку Transformers; модальность — текстовая. Ключевая особенность варианта — 8-битное представление весов, которое может снизить требования к памяти по сравнению с полноразмерной моделью, сохраняя принадлежность к крупной 70B-модели. При этом для запуска всё равно требуются значительные вычислительные ресурсы, а конкретные показатели качества, производительности и максимального контекста в README не указаны. Как и другие языковые модели, она может генерировать неточные или нежелательные ответы, поэтому результаты требуют проверки. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование запросить отдельную лицензию у Meta.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Карточка модели PS4Research/NfEJUrTPxT77xQ8f на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

yejingfu/nmagic-Meta-Llama-3.1-8B-Instruct-FP8 — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Она предназначена для задач генерации текста и ассистентского диалога, включая коммерческое и исследовательское использование. Модель принимает и возвращает текст; в метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако README отдельно ограничивает использование языками, отличными от английского, поэтому языковая применимость требует осторожной проверки. Модель имеет архитектуру Meta-Llama-3.1 и около 8 миллиардов параметров. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 с использованием симметричной потензорной схемы. Это снижает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Модель оптимизирована для инференса с vLLM и поддерживает OpenAI-совместимую подачу сервиса. По данным README, средний результат на OpenLLM Leaderboard составляет 73,44 против 73,79 у неквантизированной исходной модели, что указывает на небольшое снижение качества при заметном сокращении требований к ресурсам. Для квантизации использовались 512 калибровочных последовательностей UltraChat длиной до 4096 токенов; это не подтверждает максимальный контекст модели. Модель распространяется по лицензии llama3.1, применяемой к исходной Meta Llama 3.1.

Модель mlx-community/NVIDIA-Nemotron-3-Nano-4B-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска через MLX на устройствах Apple. В карточке указано, что она конвертирована из nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 с помощью mlx-lm 0.31.1; метаданные классифицируют связь как дообучение и указывают архитектуру NemotronHForCausalLM. Репозиторий содержит веса safetensors, а размер модели составляет 6,4 млрд параметров. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, программирования, рассуждений и агентных сценариев с интерфейсом вызова инструментов. Поддерживает контекст длиной до 262 144 токенов и ориентирована на английский язык. Для использования требуется библиотека mlx-lm; лицензия указана как other, поэтому условия следует сверить с лицензией базовой модели и репозитория перед применением.