II.10Разработка и эксплуатация AI/ML-систем

mlx-community/Qwen3.6-35B-A3B-4bit-DWQ — это MLX-совместимая 4-битная версия модели Qwen3.6-35B-A3B, опубликованная сообществом mlx-community. Исходную модель разработала команда Qwen компании Alibaba Cloud. Она предназначена для локального запуска и генерации текста, диалогов, а также мультимодальных сценариев с обработкой изображений и видео; репозиторий поддерживает использование через MLX и mlx-lm. Модель имеет архитектуру Mixture of Experts с 35 млрд параметров, из которых на один токен выбираются 8 из 256 экспертов. Конфигурация включает гибридные linear attention и full attention, 40 слоёв и максимальную длину контекста 262 144 токена. Исходная модель поддерживает текстовые и визуальные входы; для производного MLX-файла заявлена 4-битная квантизация, уменьшающая размер до примерно 20,7 ГБ и предназначенная прежде всего для запуска на совместимом оборудовании Apple Silicon. Сильная сторона варианта — существенно сниженные требования к памяти по сравнению с полной моделью и возможность локального использования через MLX. Ограничения включают зависимость от MLX-совместимой инфраструктуры и потенциальную потерю качества из-за квантизации; в карточке производного репозитория подробные результаты тестов, перечень поддерживаемых языков и отдельные ограничения не указаны. Для исходной Qwen3.6-35B-A3B указана лицензия Apache-2.0, однако отдельная лицензия производного репозитория mlx-community явно не приведена.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.

oktayd разработал Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT — дообученную мультимодальную модель семейства Qwen3.5 MoE для диалога, анализа изображений, программирования и рассуждений. Архитектура Qwen3_5MoeForConditionalGeneration содержит около 35 млрд параметров, из которых примерно 3 млрд активны на токен; при генерации выбираются 8 из 256 экспертов. Модель принимает текст и изображения и предназначена для запуска через Transformers. Её можно использовать для вопросов по изображениям, объяснения научных и рабочих тем, написания и отладки кода, мозгового штурма и диалоговых сценариев. В README описан прямой, деловой и юмористический стиль общения, а также обучение на материалах по знаниям, программированию, инструментам, бизнесу и визуальным задачам. Вызов инструментов зависит от приложения, которое предоставляет и исполняет инструменты; форматирование вызовов не гарантировано. Автор сообщает о проверках текста и простых изображений, но не приводит результатов бенчмарков. Модель может ошибаться, повторяться и допускать ошибки в схемах; MTP и полноценные агентские сценарии отдельно не подтверждены. Веса BF16 занимают около 70 ГБ без учёта дополнительной памяти для выполнения. Включено обучение на взрослые темы, поэтому модель рассчитана на аудиторию 18+. Лицензия — Apache-2.0.

Карточка модели bzannah/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой lactroiii/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

Qwen3-R1-SLERP-Q3T-8B — плотная языковая модель на архитектуре Qwen3, созданная автором lemon07r слиянием методом SLERP двух моделей: deepseek-ai/DeepSeek-R1-0528-Qwen3-8B и Qwen/Qwen3-8B. Веса содержат около 7,6 млрд параметров; модель использует токенизатор Qwen и принимает текст для генерации текста в диалоговом режиме. Родительские модели объединены в пропорции 50/50. Модель предназначена для диалогов, написания текстов и решения задач на рассуждение; в README автор приводит сравнительные тесты на задачах LocalAIME и отмечает хорошие результаты слияния. Метаданные также указывают интерфейс для вызова инструментов. Контекст составляет 40 960 токенов. Репозиторий содержит веса Safetensors; README отдельно упоминает статические GGUF-квантизации Q4_K_S и Q8_0. Лицензия в предоставленных данных не указана.

Это Sentence Transformer на базе MPNet, дообученный сопоставлять предложения и абзацы по смыслу. Модель разработана для построения плотных векторов размерности 768; сходство между ними можно оценивать косинусной мерой. В репозитории используются архитектура MPNetModel, усреднение токенных представлений и нормализация векторов; размер модели — 136,7 млн параметров. Модель подходит для семантического поиска, поиска перефразировок, кластеризации, классификации текста и оценки семантического сходства. Обучающий набор содержит 307 331 пару текстов; примеры связывают фактические сообщения с целями устойчивого развития ООН, в том числе с ЦУР 4 об образовании. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают контекст 514 токенов; практический лимит из карточки модели — 384 токена. Языки обучения и поддерживаемые языки явно не перечислены. Лицензия в предоставленных данных не указана.

Bhuvana/setfit_2class_model — модель Sentence-Transformers на архитектуре MPNet, разработанная для преобразования предложений и абзацев в плотные векторы размерности 768. Веса насчитывают 136,7 млн параметров, модель распространяется в формате PyTorch и принимает текстовые последовательности длиной до 514 токенов. Векторы можно использовать для поиска семантически близких фраз и документов, кластеризации текстов и сравнения предложений по смыслу. README указывает на обучение с CosineSimilarityLoss. Модель работает с текстом; сведения о поддерживаемых естественных языках в предоставленной карточке отсутствуют. Лицензия в доступных данных не указана.

Jiunsong/SuperDeepseek-V4-Flash-abliterated-MQ-2xDGX — производная от DeepSeek-V4-Flash-0731 модель для генерации текста, рассуждений, программирования, работы с длинным контекстом и вызова инструментов. Она создана на базе официального чекпойнта DeepSeek и распространяется как самостоятельно загружаемый дообученный чекпойнт без LoRA-адаптера или адаптера времени выполнения. Заявленная архитектура — MoE класса 304B: 43 основных слоя и 3 MTP-слоя, 256 маршрутизируемых экспертов с выбором top-6. Поддерживаются английский и корейский языки, а заявленный контекст составляет 1 048 576 токенов; README сообщает об успешном извлечении данных из запроса длиной 1 028 621 токенов. Модель использует смешанную точность: FP4 для весов экспертов, FP8 E4M3 для блочно-квантизированных путей и отдельных обновлений, BF16 для чувствительных к качеству компонентов, а также NVFP4 для KV-кэша при измерениях. Ключевые преимущества — значительно меньше отказов в тестовом режиме, сохранённые показатели вызова инструментов, проверенная работа с контекстом около миллиона токенов и высокая совокупная скорость декодирования на двух узлах DGX Spark. Ограничения — модель ориентирована на специализированную конфигурацию ускорителей, имеет крупный размер около 169,5 ГБ, использует квантизацию и не предназначена для оценки как полноразмерный BF16-чекпойнт; приведённые показатели производительности относятся к конкурентной генерации, а не к одному потоку. Лицензия — MIT.

Larryvrh опубликовал версию Yi-6B-200K от 01.AI, преобразованную для совместимости с архитектурой Llama и удобства использования. Это плотная авторегрессионная языковая модель с примерно 5,8 млрд параметров и контекстом до 200 000 токенов, распространяемая в формате Safetensors. Она предназначена для генерации текста, включая ответы на вопросы, понимание длинных текстов, рассуждения, математику и задачи по коду; карточка описывает оценивание на наборах MMLU, CMMLU, C-Eval и других бенчмарках. Модель поддерживает китайский и английский языки. Лицензия — Apache-2.0. Результаты генерации могут быть ошибочными или проблематичными; в README также отмечено, что оценки бенчмарков зависят от промптов, постобработки и настроек декодирования.

christinemahler/aie5-midterm — текстовая модель Sentence Transformers, дообученная разработчиком на Snowflake/snowflake-arctic-embed-l. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сопоставления текстов по смыслу и извлечения релевантных документов. Архитектура основана на BertModel с объединением CLS-токена и нормализацией векторов; максимальная длина последовательности — 512 токенов, сходство оценивается косинусной мерой. Модель подходит для поиска по коллекциям документов, выявления перефразирований, кластеризации и классификации текстов на основе эмбеддингов. В README приведены результаты оценки на информационном поиске и обучение на 216 парах текстов; эти показатели относятся к описанным данным и сами по себе не гарантируют качество на других наборах. Лицензия в предоставленных сведениях не указана.

airoboros-3b-3p11 — экспериментальная языковая модель jondurbin для генерации текста и диалогов по инструкциям. Она основана на архитектуре StableLM Epoch и содержит 2,7 млрд параметров; модель обучена на наборе airoboros-3.1 с преимущественно синтетическими данными. Контекст составляет до 4096 токенов, для диалогов используется формат Llama 2 Chat. Модель рассчитана на следование инструкциям, ответы на вопросы по предоставленному контексту, суммаризацию и помощь с кодом. Среди специализированных примеров обучения — структурированное представление математических решений в MathJSON, извлечение полей из журналов, обезличивание текста и генерация аргументов функций в JSON или YAML. Для этих сценариев в README рекомендуются явно заданный формат запроса и низкая температура генерации. Это общая экспериментальная модель, ориентированная на выполнение инструкций, а не на непринуждённое общение или ролевые диалоги. Карточка указывает на ограничения качества отдельных инструментов обработки MathJSON. Лицензия — CC BY-SA 4.0.

Baichuan2-13B-Chat-4bits — версия чат-модели Baichuan 2 от Baichuan Intelligence, представленная в 4-битном квантованном варианте. Это плотная авторегрессионная модель на 13,3 млрд параметров для генерации текста и диалогового взаимодействия. Семейство Baichuan 2 обучено на 2,6 трлн токенов; версия Chat v2, согласно карточке, улучшает математические и логические рассуждения и следование сложным инструкциям. Модель ориентирована прежде всего на китайский и английский языки. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций, а также задач общего характера в областях права, медицины, математики, программирования и многоязычного перевода. Карточка сообщает о 4-битном варианте для снижения требований к памяти. Для работы указан PyTorch 2.0 или новее. Для использования требуется соблюдать Apache 2.0 и лицензионное соглашение сообщества Baichuan 2. Коммерческое применение требует предварительного обращения за официальной лицензией и зависит от условий, изложенных в карточке. Модель может ошибаться; перед использованием в чувствительных сценариях её ответы следует проверять.

BigFalcon3-from10B — языковая модель для генерации текста и диалогов, созданная ehristoforu с помощью объединения весов через mergekit. В README указана модель tiiuae/Falcon3-10B-Instruct как единственная включённая в объединение; метаданные каталога классифицируют результат как дообучение этой базовой модели. Архитектура плотная, семейства Llama; модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, а также может использовать интерфейс вызова инструментов. Метаданные базовой модели указывают на сценарии рассуждений, программирования и математики. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

Bonsai-2-27B-CRACK-1.75bit-JANG — языковая модель семейства Qwen3.5, подготовленная dealign.ai на основе тернарно-квантованной модели prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная модель на 27 млрд параметров с гибридной архитектурой: 48 слоёв GatedDeltaNet SSM и 16 слоёв полнослойного внимания, а также отдельной визуальной башней. Весовые данные языковой части упакованы с плотностью 1,75 бита на параметр; заявленный размер набора — около 6,1 ГБ. Указан контекст до 262 тысяч токенов. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и вызова инструментов через XML-интерфейс. README также заявляет обработку изображений и видео и поддержку английского и китайского языков. В карточке приведены результаты MMLU: 77,19% на указанном наборе из 2280 вопросов, близко к базовой модели. Отказное поведение удалено на уровне весов, поэтому модель может выдавать ответы на запросы, которые базовая модель могла бы отклонить. Для запуска требуется MLX на Apple Silicon и среда vMLX с JANG-Hadamard runtime и загрузчиком ternary_packed_26b; обычный mlx_lm.load() с этим набором, по README, даёт некорректные результаты. Лицензия — Apache 2.0. Это производная модель, а заявленные характеристики и результаты приведены авторами карточки.

Это квантизированная версия большой языковой модели c4ai-command-r-plus-08-2024 в формате GGUF, подготовленная пользователем bartowski на основе модели CohereForAI с использованием llama.cpp. Разработчик исходной модели — Cohere for AI. Модель предназначена для генерации текста и может применяться в диалоговых системах, создании и преобразовании текстов, а также в других сценариях, поддерживаемых задачами text-generation. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Конкретные архитектурные параметры, количество параметров, размер контекста и доступные варианты квантования в предоставленных данных не указаны. Формат GGUF и использование llama.cpp позволяют запускать модель в совместимом локальном программном окружении, однако характеристики производительности и качества зависят от конкретной квантованной версии и оборудования. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также требуется согласие с условиями лицензии Cohere. Условия лицензии следует учитывать при интеграции и распространении модели.

Crux-Qwen3_OpenThinking-4B — плотная авторегрессионная языковая модель семейства Qwen3, дообученная PrithivMLmods на базе Qwen/Qwen3-4B. Она содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Для диалогового применения доступны интерфейс вызова инструментов и генерация кода. Модель ориентирована на пошаговые рассуждения, решение математических и логических задач, STEM-обучение, объяснение и генерацию кода, а также структурированные ответы и перевод. В README заявлена поддержка более 20 языков; метаданные карточки отмечают английский. Для обучения использованы наборы s1K-1.1, OpenMathReasoning и FineTome-100k. Модель может быть полезна для учебных и технических задач, но иногда допускает фактические ошибки, лучше работает с ясными однозначными запросами и, согласно карточке, хуже подходит для творческой и художественной генерации. Доступна по лицензии Apache-2.0.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

DeepSeek-V4.1-Flash-EXL3-2.9bpw — это квантованная версия мультимодальной модели DeepSeek-V4.1-Flash, разработанной DeepSeek-AI. Квантование выполнено Mia’s AI Lab в формате EXL3 с использованием exllamav3 версии 1.4.2. Модель предназначена для задач генерации и анализа текста и изображений, включая сценарии с рассуждением и большим контекстом, при запуске в совместимых средах vLLM, ExLlamaV3 или TabbyAPI. В основе лежит MoE-архитектура с 552 млрд параметров и активацией 8–16 млрд параметров на токен. Поддерживаются мультимодальный ввод, зрительный модуль, DSpark, CED, CSA2 и Engram memory; заявлен контекст до 1 млн токенов. Средняя битность квантования декодера составляет 2,90 bpw, размер сборки — около 197 ГБ в 39 safetensors-частях. Включены vision-компоненты и DSpark, однако таблицы Engram не квантованы и требуют дополнительных оригинальных шардов 47 и 48 базовой модели общим объёмом около 190 ГБ. Сильными сторонами являются существенно сниженные требования к хранению по сравнению с полноразмерной моделью, поддержка длинного контекста, мультимодальность и встроенное спекулятивное декодирование DSpark. Ограничения связаны с необходимостью дополнительных Engram-шардов, использованием специализированного EXL3-совместимого стека и тем, что показатели качества из карточки базовой модели не относятся напрямую к этой квантованной сборке. Модель распространяется по лицензии MIT без дополнительных ограничений со стороны квантования.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

onnx-community/granite-4.0-350m-ONNX-web — веб-ориентированная ONNX-версия Granite-4.0-350M, разработанная командой Granite компании IBM. Это компактная instruct-модель, дообученная на открытых наборах инструкций с разрешительными лицензиями и внутренних синтетических данных с использованием supervised fine-tuning, reinforcement learning и model merging. Модель предназначена для запуска через Transformers.js, включая браузерные и on-device сценарии, а также для исследовательского применения и дообучения под специализированные области без значительных вычислительных ресурсов. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; дополнительные языки могут быть добавлены посредством дообучения. Указанный размер — 350 млн параметров; модель является текстовой, а размер контекста в README не указан. К сильным сторонам относятся малый размер, пригодность для локального и веб-запуска, следование инструкциям, многоязычность и широкий набор прикладных сценариев. Ограничениями являются меньшая емкость по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей о контекстном окне, точности на конкретных задачах и безопасности применения. Модель распространяется по лицензии Apache 2.0.

JOSIE-4B-Instruct — разговорная instruction-following модель Гёкдениза Гюльмеза, созданная полновесным дообучением gabliterated-версии Qwen3-4B-Instruct-2507. Это плотная причинная языковая модель семейства Qwen3 с 3,7 млрд параметров; метаданные указывают контекст до 262 144 токенов. Модель предназначена для естественного диалога, практических ответов и повседневной помощи, а также для письма, мозгового штурма, объяснений, анализа и задач по программированию. Модель ориентирована на следование инструкциям и прямой, дружелюбный стиль общения без чрезмерной угодливости; карточка также заявляет сохранение способностей к рассуждению и отсутствие встроенной фильтрации контента. Поддерживаются английский, испанский, французский, португальский, итальянский, арабский, японский, корейский, индонезийский, русский, вьетнамский, немецкий и тайский языки. Модель распространяется по лицензии MIT. Её ответы могут быть неподходящими для части аудиторий; результаты в узкоспециализированных областях и критически важных сценариях требуют проверки, а стиль с эмодзи подходит не для всех формальных задач.

LFM2.5-230M — компактная инструкционная языковая модель Liquid AI для локального запуска на устройствах с ограниченными ресурсами. Это дообученная на основе LiquidAI/LFM2.5-230M-Base модель семейства LFM2: плотная гибридная архитектура сочетает свёрточные блоки с блоками GQA и содержит около 221,2 млн параметров. Модель принимает текст и генерирует текст; поддерживает диалоговый формат и вызов инструментов. Карточка указывает 32 768 токенов контекста, а метаданные каталога — 128 000 токенов.

LinguaForge-BestModel-v2 — языковая модель семейства Llama, представленная пользователем dusersad12. Она предназначена для генерации текста и диалогов, решения математических и логических задач, программирования и работы в роли помощника. В README заявлены улучшения рассуждений после постобучения, снижение галлюцинаций и поддержка вызова функций; приведены результаты бенчмарков, но подробности методики и независимая проверка не описаны. Модель содержит 1,3 млрд параметров, использует архитектуру LlamaForCausalLM и доступна в формате PyTorch через Transformers. README предлагает шаблон системного промпта для чат-сценариев, а также шаблоны запросов с файлами и результатами веб-поиска. Лицензия — Apache-2.0. Карточка не сообщает контекстное окно и явно поддерживаемые естественные языки.

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Это 4-битная квантованная версия модели meta-llama/Llama-3.3-70B-Instruct, созданная и протестированная The Kaitchup. Модель сериализована в формате GPTQ с использованием AutoRound и симметричной квантизации. Модель предназначена для задач генерации текста и следования инструкциям на английском языке, включая диалоговые и другие NLP-сценарии, поддерживаемые исходной Llama 3.3 70B Instruct. Ключевая характеристика — размер исходной модели 70 млрд параметров и 4-битное представление весов, что уменьшает требования к памяти по сравнению с полной версией и делает запуск на совместимом GPU более доступным. К преимуществам относятся сохранение возможностей большой instruct-модели при сниженных требованиях к памяти, а также совместимость с инструментами и форматом GPTQ. Ограничения связаны с использованием квантования, которое может влиять на точность и качество генерации; сведения о контексте, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию в README не указаны. Модель распространяется по лицензии Llama 3.3.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

Llama-3-Smaug-8B — языковая модель Abacus.AI для диалогов и генерации текста. Она создана дообучением meta-llama/Meta-Llama-3-8B-Instruct по рецепту Smaug, ориентированному на повышение качества многоходовых разговоров в практических сценариях. Модель использует плотную архитектуру Llama, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов; веса доступны в формате safetensors для Transformers. Модель подходит для диалоговых помощников и задач генерации текста. В карточке приведено сравнение на MT-Bench: средняя оценка Smaug-8B составила 8,33 против 8,10 у исходной Meta-Llama-3-8B-Instruct. В данных также указаны обучающие наборы для математических задач, кода и диалогов. Метаданные указывают лицензию llama2; перед использованием следует учитывать условия лицензии Meta Llama 2.

Llama-Deepsync-1B — дообученная PrithivMLmods модель на базе Meta Llama 3.2 1B Instruct для генерации текста и диалогов. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса SafeTensors; модель можно запускать через Transformers. Модель предназначена для ответов на сложные запросы с логическим рассуждением, решения задач по математике, генерации и объяснения кода, творческого письма и создания структурированных ответов, включая JSON. В README также заявлена поддержка многоязычного общения и генерации длинных текстов. Метаданные указывают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; более широкое заявление README о 29 языках не подкреплено их перечнем в метаданных. Лицензия — CreativeML OpenRAIL-M.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF — это набор файлов модели в формате GGUF для Meta-Llama-3.1-405B-Instruct, разработанной Meta (meta-llama) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в локальных приложениях на базе llama.cpp и совместимых библиотек и интерфейсов. Модель имеет размер 405 миллиардов параметров, относится к текстовым моделям и поддерживает языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В репозитории представлены варианты квантизации с разрядностью 2 и 3 бита; конкретные характеристики зависят от выбранного файла. В примере указано контекстное окно до 131 072 токенов. Формат GGUF упрощает локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами. Сильными сторонами являются большой размер исходной модели, поддержка нескольких языков, инструкционное обучение, длинный контекст и возможность локального использования с квантизированными файлами. Ограничениями остаются очень высокие требования к вычислительным ресурсам, возможные потери качества из-за агрессивной квантизации и отсутствие в README подробных данных о точности, производительности и рекомендуемом оборудовании. Модель распространяется по лицензии Llama 3.1.