I.6Перевод и языковая адаптация

Это общественная квантованная версия Meta-Llama-3.1-70B-Instruct, разработанной Meta AI и подготовленной сообществом hugging-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в качестве инструкционного чат-ассистента. Она поддерживает текстовый ввод и вывод и ориентирована на многоязычное применение. Модель содержит 70 миллиардов параметров и использует архитектуру Llama 3.1. Версия преобразована из FP16 в INT4 с помощью AutoAWQ: применяется GEMM-квантизация с нулевой точкой и размером группы 128. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для загрузки контрольной точки требуется около 35 GiB видеопамяти без учёта KV-кэша и CUDA-графов, поэтому фактические требования выше. README не указывает размер контекста исходной модели. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с FP16-версией и совместимость с Transformers, AutoAWQ и Text Generation Inference, включая оптимизацию инференса с Marlin kernels. Ограничения связаны с потерями точности, возможными для INT4-квантизации, значительными требованиями к видеопамяти и отсутствием заявленной поддержки мультимодальных входов. Модель распространяется по лицензии Llama 3.1.

Карточка модели Crystalcareai/meta-llama-3.1-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Это текстовая модель для генерации ответов по инструкциям и диалогового взаимодействия. Модель предназначена для задач text generation, включая ответы на запросы, создание и преобразование текста и другие сценарии, где требуется работа с естественным языком. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер базовой модели — 8B параметров; модальности и размер контекстного окна в предоставленных данных не указаны. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с полноразмерными весами, однако конкретный уровень квантизации в README не указан. Ограничения включают возможные ошибки и неточности генерации, а также отсутствие данных о производительности, точном варианте квантования и контекстном окне. Модель распространяется по Llama 3.1 Community License от Meta с требованиями соблюдать Acceptable Use Policy, включать текст лицензии и атрибуцию при распространении, а также использовать обозначение «Built with Llama» в предусмотренных лицензией случаях.

Mollel разработал эту модель Sentence Transformer на основе Geotrend/bert-base-sw-cased, дообучив её на наборе пар и триплетов предложений на суахили и английском языках. Модель использует BERT с усреднением токенных представлений и формирует плотные векторы размерностью 768; для сравнения текстов применяется косинусное сходство. Максимальная длина последовательности — 512 токенов. Модель предназначена для поиска семантически близких предложений и абзацев, оценки сходства текстов, поиска перефразирований, кластеризации и извлечения признаков для классификации. Обучение с MatryoshkaLoss позволяет использовать укороченные векторы размером 512, 256, 128 или 64 измерения с приведёнными в карточке результатами оценки сходства. Это текстовая модель без генерации ответов; показатели качества зависят от данных и сценария применения. Лицензия в предоставленных данных не указана.

NB-Whisper Medium Beta — модель автоматического распознавания речи от NB AI-Lab Национальной библиотеки Норвегии. Это дообученная версия Whisper с архитектурой WhisperForConditionalGeneration и примерно 455,8 млн параметров. Модель принимает аудио и создаёт письменную транскрипцию; основное назначение — распознавание норвежской речи, также поддерживается английский язык. Обучение проводилось на 20 000 часах размеченных данных, включая норвежские речевые корпуса, парламентские выступления, телесубтитры и аудиокниги. Доступны веса в форматах PyTorch, TensorFlow, JAX/Flax, ONNX и Safetensors. Модель предназначена для общего распознавания речи и доступна третьим сторонам как публичная бета. Разработчик отмечает, что для норвежских транскрипций она показывает высокое качество относительно ASR-моделей сопоставимого размера. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

Melvin56/Phi-4-mini-instruct-abliterated-GGUF — это GGUF-квантизированная версия модели Phi-4-mini-instruct-abliterated, разработанная на основе модели huihui-ai/Phi-4-mini-instruct-abliterated. Модель предназначена для генерации текста, включая задачи обработки естественного языка и работы с кодом, и может использоваться в локальных приложениях через совместимые средства инференса GGUF. Модель поддерживает мультиязычную генерацию, включая арабский, китайский, чешский, датский, нидерландский, английский, финский, французский, немецкий, иврит, венгерский, итальянский, японский, корейский, норвежский, польский, португальский, русский, испанский, шведский, тайский, турецкий и украинский языки. Доступны варианты квантования Q2_K_S, Q2_K, Q3_K_M, Q3_K_L, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 1,59 до 7,68 ГБ. Кванты подготовлены с использованием imatrix dataset и поддерживают различные режимы вычислений на CPU и GPU, включая AVX2, ARM NEON, Metal, cuBLAS, rocBLAS и SYCL; отдельные конфигурации могут работать медленнее или иметь ограничения совместимости. Сильными сторонами модели являются широкий выбор размеров квантования, мультиязычность и возможность локального запуска на разнообразном оборудовании. Ограничения включают отсутствие сведений о точном размере архитектуры, длине контекста и результатах тестирования, а также возможное снижение качества и скорости при использовании компактных квантов. Модель распространяется по лицензии MIT.

Qwen1.5-1.8B-Chat — чатовая языковая модель из семейства Qwen, разработанная командой Qwen. Это бета-версия Qwen2, основанная на декодерной архитектуре Transformer и предназначенная для диалогов и генерации текста. Модель содержит 1,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель поддерживает многоязычный ввод и вывод, а её токенизатор адаптирован к разным естественным языкам и программному коду. В архитектуре используются активация SwiGLU и смещение QKV в механизме внимания. Карточка относит её к чатовым моделям и отмечает улучшение предпочтений пользователей для диалоговой версии семейства. Модель подходит для чат-ботов, ответов на запросы и генерации текста. В README советуют использовать Transformers версии 4.37.0 или новее и параметры генерации из generation_config.json, чтобы снизить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

Qwen-2.5-Aether-SlerpFusion-7B — слитая текстовая модель на архитектуре Qwen2, созданная ZeroXClem с помощью mergekit и метода SLERP. Она объединяет Locutusque/StockQwen-2.5-7B и allknowingroger/QwenSlerp8-7B; размер модели составляет 7,1 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая создание контента, суммаризацию, перевод и чат-ботов. README также предлагает использовать её для юридических, медицинских и технических задач, однако не приводит специализированных оценок или подтверждения качества в этих областях. Модель принимает текст и генерирует текст; метаданные указывают английский и китайский языки. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

aquaduck/Qwen3.8-Flash-Next-GGUF — это квантизированная версия каузальной языковой модели Qwen3.8-Flash-Next, разработанной командой Qwen и Alibaba Cloud. Репозиторий поддерживается Aquaduck и содержит GGUF-представление UD-Q3_K_XL, а также пакеты слоёв для поэтапной или многонодовой загрузки. Это не дообученная модель и не новый запуск обучения, а упаковка и квантизация исходных весов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp, а также staged loading через экосистему Aquaduck Arc. Заявлены мультиязычная поддержка, контекст до 262 144 токенов и около 180 млрд параметров. Архитектура включает 48 слоёв, GQA с 24 Q- и 2 KV-головами и скрытое измерение 2560. К преимуществам относятся большой контекст, мультиязычность, возможность локального запуска в формате GGUF и поддержка поэтапной загрузки для распределённых конфигураций. Ограничения связаны с крупным размером модели и снижением качества по сравнению с более точными версиями из-за квантизации UD-Q3_K_XL. Отдельные shard-файлы не являются полноценной моделью и не предназначены для прямого запуска в стандартном llama.cpp. Лицензия указана как other и наследуется от базовой модели; необходимо соблюдать условия лицензии и рекомендации исходной карточки модели.

Soulfate24/Spark-X2.5-4B-ASHQ1-Remix-GGUF — квантизированная версия Spark-X2.5-4B в формате GGUF, подготовленная в рамках набора ASHQ1-Remix. В README описана активационно-ориентированная квантизация с параметрами, основанными на измерениях; указана поддержка линии AutoRound с ограничениями насыщения. Модель предназначена для генерации текста и диалогового использования. Базовая Spark-X2.5-4B — компактная многоязычная языковая модель для диалога, кода, рассуждений, перевода и агентных задач. Метаданные указывают базовую модель XHToken/Spark-X2.5-4B и лицензию Apache-2.0. Данных о размере контекста и конкретных языках этой версии в предоставленных материалах нет.

smartcat/SRBedding-base-distilled-v1 — модель Sentence Transformers, разработанная Smartcat и дообученная на основе intfloat/multilingual-e5-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, поиска и сопоставления текстов; сходство можно оценивать косинусной мерой. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию векторов. Модель принимает текст, поддерживает последовательности длиной до 512 токенов и выдаёт эмбеддинги. В карточке описано обучение на параллельных англо-сербских данных и приведены результаты оценки для перевода между английским и сербским, а также семантического сходства. Модель подходит для межъязыкового поиска и сопоставления англоязычных и сербоязычных предложений, а также для кластеризации, поиска перефразировок и классификации на основе эмбеддингов. Лицензия в предоставленных данных не указана.

OpenVINO/whisper-large-v3-int8-ov — это модель автоматического распознавания речи, основанная на Whisper large-v3, разработанном OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 с использованием NNCF. Она предназначена для преобразования аудиозаписей в текст и поддерживает широкий набор языков, включая английский, китайский, немецкий, испанский, русский, французский, японский, арабский, украинский и многие другие. Ключевые особенности модели — совместимость с OpenVINO и возможность запуска через Optimum Intel, OpenVINO GenAI или OpenVINO Model Server, в том числе на CPU и совместимом GPU. Квантизация INT8_ASYM с размером группы 128 снижает требования к памяти и может повысить эффективность инференса, однако README не содержит количественных данных о точности, скорости или влиянии сжатия на качество распознавания. Для работы требуется OpenVINO версии 2025.2.0 или новее и Optimum Intel версии 1.23.0 или новее. Модель распространяется по лицензии Apache-2.0; ограничения следует дополнительно учитывать по оригинальной карточке Whisper large-v3.

ALIA-40b-Instruct-2601 — это диалоговая языковая модель с архитектурой LlamaForCausalLM, разработанная лабораторией Language Technologies Барселонского суперкомпьютерного центра. Модель содержит 38,3 млрд параметров и принимает текстовые запросы, формируя текстовые ответы. Она дообучена на базе BSC-LT/ALIA-40b: после адаптации к длинному контексту проведены обучение на 808 тысячах диалоговых примеров и выравнивание предпочтений методом DPO на 368 тысячах пар ответов. Контекстное окно составляет 163 840 токенов. Модель предназначена для диалогов и следования инструкциям. Постобучение в первую очередь ориентировано на испанский, каталанский, баскский, галисийский и английский языки; качество на других языках не гарантируется. Рекомендуются температура генерации 0–0,2 и отказ от repetition penalty. Модель не поддерживает нативный вызов функций и не предназначена для автономных действий; математические рассуждения и генерацию кода следует проверять. Выравнивание безопасности предварительное, возможны нежелательные ответы. Лицензия — Apache-2.0.

Bielik-Minitron-7B-v3.0-Instruct — генеративная языковая модель команды SpeakLeash и центра ACK Cyfronet AGH, созданная при участии NVIDIA. Это причинная декодерная модель с 7,35 млрд параметров для диалогов и выполнения инструкций; она использует шаблон чата ChatML и распространяется в формате Safetensors для Transformers. Модель получена сжатием и дообучением Bielik-11B-v3-Base-20250730: структурная обрезка и дистилляция знаний сократили число параметров на 33,4%, после чего модель прошла настройку инструкций и выравнивание предпочтений. Она предназначена для генерации ответов и решения языковых задач на европейских языках; особое внимание при обучении уделено польскому. Авторы сообщают о восстановлении примерно 90% производительности исходной модели и ускорении вывода до 50%. Лицензия Apache 2.0. Модель может ошибаться и выдавать предвзятый, оскорбительный или иной нежелательный текст; встроенных механизмов модерации нет. Ее ответы не следует считать проверенными фактами.

Это GGUF-квантизированная версия языковой модели c4ai-command-r-plus, разработанной CohereForAI и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных inference-средах, поддерживающих формат GGUF. В README также указан специальный шаблон промпта для системных, пользовательских и ответов чат-бота. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Точные сведения об архитектуре, количестве параметров и размере контекста в карточке не приведены. Доступно несколько вариантов квантизации от Q2_K до Q5_K_M, а также IQ-квантизации; размер файлов составляет примерно от 39,49 до 73,62 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество при больших требованиях к памяти, а низкие подходят для систем с ограниченными ресурсами, но снижают качество. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством, скоростью и потреблением памяти. Q5_K_M и Q5_K_S обозначены как высококачественные рекомендуемые варианты, а некоторые I-квантизации эффективнее по соотношению размера и качества при использовании cuBLAS или rocBLAS. I-квантизации не совместимы с Vulkan и могут работать медленнее K-квантизаций на CPU и Apple Metal. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая запрет коммерческого применения.

Distil-Whisper large-v3 German — модель распознавания речи, созданная Sanchit Gandhi как версия с дистилляцией знаний модели openai/whisper-large-v3. Она предназначена для транскрибации немецкой речи в текст и обучена на немецкой части Common Voice 15.0. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. В ней сохранён и заморожен энкодер исходной модели, а декодер сокращён до двух слоёв. При обучении использовались дистилляция по распределению выходов модели-учителя и функция потерь по размеченным аудиоданным. В оценке на наборе Common Voice модель показала WER 6,324 после нормализации и 8,233 по орфографической метрике. Модель принимает аудио и выдаёт текст. Карточка описывает поддержку немецкого языка; результаты и назначение подтверждены для немецкой речи. Модель распространяется по лицензии MIT.

Это конверсия модели distil-whisper/distil-medium.en в формат CTranslate2, опубликованная Systran для распознавания речи. Её можно запускать через CTranslate2 и совместимые проекты, включая faster-whisper. Модель принимает аудио и выдаёт текстовую транскрипцию на английском языке. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT.

unsloth/gemma-3-4b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 4B, подготовленная Unsloth на базе google/gemma-3-4b-it. Семейство Gemma разработано Google DeepMind и распространяется с открытыми весами. Вариант предназначен для диалогов, генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Модель поддерживает мультимодальный ввод: текст и изображения с последующей генерацией текста. Для модели 4B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, включая английский. Модель совместима с библиотекой Transformers, а 4-битное представление снижает требования к памяти и упрощает локальное развёртывание, однако может несколько ухудшать точность по сравнению с полноразмерными вариантами. Модель рассчитана на запуск в условиях ограниченных ресурсов, включая локальные компьютеры и собственную облачную инфраструктуру. README не содержит подробностей о конкретной архитектуре, результатах тестирования или известных ограничениях качества для отдельных языков и задач. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

furiosa-ai/gemma-4-31B-it-FP8-block — оптимизированная сборка мультимодальной модели Gemma 4 31B, разработанной Google, с упаковкой Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Модель предназначена для диалоговых и генеративных задач, а исходная версия также поддерживает обработку изображений вместе с текстом. В текущей FXB-реализации доступен только режим текст-текст, поэтому она подходит для текстового инференса и развёртывания через OpenAI-совместимый API. Архитектура модели — плотная Gemma 4 с vision encoder и transformer decoder, сочетающим слои sliding-window и full attention. Текстовый трансформер подвергнут статическому FP8 block quantization линейных слоёв с блоками 128×128; активации динамически квантизуются в FP8 группами по 128 значений. Vision tower, embeddings, output head и KV cache сохраняются в 16-битной точности. Для работы на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. К сильным сторонам относятся мультимодальная архитектура исходной модели, поддержка опционального reasoning и native tool calling на уровне upstream-модели, а также снижение требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения текущей FXB — отсутствие поддержки изображений, reasoning parser и tool-call parser в Furiosa-LLM; автоматический выбор инструментов и соответствующие расширенные режимы поэтому недоступны. Модель распространяется по лицензии Apache 2.0.

GigaChat-20B-A3B-instruct-bf16 — диалоговая языковая модель семейства GigaChat, основанная на ai-sage/GigaChat-20B-A3B-instruct. Она предназначена для генерации ответов и ведения диалога на русском и английском языках. Модель использует архитектуру DeepSeekForCausalLM и поддерживает контекст до 131 072 токенов; формат весов — safetensors, библиотека для работы — Transformers. В названии указана точность bf16. Модель подходит для диалоговых интерфейсов и задач, где требуется обрабатывать длинные запросы и контекст. Репозиторий распространяется по лицензии MIT. В карточке не приведены результаты оценок качества и подробности о требованиях к оборудованию.

Granite 4.2 30B GGUF — квантизированная версия языковой модели IBM Granite 4.2 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.2-30b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев и вызова инструментов. Модель содержит около 29 млрд параметров и работает с текстовыми входными данными. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. В карточке не указаны архитектура и размер контекстного окна. Спекулятивное декодирование не поддерживается. Для работы предусмотрен специальный шаблон запросов с системными и пользовательскими сообщениями, а также секцией рассуждений <think>. Главное преимущество этой версии — выбор множества вариантов квантизации с разным соотношением качества, размера и требований к памяти: от BF16 и Q8_0 до компактных вариантов Q2 и IQ3. В README наиболее сбалансированным вариантом назван Q4_K_M размером 18,03 ГБ, а варианты Q5 и Q6 характеризуются как высококачественные. При этом снижение разрядности может ухудшать качество ответов, особенно у компактных вариантов, а для запуска требуются значительные ресурсы. Лицензия модели — Apache-2.0.

QuantFactory/Llama-3-Open-Ko-8B-GGUF — квантованная версия модели Llama-3-Open-Ko-8B, созданная с использованием llama.cpp. Базовую модель разработал Junbum Lee (Beomi) на основе Meta Llama 3; она представляет собой продолжительно предобученную авторегрессионную языковую модель с оптимизированной архитектурой Transformer. Модель предназначена для генерации текста и кода, а также для адаптации под различные задачи обработки естественного языка, включая дообучение специализированных и диалоговых моделей. Она принимает только текст и генерирует текст или код. Модель ориентирована прежде всего на английский и корейский языки; для обучения использовались более 17,7 млрд токенов и свыше 60 ГБ дедуплицированных общедоступных текстов. Размер модели — 8B параметров, контекст — до 8 тысяч токенов, поддерживается Grouped-Query Attention (GQA), дата отсечения знаний — июнь 2023 года. К сильным сторонам относятся адаптация Llama 3 к корейскому языку, открытые данные обучения и доступность в квантованном формате, потенциально снижающем требования к ресурсам при локальном запуске. Ограничения заключаются в том, что это статическая офлайн-модель без встроенного обновления знаний и базовая предобученная версия, а не готовая instruction-tuned модель; для диалоговых сценариев и соблюдения требований безопасности может потребоваться дополнительное дообучение и внешние защитные механизмы. Использование регулируется лицензией Llama 3 и соответствующей Acceptable Use Policy; необходимо соблюдать их ограничения и применимое законодательство.

rinna/llama-3-youko-8b-instruct — диалоговая языковая модель компании rinna на архитектуре Llama 3, созданная на основе Llama 3 Youko 8B. Модель содержит около 7,5 млрд параметров, использует плотный 32-слойный трансформер и контекст до 8192 токенов. Она обучена следовать инструкциям и работает в формате чата Llama 3. Модель предназначена для генерации ответов и диалога на японском и английском языках. Обучение включало supervised fine-tuning, добавление chat vector и direct preference optimization на наборах данных с японскими и английскими диалогами, а также примерами математики и кода. Для генерации разработчики рекомендуют repetition_penalty=1.1: без этой настройки модель чаще повторяет текст. Весовые файлы опубликованы в формате safetensors. Лицензия — llama3; использование регулируется условиями лицензии Meta Llama 3.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

Карточка модели SillyTilly/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

MaziyarPanahi/Mixtral-8x22B-Instruct-v0.1-GGUF — набор квантизированных моделей в формате GGUF, созданный и опубликованный MaziyarPanahi на основе Mixtral-8x22B-Instruct-v0.1 от Mistral AI. Это инструкционно дообученная большая языковая модель для генерации текста, диалогов и выполнения пользовательских инструкций, включая сценарии с вызовом функций и инструментов. Модель использует архитектуру Mixture of Experts (MoE) Mixtral с восемью экспертами размером 22B каждый; README не уточняет общий объём параметров, эффективное число активных параметров и размер контекста. Доступны варианты квантизации от 2 до 8 бит, а также 16-битный вариант. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Формат GGUF и совместимость с llama.cpp позволяют загружать модель локально, в том числе в виде сегментированных файлов, с выбором подходящего уровня квантизации. К сильным сторонам относятся широкий выбор уровней квантизации, возможность локального запуска и поддержка инструкционного режима и function calling. К ограничениям относятся потенциальные потери качества и точности при низкой битности, значительные требования к памяти для крупных вариантов, а также отсутствие в README подробных результатов оценки, сведений о производительности и ограничений безопасного использования. Модель распространяется по лицензии Apache-2.0.