I.3Извлечение и структурирование данных

Espresso-AI/Espresso-AI — языковая модель, разработанная Espresso-AI и дообученная на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Модель сохраняется в формате safetensors и распространяется по лицензии Apache-2.0. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Данных о конкретной специализации или дополнительных ограничениях в доступных источниках нет.

Falcon-H1-1.5B-Deep-Base — базовая языковая модель семейства Falcon-H1, разработанная TII (Technology Innovation Institute). Это плотная causal decoder-only модель с гибридной архитектурой Transformer и Mamba, содержащая 1,2 млрд параметров и поддерживающая контекст до 131 072 токенов. Модель предназначена для генерации текста и решения широкого круга языковых задач, включая рассуждения; в README приведены результаты сравнительных тестов на общих задачах. Модель работает с текстом и рассчитана на многоязычное применение. В метаданных перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский языки. Для запуска README указывает Transformers, vLLM и llama.cpp; для llama.cpp доступны совместимые GGUF-файлы в официальной коллекции. Репозиторий содержит веса Safetensors. Лицензия — Falcon-LLM License (в метаданных обозначена как other); перед использованием следует учитывать её условия.

Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

FireStorm-Llama-3.1-8B — разговорная языковая модель, опубликованная EpistemeAI2 и дообученная на базе unsloth/llama-3.1-storm-8b-bnb-4bit. Это плотная причинная модель семейства Llama с 7,5 млрд параметров; карточка указывает контекст до 131 072 токенов и форматы PyTorch и Safetensors. Модель предназначена для генерации ответов в диалоге, следования инструкциям, вопросов и ответов на основе знаний, рассуждений и вызова функций. В README описаны дообучение на тщательно отобранных обучающих примерах и слияние с Llama-Spark; заявлены улучшения относительно Llama-3.1-8B-Instruct на нескольких тестах, включая проверку следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Эти результаты относятся к оценкам авторов карточки. Для запуска предлагаются Transformers и vLLM, а в репозитории указана лицензия Apache-2.0. Основной указанный язык — английский. README отмечает, что модель не проходила отдельное выравнивание и может сохранять некоторые свойства выравнивания базовой instruct-модели. Ее ответы могут содержать ошибки; результаты тестов не гарантируют качество в конкретном применении.

ehristoforu/frqwen2.5-from7b-it — объединённая автором модель семейства Qwen2.5, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная языковая модель для генерации текста и диалогов; доступны интерфейс чата и интерфейс вызова инструментов. В репозитории указаны 12,7 млрд параметров, контекст до 32 768 токенов и формат safetensors; модель рассчитана на работу через Transformers. Модель подходит для диалоговых приложений, генерации ответов и текста, а также сценариев, где требуется подключение инструментов. Базовая Qwen2.5-7B-Instruct предназначена также для генерации кода и структурированных ответов, однако README этой сборки не описывает её специфические улучшения или результаты оценки. Лицензия в предоставленных данных не указана.

duyntnet/gemma-2-27b-it-imatrix-GGUF — набор квантизированных версий instruction-tuned языковой модели Gemma 2 27B IT, опубликованный пользователем duyntnet на базе модели Google gemma-2-27b-it. Формат GGUF предназначен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, text-generation-webui и Ollama. Модель относится к задачам генерации текста и поддерживает диалоговое взаимодействие с использованием специального chat template. Известно, что исходные веса модели имеют размер 27 миллиардов параметров и представлены в bfloat16; в данном репозитории опубликованы варианты с квантизацией imatrix. Модель ориентирована прежде всего на англоязычную генерацию, поскольку в карточке указан язык en. Она может применяться для ответов на инструкции, написания текстов, программного кода и других задач text generation. Точный набор квантизаций, размер контекста и архитектурные характеристики в README не указаны. Для запуска подходят llama.cpp и перечисленные совместимые интерфейсы. В README отмечены возможные проблемы Gemma 2 с SDPA и Flash Attention 2, поэтому рекомендуется использовать eager attention; это ограничение относится к исходной модели и способам запуска. Лицензия указана как other, без дополнительных условий в предоставленных данных.

unsloth/gemma-2-9b-it-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Gemma 2 с 9 миллиардами параметров, основанная на google/gemma-2-9b-it. Модель распространяется в экосистеме Unsloth и предназначена для запуска и дообучения с использованием Transformers. В метаданных указаны разработчик базовой модели Google и поддерживаемый язык English. Модель ориентирована на диалоговые приложения, генерацию и продолжение текста, а также на дообучение под пользовательские наборы данных. Ключевой особенностью является 4-битное квантование bnb, снижающее требования к памяти; для Gemma 2 (9B) Unsloth заявляет ускорение до 2,4 раза и сокращение использования памяти до 58% в соответствующих сценариях. Модель также может экспортироваться в форматы GGUF и использоваться с vLLM, однако размер контекста, точный набор поддерживаемых языков и другие архитектурные характеристики в README не указаны. Сильные стороны модели — относительно экономичный запуск и возможность эффективного fine-tuning на ограниченных ресурсах, включая GPU Tesla T4. Ограничения связаны с 4-битным представлением, предназначенностью базовой модели преимущественно для English и отсутствием в README подробных результатов оценки качества. Лицензия указана как gemma; перед использованием необходимо учитывать условия лицензии Google Gemma.

pytorch/gemma-3-12b-it-AWQ-INT4 — это квантизированная версия instruction-tuned языковой модели google/gemma-3-12b-it, разработанная pytorch. Модель предназначена для диалогового взаимодействия, генерации и обработки текста, включая ответы на вопросы, краткие объяснения и другие сценарии использования через chat completions или библиотеку Transformers. В README явно указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Модель содержит 12 миллиардов параметров и использует квантизацию AWQ-INT4 с группой размера 128 для весов линейных слоёв. Квантизация снижает требования к памяти по сравнению с исходной версией bfloat16 и рассчитана на запуск с PyTorch, torchao, Transformers и vLLM. В примере генерации поддерживается режим рассуждений, который можно включать или отключать через chat template. Для работы с vLLM требуется nightly-версия vLLM и torchao; из-за известных проблем совместимости рекомендуется отключать compile cache. По данным README, на ограниченной калибровке из 30 примеров задачи mmlu_philosophy модель показала точность 76,85% против 75,56% у gemma-3-12b-it-INT4 и 79,10% у базовой версии bfloat16. Эти результаты нельзя считать полноценной оценкой общих возможностей модели. В рецепте квантизации указано, что AWQ на данный момент работает только на H100 INT4, поэтому аппаратная совместимость может быть ограничена. Модель распространяется по лицензии Apache-2.0.

litert-community/gemma-3-270m-it — компактная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для локального и ресурсоограниченного развертывания, включая мобильные устройства, веб-приложения, настольные системы и собственную облачную инфраструктуру, с использованием LiteRT и совместимых инструментов Google AI Edge. Модель содержит 270 млн параметров и поддерживает генерацию текста для ответов на вопросы, суммаризации документов, анализа и рассуждений. Для семейства Gemma 3 заявлены мультимодальные возможности с обработкой текста и изображений и генерацией текста; изображения нормализуются до 896 × 896 и кодируются в 256 токенов. Для вариантов 1B и 270M указан контекст до 32K токенов на запрос, включая вход и доступный объём вывода. Поддерживается более 140 языков. Данные обучения имеют срез знаний по август 2024 года и включают веб-тексты, код, математические материалы и изображения. Сильными сторонами модели являются небольшой размер, возможность работы на устройствах с ограниченными ресурсами, открытые веса и пригодность для встроенных приложений. Ограничения включают меньший объём параметров по сравнению с крупными вариантами Gemma 3, возможные ограничения качества в сложных задачах и то, что GPU-ускорение для Gemma 3 270M в указанных сценариях на момент публикации README ещё находилось в разработке. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma-SEA-LION-v4-4B-VL — мультимодальная модель с 4 млрд параметров, разработанная командой AI Products Pillar организации AI Singapore при финансировании NRF Сингапура. Это дообученная на основе google/gemma-3-4b-it модель семейства Gemma 3 с архитектурой декодера, предназначенная для диалогов, генерации текста и ответов на вопросы по изображениям. Контекстное окно составляет 128 тыс. токенов. Модель адаптирована к языкам и культурному контексту Юго-Восточной Азии: индонезийскому, вьетнамскому, тайскому, филиппинскому, тамильскому, бирманскому и малайскому; также поддерживает английский и китайский. Обучение включало около 6,7 млн пар инструкций и текста. Карточка отмечает возможности вызова функций и визуального разбора на тайском, китайском и английском языках. Модель подходит для многоязычных диалоговых систем и анализа изображений с текстовыми запросами. Модель распространяется под лицензией Gemma. Она не прошла выравнивание по безопасности, не проверялась на устойчивость к состязательным запросам и может галлюцинировать или выдавать несогласованные с контекстом ответы; ответы следует проверять, а для прикладных систем может потребоваться дополнительная настройка безопасности.

MLX-формат модели GLM-4.7-Flash-6bit, конвертированной сообществом mlx-community из базовой модели zai-org/GLM-4.7-Flash с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия с применением chat template. Из доступных данных известно, что модель поддерживает английский и китайский языки и распространяется по лицензии MIT. Формат 6bit указывает на квантованное представление, однако точные сведения об архитектуре, количестве параметров, размере контекста, модальностях, производительности и ограничениях в README не приведены. Для использования требуется установка mlx-lm; модель рассчитана на окружение MLX.

gaianet/gpt-oss-20b-GGUF — сборка модели openai/gpt-oss-20b, опубликованная Gaianet в формате GGUF. Это языковая модель архитектуры gpt_oss с разреженной MoE-архитектурой для генерации текста и диалогового применения. В README указан исходный репозиторий модели и раздел запуска с Gaianet. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста составляет 131072 токена. В метаданных указаны 1,6 млрд параметров, библиотека Transformers, форматы GGUF и GGUF F16, а также лицензия Apache-2.0. README не описывает специальные предметные области или конкретные языковые ограничения.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

InternLM2.5-7B-Chat-GGUF — квантизированная версия чат-модели InternLM2.5-7B-Chat, разработанной командой InternLM и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-взаимодействие и использование инструментов. Она рассчитана на запуск через LlamaEdge и совместимые среды, использует шаблон запросов ChatML, а для вызовов инструментов предусмотрен отдельный шаблон internlm-2-tool. Модель содержит 7 миллиардов параметров, поддерживает контекст до 32 000 токенов и относится к текстовым, а не мультимодальным моделям. Доступны варианты квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,01 до 15,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S предлагают более низкую потерю качества при большем размере. Более сильная квантизация уменьшает требования к памяти, но может заметно снижать качество. README не содержит сведений о поддерживаемых языках, внутренней архитектуре, результатах тестирования, сильных сторонах и ограничениях исходной модели. Лицензия указана как other, без дополнительных условий или подробностей; перед использованием необходимо ознакомиться с лицензией исходной модели и репозитория.

IvmeLabs/Ivme-Conversate-N-v2-Instruct — компактная инструктивная языковая модель от IvmeLabs с 9 021 600 параметрами. Это плотный decoder-only Transformer с tied embeddings, multi-head attention, RoPE, SwiGLU и RMSNorm; архитектура повторяет рецепт базовой модели Ivme-Conversate-v2-Base без заявленной архитектурной новизны. Модель обучалась за одну эпоху примерно на 900 млн токенов, с упором на инструкции и диалоги с самого начала обучения. В набор данных вошли многоходовые диалоги UltraChat-200k, SODA, трассы рассуждений UltraInteract, математические задачи Orca Math, инструкции Dolly-15k и примеры SQL. Она предназначена для генерации ответов в диалоге и выполнения текстовых инструкций, включая рассуждения, математические задачи и составление SQL. Карточка указывает английский язык, библиотеку Transformers и лицензию Apache-2.0. Для загрузки в Transformers README требует trust_remote_code=True.

inception42/jais-family-30b-16k — двуязычная большая языковая модель семейства Jais от Inception Institute of Artificial Intelligence. Это модель с авторегрессивной архитектурой causal decoder, предварительно обученная с нуля; семейство включает варианты разных размеров, а данный репозиторий относится к варианту на 30 млрд параметров. Модель предназначена для генерации текста на арабском и английском языках и может использоваться для диалоговых ассистентов, анализа тональности, суммаризации двуязычных документов и задач обработки естественного языка. Jais оптимизирована для арабского языка и обладает сильными возможностями в английском. Семейство обучалось на арабских, английских и программных данных; карточка описывает варианты с контекстом 16K в названии репозитория. Модель распространяется по лицензии Apache 2.0. Возможны фактические ошибки, смещения и некорректные или оскорбительные ответы; она не предназначена для решений с высокими ставками без человеческого контроля и не должна считаться одинаково компетентной в других языках и диалектах.

K2-Horizon-MoVA-36B-A4B-ROCmFP4-GGUF — это набор квантизованных GGUF-версий reasoning-модели IFM/MBZUAI K2-Horizon-MoVA-36B-A4B, подготовленный пользователем kingjones777 для запуска на GPU AMD с поддержкой ROCmFP4/ROCmFPX. Модель предназначена для генерации текста, рассуждений, агентских сценариев и вызовов инструментов. Базовая модель распространяется по лицензии Apache-2.0. Модель использует архитектуру k2_horizon MoVA с двумя независимыми экспертными системами: банком из 64 value-экспертов с выбором top-4 и MoE-блоком из 100 feed-forward-экспертов с выбором top-8. Всего модель содержит 36 млрд параметров, из которых активно используется около 4 млрд; архитектура включает 48 слоёв и скрытое представление размерностью 2560. Поддерживаются варианты Q4_0_ROCMFP4 и Q8_0_ROCMFPX объёмом от 18,57 до 36,45 ГиБ. README не указывает языки и максимальную длину контекста; в примерах запуска используется контекст 8192 токена. Основное преимущество — высокая скорость декодирования при меньшем числе активных параметров: на Ryzen AI Max+ 395 с Radeon 8060S заявлена скорость до 41 токена в секунду и prefill до 1238 токенов в секунду для варианта FAST. Доступны профили, ориентированные на скорость, качество квантования и агентские сценарии. Ограничения — необходимость специальной сборки llama.cpp с поддержкой одновременно k2_horizon и ROCmFP4/ROCmFPX, а также совместимого оборудования AMD Strix Halo (gfx1151). Модель генерирует рассуждения в поле reasoning_content, поэтому ей требуется достаточный бюджет токенов; при слишком коротком бюджете содержимое ответа может быть пустым.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и viethq188/LeoScorpius-7B-Chat-DPO методом SLERP с помощью Mergekit. Модель семейства Mistral имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Её можно использовать для ответов на вопросы, ведения беседы и создания текстовых черновиков. Поддерживается контекст до 32 768 токенов; файлы представлены в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения, поэтому качество ответов для конкретных сценариев следует проверять отдельно.

Карточка модели ronaldmannak/LFM2.5-Embedding-350M-8bit на Hugging Face совпадает с карточкой mlx-community/LFM2.5-Embedding-350M-8bit, поэтому описание составлено по ней. Это 8-битная MLX-версия мультиязычной плотной двунаправленной модели эмбеддингов LiquidAI/LFM2.5-Embedding-350M, подготовленная сообществом mlx-community для локального запуска на компьютерах Apple Silicon. Модель кодирует запросы и документы в векторы размерности 1024; косинусное сходство между ними используют для семантического поиска и оценки близости предложений. Репозиторий содержит преобразованные для MLX веса, квантизованные до 8 бит с аффинным режимом и размером группы 64. В README сообщается, что на описанных тестовых наборах качество поиска практически совпало с вариантом bf16, а размер весов снизился с 709 до 377 МБ. Метаданные указывают контекст до 128 000 токенов и поддержку английского, испанского, немецкого, французского, итальянского, португальского, арабского, шведского, норвежского, японского и корейского языков. Модель предназначена для векторизации текстов и локального поиска на Apple Silicon с MLX. Лицензия указана как other; README отсылает к исходной карточке за сведениями об обучении и предполагаемом использовании, поэтому условия следует сверить с ней. Результаты оценки в README получены на ограниченных пулах документов и не сопоставимы напрямую с результатами на полных корпусах.

LFM2.5-Embedding-350M-bf16 — мультиязычная модель-энкодер Liquid AI, преобразующая запросы и документы в векторы для семантического поиска и сравнения сходства. Репозиторий mlx-community содержит сборку для локального запуска на устройствах Apple Silicon с библиотекой MLX; архитектура — двунаправленный плотный энкодер LFM2.5 с 1024-мерным CLS-представлением. Число параметров — 444,6 млн, исходная точность bf16 сохранена, контекст — до 128 000 токенов. Модель подходит для поиска документов по смыслу, многоязычного и кросс-языкового поиска, а также ранжирования по косинусному сходству векторных представлений. В README приведены оценки retrieval на небольших наборах NanoBEIR и сокращённых пулах MIRACL для нескольких языков; авторы предупреждают, что абсолютные результаты MIRACL нельзя напрямую сравнивать с лидербордом. Это конверсия исходной модели LiquidAI/LFM2.5-Embedding-350M: веса и поведение сохранены, изменён формат для MLX. Лицензия указана как other; конкретные условия следует сверить с карточкой исходной модели.

Saxo/Linkbricks-Horizon-AI-Korean-Pro-12B — дообученная языковая модель компании Linkbricks Horizon-AI, подготовленная командой под руководством дата-сайентиста Юнсона Джи (Saxo). В карточке указано, что она создана на базе Saxo/Linkbricks-Horizon-AI-Korean-Advanced-12B и использует архитектуру Mistral; метаданные уточняют класс MistralForCausalLM, плотную архитектуру и размер 12,1 млрд параметров. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Модель ориентирована прежде всего на работу с корейским языком, а также на задачи с корейским, английским, японским и китайским языками: перевод между ними, суммаризацию, ответы на вопросы, анализ отзывов и публикаций в соцсетях. Карточка также заявляет усиленные возможности в написании текстов и кода, математике, логических задачах и сложном рассуждении. В README заявлено окно контекста 128 тыс. токенов, тогда как метаданные указывают 1 024 000 токенов; это расхождение не позволяет надёжно определить фактическую длину контекста. Модель распространяется в формате safetensors по лицензии Apache-2.0. Указанные сценарии и языки основаны на карточке и метаданных; независимые результаты оценки качества не приведены.

nlpguy/Lion-Lamarck-v.1.1.0 — объединённая с помощью mergekit модель на базе семейства Qwen2.5. В слиянии использован SCE, а CultriX/Qwen2.5-14B-Wernicke указан как базовая модель; также объединены SuperNova-Medius, Qwen2.5-14B-Vimarckoso-v3, DeepSeek-R1-Distill-Qwen-14B и Lamarck-14B-v0.7. Модель содержит 14 млрд параметров, построена на плотной архитектуре Qwen2ForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В карточке не приведены сведения о целевых языках, тестировании качества или рекомендуемых сценариях. Лицензия в предоставленных данных не указана.

Lite-Whisper large-v3-turbo-acc — сжатая версия мультиязычной модели распознавания речи OpenAI Whisper, разработанная авторами LiteASR. Модель предназначена для преобразования аудио в текст и доступна для запуска через библиотеку Hugging Face Transformers. В карточке приведено сравнение на наборах ESB: вариант acc показывает средний WER 10,1 при размере энкодера 429 млн параметров и декодера 907 млн; у Whisper large-v3 указаны тот же WER и энкодер 635 млн. По метаданным модель содержит 905,2 млн параметров и основана на openai/whisper-large-v3-turbo. Репозиторий распространяется в формате safetensors под лицензией Apache-2.0.

MaziyarPanahi/Llama-3-11B-Instruct-v0.1-GGUF — набор квантованных файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе MaziyarPanahi/Llama-3-11B-Instruct-v0.1. Модель предназначена для генерации текста и использования в диалоговых сценариях, включая запуск через совместимые инструменты, такие как llama.cpp. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством работы. Модель относится к семейству Llama 3 и требует использования соответствующего шаблона промпта с управляющими токенами Llama 3. В README не указаны поддерживаемые языки, размер контекста, точная архитектура базовой модели, результаты оценки, лицензия и ограничения использования.

unsloth/Llama-3.2-1B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Llama 3.2-1B-Instruct, распространяемая Unsloth на основе модели Meta. Это авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на мультиязычный диалог, включая задачи суммаризации и agentic retrieval. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает только с текстом: принимает текстовые входные данные и генерирует текст. Размер составляет 1 млрд параметров; README не содержит данных о размере контекстного окна. Instruction-tuned версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для повышения полезности и безопасности. Ключевое преимущество варианта — 4-битное квантование, снижающее требования к памяти и подходящее для более экономичного запуска и дообучения. Ограничения включают меньший размер и, потенциально, более узкие возможности по сравнению с крупными моделями семейства, а также зависимость качества от поддерживаемого языка и сценария. Модель статична и обучена на офлайн-датасете, поэтому не обладает актуальными знаниями без внешних источников. Использование регулируется пользовательской лицензией Llama 3.2 Community License, являющейся специальной коммерческой лицензией Meta.

RedHatAI/Llama-3.2-1B-Instruct-quantized.w8a8 — квантизированная версия Llama-3.2-1B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры Llama-3, предназначенная прежде всего для диалоговых ассистентов, генерации текста и многоязычных коммерческих и исследовательских сценариев. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует INT8-квантизацию весов и активаций по схеме W8A8. Для весов применяется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная потокенная квантизация; при подготовке использовались SmoothQuant и GPTQ. По заявлению разработчика, это примерно на 50% снижает требования к памяти GPU и размер модели на диске, а также примерно вдвое повышает пропускную способность матричных умножений. В опубликованных тестах показатели находятся в пределах 5% от неквантизированной версии на MMLU, ARC-Challenge, GSM-8K, HellaSwag, Winogrande и TruthfulQA. Для эффективного развёртывания рекомендуется vLLM; в примере указана максимальная длина контекста 8192 токена. К сильным сторонам относятся компактный размер в 1B параметров, сниженные требования к ресурсам, ускоренное выполнение и сохранение близкой к исходной точности. Ограничения связаны с небольшим размером модели и возможной потерей качества из-за квантизации; README не содержит подробных результатов по каждому языку, полной спецификации контекстного окна и детального анализа безопасности. Модель распространяется по лицензии Llama3.2; использование должно соответствовать применимым законам и нормативным требованиям.

MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1. Модель создана и квантована MaziyarPanahi; исходная архитектура и точные параметры в предоставленной карточке не раскрыты, однако из названия следует, что это instruct-модель семейства Llama с заявленным размером 8B и контекстом до 32k токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на использование с llama.cpp и поддерживается, среди прочего, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и Candle; возможна работа с GPU-ускорением в зависимости от выбранного инструмента и конфигурации. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от оборудования и программного окружения, а также отсутствие в README сведений о языках, точных характеристиках архитектуры, результатах тестирования и лицензии.

Matroyshka Re-Ranker — модель семейства CostWiseMistral от BAAI для ранжирования текстовых пассажей по релевантности запросу. Карточка называет её Matroyshka Re-Ranker и отсылает за подробностями к проекту FlagEmbedding; архитектура — плотная причинная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для повторного ранжирования результатов поиска и отбора наиболее подходящих фрагментов, например, перед передачей контекста в систему RAG. Для её использования указана лицензия Apache-2.0. В метаданных есть конфликт задач: авторская метка — text-classification, а каталог относит модель к text-generation; для пользовательского сценария реранкинга основная задача — text-ranking.

Модель Hjgugugjhuhjggg/mergekit-passthrough-owrmdht — объединение языковой модели meta-llama/Llama-3.2-1B-Instruct, созданное методом passthrough с помощью mergekit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия, включая сценарии с интерфейсом вызова инструментов. Модель принимает текст и генерирует текст. Указанная длина контекста — 131 072 токена. Базовая модель Meta описана как компактная многоязычная модель, настроенная на выполнение инструкций и предназначенная для диалогов, поиска сведений, суммаризации и помощи в написании текста. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Meta-Llama-3-120B-Instruct-GGUF — GGUF-квантизированная версия community-модели Meta-Llama-3-120B-Instruct, созданной Maxime Labonne (mlabonne) с использованием self-merge через MergeKit на базе Meta-Llama-3-70B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения и диалогового взаимодействия, включая работу в LM Studio. Модель относится к семейству Llama 3, имеет заявленный размер 120B параметров и поддерживает текстовую модальность. Точные сведения о контексте, языках и конфигурации архитектуры в README не указаны. Для корректного взаимодействия рекомендуется использовать шаблон запросов Llama 3 и системный промпт помощника. Self-merge направлен на расширение возможностей без дополнительных затрат на обучение, однако README не содержит независимых результатов оценки качества. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия обозначена как other; конкретные условия использования в README не раскрыты, их следует уточнять на странице исходной модели.