I.3Извлечение и структурирование данных

Gemma-2-9B-It-SPPO-Iter3-GGUF — квантизированная версия языковой модели Gemma-2-9B-It-SPPO-Iter3, опубликованная UCLA-AGI и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая диалоговые и другие сценарии применения текстовых LLM. Обучение или дообучение связано с датасетом openbmb/UltraFeedback. Модель содержит около 9 миллиардов параметров и поддерживает английский язык. Доступны варианты от F32 до низкобитных квантований Q2 и IQ2, размером примерно от 3,43 до 36,97 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp b3389; варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. README не указывает размер контекста и модальности, поэтому эти характеристики неизвестны. Для работы требуется соблюдать формат prompt, основанный на специальной разметке ролей Gemma. Модель не поддерживает system prompt. Качество и требования к памяти зависят от выбранного варианта квантования: более компактные файлы экономят ресурсы, но могут заметно снижать качество. Лицензия указана как gemma; конкретные условия её применения следует уточнять в документации Gemma.

unsloth/gemma-3-270m-it-GGUF — GGUF-версия инструкционно дообученной модели google/gemma-3-270m-it, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов и задач рассуждения, а также может использоваться локально на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Это компактная модель семейства Gemma 3 с размером 270M параметров и поддержкой текстовых и, согласно общей карточке Gemma 3, визуальных входных данных при генерации текста. Для вариантов 270M заявлено контекстное окно до 32K токенов на запрос, включая вход и доступный объём вывода. Семейство поддерживает более 140 языков, однако конкретные языки и возможности именно этой версии отдельно не уточнены. Данные обучения имеют отсечку знаний августом 2024 года. К сильным сторонам относятся небольшой размер, возможность локального развёртывания и открытые веса; компактность может быть полезна при ограниченных ресурсах. Ограничения связаны с меньшей ёмкостью модели по сравнению с крупными вариантами Gemma 3, а также с тем, что README не содержит отдельных оценок качества для данной GGUF-квантизации и не уточняет её параметры квантизации. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

GLM-5.3-Flash-Alis-MLX-6bit — это 6-битная квантованная версия модели GLM-5.3-Flash, разработанной организацией zai-org и конвертированная avlp12 в формат MLX для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживается библиотекой mlx-vlm с архитектурой glm5_next. Базовая модель имеет конфигурацию 320B-A18B и архитектуру Mixture-of-Experts. В README также указана vision tower в формате bfloat16, однако подробности поддерживаемых визуальных сценариев и языков не приведены. Квантование выполнено в 6 бит с использованием схемы g64 affine для экспертов, attention, dense/shared MLP, embeddings и output head. Маршрутизатор MoE, correction bias, параметры mHC и KDA decay, а также отдельные нормы, свёртки и другие компоненты сохранены без 6-битного квантования; MTP layer 45 удалён. На M3 Ultra 512GB заявлена скорость декодирования около 24,6–26,3 токена в секунду в зависимости от длины промпта. По приведённым измерениям эта сборка имеет меньшую ошибку относительно 8-битной версии, чем указанные 4-битные варианты, но результаты получены на закрытой тестовой панели и не сопоставимы напрямую с оценками относительно BF16. Модель ориентирована на локальный инференс на Apple Silicon и требует mlx-vlm с поддержкой glm5_next. Для корректной работы рекомендуются ветки с исправлениями swiglu clamp, fp32-обработки вспомогательных параметров mHC/KDA и eps. Преимуществами являются сохранение точности маршрутизации MoE и высокая для 6-битной сборки скорость работы; ограничениями — очень большой размер базовой модели, требования к памяти и зависимость от актуальной поддержки MLX. Модель распространяется по лицензии MIT.

Это GGUF-квантизованная версия мультимодальной инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google и подготовленной в форматах GGUF автором bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Базовая модель имеет размер 26B и обозначение A4B, однако README не раскрывает подробности её архитектуры. Модель предназначена для диалогового применения и обработки задач, соответствующих режиму image-text-to-text, то есть может работать с текстом и изображениями. Она подходит для локального запуска через llama.cpp, LM Studio, Jan AI, KoboldCpp, Text Generation Web UI и другие совместимые инструменты. В README приведён специальный шаблон запросов и отмечены обновления шаблона чата и исправления совместимости. Сильная сторона сборки — широкий выбор уровней квантизации, позволяющий выбирать между качеством и требованиями к памяти: наиболее качественными названы Q6_K_L, Q6_K, Q5 и Q4 варианты, а Q4_K_M рекомендован как типичный компромисс. Более компактные варианты экономят память, но могут заметно уступать по качеству. Языки, размер контекстного окна, точные характеристики мультимодальности и требования к оборудованию в README не указаны. Распространение осуществляется по лицензии Apache-2.0; для самой базовой модели также указана отдельная лицензия Gemma 4.

gpt-oss-120b-Derestricted — модифицированная Arli AI версия открытой модели openai/gpt-oss-120b. Это языковая модель с архитектурой MoE для генерации текста и диалогов; каталог указывает 2,1 млрд параметров и контекст до 131 072 токенов. Модель распространяется в формате safetensors и рассчитана на работу с шаблоном сообщений Harmony. Разработчик сообщает, что применил Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив нормы весов и способности к рассуждению исходной модели. Предполагаемые сценарии — диалоги, рассуждения и агентные задачи. Заявления README о сохранении или улучшении качества основаны на оценках разработчика и не подтверждают качество для конкретных задач. Модель может чаще отвечать на запросы, от которых исходная версия отказалась бы; это ограничивает её пригодность для сценариев, где необходимы встроенные защитные отказы. Лицензия — Apache-2.0. Для корректной работы следует использовать формат Harmony; README также отмечает, что модель иногда всё же подавляет ответы.

Infinity-Instruct-7M-Gen-Llama3.1-8B — языковая модель Пекинской академии искусственного интеллекта (BAAI), дообученная методом supervised instruction tuning на наборах Infinity-Instruct-7M и Infinity-Instruct-Gen. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалогов и выполнения текстовых инструкций. Она использует шаблон чата Llama 3 Instruct и поддерживает контекст длиной 8192 токена. Модель рассчитана на генерацию ответов и следование инструкциям в общих пользовательских сценариях. По заявлению разработчиков, она показала результаты на AlpacaEval 2.0, сопоставимые с GPT-4; в README также указано, что модель обучалась без RLHF. Карточка приводит английский как язык модели. Модель доступна в формате safetensors под лицензией llama3.1; проект ограничивает использование академическими исследованиями и запрещает коммерческое применение. Разработчики не гарантируют точность ответов.

NLP Cloud разработала instruct-версию GPT-J, дообучив модель на наборе инструкций, подготовленном командой Stanford Alpaca и переработанном под формат GPT-J. Это плотная авторегрессионная языковая модель для генерации текста; версия fp16 предназначена для запуска на GPU уровня NVIDIA Tesla T4 с 16 ГБ видеопамяти. Максимальный контекст — 2048 токенов. Модель принимает инструкции на естественном языке и подходит для ответов на запросы, редактирования текста и других задач генерации; для сложных сценариев можно использовать few-shot примеры. При формировании запроса инструкция должна завершаться переводом строки. В README указано, что качество fp16 не отличается заметно от fp32. Модель распространяется по лицензии GPL-3.0.

InternLM2.5-7B-Chat-GGUF — это квантизированная версия диалоговой языковой модели InternLM2.5-7B-Chat, разработанной командой InternLM и опубликованной в формате GGUF для использования с llama.cpp. Квантизацию выполнил bartowski с применением imatrix и различных схем квантования, рассчитанных на баланс между качеством ответов, размером файла и требованиями к памяти. Модель предназначена для текстовой генерации и диалоговых сценариев: ведения беседы, ответа на вопросы и выполнения инструкций. Для работы используется специальный шаблон prompt с ролями system, user и assistant. Доступны варианты от Q8 до Q2 и IQ-квантов; размеры файлов в README указаны примерно от 2,58 до 8,93 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, тогда как низкобитные версии подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. К сильным сторонам относятся широкий выбор уровней квантования, совместимость с llama.cpp и возможность локального запуска. Рекомендуемыми названы варианты Q4–Q6 и некоторые IQ4, тогда как Q3 и Q2 экономят память ценой снижения качества. README не содержит достоверных сведений о языках, размере контекста, точной архитектуре исходной модели и условиях лицензирования: указано лишь, что лицензия имеет тип other. Для использования необходимо учитывать требования выбранного GGUF-файла и поддерживать соответствующий формат prompt.

unsloth/InternVL3-1B-Instruct-GGUF — GGUF-версия мультимодальной модели InternVL3-1B-Instruct, разработанной командой OpenGVLab и подготовленной в формате квантования Unsloth. Это SFT-версия модели, прошедшая нативное мультимодальное предварительное обучение и supervised fine-tuning, но не прошедшая MPO. Модель предназначена для задач понимания изображений и текста, мультимодального диалога и рассуждений, а также может применяться для работы с инструментами, GUI-агентов, анализа промышленных изображений и восприятия 3D-сцен. Архитектура построена по схеме ViT-MLP-LLM и включает визуальную часть InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-0.5B. Поддерживается мультиязычная работа; модель относится к классу image-text-to-text и обрабатывает изображения вместе с текстовыми запросами. Ключевое преимущество — сочетание мультимодального восприятия и рассуждений при небольшом размере языковой компоненты, а формат GGUF удобен для локального запуска совместимыми инструментами. Ограничения включают меньшие возможности по сравнению с более крупными моделями семейства, отсутствие MPO и неизвестные из представленных данных параметры контекстного окна, точные языки и характеристики конкретного квантования. В метаданных указана лицензия Apache-2.0; ссылка на лицензию ведёт к лицензии Qwen2.5-72B-Instruct.

Jina-ColBERT-v1-en — англоязычная модель поиска по фрагментам документов, разработанная Jina AI. Она использует архитектуру ColBERT на основе JinaBERT и обучена на наборе MSMARCO для ранжирования пассажей. Модель создаёт представления запросов и документов для поиска релевантных фрагментов и может применяться для первичного поиска и переранжирования результатов BM25. Модель насчитывает 136,7 млн параметров и поддерживает контекст до 8192 токенов благодаря JinaBERT с двунаправленным вариантом ALiBi. В README сообщается о сопоставимых с ColBERTv2 результатах на стандартных поисковых тестах и лучших результатах на наборах с длинными документами. Лицензия — Apache-2.0.

bartowski/kalomaze_Qwen3-16B-A3B-GGUF — набор GGUF-квантизаций базовой модели kalomaze/Qwen3-16B-A3B. Квантизации подготовлены bartowski с использованием llama.cpp b5255 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от BF16 размером 32,08 ГБ до компактных низкобитных форматов. Доступны Q8_0, Q6_K_L, Q6_K, Q5, Q4, IQ4, Q3 и Q2-варианты с разным соотношением качества, размера и требований к памяти. Наиболее качественными и рекомендуемыми обозначены Q6_K_L, Q6_K, Q5_K и Q4_K; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а низкобитные Q3 и Q2 обеспечивают экономию памяти ценой снижения качества. Модель поддерживает текстовую генерацию; сведения о языках, размере контекста и точной архитектуре в представленном README не указаны. Для работы следует использовать шаблон запросов с маркерами <|im_start|> и <|im_end|>. Распространение выполняется по лицензии Apache-2.0.

KeefeBuild/Keefe-Discere-v3.1 — дообученная KeefeBuild языковая модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 32 768 токенов. Веса сохранены в формате safetensors. По карточке, модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Она дообучена от KeefeBuild/Keefe-Discere-v3.0-Final и распространяется по лицензии Apache-2.0.

Карточка модели KeefeBuild/Keefe-Discere-v3.1-Final на Hugging Face совпадает с карточкой KeefeBuild/Keefe-Discere-v3.1, поэтому описание составлено по ней. KeefeBuild/Keefe-Discere-v3.1 — дообученная KeefeBuild языковая модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 32 768 токенов. Веса сохранены в формате safetensors. По карточке, модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Она дообучена от KeefeBuild/Keefe-Discere-v3.0-Final и распространяется по лицензии Apache-2.0.

jhgan/ko-sroberta-multitask-mrl — корейская модель эмбеддингов предложений на базе RoBERTa, дообученная автором с использованием Matryoshka Representation Learning. Она создаёт векторы размерности 768; первые 512, 256, 128, 64 или 32 компонента также служат представлениями предложений, позволяя уменьшать объём хранения и задержку с возможной потерей точности. Модель обучена на KorNLI и KorSTS в многозадачном режиме и предназначена для сравнения семантической близости корейских предложений и других задач поиска по эмбеддингам. В тестах KorSTS для полного вектора показана корреляция Спирмена 85,07% при косинусном сходстве; для 512 измерений — 85,00%. Модель содержит 137,8 млн параметров, использует архитектуру RoBERTa, реализована для sentence-transformers и поддерживает контекст до 514 токенов. Лицензия — CC-BY-SA-4.0.

L3.1-Noraian — объединённая языковая чат-модель автора djuna, созданная с помощью mergekit и метода della. В качестве базовой использована vicgalle/Configurable-Hermes-3-Llama-3.1-8B; в объединение также вошли несколько моделей семейства Llama 3.1 и адаптер для Llama 3 Instruct. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоге и поддерживает интерфейс вызова инструментов. В карточке не приведены оценки качества или подробное описание специализированных сценариев; языковую поддержку можно уверенно связать с англоязычной базовой моделью, но другие языки не заявлены. Файлы опубликованы в формате safetensors и доступны через Transformers. Лицензия в предоставленных данных не указана.

djuna/L3.1-Suze-Vume-calc — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear DARE. В качестве базовой использована Orenguteng/Llama-3.1-8B-Lexi-Uncensored, а в объединение также включена djuna/L3-Suze-Vume. Модель построена на архитектуре Llama для генерации текста и имеет около 7,5 млрд параметров. Модель предназначена для диалоговой генерации текста. Контекстное окно составляет 131 072 токена; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README приводит результаты оценки на IFEval и BBH. Лицензия в предоставленных данных не указана.

Lamarck-14B-v0.7-GGUF — это квантизированная версия текстовой генеративной модели Lamarck-14B-v0.7, разработанной sometimesanotion и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат промпта использует шаблон с ролями system, user и assistant. Модель имеет размер 14B параметров; точные сведения об архитектуре и размере контекста в README не приведены. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций: более крупные варианты обеспечивают качество, близкое к исходной модели, а компактные снижают требования к оперативной памяти, но заметнее теряют в качестве. Для большинства сценариев рекомендуются Q4_K_M, Q5- и Q6-варианты; отдельные форматы оптимизированы для CPU и Apple Silicon. Квантизации созданы с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0; конкретные ограничения исходной модели следует проверять отдельно.

LeoLM/leo-hessianai-7b-chat-bilingual — двуязычная чат-модель LAION и HessianAI, разработанная в сотрудничестве с Бьёрном Плютером и Кристофом Шухманном. Это дообученная модель LeoLM/leo-hessianai-7b на архитектуре Llama 2: причинный декодерный трансформер с 6,6 млрд параметров и контекстом до 8192 токенов. Модель принимает текст и генерирует текст на английском и немецком языках. Она предназначена для диалога, написания текстов, объяснений и обсуждения тем. Модель демонстрирует более слабые результаты в математике и сложных рассуждениях. Выпущена по лицензии LLAMA 2 COMMUNITY LICENSE AGREEMENT. Как и другие языковые модели, LeoLM может давать неточные, предвзятые или нежелательные ответы. Перед использованием в приложениях разработчикам следует проверить её поведение и настроить меры безопасности под конкретный сценарий.

Ling-plus-base — базовая языковая модель с архитектурой Mixture of Experts (MoE), разработанная InclusionAI. Она предназначена для генерации текста и диалогового взаимодействия, а структура MoE позволяет масштабировать модель и адаптировать её к разным задачам, включая работу с естественным языком и решение сложных задач. По README, Ling-Plus содержит 290 млрд параметров, из которых при генерации активируются 28,8 млрд; в метаданных репозитория указано 23,9 млрд параметров. Карточка описывает контекст до 64 тыс. токенов, тогда как метаданные указывают нативный контекст в 16 384 токена. Модель работает с текстом и поддерживает чатовый сценарий; заявленные языки использования отдельно не перечислены. Модель распространяется под лицензией MIT. README сообщает о сравнительно высокой производительности, но конкретные результаты оценки находятся в техническом отчёте и в карточке не приведены, поэтому качество для конкретных задач следует проверять отдельно.

Llama 2 13B — это языковая модель для генерации текста, разработанная Meta. Репозиторий TheBloke содержит её версии в формате GGUF, подготовленные TheBloke для локального запуска и инференса на CPU и GPU. Модель основана на архитектуре Llama 2, имеет 13 миллиардов параметров и поддерживает английский язык. Она предназначена для задач генерации текста, включая диалоговые сценарии, написание и продолжение текстов, а также другие приложения text-generation. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию; доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Контекстное окно и точный набор поддерживаемых модальностей в README не указаны; модель является текстовой и не поддерживает мультимодальный ввод. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Квантование снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной версией в формате fp16; степень компромисса зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

mlabonne/llama-2-7b-guanaco — языковая модель семейства Llama 2, разработанная как дообученная версия llama-2-7b-chat-hf. Автор дообучил её методом QLoRA с 4-битной точностью на датасете mlabonne/guanaco-llama2; в метаданных указан датасет timdettmers/openassistant-guanaco. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. Модель предназначена для генерации текста и диалоговых сценариев: она может создавать связные ответы и использоваться для написания текстов, суммаризации, перевода, классификации и анализа тональности. README приводит пример генерации объяснительного текста, но не содержит результатов оценки качества или подробностей о языках обучения. В репозитории доступны веса PyTorch и safetensors. Лицензия — Apache-2.0. Качество и пригодность для конкретной задачи следует проверять отдельно; карточка не приводит бенчмарков и не описывает специальные ограничения или гарантии.

Llama-3-11.5B-V2-GGUF — набор квантизированных версий языковой модели Llama-3-11.5B-V2, опубликованный bartowski. Исходная модель разработана Replete-AI, а квантизация выполнена с использованием llama.cpp версии b3024 и метода imatrix. Модель предназначена для генерации текста и локального запуска в форматах GGUF, включая работу через llama.cpp и совместимые инструменты. Модель содержит около 11,5 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации с размером файлов примерно от 3,63 до 12,24 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти и видеопамяти, но сильнее теряют в качестве. Для запуска рекомендуется выбирать вариант, помещающийся в доступный объём RAM и VRAM; наиболее сбалансированными в README названы Q6_K, Q5_K и Q4_K. Преимущество набора — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также пригодность для локального инференса. Ограничения включают отсутствие точного описания архитектуры, контекстного окна, языков, результатов оценивания и корректного chat template; указанный шаблон может быть неверным. Модель распространяется по лицензии Llama 3; конкретные условия определяются лицензией Meta, ссылка на которую приведена в карточке.

Это квантизированная в формате GGUF версия инструкционной модели Llama-3.1-8B-Instruct, разработанной Meta и подготовленной ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp или Ollama на CPU и GPU. Модель содержит 8 миллиардов параметров, работает только с текстом и заявлена для английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты KQ, оптимизированные для CPU, и IQ, ориентированные на современные Nvidia GPU; размер файлов составляет примерно 2,56–4,33 ГБ, а средняя разрядность — от 2,54 до 4,31 бит на вес. Разные варианты предлагают компромисс между скоростью, размером и качеством, однако README не указывает размер контекстного окна и не приводит подробностей об ограничениях качества или безопасности. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и оптимизация под разные аппаратные платформы при сохранении качества исходной модели. Ограничения связаны с потерями качества, неизбежными при низкой разрядности, а также с тем, что эффективность зависит от выбранного варианта и оборудования. Модель распространяется по лицензии llama3.1.

Bunnycore создал эту плотную языковую модель с архитектурой Llama 3.1, объединив несколько предварительно обученных моделей методом Model Stock через mergekit. В состав объединения вошли bunnycore/LLama-3.1-8B-HyperNova-abliteration, bunnycore/LLama-3.1-8b-Ultra-Max-Pro, bunnycore/Llama-3.1-8B-OmniMatrix и leafspark/Llama-3.1-8B-MultiReflection-Instruct; базой слияния служила bunnycore/LLama-3.1-Hyper-Stock. Модель содержит 7,5 млрд параметров, использует формат safetensors и работает через библиотеку Transformers. Она предназначена для генерации текста; в составе исходных моделей есть вариант Instruct с многоэтапными рассуждениями. Заявленная длина контекста — 131 072 токена. Карточка не содержит сведений о лицензии, поэтому условия использования установить по доступным данным нельзя.

Llama-3.1-8B-TitanFusion-Test — объединённая языковая модель семейства Llama, созданная с помощью mergekit методом TIES на основе meta-llama/Llama-3.1-8B. В слияние вошли несколько моделей на базе Llama 3.1, включая варианты для диалогов, ролевого общения и математических задач. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; нативная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста и может применяться для диалогов, ответов на вопросы, ролевого общения и решения математических задач. Репозиторий указывает библиотеку Transformers. Лицензия в предоставленных данных не указана.

Llama-3.1-Tulu-3-405B-GGUF — это набор GGUF-квантизаций большой языковой модели Llama-3.1-Tulu-3-405B, опубликованный bartowski. Исходная модель разработана Allen Institute for AI (AI2), а квантизация выполнена с помощью llama.cpp release b4585 и метода imatrix. Модель предназначена для генерации текста и запуска локальных LLM-приложений через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 405 млрд параметров, работает в текстовой модальности и, согласно карточке, ориентирована на английский язык. Указан датасет RLVR-MATH, однако конкретные характеристики обучения и размер контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 431 до 119 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; низкие уровни экономят память ценой снижения качества. Для диалогового использования указан формат промпта с ролями system, user и assistant. Сильной стороной являются очень большой масштаб модели и широкий выбор вариантов для подбора компромисса между качеством и требованиями к памяти. Ограничениями остаются исключительно высокие аппаратные требования даже для наиболее сжатых вариантов, а также потенциальная потеря качества при низкой квантизации. Модель распространяется по лицензии llama3.1; перед использованием необходимо учитывать условия этой лицензии.

Это языковая модель Llama 3.2-1B-Instruct-bf16, представленная сообществом mlx-community и основанная на модели Llama 3.2, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, требующих компактной универсальной LLM, включая диалоговые приложения, ответы на вопросы, создание и преобразование текста. Модель имеет размер 1 миллиард параметров, относится к семейству Llama и распространяется в формате BF16 для использования с MLX; в карточке также указана совместимость с библиотекой Transformers. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модальность — текстовая, назначение — text-generation. Размер контекстного окна и точные архитектурные характеристики в README не указаны. Компактный размер делает модель более подходящей для локального запуска и устройств с ограниченными ресурсами, однако по качеству и способности обрабатывать сложные задачи она может уступать более крупным моделям. Модель распространяется по Llama 3.2 Community License компании Meta. Лицензия разрешает использование, копирование, модификацию и распространение на указанных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и требования к атрибуции; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрены дополнительные условия.

pearl-ai/Llama-3.3-70B-Instruct-pearl — сертифицированный вариант Meta Llama-3.3-70B-Instruct, подготовленный командой Pearl Research для работы с Pearl vLLM mining plugin. Модель относится к большим языковым моделям типа instruct и предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов; в карточке указана поддержка английского языка. Модель имеет размер 70B параметров и распространяется через Transformers. Её основной сценарий — запуск в инфраструктуре Pearl miner, где vLLM интегрирован с процессами mining. Для работы требуются CUDA-совместимые NVIDIA GPU класса sm90, например H100 или H200, а также программный стек Pearl; в примере запуска задана длина контекста 8192 токена, однако максимальный контекст модели отдельно не указан. В сравнительном тесте на 4 GPU H200 Pearl-сертифицированный вариант показал близкие к исходной модели результаты MMLU и более высокую пропускную способность в некоторых конфигурациях параллелизма, включая 18 291,66 токена в секунду при DP=4. Эти показатели зависят от оборудования и настроек запуска. Модель ориентирована на специализированную инфраструктуру Pearl и требует запущенного pearld-узла с RPC-доступом, поэтому её использование вне этого стека может потребовать дополнительной настройки. Лицензия указана как llama3.3.

Это 8-битная конверсия модели Llama 3 8B Instruct, выполненная сообществом mlx-community для запуска в формате MLX. Веса получены из gradientai/Llama-3-8B-Instruct-1048k с помощью mlx-lm версии 0.10.0. Модель предназначена для диалоговой генерации текста и поддерживает контекст до 1 048 576 токенов. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. В метаданных указан английский язык; заявленная лицензия — llama3. Для использования в MLX в README приведена установка mlx-lm.

QuantFactory/Llama-3-8B-WizardLM-196K-GGUF — это квантизированная версия модели Llama-3-8B-WizardLM-196K, созданная QuantFactory с использованием llama.cpp. Исходная модель основана на Meta Llama 3 8B и дообучена с применением Axolotl на наборе данных Leon-Leee/Wizardlm_Evol_Instruct_v2_196K_backuped. Модель предназначена для генерации текста и выполнения инструкций в сценариях, совместимых с causal language model. Архитектура модели — LlamaForCausalLM, размер — около 8 миллиардов параметров. В конфигурации обучения использовалась максимальная длина последовательности 8192 токена, однако точный поддерживаемый контекст квантизированной версии в README не указан. Данные о языках и мультимодальности отсутствуют; по описанию это текстовая, а не мультимодальная модель. Среди характеристик указаны дообучение в течение двух эпох и итоговая validation loss 0.6077, но результаты независимых тестов не приведены. Квантизация в формате GGUF может снизить требования к памяти и упростить локальный запуск через совместимые инструменты llama.cpp, однако конкретный уровень квантизации, размер файлов и требования к оборудованию не указаны. Ограничениями являются отсутствие подробных сведений о языковой специализации, фактическом размере контекста, точности на прикладных бенчмарках и возможных рисках поведения. Лицензия обозначена как llama3; условия её применения следует уточнять по лицензии исходной модели Meta Llama 3.