I.3Извлечение и структурирование данных

Ornith-1.5-35B-A3B-GGUF — квантизированная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Поддерживается speculative decoding на основе MTP. Заявленное количество параметров — около 36 млрд. Доступны варианты от BF16 до различных схем квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, требованиями к памяти и скоростью запуска. В качестве универсального компромисса рекомендуется Q4_K_M размером 21,86 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. Языки и максимальный размер контекста в README не указаны. Сильными сторонами являются поддержка изображений, возможность speculative decoding и широкий выбор квантизаций для локального запуска через совместимые инструменты. Ограничения связаны с большими требованиями к оперативной или видеопамяти, снижением качества у наиболее компактных вариантов и необходимостью отдельного mmproj-файла для мультимодальной работы. Модель распространяется по лицензии MIT.

Ornith-Agents-A1 — мультимодальная модель, созданная объединением заранее обученных моделей методом DARE TIES с помощью mergekit. В качестве базовой использована Qwen/Qwen3.6-35B-A3B; также в объединение вошли InternScience/Agents-A1 и deepreinforce-ai/Ornith-1.0-35B. Репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. Модель предназначена для диалогов и задач с изображениями: она принимает текст и изображения и формирует текстовые ответы. Карточка указывает архитектуру Qwen3.5 MoE и возможность работы с изображениями, но не приводит конкретные сценарии применения, поддерживаемые языки или длину контекста. Лицензия в предоставленных сведениях не указана.

Diamegs/PIT-4B-FT-202312 — англоязычная instruction-tuned модель семейства Point-In-Time (PIT), разработанная Diamegs на архитектуре decoder-only Transformer для генерации текста. Она предназначена для следования инструкциям и анализа того, что было известно к декабрю 2023 года: обучение на хронологических месячных снимках FineWeb задаёт временную границу знаний модели. LoRA-адаптеры дообучения объединены с базовыми весами; модель загружается через Transformers, веса представлены в safetensors. Контекст — 2048 токенов. Распространяется по лицензии Apache-2.0. Модель подходит для временного анализа и ответов на инструкции с привязкой к состоянию информации на заданный момент. Её знания ограничены веб-текстами, доступными до декабря 2023 года; RLHF и дополнительная настройка безопасности не проводились. Она может воспроизводить смещения обучающих данных и не подходит для критически важных сценариев без дополнительного выравнивания.

PwC-Embedding-expr — мультиязычная модель эмбеддингов, разработанная PwC-AXNode и дообученная на базе intfloat/multilingual-e5-large-instruct для повышения качества представления корейских текстов. Авторы использовали расширенные наборы данных для задач семантического сходства и сбалансировали их при дообучении. Модель построена на архитектуре XLM-RoBERTa и выдаёт векторы размерности 1024. Она подходит для сравнения предложений и оценки семантического сходства; в README приведены результаты оценки на корейской части MTEB, включая KLUE-STS. Максимальная длина входа — 514 токенов. Модель экспериментальная и находится в разработке; распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-abliterated-GGUF — модифицированная версия Qwen/Qwen2.5-7B-Instruct, опубликованная richardyoung. Модель предназначена для локального запуска и генерации текста, включая исследование выравнивания и безопасности языковых моделей, творческое письмо, образовательные эксперименты и сценарии, где требуется менее ограниченное поведение. Она распространяется в формате GGUF и совместима с llama.cpp, Ollama и LM Studio. Модель основана на Qwen2.5-7B-Instruct; заявлен размер 7 миллиардов параметров и поддержка текстовой генерации. В README явно указан английский язык. Abliteration удаляет направление отказа в residual stream без дообучения, что должно сохранять базовые знания и возможности модели, но снижает количество отказов на запросы, которые исходная модель отклоняла. Доступны варианты квантования от Q2_K до Q8_0: Q4_K_M рекомендуется как компромисс между качеством и скоростью, а более качественные варианты требуют больше оперативной памяти. Ключевое ограничение — отсутствие защитных ограничителей: модель может выполнять запросы, от которых базовая версия отказалась, поэтому ответственность за безопасное применение лежит на пользователе. Качество генерации заявлено сопоставимым с базовой Qwen2.5-7B-Instruct, однако конкретные показатели и размер контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-0.6B-Base-bnb-4bit — это 4-битная версия предварительно обученной причинной языковой модели Qwen3-0.6B-Base, подготовленная Unsloth на базе модели Qwen Team. Она предназначена для генерации текста, языкового моделирования и использования в прикладных сценариях, где важны компактный размер и сниженные требования к памяти, включая локальный запуск и дальнейшую адаптацию. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, имеет 28 слоёв и использует Grouped Query Attention с 16 головами для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на 36 трлн токенов на 119 языках, включая данные для программирования, STEM, логического рассуждения, книг, многоязычных и синтетических источников, однако README не уточняет распределение качества по языкам для данной компактной версии. К сильным сторонам относятся компактность, 4-битное представление и поддержка длинного контекста. Это базовая предварительно обученная модель, поэтому она не позиционируется как готовый чат-ассистент и может требовать дополнительного дообучения или специального промптинга для диалоговых задач. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B-Instruct-ONNX — ONNX-версия инструкционной языковой модели minpeter/Qwen3-0.6B-Instruct, разработанная сообществом onnx-community и автоматически сконвертированная для использования с Transformers.js. Модель предназначена для генерации текста и обработки инструкций, включая сценарии локального запуска в приложениях на JavaScript через pipeline text-generation. Модель основана на Qwen3-0.6B и имеет размер 0,6 млрд параметров, однако подробности об архитектуре, поддерживаемых языках, модальностях и размере контекста в представленном README не указаны. Версия содержит изменения, связанные с использованием в качестве целевой модели для обучения в PrimeIntellect-ai/verifiers: шаблон чата вынесен в отдельный файл chat_template.jinja, а режим рассуждений включён по умолчанию. ONNX-формат и интеграция с Transformers.js являются ключевыми особенностями, но ограничения производительности и качества относительно исходной модели не описаны. Модель распространяется по лицензии Apache-2.0. Для архитектуры, результатов тестирования и дополнительных сведений README рекомендует обращаться к документации исходной модели Qwen/Qwen3-0.6B.

Mungert/Qwen3-4B-GGUF — набор GGUF-квантизованных вариантов базовой модели Qwen3-4B-Base, разработанной командой Qwen. Модель предназначена для генерации текста и локального инференса с использованием совместимого ПО, включая llama.cpp, особенно на системах с ограниченной оперативной памятью или видеопамятью. Размер исходной модели — 4B параметров; точные характеристики архитектуры, поддерживаемые языки и размер контекстного окна в представленном README не указаны. Доступны форматы и варианты квантования с разной точностью, включая низкоразрядные схемы IQ и семейство QK. Чем ниже разрядность, тем меньше требования к памяти, но потенциально ниже точность и качество генерации. README также описывает метод IQ-DynamicGate для распределения точности по слоям, однако приведённые результаты относятся к Llama-3-8B-Instruct и не подтверждают аналогичные показатели для этой модели. Сильная сторона модели — возможность эффективного локального запуска на CPU, edge-устройствах и системах с небольшим объёмом памяти. Ограничения включают возможную потерю качества при агрессивном квантовании, зависимость производительности от аппаратного обеспечения и отсутствие в README точных сведений о конкретных доступных файлах, их параметрах и результатах тестирования именно для Qwen3-4B. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B-ultra-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.5-35B-A3B, подготовленный независимым разработчиком llmfan46. Это модифицированная, «decensored» версия исходной модели Qwen, созданная с использованием Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation (MPOA) и Self-Organizing Map Abliteration (SOMA). В README также указана исходная модель Qwen/Qwen3.5-35B-A3B, однако подробности о разработчике базовой модели и её полной архитектуре не приведены. Модель предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других инструментах, совместимых с GGUF. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к VRAM. Указанное обозначение 35B-A3B отражает заявленный класс и конфигурацию модели, но точные сведения о числе активируемых параметров, размере контекста и языковой поддержке в представленном README отсутствуют. Модель поддерживает мультимодальные сценарии image-text-to-text. Для работы с изображениями требуется отдельный vision projector в формате F32 или BF16; его следует использовать вместе с любой квантизацией основной модели. Ключевая особенность модификации — существенное снижение числа отказов: в приведённом тесте 4 из 100 против 91 из 100 у оригинала, при KL divergence 0,0411, что указывает на относительно небольшое отклонение от исходного поведения. При этом снятие ограничений может повышать риски небезопасных или нежелательных ответов, а квантизация способна влиять на качество, связность и рассуждения. Лицензия — Apache 2.0.

Qwen3.6-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen. Модель автоматически преобразована с помощью инструментария ggml-org/convert и предназначена для запуска через llama.cpp-совместимые средства, включая llama.app. Согласно карточке, модель относится к классу image-text-to-text и рассчитана на обработку изображений и текста с генерацией текстовых ответов. Её размер — 27 миллиардов параметров; конкретный вариант квантизации, архитектурные детали, поддерживаемые языки и размер контекстного окна в README не указаны. В качестве исходных моделей заявлены Qwen/Qwen3.6-27B и z-lab/Qwen3.6-27B-DFlash. К сильным сторонам относятся поддержка мультимодального сценария и формат GGUF, удобный для локального запуска и интеграции с совместимыми инструментами. Ограничения модели, требования к аппаратному обеспечению, точные характеристики квантизации и результаты тестирования не приведены, поэтому производительность и качество для конкретных задач по этой карточке оценить нельзя. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-Flash-Next-ABLITERATED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8, разработанная dealignai на базе модели Qwen. Это текстогенерационная vision-language модель с поддержкой изображений; в описании также заявлены архитектура MoE, формат квантования FP8 и сохранённые vision tower и MTP head для multi-token prediction. Языки и размер контекстного окна в README не указаны. Модель предназначена для генерации текста, задач рассуждения и мультимодальных сценариев, где требуется обработка текста и изображений. По заявленным тестам она демонстрирует повышенную глубину рассуждений: на пяти логических головоломках получила 4 из 4 правильных ответов против 3 из 4 у базовой модели, однако это сравнение выполнено на небольшой выборке. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой версии, то есть модификация сопровождается снижением общей академической точности и заметными просадками по отдельным предметам. Ключевая особенность модели — удаление отказов и защитного поведения: в тесте HarmBench заявлено отсутствие жёстких отказов и высокая готовность отвечать даже на запросы, связанные с вредоносными, незаконными, киберпреступными и дезинформационными сценариями. Поэтому модель может быть полезна для исследовательских и тестовых задач, но требует особенно строгого контроля применения и не обеспечивает встроенных ограничений безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-MLX-Serve-mixed-4-8bit — это проверенная копия весов Qwen3.8-Flash-Next-Uncensored, созданная на основе модели Qwen/Qwen3.8-Flash-Next. Репозиторий поддерживается yomie4343 и содержит локальные изменения и проверки для специализированного движка mlx-serve; модель не переобучалась и не является новой схемой квантизации. Исходные веса происходят от orcarouter, а сам пакет байт-в-байт совпадает с существующим пакетом ARC4NUM. Модель предназначена для локального инференса на устройствах Apple Silicon через пропатченный mlx-serve. Она ориентирована на генерацию текста, а исходные vision-веса сохранены, поэтому заявлена мультимодальная поддержка, однако пакет нельзя считать универсальным checkpoint для Transformers, mlx-lm или mlx-vlm. Архитектура использует маршрутизируемые MoE-эксперты, MTP-компонент и N-gram-таблицу. Вариант применяет смешанную точность: MoE-эксперты, токеновые embeddings и MTP head квантизованы в 4-bit, остальные подходящие проекции — в 8-bit; используется group size 64, а для N-gram-таблицы — 32. Размер пакета составляет около 107 ГБ, требуется отдельный файл ngram_table.bin и быстрый SSD. Основное преимущество — ориентированный на качество компромисс между размером и точностью при локальном запуске, а также наличие подготовленного runtime-патча и проверок на Mac Studio M3 Ultra с 96 ГБ unified memory. Ограничения включают высокие требования к памяти и хранилищу, зависимость от конкретной версии пропатченного mlx-serve и отсутствие гарантии одинаковой производительности или качества на другом оборудовании, контексте и рабочих нагрузках. В README приведена консервативная конфигурация с контекстом 32768 токенов, но это параметр запуска, а не обязательно максимальный контекст модели. Лицензия указана как qwen-community-1.0; подробные условия находятся в файле LICENSE.

LinerAI разработала эту дообученную на Qwen/Qwen3-Embedding-0.6B модель для поиска научной литературы. Это плотная модель семейства Qwen3 с 507,6 млн параметров, которая преобразует запросы и документы в эмбеддинги для семантического поиска; обучение с контрастивной функцией потерь и подбором сложных негативных примеров ориентировано на академические материалы. В README заявлены размерность эмбеддингов 1024 и поддержка Matryoshka с укороченными векторами размерностью 768, 512, 256 и 128. Модель предназначена для поиска научных статей, обнаружения связанных работ и извлечения документов по исследовательским вопросам. Поддерживаются английский, китайский, корейский, японский, немецкий, французский, испанский и русский языки. В метаданных указано окно контекста 32768 токенов, тогда как README устанавливает предел 4096 токенов; перед применением следует проверить ограничение используемой версии. Для запросов рекомендуется заданный формат с инструкцией, а документы кодируются без префикса. Лицензия — Apache-2.0.

Qwen3-step32k-1e5 — диалоговая модель генерации текста на базе Qwen3 с 7,6 млрд параметров, дообученная Etienne Bamas на датасете SFT от formalmathatepfl/qwen3-cpt. Она предназначена для текстовых запросов и диалоговых сценариев; использует плотную архитектуру Qwen3 и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Карточка не описывает конкретные специализации, результаты оценки или известные ограничения качества. Лицензия указана как other, поэтому условия использования следует сверять с лицензией в репозитории модели и базовой модели.

Qwen3-VL-Reranker-2B-nvfp4 — мультимодальная модель переранжирования из сообщества mlx-community, преобразованная из Qwen/Qwen3-VL-Reranker-2B в формат MLX с помощью mlx-lm 0.1.0. Она предназначена для переоценки и сортировки результатов поиска по релевантности запросу; исходное семейство Qwen3-VL также поддерживает анализ изображений и видео, однако карточка этой версии подтверждает только задачу переранжирования. Модель основана на Qwen/Qwen3-VL-2B-Instruct и использует архитектуру Qwen3-VL с плотной генеративной основой. Репозиторий содержит веса safetensors; обозначение nvfp4 в названии указывает на вариант с пониженной точностью. Лицензия — Apache 2.0.

Qwen-Qwen1.5-1.8B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen1.5-1.8B, разработанный и подготовленный Featherless AI Quants на основе Qwen/Qwen1.5-1.8B. Модель предназначена для генерации текста и локального или ресурсоэффективного запуска сценариев обработки естественного языка. В репозитории представлены варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 807 МБ до 1,87 ГБ. Формат GGUF обеспечивает совместимость с программным обеспечением, поддерживающим этот формат, а выбор уровня квантизации позволяет балансировать между размером файлов, требованиями к памяти и сохранением качества. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Сильной стороной набора является наличие нескольких вариантов квантизации для разных аппаратных ограничений и требований к качеству. Ограничения включают отсутствие подробной информации о характеристиках базовой модели, её языках, производительности и рекомендуемых сценариях применения. Лицензия в README не указана; условия использования следует уточнять в материалах базовой модели Qwen/Qwen1.5-1.8B.

Это дообученный многоязычный переранжировщик IoannisKat1 на основе BAAI/bge-reranker-v2-m3, созданный с помощью Sentence Transformers для оценки релевантности пары «запрос — документ». Модель использует архитектуру Cross-Encoder на базе XLM-RoBERTa и выдаёт один числовой балл для каждой пары текстов; её можно применять для повторной сортировки результатов поиска и семантического поиска, в том числе в чат-ботах. Модель рассчитана прежде всего на греческий язык. Максимальная длина последовательности — 8192 токена. В README приведены результаты оценки на нескольких наборах данных для переранжирования, включая bge-dev и наборы NanoBEIR. Модель принимает и выдаёт текстовые данные со score релевантности. Лицензия — Apache-2.0.

sentence-transformers/roberta-base-nli-stsb-mean-tokens — модель sentence-transformers, обученная командой Sentence Transformers на базе RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения семантической близости, кластеризации и семантического поиска. Модель содержит 151,8 млн параметров, принимает текст и формирует эмбеддинги; максимальная длина контекста — 514 токенов. Доступны веса в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать более новую модель для векторного поиска и сравнения предложений.

SeaLLMs-v3-1.5B — базовая языковая модель из семейства SeaLLMs, разработанного для языков Юго-Восточной Азии. Это плотная причинная модель Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов, распространяемая в формате safetensors. Модель предназначена для генерации текста и дальнейшей тонкой настройки под прикладные задачи; для непосредственного диалогового использования авторы предлагают отдельную версию SeaLLMs-v3-1.5B-Chat. Модель рассчитана на английский, китайский и языки региона, включая индонезийский, вьетнамский, тайский, тагальский, малайский, бирманский, кхмерский, лаосский, тамильский и яванский. В карточке заявлены способности к следованию инструкциям, переводу, математическим рассуждениям и ответам на вопросы о местном контексте; для серии также отмечены работа в многошаговом диалоге, снижение галлюцинаций и более безопасные ответы. Доступна лицензия с пометкой «other», поэтому конкретные условия следует проверять в репозитории модели.

Карточка модели Veritone/siglip2-so400m-patch14-224 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch14-224, поэтому описание составлено по ней. SigLIP 2 So400m — модель визуального энкодера от Google на архитектуре SigLIP. Она обучена на наборе WebLI и предназначена для понимания связей между изображениями и текстом. Модель поддерживает классификацию изображений по заданным текстовым меткам без специального дообучения, поиск изображений по текстовому запросу и использование в качестве визуального энкодера для VLM и других задач компьютерного зрения. Модель принимает изображения и текстовые метки или запросы, сопоставляет их семантически и выдаёт оценки соответствия. Вариант So400m использует патчи 14 × 14 и входное разрешение 224 × 224. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия Apache-2.0 разрешает коммерческое использование при соблюдении её условий.

zeromodels представляет конверсию SigLIP Base Patch16 384 в формате Keras 3 для классификации изображений без дополнительного обучения. Модель использует двухбашенную архитектуру, кодирующую изображения и текст, и sigmoid loss при обучении вместо contrastive softmax, характерного для CLIP. Размер изображения — 384 пикселя; реализация работает с TensorFlow, PyTorch и JAX. При инференсе модель принимает изображения и текстовые подсказки, а затем сопоставляет их для классификации по произвольным текстовым меткам. Это подходит для категоризации изображений, когда набор классов задаётся в запросе. Модель основана на google/siglip-base-patch16-384; лицензия — Apache 2.0.

SigLIP base — мультимодальная модель Google на архитектуре SigLIP, предварительно обученная на англоязычных парах изображение–текст из набора WebLI. Вариант обучен для работы с изображениями разрешением 512×512; текст токенизируется с длиной до 64 токенов. Модель использует sigmoid loss для сопоставления изображений и текста. Модель предназначена для классификации изображений по текстовым описаниям без дообучения и поиска соответствий между изображениями и текстом. Её можно применять для подбора меток к изображениям по заданным формулировкам и для поиска изображений по текстовому запросу или наоборот. Карточка указывает лицензию Apache-2.0.

s1.1-32B-GGUF — это набор GGUF-квантизаций языковой модели s1.1-32B, разработанной командой simplescaling и опубликованной в варианте квантизации пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В качестве обучающего набора указан simplescaling/s1K-1.1, однако сведения о задачах обучения, языках, контекстном окне и точной архитектуре в README не приведены. Доступны варианты от исходных весов F16 размером 65,54 ГБ до сильно сжатых квантов Q2 и Q3, а также Q4, Q5, Q6 и Q8. Квантизация выполнена с использованием imatrix на базе llama.cpp. Версии Q6_K и Q6_K_L отмечены как обеспечивающие почти исходное качество, а Q4_K_M указана как вариант стандартного размера для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но снижают качество и точность генерации. Модель подходит для локального инференса при наличии совместимого оборудования и программного обеспечения. Формат промпта использует специальные маркеры system, user и assistant. Лицензия — Apache-2.0. README не содержит данных о мультимодальности, поддерживаемых языках, показателях качества и ограничениях исходной модели.

jaspionjader/sof-7 — объединённая модель семейства Llama, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой модели использована jaspionjader/Kosmos-EVAA-Franken-stock-v43-8B; также в слияние вошли jaspionjader/ek-6, jaspionjader/sof-5 и jaspionjader/sof-6. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалогах. Она принимает текстовые запросы, выдаёт текст и поддерживает контекст до 131 072 токенов. Модель распространяется в формате safetensors; для её загрузки указана библиотека Transformers. Языки и специализированные предметные области в карточке не заявлены. Карточка не описывает отдельные ограничения качества или условия лицензии, поэтому их нельзя надёжно уточнить по доступным сведениям.

SOLAR-Platypus-10.7B-v2-GGUF — квантизированная версия языковой модели Solar Platypus 10.7B v2, разработанной KyujinHan и опубликованной TheBloke в формате GGUF. Модель основана на архитектуре Solar, предназначена для генерации текста и работы с англоязычными запросами. Обучение связано с датасетом garage-bAInd/Open-Platypus, однако подробные сведения о составе обучения и оценке качества в README не приведены. Модель содержит 10,7 млрд параметров; точный размер контекста и поддерживаемые модальности не указаны. Квантизация в форматах от 2 до 8 бит позволяет запускать её с использованием CPU и GPU, в том числе через llama.cpp и совместимые интерфейсы и библиотеки. Это делает модель подходящей для локального вывода, текстовых чат-приложений и экспериментов на оборудовании с ограниченными ресурсами, но более агрессивная квантизация может снижать точность по сравнению с исходной версией FP16. Для взаимодействия рекомендуется шаблон запроса SUS с ролями Human и Assistant. Лицензия модели — CC BY-NC-SA 4.0, допускающая использование с указанием авторства и распространение производных материалов на тех же условиях, но не разрешающая коммерческое использование. Точные требования к применению следует проверять по условиям лицензии.

soob3123_amoral-gemma3-12B-v2-GGUF — это GGUF-квантизированная версия модели amoral-gemma3-12B-v2, разработанной soob3123 и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста, аналитических задач и сценариев, где требуется нейтрализация предвзятости или менее ограниченное поведение. Указан английский язык и тег text-generation. Модель относится к семейству Gemma 3 и имеет размер 12B параметров. Доступны варианты от исходных весов BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемые варианты обеспечивают высокое качество, тогда как варианты Q3 и некоторые низкоразрядные форматы экономят память, но заметнее снижают качество. Модель можно запускать через LM Studio, llama.cpp и совместимые проекты. Архитектурные детали, поддержка мультимодальности и размер контекста в README не указаны. Лицензия — Apache-2.0. Ограничения зависят от выбранного уровня квантизации и доступных аппаратных ресурсов; для точного выбора варианта следует учитывать размер конкретного файла и требования среды запуска.

Stheno-Hercules-3.1-8B-GGUF — это квантованная GGUF-версия текстовой генеративной модели Stheno-Hercules-3.1-8B, разработанной ZeroXClem. Модель создана как merge-модель на основе Locutusque/Hercules-6.1-Llama-3.1-8B и Sao10K/Llama-3.1-8B-Stheno-v3.4. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального инференса, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Доступны варианты от F16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Версии Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые; отдельные варианты оптимизированы для ARM-процессоров. Известно, что модель относится к семейству Llama 3.1 и имеет размер 8B параметров, однако сведения о точной архитектуре, максимальном контексте, поддерживаемых языках, мультимодальности, результатах оценки и специализированных сценариях в README не приведены. Квантование уменьшает требования к памяти, но может снижать качество по сравнению с исходными весами, особенно в вариантах с низкой точностью. Модель распространяется по лицензии Apache-2.0.

StrangeMerges_41-7B-dare_ties — объединённая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit и метода dare_ties. В слияние вошли Weyaxi/Einstein-v4-7B, rwitz/experiment26-truthy-iter-0 и kaist-ai/mistral-orpo-beta; в настройке указаны веса 0,3, 0,2 и 0,5 соответственно и плотность 0,8. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться в диалогах, ответах на вопросы и следовании инструкциям — такие сценарии свойственны входящей в слияние Einstein-v4-7B. Карточка не приводит отдельных оценок качества или подробных результатов тестирования. Лицензия — Apache-2.0.

NVIDIA FastConformer-Hybrid Large (ka) — модель распознавания речи на грузинском языке, разработанная NVIDIA и предназначенная для использования с инструментарием NeMo. Она преобразует монофонические аудиозаписи WAV с частотой 16 кГц в текст на грузинском письме; результат включает пробелы и знаки препинания: точки, запятые и вопросительные знаки. Модель построена на архитектуре FastConformer и содержит около 115 млн параметров. Это гибридный чекпойнт, обученный с функциями потерь Transducer и CTC, поэтому распознавание доступно в обоих режимах. Для обучения использовали около 163 часов грузинской речи из Mozilla Common Voice 17.0 и Google Fleurs. В README приведены значения WER 5,73% на тесте Common Voice и 13,44% на тесте Fleurs при жадном декодировании Transducer. Модель подходит для транскрибации грузинской речи и может служить предобученной основой для дообучения на других данных. Качество может снижаться на технической лексике, разговорных вариантах речи и акцентированной речи. Лицензия — CC BY 4.0.

Synthia-S1-27b-GGUF — это квантованная версия модели Synthia-S1-27b, разработанной Tesslate и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель распространяется в вариантах от BF16 до различных квантовок Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 27 млрд параметров, однако сведения об архитектуре, языках и максимальной длине контекста в README не указаны. Модель предназначена для задач генерации текста и мультимодального сценария image-text-to-text согласно метаданным репозитория. Готовые файлы можно запускать локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы рекомендуется использовать указанный формат prompt с маркерами ролей user и model. Сильная сторона сборки — широкий выбор квантовок: варианты Q6_K_L и Q6_K обеспечивают близкое к исходному качество, Q4_K_M предлагают распространённый компромисс между качеством и размером, а более компактные варианты подходят для систем с ограниченной памятью, но могут заметно уступать по качеству. Ограничения включают отсутствие в README подробных данных о фактических возможностях, поддерживаемых языках, контекстном окне и мультимодальной конфигурации. В метаданных указана лицензия Gemma; условия её применения следует уточнять по лицензии исходной модели и соответствующим условиям распространения.