I.3Извлечение и структурирование данных

Experiment29Pastiche-7B — объединённая Maxime Labonne модель для генерации текста и диалогов. Она создана автоматическим слиянием двух моделей: yam-peleg/Experiment29-7B и CorticalStack/pastiche-crown-clown-7b-dare; для объединения использован метод SLERP, а базовой моделью указана yam-peleg/Experiment29-7B. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors; метаданные указывают лицензию Apache-2.0. Карточка демонстрирует использование через Transformers, но не приводит сведений о языковой специализации или подробных ограничениях качества.

NeuML/fasttext — экспорт английских векторов FastText Wiki News размерности 300 из набора wiki-news-300d-1M-subword.vec.zip в формат библиотеки staticvectors. Модель предназначена для получения векторных представлений слов и вычисления сходства между предложениями; запуск инференса в Python с NumPy обеспечивает работу без отдельной нейросетевой среды. Репозиторий содержит плотные статические векторы в формате safetensors. Модель рассчитана на английский язык и применяется в задачах семантического сравнения текстов. Лицензия — CC BY-SA 3.0, предусматривающая указание авторства и распространение производных материалов на совместимых условиях.

ForgottenMaid-12B — объединённая языковая модель на 12,1 млрд параметров, созданная с помощью mergekit и метода Arcee Fusion. За основу взята yamatazen/LoyalMaid-12B, также в объединение включена ReadyArt/Forgotten-Safeword-12B-v4.0; архитектура — плотная MistralForCausalLM, веса опубликованы в формате safetensors с точностью bfloat16. Модель предназначена для генерации текста и диалогового общения. Метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста составляет 1 024 000 токенов. Сведения о лицензии, целевых языках и специальных прикладных областях в предоставленных источниках отсутствуют.

Fun-ASR-Nano-2512-hf — версия модели распознавания речи Fun-ASR-Nano от FunAudioLLM, подготовленная для работы с библиотекой Transformers. Это плотная end-to-end модель, принимающая аудио и генерирующая текстовую транскрипцию. Она поддерживает китайский, английский и японский языки; для китайского заявлена поддержка семи диалектных групп и 26 региональных акцентов. Обучение проводилось на десятках миллионов часов реальной речи. Модель предназначена для транскрибирования аудио, в том числе китайской речи с региональными особенностями, а также английской и японской речи. Для этого HF-чекпойнта README описывает запуск через нативную поддержку Transformers и генерацию текста. Указанная в карточке лицензия — Apache-2.0. Экспорт не содержит ветвь CTC и поэтому не предоставляет зависящие от неё временные метки и диаризацию говорящих. Проверки README охватывают короткие примеры и отдельные пакетные сценарии; они не являются оценкой точности, скорости или минимальных требований к памяти. Стандартный pipeline automatic-speech-recognition в описанной версии Transformers завершался ошибкой индексации токенов; автор рекомендует использовать указанный в README маршрут через any-to-any или нативные processor/generate API.

djuna/G2-BigGSHT-27B-2 — языковая модель для генерации текста и диалогов, созданная объединением моделей с помощью mergekit. В README указан метод Model Stock: в объединение вошли djuna/G2-BigGSHT-27B-calc и unsloth/gemma-2-27b-it, а базой для слияния служила AALF/gemma-2-27b-it-SimPO-37K-100steps. Модель построена на архитектуре Gemma 2, содержит 27,6 млрд параметров и работает с контекстом до 8192 токенов. Модель предназначена для генерации ответов в чате и других сценариев работы с текстом. Метаданные отмечают возможность диалога; базовая Gemma 2 описана как англоязычная. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH, без дополнительных сведений о методике применения. Репозиторий содержит веса в формате Safetensors, а метаданные указывают библиотеку Transformers. Лицензия в предоставленных данных не указана.

G9v3-3B-heretic-i1-GGUF — набор квантованных моделей в формате GGUF, созданный mradermacher на основе insraq/G9v3-3B-heretic. Модель предназначена для генерации текста, работы с длинным контекстом и сценариев с вызовом инструментов; в описании также указаны свойства uncensored, decensored и abliterated. Поддерживаются английский и китайский языки. Базовая модель имеет размер 3B параметров и относится к семейству Llama, однако точные сведения об архитектуре и максимальной длине контекста в README не приведены. Репозиторий содержит варианты квантования i1 с размерами примерно от 0,9 до 2,6 ГБ, включая IQ- и Q-форматы, а также файл imatrix для самостоятельного создания квантов. Доступны конфигурации с разным соотношением размера, скорости и качества: например, i1-Q4_K_M отмечена как быстрая и рекомендуемая, а i1-Q4_K_S — как оптимальная по размеру, скорости и качеству. Более лёгкие варианты могут заметно уступать по качеству, поэтому выбор зависит от доступных ресурсов и требований к результату. Лицензия модели — Apache-2.0. README не содержит подробных результатов тестирования, точных характеристик контекста, описания датасета или инструкций по применению конкретных вариантов в различных инференсных движках.

ZySec-AI подготовила экспериментальную модификацию Gemma 3 27B IT с удалёнными отказами с помощью техники abliteration и минимальным дообучением. Это плотная мультимодальная модель семейства Gemma 3 на 27 млрд параметров, основанная на google/gemma-3-27b-it; она поддерживает диалог, работу с изображениями и вызов инструментов. Модель предназначена для ответов на запросы и работы с изображениями в сценариях, где требуется меньше отказов, чем у исходной версии. В карточке заявлено, что сохранена большая часть возможностей базовой модели, но независимая оценка качества не приведена. Распространяется в формате Safetensors по лицензии Gemma.

Ex0bit выпустил Ex0bit/Gemma4-26B-A4B-PRISM-PRO-DQ-GGUF — мультимодальную версию Gemma 4 26B-A4B Instruction-Tuned в формате GGUF для запуска через llama.cpp. Это MoE-модель с 26 млрд параметров, из которых 4 млрд активны на токен; в README указаны 128 экспертов и маршрутизация top-8. Модель принимает текст, изображения и видео и отвечает текстом. Для обработки изображений и видео вместе с основным GGUF-файлом нужен файл проектора mmproj. Модель предназначена для диалогов и анализа изображений и видеокадров. Автор заявляет, что PRISM-PRO удаляет чрезмерные отказы и механизмы смещения, а PRISM-DQ распределяет точность квантования по типам тензоров; заявленная точность — 5,73 бита на вес. Эти заявления приведены автором и не подтверждены независимыми оценками в предоставленной карточке. Аудио модель не поддерживает. Лицензия — Apache-2.0.

jtl11/GLM-4.7-Flash-heretic — это изменённая версия GLM-4.7-Flash от Z.ai с применённой abliteration, предназначенная для генерации текста и диалогов с меньшим числом отказов на запросы. В README приведено сравнение отказов: 32 из 104 у этой версии против 103 из 104 у исходной модели; также указано значение KL divergence 0,0630 относительно оригинала. Метаданные описывают модель как генеративную архитектуру GLM4 MoE Lite с 4,1 млрд параметров, поддержкой чата и контекстом до 202 752 токенов. Карточка связана с исходной моделью zai-org/GLM-4.7-Flash, которая в README описана как MoE-модель класса 30B-A3B; число параметров в метаданных этой копии отличается, поэтому её размер указан по метаданным репозитория. Заявлены английский и китайский языки. Модель распространяется по лицензии MIT.

GLM-5.1 — языковая модель семейства GLM, опубликованная сообществом mlx-community в формате для библиотеки MLX. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке; в метаданных указана архитектурная метка glm_moe_dsa и библиотека mlx. Модель содержит 30,4 млрд параметров и поддерживает контекст длиной до 202 752 токенов. Её можно использовать для продолжения текста, генерации ответов в диалоге и других сценариев text generation на совместимых системах Apple MLX. README не содержит сведений о лицензии, поэтому условия использования по предоставленным данным определить нельзя.

Это GGUF-квантизированная версия Josiefied-Qwen3-14B-abliterated-v3, разработанной Goekdeniz-Guelmez. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска в LM Studio, llama.cpp и других совместимых проектах. В основе лежит модель Qwen3 размером 14 млрд параметров. Доступны варианты от BF16 до различных 8-, 6-, 5-, 4- и 3-битных форматов GGUF, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер файлов варьируется примерно от 8,11 до 29,54 ГБ. Для общения используется шаблон с ролями system, user и assistant через специальные токены ChatML. Сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным модель относится к текстовым. Сильной стороной являются многочисленные варианты квантизации, включая рекомендованные конфигурации с высоким качеством и более компактные варианты для систем с ограниченной оперативной памятью. Ограничения зависят от выбранного формата: более сильное сжатие уменьшает требования к ресурсам, но может снижать качество генерации. Лицензия в README не указана, поэтому условия использования необходимо уточнять в исходном репозитории модели Goekdeniz-Guelmez.

bartowski/granite-embedding-30m-english-GGUF — квантованная версия модели granite-embedding-30m-english, разработанной IBM под брендом IBM Granite и опубликованной bartowski. Модель предназначена для создания текстовых эмбеддингов на английском языке и решения задач семантического поиска и retrieval, включая поиск по документам, построение RAG-систем и сопоставление запросов с релевантным содержимым. Модель ориентирована на английские тексты. В README указано, что она распространяется в формате GGUF и относится к семейству embedding-моделей; конкретная архитектура, размер эмбеддинга, объём параметров, максимальная длина контекста и поддерживаемые модальности не приведены. В тестах MTEB представлены результаты на наборах ArguaAna, ClimateFEVER и CQADupstack, что подтверждает применимость к задачам информационного поиска, однако показатели заметно различаются в зависимости от предметной области. Сильными сторонами являются компактное квантованное представление GGUF и специализация на англоязычном семантическом поиске. Ограничения включают отсутствие заявленной мультиязычности и недостаток сведений о точных технических характеристиках; качество для других языков и сценариев по README не подтверждено. Модель распространяется по лицензии Apache-2.0.

Granite-Speech-4.1-2B-NAR — модель распознавания речи от IBM, предназначенная для быстрой транскрипции в сценариях, чувствительных к задержке. Она обрабатывает аудио и выдаёт текст на английском, французском, немецком, испанском и португальском языках. Репозиторий построен на базе granite-4.0-1b-base и использует архитектуру NLE: CTC-энкодер речи на Conformer, Q-Former-проектор и двунаправленный LLM-редактор с LoRA. Вместо последовательной генерации модель за один проход исправляет гипотезу CTC, что ускоряет вывод; заявленная производительность составляет около 1820 RTFx на H100 при пакетной обработке. Модель рассчитана на автоматическое распознавание речи, а не на генерацию произвольного текста. Точность зависит от языка и акустических условий; качество может быть ниже для португальского, при дальнем микрофоне и перекрывающейся речи. Консервативное редактирование снижает риск добавления слов, но в шумной записи модель может пропускать слова. Лицензия — Apache 2.0.

Hermes-Instruct-7B-100K — диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2, дообученная на 100 тысячах примеров из набора teknium/openhermes в формате Alpaca. Она предназначена для генерации текста по инструкциям и ответов в диалоге; принимает запросы в формате Alpaca или Mistral-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README приводит результаты оценки на бенчмарках, включая средний балл 64,96, но этих данных недостаточно для вывода о качестве на конкретных прикладных задачах. Подтверждённая языковая поддержка и специальные предметные области в предоставленных материалах не описаны.

Hipotalamus-7B-slerp — слитая модель генерации текста, созданная Kukedlc с помощью LazyMergekit на основе Mistral-7B-v0.1 и моделей NeuralMaxime-7B-slerp, NeuralMarioMonarch-7B-slerp и Neural4gsm8k. Для объединения применён метод dare_ties; веса сохранены в формате safetensors, размер модели — 7,1 млрд параметров. Модель предназначена для генерации текста и общих языковых задач. Контекст составляет до 32 768 токенов. Лицензия — Apache-2.0.

HiveCoder-Abliterated — мультимодальная модель Google Gemma 4 12B Instruct, опубликованная пользователем theailearner. Из весов удалено направление активаций, связанное с отказами: ортогонализацию применили к эмбеддингам токенов, выходным проекциям внимания и проекциям MLP. По README, дообучение не проводилось; метаданные классифицируют связь с google/gemma-4-12B-it как finetune. Модель предназначена для диалогов и обработки текста и изображений; базовая модель также поддерживает видео и аудио. В карточке Hugging Face указаны задача image-text-to-text и возможности chat и vision. Мультимодальность и диалоговые возможности унаследованы от базовой модели. Удаление отказов означает, что модель может отвечать на запросы, которые исходная модель отклоняла; это не гарантирует корректности или безопасности ответов. Условия использования определяются лицензией Gemma.

Huihui-Qwen3.5-27B-abliterated-Athanorlite-ORPO-i1-GGUF — это квантизированная в формате GGUF версия модели Huihui-Qwen3.5-27B-abliterated-Athanorlite-ORPO. Базовую модель разработал nbeerbower, а квантизацию выполнил mradermacher. Для обучения или дообучения указана выборка schneewolflabs/Athanorlite-DPO; также модель связана с методом ORPO. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, поддерживающих GGUF. В README она обозначена как vision model, поэтому для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Заявлен английский язык. Размер модели составляет 27B параметров согласно идентификатору и названию базовой модели, однако сведения о длине контекста, точной архитектуре и полном наборе поддерживаемых модальностей не приведены. Доступно множество вариантов квантизации с размерами примерно от 7,2 до 16,6 ГБ и выше. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; в README вариант i1-Q4_K_M отмечен как рекомендуемый по сочетанию скорости и качества, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Ограничения включают возможное снижение качества из-за сильной квантизации, неполные сведения о производительности и отсутствие заявленных оценок. Лицензия в представленном README не указана, поэтому условия использования необходимо уточнять в репозитории базовой модели и связанных материалов.

Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-i1-GGUF — GGUF-квантизированная версия модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated, разработанной Huihui AI и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста, рассуждений и сценариев, связанных с chain-of-thought; в метаданных также указаны distillation, LoRA и mixture-of-experts. Модель заявлена как vision model, однако README не содержит подробностей о поддерживаемых визуальных входах и требованиях к mmproj-файлам. Архитектура относится к mixture-of-experts; в идентификаторе указаны размеры 35B и A3B, но точное значение активных параметров не раскрыто. Указан английский язык, а размер контекста и другие языковые возможности не приведены. Доступны варианты квантизации i1-IQ и i1-Q с различными компромиссами между размером, скоростью и качеством; некоторые малые варианты отмечены как низкокачественные. Сильной стороной является широкий выбор GGUF-квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения включают отсутствие в README результатов тестирования, подробностей о мультимодальности и контекстном окне, а также возможное снижение качества у наиболее компактных вариантов. В названии и тегах модель обозначена как abliterated и uncensored, поэтому её поведение в части защитных ограничений следует оценивать отдельно. Лицензия — Apache 2.0.

HybridDiffusion-4B — текстовая генеративная модель на 4,84 млрд параметров, созданная авторами HybridDiffusion преобразованием Qwen3.5-4B по схеме перехода от авторегрессионной генерации к диффузионной. Она построена на гибридной архитектуре Gated DeltaNet и softmax-внимания и поддерживает три режима генерации на одном наборе весов: обычную авторегрессионную, спекулятивное декодирование с проверкой AR-Trust и параллельное уточнение токенов Diffusion-Trust. Модель предназначена для диалогов и генерации текста. В README приведены результаты на тестах знаний и следования инструкциям; доступные режимы позволяют выбирать между последовательной генерацией, проверкой черновых токенов и параллельным денойзингом блоков. Для запуска авторы рекомендуют среду HybridDiffusion на базе SGLang и FlashInfer. Карточка указывает английский язык; мультимодальные возможности базовой Qwen3.5-4B не следует автоматически приписывать этому текстовому чекпойнту. Модель распространяется под лицензией с обозначением «other»; конкретные условия следует проверять в карточке репозитория. Указанные benchmark-результаты зависят от режима декодирования и настроек оценки, а для запуска требуется совместимое окружение HybridDiffusion.

Ice0.37-18.11-RP — разговорная языковая модель, созданная автором репозитория слиянием предварительно обученных моделей с помощью mergekit. Использован метод SLERP; в слияние вошли Ice0.36-18.11-RP и Ice0.35-18.11-RP. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате. Контекст составляет до 32 768 токенов, веса опубликованы в формате safetensors. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; эти показатели дают ориентир по оценённым задачам, но не гарантируют качество в конкретном сценарии. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование. В карточке не описаны конкретные языки и дополнительные ограничения качества или безопасности.

InternVL3-2B — мультимодальная диалоговая модель OpenGVLab, дообученная на основе OpenGVLab/InternVL3-2B-Instruct. Она предназначена для ответов на вопросы по изображениям, визуального рассуждения и диалогов, сочетающих текст с изображениями; семейство также поддерживает анализ нескольких изображений и видео. Архитектура следует схеме ViT-MLP-LLM: InternViT-300M-448px-V2_5 соединён через MLP-проектор с языковой частью Qwen2.5-1.5B. Модель принимает текст и изображения и генерирует текст; в карточке Hugging Face для неё указаны задачи image-text-to-text и text-generation. В README заявлены возможности мультимодального восприятия и рассуждения, понимания длинного контекста, работы с инструментами, GUI-сценариями, промышленными изображениями и 3D-визуальным восприятием. Поддержка видео и нескольких изображений описана для архитектуры InternVL3, но конкретные ограничения входного формата и длина контекста для этого репозитория не приведены. Метаданные указывают мультиязычность и лицензию Apache-2.0.

Jan-v2-VL-med-gguf — мультимодальная vision-language модель примерно на 8 млрд параметров, разработанная Jan. Модель предназначена для многошаговых задач в реальных программных средах, включая браузеры и настольные приложения. Она ориентирована на агентную автоматизацию и управление интерфейсами с опорой на скриншоты и вызовы инструментов, когда план или необходимые знания заданы заранее, а результат зависит от стабильного выполнения длинной последовательности действий. Модель объединяет языковое рассуждение и визуальное восприятие, поддерживает текстовые и визуальные входы и заявлена для английского языка. Вариант med обеспечивает баланс между качеством и задержкой среди вариантов Jan-v2-VL-low, med и high. Модель разработана для поддержания промежуточного состояния, выполнения инструкций с минимальным отклонением и восстановления после небольших ошибок. README не указывает точный размер контекста и специфические ограничения по поддерживаемым форматам изображений. По заявлению разработчиков, Jan-v2-VL не уступает базовой Qwen-3-VL-8B-Thinking на стандартных текстовых и визуальных задачах и превосходит её на некоторых оценках, обеспечивая более сильное выполнение длинных цепочек действий. Для локального запуска предусмотрена интеграция с Jan App, а также поддержка llama.cpp и vLLM; GGUF-вариант рассчитан на использование с llama.cpp. Модель распространяется по лицензии Apache 2.0.

NANI-Nithin/K2-Horizon-7B-GGUF — набор GGUF-квантизаций базовой модели IFM/K2-Horizon-7B, разработанной MBZUAI IFM и квантизированной пользователем NANI-Nithin. Модель представляет собой плотный causal decoder примерно на 7 млрд параметров без MoE, реализованный с архитектурой K2HorizonForCausalLM и предназначенный для генерации текста и запуска локальных языковых моделей через llama.cpp. Доступны варианты от BF16 и Q8_0 до агрессивных 1–3-битных квантизаций, включая K-quant и IQ-варианты с importance matrix. Для общего использования рекомендован K2-Horizon-7B-Q4_K_M.gguf, а Q8_0 позиционируется как вариант, близкий к исходному качеству. Указан английский язык; модальность — текстовая. Размер BF16 GGUF составляет около 18,01 ГБ. Контекстное окно и дополнительные характеристики исходной модели в README не указаны. Главное преимущество набора — широкий выбор компромиссов между качеством, размером и требованиями к памяти, а также возможность локального запуска. Для работы требуется форк MBZUAI-IFM llama.cpp с веткой model/K2Horizon либо версия upstream llama.cpp после добавления поддержки этой архитектуры; стандартный llama.cpp по состоянию на сентябрь 2026 года её не поддерживает. Веса распространяются на тех же условиях, что и оригинальная IFM/K2-Horizon-7B; для точных условий лицензии необходимо обратиться к репозиторию исходной модели.

kstc-2-8b — слитая с помощью mergekit языковая модель, разработанная jaspionjader. Она предназначена для генерации текста и диалогового общения. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель создана методом breadcrumbs на основе jaspionjader/kstc-1-8b с включением Kosmos-EVAA-Franken-Immersive-v39-8B, v40-8B и v41-8B. Карточка не описывает целевые языки и специализированные области применения. Веса опубликованы в формате safetensors; для запуска используется библиотека Transformers. Лицензия в предоставленных данных не указана.

QuantFactory/lb-reranker-0.5B-v1.0-GGUF — это квантизированная версия модели LB Reranker v1.0, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen2.5-0.5B-Instruct, разработанной командой lightblue. Модель предназначена для оценки связанности поискового запроса с фрагментом текста и последующего ранжирования или переранжирования результатов в системах информационного поиска и retrieval-based приложениях. Также она показала хорошие результаты при ранжировании фрагментов кода. Модель представляет собой компактную causal language model с примерно 0,5 млрд параметров, работающую с текстовыми запросами и контекстами. Она обучена выдавать оценку от 1 до 7, где 1 означает минимальную, а 7 — максимальную связанность; для получения непрерывного рейтинга рекомендуется рассчитывать математическое ожидание по вероятностям этих значений. Обучение проводилось на данных более чем на 95 языках, поэтому модель ориентирована на многоязычные сценарии, включая английский, китайский, русский и многие другие языки. Точный размер контекста в карточке не указан. К сильным сторонам относятся компактный размер, поддержка широкого набора языков, возможность использования распространённых средств инференса и заявленное преимущество по ряду оценочных бенчмарков. Ограничения включают отсутствие подробных сведений о результатах тестирования, точном контекстном окне и характеристиках квантизации; модель выдаёт оценку релевантности, а не готовый ответ на запрос, поэтому её качество зависит от формата входных данных и конкретного домена. Модель распространяется по лицензии Apache-2.0.

LFM2.5-2.6B-MLX-4bit — это 4-битная аффинно-квантизированная версия языковой модели LFM2.5-2.6B, разработанной LiquidAI. Конвертацию в формат MLX выполнила команда LM Studio с использованием mlx-lm; модель оптимизирована для запуска на устройствах с Apple Silicon и предназначена для генерации текста. Модель поддерживает арабский, китайский, английский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. Размер исходной модели составляет 2,6 млрд параметров. Она работает в режиме постоянного рассуждения: каждый ответ ассистента начинается с тега <think>, а штатного переключателя для отключения этого режима нет. Сведения о длине контекста и дополнительных модальностях в README не указаны, поэтому модель следует рассматривать как текстовую. Ключевые преимущества — сниженные требования к памяти благодаря 4-битной квантизации и адаптация к экосистеме Apple Silicon. Ограничения включают возможные потери точности из-за квантизации, обязательный режим рассуждения и отсутствие в описании подробных данных о производительности, контекстном окне и качестве на отдельных задачах. Модель распространяется по лицензии LFM Open License v1.0; перед использованием и распространением необходимо ознакомиться с её условиями, включая ограничения на коммерческое применение.

LFM2.5-2.6B-Uncensored-GGUF — это квантованная GGUF-версия модели LFM2.5-2.6B от Liquid AI, подготовленная автором SC117 на основе релиза LFM2.5-2.6B-Uncensored. Модель предназначена для генерации текста и локального запуска на периферийных устройствах, включая агентские сценарии. Версия получила модификацию abliterix Trial 65, из-за которой частота отказов при ответах существенно ниже, чем у официальной базовой модели. Модель содержит около 2,6 млрд параметров, использует гибридную архитектуру из 30 слоёв: 22 блока double-gated short-convolution и 8 блоков GQA. Заявлены контекстное окно 128K токенов, словарь размером 128K и ChatML-подобный шаблон с поддержкой встроенного рассуждения через тег <think>. Модель ориентирована прежде всего на англоязычные сценарии; другие языки и мультимодальность в предоставленных данных не указаны. К сильным сторонам относятся компактный размер, пригодность для edge-развёртывания, большое контекстное окно и несколько уровней GGUF-квантизации, откалиброванных с использованием imatrix. Ограничение — сниженная отказоустойчивость в отношении потенциально вредных запросов: в указанной оценке модель отказала в 6 из 100 случаев против примерно 90 из 100 у базовой версии. Поэтому её следует дополнительно тестировать, защищать от несанкционированного доступа и подвергать аудиту. Распространение осуществляется по лицензии LFM Open License v1.0.

Apollo Raines представил Llama-3.1-8B-Instruct-Refusal-First-Amplified — вариант Llama-3.1-8B-Instruct, изменённый инструментом jBlaze методом representation engineering. По карточке, дополнительного обучения не проводилось: в весах подавлено поведение отказа и усилены следование контексту, аналитические ответы и правдивость. Модель использует плотную архитектуру LlamaForCausalLM; метаданные указывают 7,5 млрд параметров, формат safetensors и контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста на английском языке, включая ответы на вопросы, рассуждения и написание кода; заявлен интерфейс вызова инструментов. В карточке приведены лишь примеры ответов, поэтому заявления об усилении характеристик не подтверждены сравнительными оценками. Автор также предупреждает, что опубликованная версия демонстрационная и её возможности намеренно оставлены на частичном уровне. Лицензия — Llama 3.1; подавление отказов может приводить к ответам на запросы, которые исходная модель отклоняла.

Это GGUF-квантизация инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF-abliterated. Исходную модель опубликовала huihui-ai, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix; в метаданных также указана связь с NVIDIA. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые с llama.cpp приложения. Модель содержит 70 миллиардов параметров, поддерживает текстовую модальность и, согласно метаданным, ориентирована на английский язык. README не указывает размер контекста и точную архитектуру, но приведён специальный prompt format на основе шаблона Llama 3.1 с ролями system, user и assistant. Доступны варианты квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 75 до 24 ГБ; более высокие уровни обычно сохраняют лучшее качество, а низкие позволяют снизить требования к памяти. Сильной стороной являются широкий выбор форматов GGUF и возможность локального запуска при наличии значительного объёма RAM или VRAM. Ограничения включают большие требования к ресурсам, снижение качества на низких уровнях квантизации и отсутствие в README подробных результатов оценки. Модель не является мультимодальной, а поддержка других языков явно не заявлена. Указана лицензия llama3.1.

Llama-3.1-Tulu-3-8B-DPO-GGUF — набор GGUF-квантизаций модели Llama-3.1-Tulu-3-8B-DPO, опубликованный bartowski и основанный на модели Allen Institute for AI. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp, в том числе в LM Studio. Для взаимодействия используется формат сообщений с ролями system, user и assistant. Это текстовая модель на 8 млрд параметров семейства Llama 3.1, обученная с применением DPO на наборе allenai/llama-3.1-tulu-3-8b-preference-mixture. Указан английский язык; сведения о поддержке других языков, модальностях и размере контекста в README отсутствуют. Доступны варианты от F16 размером 16,07 ГБ до компактных квантизаций Q2–Q8, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K, что позволяет выбирать баланс качества, скорости и требований к памяти. Сильная сторона публикации — широкий выбор форматов для локального запуска и применение imatrix-квантизации на базе llama.cpp. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а некоторые ARM-оптимизированные форматы требуют определённых инструкций и не рекомендуются для Mac или GPU. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.