II.8Инженерия данных и аналитика

RinKana/bge-base-en-v1.5-cross-lingual-retriever — текстовая модель Sentence Transformers, дообученная разработчиком RinKana на базе BAAI/bge-base-en-v1.5 для поиска релевантных фрагментов по предложениям и абзацам. Архитектура объединяет BERT, pooling по CLS-токену и нормализацию; модель формирует плотные эмбеддинги размерностью 768 и сравнивает их с помощью косинусного сходства. Объём модели — 136,7 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и retrieval-сценариев, включая подбор контекста для RAG. README показывает обучение на парах запросов и passages с MultipleNegativesRankingLoss, однако не уточняет языки обучающих данных или результаты оценки кросс-языкового поиска. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

bge-reranker-v2-m3-GGUF — GGUF-квантизированная версия модели bge-reranker-v2-m3, разработанной BAAI. Модель предназначена для переранжирования результатов поиска: принимает запрос и документ или фрагмент текста и напрямую вычисляет оценку их релевантности, а не создаёт эмбеддинги. Это делает её подходящей для семантического поиска, retrieval-систем и сценариев, где требуется упорядочить найденные документы по соответствию запросу. Модель основана на bge-m3 и обладает мультиязычными возможностями; конкретный набор поддерживаемых языков и размер контекста в README не указаны. Оценку релевантности можно использовать напрямую или преобразовать в диапазон от 0 до 1 с помощью сигмоидальной функции. Ключевыми преимуществами заявлены компактность, простота развёртывания, высокая скорость инференса и поддержка мультиязычных сценариев. README не содержит сведений о точном размере модели, параметрах, формате квантования или измерениях качества, поэтому эти характеристики оценить нельзя. Распространяется по лицензии Apache-2.0. GGUF-квантизация выполнена на основе указанного релиза llama.cpp; для исходной модели приведена ссылка на BAAI/bge-reranker-v2-m3.

BlackSheep-Llama3.2-3B-Context_Obedient — языковая модель TroyDoesAI на архитектуре Llama, дообученная от TroyDoesAI/BlackSheep-Llama3.2-3B. Она предназначена для ответов на вопросы по заданному контексту, например в RAG-сценариях, и обучалась лучше следовать предоставленным источникам, чтобы снижать вероятность галлюцинаций. Модель принимает текст и генерирует текст; для контекстных запросов рекомендуется использовать формат с разделителями BEGININPUT, BEGINCONTEXT, ENDCONTEXT, ENDINPUT и BEGININSTRUCTION, ENDINSTRUCTION. Модель содержит 3,2 млрд параметров, рассчитана на контекст до 131 072 токенов и ориентирована на английский язык. Для обучения использовались Unsloth и библиотека TRL. Модель распространяется по лицензии Apache-2.0. Следование контексту — целевое свойство модели, а не гарантия точности: ответы могут содержать ошибки или неподтверждённые сведения. Для лучших результатов нужно передавать контекст в описанном формате и проверять важные ответы.

Boldt-Embed-DE-350M — немецкоязычная модель плотных текстовых эмбеддингов для поиска релевантных фрагментов в FAQ и системах RAG. Её разработала Mayflower GmbH на базе Boldt/Boldt-DC-350M: модель семейства Llama с плотной архитектурой и примерно 435,4 млн параметров. Веса дообучены с mean pooling и нормализацией векторов; длина контекста — 2048 токенов. Модель предназначена прежде всего для первого этапа плотного поиска по немецкому корпусу: векторы запросов и документов сравниваются по косинусному сходству. Она также подходит для оценки семантического сходства, кластеризации текстов и отбора сложных негативных примеров для дальнейшего обучения. Обучение Matryoshka позволяет усекать векторы до 512, 256, 128 или 64 измерений; в приведённой оценке вариант на 256 измерений сохранил почти всё качество полноразмерных векторов. На тесте WebFAQ модель показала высокие показатели извлечения для немецких FAQ/RAG-запросов. Для более общих немецких QA-корпусов README указывает на преимущество универсальных многоязычных моделей. Оценки получены на перечисленных внутренних наборах, без публичного прогона MMTEB. Модель рассчитана на немецкий язык; применение к другим языкам не подтверждено. Лицензия весов — Apache-2.0; при распространении производных версий разработчик просит указывать источники данных German Wikipedia и WebFAQ.

QuantFactory/CodeLlama-7b-Instruct-hf-GGUF — это квантизированная версия CodeLlama-7b-Instruct-hf, разработанная на основе модели codellama/CodeLlama-7b-Instruct-hf. Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели в формате GGUF. Модель относится к семейству Llama и ориентирована на генерацию текста и работу с программным кодом, включая сценарии инструкционного взаимодействия с разработчиком. В README указано, что исходная модель имеет размер 7 миллиардов параметров. Поддерживаются варианты квантизации Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти. Ключевое преимущество модели — возможность более экономичного локального запуска благодаря квантизации и совместимости с llama.cpp. README не содержит сведений о поддерживаемых языках, размере контекста, точных характеристиках отдельных вариантов квантизации, лицензии или ограничениях применения. Также в заголовке README упоминается Mistral-7B-v0.1-GGUF, однако метаданные и описание указывают на CodeLlama-7b-Instruct-hf; поэтому идентификацию модели следует основывать прежде всего на метаданных репозитория.

ColBERTv2 — модель поиска по текстовым коллекциям, разработанная командой ColBERT и представленная в статье ColBERTv2. Она предназначена для быстрого извлечения релевантных фрагментов и поиска passages по запросам, в том числе в крупных корпусах. Контрольная точка обучена на задаче ранжирования фрагментов MS MARCO Passage Ranking. Модель основана на BERT и использует позднее взаимодействие: отдельно кодирует запрос и каждый фрагмент в матрицы контекстных векторных представлений токенов, а затем сопоставляет их оператором MaxSim. В репозитории указаны 136,7 млн параметров и контекст до 512 токенов; модель рассчитана на английский язык. Для поиска нужно заранее индексировать коллекцию; скорость и качество выдачи можно регулировать параметрами поиска. Доступны форматы PyTorch, ONNX и Safetensors. ColBERTv2 подходит для поиска passages и построения компонентов retrieval в системах ответов на вопросы и RAG. Она выдаёт векторные представления и оценки релевантности, а не готовые текстовые ответы. Репозиторий распространяется по лицензии MIT.

crane-30b-i1-GGUF — это квантованная версия модели crane-30b, разработанной пользователем или организацией zmzfpc и опубликованной в формате GGUF пользователем mradermacher. По метаданным, модель связана с объединением моделей, семейством Qwen3, архитектурой MoE и задачами генерации кода и рассуждений. Указан английский язык. Точное число активных и общих параметров, размер контекста, поддерживаемые модальности и подробности исходного обучения в README не приведены. Модель предназначена для локального запуска через совместимые инструменты, поддерживающие формат GGUF, включая различные варианты квантования с разным компромиссом между размером, скоростью и качеством. Доступны файлы размером примерно от 6,5 до 25,2 ГБ; среди рекомендуемых вариантов отмечен i1-Q4_K_M как быстрый, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Низкобитные варианты могут заметно уступать в качестве, тогда как i1-Q6_K заявлен как практически сопоставимый со статическим Q6_K. В репозитории также доступен imatrix-файл для самостоятельного создания квантованных версий. Лицензия модели указана как Apache-2.0. README не содержит результатов бенчмарков, подробной документации по применению, системного промпта или ограничений исходной модели, поэтому качество на конкретных задачах и точные требования к аппаратным ресурсам следует оценивать отдельно.

Devstral-Small-2507-GGUF — квантованная версия Devstral Small 1.1 (2507), разработанная Mistral AI совместно с All Hands AI и преобразованная в формат GGUF пользователем brittlewis12. Модель предназначена для задач программной инженерии и создания агентных систем: она умеет работать с инструментами, исследовать кодовые базы и редактировать несколько файлов. Модель ориентирована прежде всего на генерацию и анализ текста и кода, а её исходная версия показывает результат 53,6% на SWE-bench Verified в связке с OpenHands Scaffold. Модель дообучена на базе Mistral-Small-3.1-24B-Base-2503 и имеет контекстное окно до 128 000 токенов. Это текстовая модель без поддержки изображений: перед дообучением визуальный энкодер был удалён. В README явно указан английский язык. Формат GGUF предназначен для локального запуска в совместимом программном обеспечении, включая llama.cpp. Ограничения включают текстовую модальность и зависимость производительности от выбранного квантования и аппаратной конфигурации; конкретный размер файлов и параметры квантования в предоставленных данных не указаны. Лицензия — Apache 2.0.

GoedelMachines разработала DiffusionGemma-26B-A4B W4A16 — 4-битную версию модели Google DiffusionGemma-26B-A4B-it с оптимизированными Triton-ядрами для ускорения генерации. Это языковая модель с блочной диффузионной архитектурой: она уточняет токены на холсте из 256 позиций до 48 шагов, а не генерирует их последовательно. В модели 26 млрд параметров, из которых активно используются 4 млрд; MoE-маршрутизация выбирает 8 из 128 экспертов для каждого токена. Модель предназначена для диалогов и генерации текста, в том числе для математических задач и генерации кода. В README заявлено ускорение в 2,3–2,7 раза относительно bf16-базы на GB10 при близких результатах в GSM8K, HumanEval и MATH. Экспериментальные замеры также показывают работу на RTX 5090; для весов требуется около 18 ГБ видеопамяти и до 20 ГБ в пике. Репозиторий содержит safetensors-веса и ядра Triton; загрузчику Transformers требуется trust_remote_code=True. Модель основана на google/diffusiongemma-26B-A4B-it и распространяется по лицензии Gemma. README описывает только текстовую генерацию; мультимодальные пути не проверялись. Точность оценивалась на ограниченных выборках, использована квантизация round-to-nearest min/max без калибровки, а конфигурации для GPU, отличных от GB10 и RTX 5090, не проверены сквозным тестированием.

sentence-transformers/distilroberta-base-msmarco-v2 — модель Sentence Transformers на архитектуре DistilRoBERTa, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 95,2 млн параметров, рассчитана на текстовый ввод, имеет контекстное окно до 514 токенов и доступна в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Модель можно использовать для поиска документов по смыслу, сравнения текстов и группировки похожих предложений. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Лицензия — Apache-2.0.

OmarAlsaabi/e5-base-mlqa-finetuned-arabic-for-rag — модель эмбеддингов предложений на базе XLM-RoBERTa, дообученная для сценариев поиска по арабским вопросам и документам MLQA. Она преобразует предложения и абзацы в плотные векторы размерности 768, подходящие для семантического поиска, ранжирования по сходству и кластеризации. Модель содержит около 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель предназначена для поиска релевантных фрагментов в RAG-системах и сопоставления арабоязычных запросов с текстами. В README указано обучение с MultipleNegativesRankingLoss и косинусным сходством. Репозиторий использует формат safetensors; лицензия в предоставленных данных не указана.

Eager Embed V1 — мультимодальная плотная модель эмбеддингов, разработанная Хуаном Пабло Баларани при финансировании Eagerworks. Она дообучена на Qwen/Qwen3-VL-4B-Instruct и предназначена для индексации и поиска по документам с учётом их визуального и текстового содержимого. Модель формирует эмбеддинги для визуально-текстового поиска по документам. По сравнению с многовекторными подходами типа ColBERT она рассчитана на баланс между размерностью эмбеддингов, точностью поиска и эффективностью; для сравнения эмбеддингов не требуется функция max-sim. Модель оценивали на бенчмарках Vidore 1, 2 и 3. В основе лежит мультимодальная архитектура Qwen3-VL с 4 млрд параметров. Использование предполагает подачу визуального и текстового содержимого документов и получение векторных представлений для поиска. Модель распространяется по лицензии Apache 2.0.

google/electra-base-discriminator — англоязычный текстовый энкодер семейства ELECTRA, разработанный Google. Модель основана на Transformer и обучалась различать исходные токены текста и заменённые токены, сгенерированные другой нейросетью. Веса содержат 136,7 млн параметров, контекст — до 512 токенов; доступны версии для PyTorch, TensorFlow и Flax. Модель предназначена для тонкой настройки на задачи классификации текста, ответов на вопросы и разметки последовательностей, включая извлечение фрагментов текста. Это базовый дискриминаторный энкодер, а не готовая модель для генерации ответов: для прикладных задач обычно требуется соответствующая голова и дообучение. Лицензия — Apache 2.0.

Карточка модели Purfview/faster-distil-whisper-large-v3.5 на Hugging Face совпадает с карточкой distil-whisper/distil-large-v3.5-ct2, поэтому описание составлено по ней. Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.

Gemma-4-12B-Coder-fable5-composer2.5-4bit — 4-битная MLX-квантизированная версия модели yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, созданная на базе google/gemma-4-12B-it. Конвертацию и публикацию выполнило сообщество MLX. Модель предназначена для генерации текста, программного кода и решения задач, требующих рассуждений, включая локальное использование в чат-режиме через библиотеку mlx-lm. Указана текстовая специализация; поддерживаемые языки, контекстное окно и дополнительные модальности в README не раскрыты. Архитектура описана как Gemma-4 с размером 12 млрд параметров, а 4-битная квантизация снижает требования к памяти при заявленном сохранении почти исходных возможностей рассуждения и программирования. Основное преимущество — оптимизация для локального запуска на компьютерах Apple Silicon с использованием MLX и возможность свободного использования, изменения и распространения. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, а также потенциальные потери качества, связанные с квантизацией; фактические показатели производительности и качества в README не приведены. Лицензия — Apache 2.0.

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI MLX 4bit — дообученная и объединённая с весами модель на базе deadbydawn101/gemma-4-E4B-mlx-4bit, разработанная RavenX AI Labs. Модель предназначена для агентских сценариев, программирования, отладки, структурированного диалога и работы с инструментами через tool calling и function calling, включая интеграцию с OpenHarness, OpenClaw, Hermes Agent и Gemini CLI. Модель поддерживает текст и изображения, ориентирована на английский язык и использует архитектуру Gemma 4 E4B. Веса содержат встроенное рассуждение в стиле Opus и Claude Code с поддержкой тегов <think>, поэтому отдельный адаптер не требуется. Заявлены контекст до 131K токенов, размер около 10,5 ГБ и 4-битная MLX-квантизация для Apple Silicon, однако в README также указано, что объединённые веса имеют формат bfloat16, что может влиять на фактический размер файлов. Сильные стороны модели — встроенные паттерны рассуждения, агентское поведение, вызов инструментов, поддержка vision и совместимость с экосистемой MLX. Ограничения включают заявленную ориентацию на английский язык, зависимость от MLX и Apple Silicon для описанного сценария использования, а также отсутствие подробных независимых оценок качества. Модель распространяется по лицензии Gemma; условия приведены по ссылке на документацию Google.

GLM-4.5-Air-Base — базовая языковая модель семейства GLM-4.5 от Zhipu AI, предназначенная для разработки интеллектуальных агентов. Серия GLM-4.5 объединяет возможности рассуждения, программирования и работы с инструментами; эта версия является базовой, а не готовой чат-моделью. В README для GLM-4.5-Air указаны 106 млрд параметров всего и 12 млрд активных параметров, однако метаданные именно этого репозитория указывают 8,5 млрд параметров. Модель генерирует текст; метаданные относят её к архитектурному семейству GLM4-MoE и указывают контекстное окно 131 072 токена. В карточке заявлены английский и китайский языки. Возможные сценарии включают дальнейшее обучение и создание агентных систем, которым нужны генерация текста, рассуждение, программирование или взаимодействие с инструментами. Лицензия MIT допускает коммерческое использование и вторичную разработку. README отдельно уточняет, что это base-модель, не предназначенная для чата без дополнительной настройки.

JANGQ-AI выпустила JANGH2 — квантизированный вариант GLM-5.3-Flash для запуска на компьютерах Mac с 128 ГБ памяти. В основе — модель класса 300 млрд параметров с архитектурой MoE: 288 маршрутизируемых экспертов, из которых активируются восемь вместе с общим экспертом. Также используются линейное внимание KDA, разреженное внимание и отдельные компоненты для обработки изображений и видео. Эксперты квантизированы до 2–3 бит с калибровкой GPTQ и матрицей важности; остальные веса преимущественно хранятся в 8-битном формате, а визуальная башня — в bf16. Модель доступна в формате MLX safetensors и требует vMLX версии 1.6.68 или новее. Модель предназначена для диалогов, рассуждений, задач с кодом, вызова инструментов и анализа изображений и видео. README приводит сравнительные измерения согласованности с исходной моделью и сообщает, что вторая ревизия лучше завершает длинные цепочки рассуждений, чем первая. Эти результаты получены на тестовых наборах и не гарантируют такое же качество на произвольных запросах. Распознавание содержимого видео описано как несовершенное: модель может принять текст наложения или перехода за часть самого клипа. Лицензия — MIT.

bartowski/granite-embedding-125m-english-GGUF — квантованная версия модели эмбеддингов ibm-granite/granite-embedding-125m-english, разработанной IBM Granite и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для преобразования англоязычных текстов в векторные представления и задач семантического поиска и извлечения информации, включая retrieval-сценарии и поиск похожих документов. Из доступных данных известно, что модель ориентирована на английский язык и имеет размер 125 млн параметров в базовой версии. Формат GGUF подходит для локального запуска в совместимых инструментах, а квантование может снизить требования к памяти и ускорить инференс, хотя конкретный тип квантования в карточке не указан. Архитектура, размерность эмбеддингов, максимальная длина контекста и поддерживаемые модальности не описаны. В карточке приведены результаты оценки на ряде наборов MTEB для retrieval, включая ArguAna, ClimateFEVER и CQADupstack. Они показывают применимость модели к ранжированию и поиску релевантных текстов, однако качество зависит от предметной области и конфигурации индекса. Модель не следует рассматривать как универсальную генеративную языковую модель: данных о генерации текста, многоязычности или мультимодальности нет. Лицензия — Apache-2.0.

InternVL2-8B — мультимодальная диалоговая модель с настройкой по инструкциям, разработанная командой OpenGVLab и входящая в семейство InternVL 2.0. Вариант содержит около 8,1 млрд параметров и построен из визуального энкодера InternViT-300M-448px, MLP-проектора и языковой модели internlm2_5-7b-chat; в метаданных указана архитектура InternVLChatModel и библиотека Transformers. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Она предназначена для диалога по изображениям, понимания документов, диаграмм и инфографики, распознавания текста на изображениях, решения визуальных научных и математических задач, а также анализа нескольких изображений и видеокадров. README указывает контекстное окно 8 тысяч токенов и обучение на длинных текстах, нескольких изображениях и видео; языковые коды отдельных языков в карточке не перечислены, указана мультиязычность. Разработчики сообщают о конкурентных результатах в задачах понимания изображений и видео, включая OCR и ответы на вопросы по документам и диаграммам. Репозиторий распространяется по лицензии MIT. Оценки в README получены на конкретных бенчмарках и настройках, поэтому сами по себе не гарантируют точность на произвольных данных; обработка видео описана через извлечение кадров.

Jack-Long-Agentic-27B-4bpw-16GB-VRAM — экспериментальная агентная сборка на базе Qwen3.6-27B, опубликованная автором Jack. Это файл GGUF для локальных сред выполнения, совместимых с форматом GGUF; в метаданные шаблона чата встроена архитектура Jack для ведения структурированного рабочего состояния между ходами. README утверждает, что тензоры базовой модели не изменялись, а интеграция выполнена через tokenizer.chat_template. Модель предназначена для длительных многоэтапных задач: работы с кодом и репозиториями, отладки с повторными вызовами инструментов, анализа документов, исследований и оркестрации сложных действий. Заявленные механизмы включают сжатие истории в рабочее состояние, привязку рассуждений к источникам, разделение конфигураций и контрфактических сценариев, проверку выводов и передачу детерминированных операций инструментам. Поддержка изображений базовой моделью в карточке каталога указана, однако README описывает сценарии работы с текстом и инструментами. Автор называет выпуск исследовательским превью и экспериментальной демонстрацией; качество и надёжность агентного поведения требуют проверки в конкретной среде. Для предполагаемого поведения нужны GGUF-совместимый рантайм, доступные модели инструменты и сохранение истории диалога. Лицензия — Apache-2.0.

Jina Embeddings v5 Text Small Retrieval MLX — порт модели эмбеддингов Jina AI для Apple Silicon. Модель основана на Qwen3-0.6B с предварительно объединёнными LoRA-адаптерами; размер — около 507,9 млн параметров. Она преобразует поисковые запросы и документы в векторы размерностью до 1024, поддерживает обрезку векторов до 32, 64, 128, 256, 512, 768 или 1024 измерений и контекст до 32 768 токенов. Модель предназначена для семантического поиска и retrieval-сценариев на устройствах Apple Silicon с ускорением Metal. Для запросов и фрагментов документов предусмотрены отдельные типы задач retrieval.query и retrieval.passage. Репозиторий содержит веса safetensors и использует библиотеку MLX. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без дополнительного разрешения. Это специализированная модель для извлечения признаков и построения эмбеддингов, а не генерации ответов. Заявленная оптимизация рассчитана на Apple Silicon; README не описывает производительность на других аппаратных платформах.

KaLM-embedding-multilingual-mini-v1-i1-GGUF — GGUF-квантизованная версия модели HIT-TMG/KaLM-embedding-multilingual-mini-v1, подготовленная и опубликованная mradermacher. Это модель для получения векторных представлений текста, предназначенная для семантического поиска, сравнения сходства предложений, кластеризации и других задач извлечения признаков; в карточке также указана совместимость с экосистемой sentence-transformers и MTEB. Модель позиционируется как мультиязычная, однако в метаданных README явно указан только английский язык. Архитектура, число параметров, размерность эмбеддингов, максимальная длина контекста и сведения о поддерживаемых модальностях не приведены. Доступны многочисленные варианты GGUF-квантизации размером примерно от 0,4 до 0,5 ГБ, включая IQ- и Q-форматы; Q4_K_S отмечен как оптимальный по соотношению размера, скорости и качества, а Q4_K_M — как быстрый и рекомендуемый. Основные преимущества — небольшой размер файлов и возможность выбрать компромисс между скоростью, занимаемой памятью и качеством. При этом агрессивные варианты квантизации могут заметно снижать качество, а README не содержит количественных результатов тестирования или подробного описания ограничений. Модель распространяется по лицензии MIT; в карточке указано, что квантизацию выполнил mradermacher.

KAT-Coder-V2.5-Dev-OptiQ-4bit — это квантованная версия модели KAT-Coder-V2.5-Dev, разработанная сообществом mlx-community на базе модели Kwaipilot. Модель предназначена для генерации и анализа программного кода, а также для сценариев, где требуется рассуждение перед формированием ответа. Она реализована для MLX и ориентирована на локальный запуск на компьютерах Apple Silicon без PyTorch и облачных сервисов. Архитектура модели — qwen3_5_moe: разреженная MoE-система с 256 маршрутизируемыми экспертами, сочетающая гибридные линейные слои и полное внимание. Используется смешанная статическая квантизация 4/8 бит с целевым показателем около 4,5 бит на параметр: 400 проекций представлены в 4-битном формате, 111 — в 8-битном. Размер модели на диске составляет около 20 ГБ. В README указан английский язык; другие языки, размер контекста и поддерживаемые модальности не заявлены. Сильными сторонами модели являются локальная работа на Apple Silicon, сниженный объём хранения благодаря квантизации и совместимость с MLX-инструментами, включая mlx-lm и optiq. Для запуска рекомендуется пакет optiq; он также предоставляет OpenAI-совместимый локальный API и квантизацию KV-кэша. Ограничения включают ориентацию прежде всего на задачи программирования, требования к совместимому оборудованию и отсутствие в README данных о точности, производительности, языковой поддержке за пределами английского и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Kimi-K2.7-Code-Alis-MLX-Dynamic-3.6bpw — это чувствительность-ориентированная 3,6-битная MLX-квантизация модели moonshotai/Kimi-K2.7-Code, созданная avlp12 для запуска на компьютерах Apple Silicon, прежде всего на M3 Ultra. Базовая модель представляет собой примерно триллионопараметрическую MoE-архитектуру в стиле DeepSeek-V3 с 32 млрд активных параметров и предназначена главным образом для генерации кода и решения задач программирования. Репозиторий содержит текстовую/code-версию рецепта, однако исходные веса были удалены как дубликат и перенесены в связанный VLM-репозиторий; языковая часть там побитово идентична этой сборке, а VLM дополнительно включает MoonViT и projector. Модель использует Multi-head Latent Attention (MLA), благодаря чему KV-кэш занимает относительно мало памяти: около 68,6 КБ на токен по всем 61 слоям. Нативное контекстное окно составляет 256K токенов, с YaRN-расширением и rope_theta 50000. Размер весов — около 465 ГБ (433 GiB), поэтому модель рассчитана на один компьютер с 512 ГБ памяти или на распределённый запуск на двух M3 Ultra по Thunderbolt через pipeline parallelism. Квантизация применяет 3 бита к большинству routed experts, 4 бита к down_proj в 16 из 60 слоёв, 6 бит к attention, shared experts, dense-слою, embedding и LM head, а маршрутизатор сохраняется в bf16; эффективная разрядность составляет 3,62 бита на вес. Сильными сторонами являются существенное снижение требований к памяти по сравнению с полноразмерными и 4-битными сборками, сохранение качества за счёт чувствительность-ориентированного распределения битов и возможность работы с очень длинным контекстом. Ограничения включают экстремально большой размер, необходимость мощного Apple Silicon-оборудования и отсутствие заявленной универсальной оценки качества помимо приведённых метрик perplexity и KL-дивергенции. Лицензия указана как modified-MIT; ссылка ведёт на лицензию базовой модели Kimi-K2.7-Code.

Myric/Laguna-S-2.1-APEX-GGUF — неофициальная общественная GGUF-квантизация модели poolside/Laguna-S-2.1, разработанная сообществом Myric. Базовая модель представляет собой open-weight агентную MoE-модель для программирования с общим объёмом 118 млрд параметров и примерно 8 млрд активных параметров. Она предназначена для генерации кода, решения задач разработки и агентных сценариев. Доступны варианты с разной степенью сжатия: от APEX-i-quality размером около 73,9 ГБ до экспериментального APEX-i-mini размером около 43,6 ГБ. Для ускорения генерации предусмотрена совместная работа с draft-моделью DFlash в режиме speculative decoding. Архитектура включает 48 слоёв, 256 маршрутизируемых и один общий эксперт, top-10 маршрутизацию, GQA с softplus-гейтингом на уровне голов, а также смешанное sliding-window/global attention. Заявленный контекст составляет 1 млн токенов. APEX распределяет точность квантизации с учётом роли тензора и слоя, сохраняя более высокую точность для общих экспертов и краевых слоёв и сильнее сжимая разреженные маршрутизируемые эксперты. Языки модели в README не указаны. Сильной стороной является существенное уменьшение размера по сравнению с BF16-версией при сохранении потенциально близкого качества, а также возможность локального запуска. DFlash Q4_K_M имеет размер около 652 МБ и в приведённых тестах ускорял генерацию до 1,20 раза для варианта APEX-i-quality; на специализированных задачах разработчики базовой модели заявляют более высокие ускорения, однако эти результаты относятся к отдельной карточке DFlash. Показатели perplexity для APEX-вариантов ещё не измерены, поэтому качество квантизации не подтверждено. Вариант APEX-i-mini обозначен как экспериментальный и может заметно уступать более крупным вариантам. Для DFlash требуется форк llama.cpp от Poolside. Лицензия указана как openmdw-1.1. Квантизация не связана с Poolside или unsloth, предоставляется без гарантий и должна быть проверена перед использованием в критически важных сценариях.

QuantFactory/Llama3.1-8B-ShiningValiant2-GGUF — квантизированная версия чат-модели Shining Valiant 2, созданная QuantFactory с использованием llama.cpp на основе ValiantLabs/Llama3.1-8B-ShiningValiant2. Исходную модель разработала Valiant Labs; она дообучена на базе Meta-Llama-3.1-8B-Instruct, релиз от 6 августа 2024 года. Модель предназначена для диалогов и генерации текста, включая общие вопросы, объяснение научных и инженерных тем, технические задачи и структурированное рассуждение. Она ориентирована на дружелюбные, воодушевляющие, содержательные и познавательные ответы. Указан английский язык, текстовая модальность и архитектура Llama; размер — 8 миллиардов параметров. Модель использует формат промптов Llama 3.1 Instruct. Размер контекста в README не указан. К сильным сторонам относятся специализация на научно-технических знаниях, улучшенная согласованность ответов и гибкость общения. К ограничениям относятся зависимость качества от базовой модели и выбранного квантизированного формата; сведения о точности, конкретных вариантах квантования, системных требованиях и ограничениях безопасности не приведены. Лицензия указана как llama3.1.

Llama3.1-TheiaFire-DarkFusion-8B — плотная языковая модель семейства Llama, созданная ZeroXClem слиянием четырёх моделей методом TIES. Она содержит 7,5 млрд параметров и принимает текст для генерации текстовых ответов; заявленная длина контекста — 131 072 токена. Модель рассчитана на диалог, технические рассуждения и генерацию кода, а также на анализ криптовалют и блокчейн-проектов, творческое письмо и ролевые сценарии. В карточке указаны специализация компонентов на криптовалютах, агентных задачах и коде, творческой генерации без ограничений и обобщении на новые задачи. Заявлены инструменты для поиска и вычислений, но доступность этих функций зависит от способа интеграции. README также предупреждает, что токенизатор может испытывать трудности с системными промптами в LM Studio, и отмечает риск предвзятых или неподходящих ответов. Лицензия — Apache 2.0.

Llama-3-Alpha-Centauri-v0.1 — экспериментальная чат-модель семейства Llama 3, созданная автором серии Centaurus на основе дообучения и слияния моделей. Она предназначена для генерации ответов, рассуждений и анализа, в том числе по темам STEM, компьютерных наук, программирования и социальных наук. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст длиной до 8192 токенов. В карточке указана цель создать менее цензурированную модель; среди упомянутых возможностей — логическая дедукция, критическое мышление и анализ. В метаданных отмечен набор NobodyExistsOnTheInternet/ToxicQAFinal. README сообщает о настройках LoRA и 4-битного обучения, но не уточняет базовый репозиторий, а поля базовой модели в метаданных нет. Автор описывает модель как экспериментальную и предупреждает, что эффективность может меняться. Модель может выдавать токсичные или нежелательные ответы; пользователь отвечает за их интерпретацию и применение. Лицензия — llama3.