I.3Извлечение и структурирование данных

Это версия модели распознавания речи Whisper Base, преобразованная сообществом mlx-community из openai/whisper-base в формат MLX с точностью FP16. Она предназначена для автоматической транскрипции аудио в текст и работает с библиотекой mlx-audio. Модель содержит около 51,7 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель подходит для преобразования записей, интервью и разговоров в текст. Репозиторий распространяется по лицензии Apache-2.0. Качество распознавания зависит от языка, чистоты аудио и условий записи; карточка рекомендует обращаться к исходной модели для подробностей.

Whisper small Fa — модель распознавания речи, созданная дообучением openai/whisper-small на датасете Mozilla Common Voice 17.0. Она предназначена для преобразования аудиозаписей на фарси в текст и подходит для транскрибирования речи в пользовательских записях и наборах данных. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В тестировании на карточке указаны наилучшие значения WER 0,419 и CER 0,196. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Whisper Small — модель OpenAI для автоматического распознавания речи, преобразованная в формат OpenVINO IR. Веса сжаты до INT8 с помощью NNCF; модель содержит около 153,1 млн параметров и предназначена для запуска через OpenVINO, Optimum Intel, OpenVINO GenAI или OpenVINO Model Server. Модель решает задачу преобразования англоязычной аудиозаписи в текст и подходит для транскрибации записей, голосовых сообщений и аудиопотоков. Поддерживается интеграция с CPU и совместимыми ускорителями OpenVINO, а также использование через OpenAI-совместимый API при развертывании в OpenVINO Model Server. Ключевые характеристики включают архитектуру Whisper Small, представление OpenVINO IR и асимметричное сжатие весов INT8 с размером группы 128. К преимуществам относятся уменьшенный размер весов и возможность эффективного инференса в экосистеме OpenVINO. Модель ориентирована на английский язык; ограничения исходной модели описаны в оригинальной карточке Whisper Small. Распространяется по лицензии Apache-2.0.

Модель abilमानsplus/whisper-turbo-ksc2 — версия Whisper large-v3-turbo от OpenAI, дообученная разработчиком репозитория на казахском корпусе речи Kazakh Speech Corpus 2 объёмом около 1000 часов размеченного аудио из разных источников. Она предназначена для автоматического распознавания речи и преобразования казахской речи в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и распространяется в формате Safetensors для библиотеки Transformers. На тестовой части корпуса автор сообщает WER 9,16%. Для аудио длиннее 35 секунд README рекомендует разбивать запись на фрагменты по 30 секунд и объединять результаты транскрибации. Модель доступна по лицензии MIT. Указанный результат получен на конкретном тестовом разделе корпуса и не гарантирует такую же точность на других источниках, акцентах или условиях записи.

Xing4.0-29B-A4B-CRACK-GGUF — набор GGUF-квантизированных версий модели Xing4.0-29B-A4B, подготовленный dealignai на базе модели XingChen-AGI/China Telecom AI. Это reasoning-модель с архитектурой Mixture of Experts: 29 млрд общих параметров, около 4 млрд активных при генерации, 64 маршрутизируемых эксперта с выбором 4 экспертов и одним общим. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальные сценарии с ограниченными ресурсами. Доступны семь вариантов квантизации размером примерно от 12,9 до 30,9 ГБ. Архитектура включает MLA с параметрами q_lora=768 и kv_lora=512, mHC Hyper-Connections с четырьмя каналами, MTP-head, 40 слоёв и скрытое представление размерностью 3584. Заявлена поддержка контекста до 256K токенов, с масштабированием до 512K через YARN. В README явно указаны китайский язык и данные калибровки imatrix на основе WikiText-2, исходного кода и китайской Википедии; полный набор поддерживаемых языков не приведён. Для работы требуется специальная ветка shuxiaoqiong/llama.cpp с портом xing4_0. Сильной стороной модели заявлено существенное снижение отказов и ограничений безопасности на уровне весов, однако это одновременно означает повышенные риски при использовании в чувствительных или вредоносных сценариях. Качество зависит от выбранной квантизации: в приведённых тестах MMLU составляет от 55,5% до 68,2%, а результаты более компактных вариантов ниже. Ограничения включают необходимость совместимого runtime, значительный объём памяти и возможную потерю качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

AlexN/xls-r-300m-pt — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на португалоязычной части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает результат WER 0,2382 на оценочной выборке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Yi-34B-200K-DARE-megamerge-v8 — языковая модель на 33,9 млрд параметров, созданная brucethemoose слиянием нескольких моделей Yi 34B 200K методом DARE TIES с помощью mergekit. Дополнительного дообучения при создании слияния не проводилось. Модель предназначена для генерации текста, диалогов и работы с длинным контекстом; автор ориентировал её на качество при контексте от 32 тысяч токенов. Максимальный заявленный нативный контекст — 200 000 токенов. В карточке приведён шаблон Orca-Vicuna; также может работать с ChatML и форматами, похожими на Alpaca. Автор отмечает, что подбор параметров генерации важен: рекомендует низкую температуру и MinP от 0,1, поскольку модель склонна к чрезмерно случайным ответам. Успешность слияния и смещения весов в пользу формата Vicuna автор обозначает как экспериментальную. Модель поддерживает английский язык. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории.

zpoint_large_embedding_zh — китайскоязычная модель эмбеддингов, опубликованная пользователем iampanda. Она предназначена для преобразования предложений в векторы, которые можно сравнивать по сходству; пример в карточке показывает сопоставление отзывов о товаре с противоположной тональностью. Модель построена на архитектуре BERT, содержит 424,3 млн параметров, работает с контекстом до 512 токенов и распространяется в форматах PyTorch и Safetensors через библиотеку sentence-transformers. Модель подходит для поиска семантически близких китайских текстов и сравнения предложений. Карточка указывает на обучение и приводит пример использования, однако подробно не описывает обучающие данные и качество на тестах. Лицензия MIT.

Это дообученная модель Waqf-AI для получения плотных векторных представлений текста и поиска по смыслу. Она основана на jinaai/jina-embeddings-v5-text-nano-retrieval и дообучена на арабских данных для поиска; при обучении также использовались английские примеры NLI, чтобы сохранить способности на английском языке. Модель предназначена для арабского семантического поиска и информационного поиска, например для сопоставления запросов с документами. Архитектура — EuroBERT, около 211,7 млн параметров; максимальный контекст — 8192 токена. Формат весов — safetensors, для использования в README приведён пример с Sentence Transformers. Модель поддерживает арабский и английский языки. Лицензия Apache-2.0. README не содержит сравнительных оценок качества, поэтому качество на конкретных наборах данных следует проверять отдельно.

AfriE5-Large-instruct — модель текстовых эмбеддингов, разработанная для улучшенной поддержки африканских языков на основе multilingual-e5-large-instruct. Она предназначена для преобразования текстов и запросов в векторы для семантического поиска, сравнения предложений и других задач, где нужно оценить смысловое сходство. Модель основана на XLM-RoBERTa-large, содержит 658,7 млн параметров и принимает контекст длиной до 514 токенов. При обучении использовались межъязыковое контрастивное обучение и дистилляция знаний; базовая модель указана в метаданных как дообученная. Обучение было нацелено на амхарский, оромо, хауса, игбо, киньяруанда, суахили, тви, коса, йоруба и зулу. В README заявлена проверка на 59 языках, а метаданные также отмечают английский. В тестах AfriMTEB модель показала средние результаты 63,7 на наборе из девяти языков и 62,4 на наборе из 59 языков. Лицензия — MIT.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.

Карточка модели jondurbin/airoboros-l2-70b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

Airophin разработал пользователь bhenrym14 как QLoRA-дообучение Llama 2 13B для генерации текста с расширенным контекстом. Модель использует плотную архитектуру LlamaForCausalLM, содержит 12,9 млрд параметров и применяет частичное NTK-масштабирование RoPE; автор указывает целевую длину контекста 16 384 токена. В метаданных Hugging Face указана нативная длина контекста 4 096 токенов. Обучение проходило в два этапа: на длинных фрагментах набора Dolphin и затем на Airoboros GPT-4 1.4.1. Модель предназначена для диалоговой генерации, ответов по предоставленному контексту, инструкций и задач вроде викторин и вопросов с выбором ответа. Для ответов по документам в карточке предложен формат с явными разделителями контекста. Автор сообщает о тестировании длинных последовательностей до 12 000 токенов и приводит результаты perplexity, но отмечает, что оценка влияния отдельных этапов обучения затруднена. Для запуска требуются способы поддержки частичного NTK RoPE-масштабирования; README указывает, что на момент его написания оно не поддерживалось нативно в Transformers и ExLlama. Доступные веса fp16 опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

AquilaChat2-34B-16K — диалоговая языковая модель BAAI из серии Aquila2, предназначенная для генерации ответов и работы с длинными текстами. Модель основана на плотной авторегрессионной архитектуре AquilaForCausalLM и содержит 33,1 млрд параметров; максимальная длина контекста — 16 384 токена. Доступны веса в формате PyTorch. Модель подходит для диалогов, генерации и суммирования длинных текстов, а также выполнения инструкций в обычных сценариях общения. В README описана версия V1.2, в которой улучшены синтез длинных текстов и выполнение инструкций по сравнению с V1. Для модели указана лицензия other; конкретные условия следует сверять с лицензией репозитория.

Armenian-Text-Embeddings-2-large — модель Metric-AI для создания плотных векторных представлений армянских текстов. Она дообучена на базе intfloat/multilingual-e5-large, использует архитектуру XLM-RoBERTa и содержит около 658,7 млн параметров. Модель принимает текст и выдаёт эмбеддинги размерностью 1024; максимальная длина последовательности — 514 токенов. Модель предназначена для семантического поиска на армянском языке, задач RAG, сравнения документов, информационного поиска, классификации и кластеризации текстов. В карточке также заявлена обработка транслитерированных запросов и поддержка межъязыкового понимания. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Качество может снижаться на узкоспециализированной терминологии; модель может недостаточно учитывать культурный контекст армянского языка. На результаты также могут влиять качество обучающих данных и предвзятость текстов Reddit.

bofenghuang/asr-wav2vec2-ctc-french — модель автоматического распознавания французской речи, созданная дообучением LeBenchmark/wav2vec2-FR-7K-large. Она использует архитектуру wav2vec2 с CTC-головой и содержит 402,7 млн параметров. Модель обучали на составном наборе данных объёмом более 2200 часов: Common Voice 11.0, Multilingual LibriSpeech, Voxpopuli, Multilingual TEDx, MediaSpeech и African Accented French. Модель предназначена для преобразования французской речи в текст, в том числе для транскрибации аудиозаписей и оценки качества распознавания на французских речевых корпусах. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст; поддерживаемый язык — французский. Модель распространяется в форматах PyTorch и Safetensors, для работы используется библиотека Transformers. Лицензия — Apache-2.0.

sentence-transformers/bert-large-nli-stsb-mean-tokens — модель Sentence Transformers, обученная командой sentence-transformers. Она основана на архитектуре BERT и преобразует предложения и абзацы в плотные векторы размерностью 1024, пригодные для семантического поиска, сравнения сходства и кластеризации текстов. Модель принимает текст и рассчитана на последовательности длиной до 512 токенов. Модель можно применять для поиска текстов по смыслу, ранжирования похожих предложений и группировки текстов по тематической близости. Репозиторий содержит варианты весов PyTorch, SafeTensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Авторы пометили модель как устаревшую и предупреждают о низком качестве получаемых эмбеддингов; для новых проектов они рекомендуют выбрать более современные модели эмбеддингов.

newmindai выпустила модель семантического сходства турецких предложений, дообученную на базе BAAI/bge-m3 на турецком наборе STS-B. Это Sentence Transformers на архитектуре XLM-RoBERTa с 658,7 млн параметров; модель кодирует текст в эмбеддинги и предназначена для оценки сходства пар предложений. В README указаны корреляции Спирмена 0,8629 и Пирсона 0,8575 на оценке STS-B. Модель подходит для поиска похожих предложений, сопоставления вопросов с ответами, поиска перефразирований и группировки турецких текстов. Метаданные указывают контекст до 8194 токенов, тогда как README сообщает ограничение последовательности в 1024 токена; фактический рабочий предел может зависеть от конфигурации загрузки. Поддержка языка в карточке отмечена для турецкого. Лицензия — Apache-2.0.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

MiniMax-M2-REAP-139B-A10B — это языковая модель для генерации текста, разработанная Cerebras. Она создана на основе MiniMax-M2: методом REAP из исходной модели равномерно удалено 40% экспертов. По доступным данным, модель использует разреженную MoE-архитектуру, имеет заявленный размер 139B параметров и активную часть A10B. Указан английский язык; сведения о поддерживаемых модальностях и размере контекста отсутствуют. Эта версия представляет собой GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и калибровочных данных imatrix. Она предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от Q8_0 до 2-битных и IQ-квантизаций с размером файлов примерно от 55 до 148 ГБ; более высокие разрядности обычно обеспечивают лучшее качество, а низкоразрядные варианты уменьшают требования к памяти, но могут заметно снижать качество. Сильными сторонами являются широкий выбор квантизаций, возможность локального использования и сохранение работоспособности после структурного сокращения MoE-модели. Ограничения включают очень большой объём памяти, зависимость качества от выбранного варианта квантизации и отсутствие в карточке подробных результатов оценки. Лицензия указана как other; конкретные условия необходимо уточнять в лицензии исходной модели Cerebras.

Chronorctypus-Limarobormes-13b — объединённая инструкциями дообученная языковая модель от chargoddard. Она создана слиянием пяти моделей на базе TheBloke/Llama-2-13B-fp16 по методике Resolving Interference When Merging Models, чтобы сохранить больше возможностей исходных моделей, чем при обычном линейном слиянии. Модель построена на плотной архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций в формате Alpaca: запрос передаётся в секции Instruction, ответ начинается после Response. В README автор сообщает, что модель показалась ему достаточно способной, и приводит результаты оценки на наборе тестов Open LLM Leaderboard. Модель использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.

DeepSeek-V4-Flash-0731 REAP K160 — экспериментальный производный чекпойнт модели DeepSeek-V4-Flash-0731 от DeepSeek, созданный пользователем 0xSero с применением метода REAP. Модель предназначена для исследовательского использования и инференса в условиях ограниченной памяти, включая генерацию текста, программирование, рассуждения, вызов инструментов и агентские сценарии. Это неофициальный релиз DeepSeek. Модель использует архитектуру Mixture-of-Experts: в каждом MoE-уровне сохранено 160 из 256 маршрутизируемых экспертов, то есть удалено 37,5% экспертов, при этом маршрутизация top-6, общие эксперты, attention, embeddings, output head, mHC, compressor и indexer tensors сохранены. В backbone предусмотрено 43 MoE-слоя, а также 3 DSpark MTP-блока. Заявлены английский и китайский языки. Контекст проверен на конфигурации 8192 токенов, однако полные характеристики контекста в README не указаны. Чекпойнт содержит 48 шардов Safetensors и около 107,8 млрд байт данных. К сильным сторонам относятся существенное сокращение числа экспертов и требований к памяти, структурная валидация всех тензоров и успешная базовая проверка генерации и программирования. Ограничения включают экспериментальный статус, возможное снижение качества из-за агрессивного pruning, отсутствие свежего наблюдения для весов версии 0731, отсутствие подтверждения паритета с исходной моделью по бенчмаркам и отдельную необходимость проверки совместимости DSpark MTP. Для запуска требуется DeepSeek-V4-совместимый runtime; generic Transformers может не поддерживать необходимые MXFP4, sparse-attention, tokenizer и DSpark MTP-компоненты. Производная распространяется по лицензии MIT.

DeepSeek-V4-Flash-MXFP4 — квантизированная версия DeepSeek-V4-Flash, разработанная Advanced Micro Devices (AMD) на базе исходной модели DeepSeek AI. Это каузальная языковая модель для генерации текста, ориентированная на запуск через Transformers и vLLM в Linux на ускорителях AMD MI355 и MI350 с архитектурой gfx950. README не указывает точный размер модели, поддерживаемые языки и длину контекста. Модель использует архитектуру DeepseekV4ForCausalLM и механизм Mixture-of-Experts (MoE). Проекции маршрутизируемых и общих MoE-экспертов квантизированы в статический OCP MXFP4 для весов и динамический OCP MXFP4 для активаций; остальные компоненты, включая attention, маршрутизатор MoE, нормализацию, embeddings, выходную голову и MTP-блок, сохранены в исходной точности. Квантизация выполнена с помощью AMD Quark 0.12.0, а рекомендуемая среда включает ROCm 7.2.0, PyTorch 2.9.1, Transformers 5.13.1 и vLLM 0.29.0. Ключевое преимущество модели — оптимизация инференса на совместимом оборудовании AMD при сохранении качества исходной модели: на GSM8K в конфигурации с 8 примерами она показала 94,92% против 95,00% у исходной версии, что соответствует восстановлению 99,9% результата. Ограничения включают зависимость от конкретных ускорителей AMD, Linux и совместимого программного стека; сведения о других бенчмарках, мультимодальности и языковом покрытии отсутствуют. Модель распространяется по лицензии MIT, как и исходная модель.

DeepSeek V4 Flash — это квантизированная GGUF-версия базовой модели DeepSeek-AI DeepSeek-V4-Flash, подготовленная antirez для инференс-движка ds4. Модель предназначена для генерации текста и работы с англоязычными запросами, включая локальный запуск на системах с Apple Silicon и поддержкой Metal. Модель использует архитектуру Mixture-of-Experts (MoE). Доступны варианты с квантизацией routed experts в форматах 2-bit IQ2_XXS/Q2_K и 4-bit Q4_K, при этом важные компоненты, включая attention projections, shared experts, output head и router, сохранены в менее агрессивных форматах Q8_0, F16 или F32. Размер основных файлов составляет около 80,8 ГиБ для q2 и 153,3 ГиБ для q4. Дополнительный файл MTP размером 3,6 ГиБ обеспечивает поддержку speculative decoding и не является самостоятельной моделью. Сильной стороной сборки является уменьшение размера за счёт агрессивной квантизации экспертных блоков при сохранении точности маршрутизации и ряда ключевых компонентов. Вариант q2 рассчитан на компьютеры с 128 ГиБ оперативной памяти, а q4 — на системы с объёмом памяти от 256 ГиБ. Сборка может работать с другими инференс-движками, но гарантируется прежде всего совместимость с ds4; MTP требует специального загрузчика. В README приведён пример запуска с контекстом до 100000 токенов, однако максимальный контекст самой модели явно не указан. GGUF-файлы распространяются по лицензии MIT; авторские права на базовую модель принадлежат DeepSeek, а распространение квантизированных файлов осуществляется на условиях релиза базовой модели.

Deita-20b — языковая модель для генерации текста на базе архитектуры Llama с 19,3 млрд параметров. Карточка показывает пример диалога с системным и пользовательским сообщениями, поэтому модель подходит для выполнения инструкций и ответов на запросы в формате ассистента. Заявленная длина контекста — 32 768 токенов. Модель использует формат Safetensors и обучалась на наборе KnutJaegersberg/Deita-6k. В карточке приведены результаты оценок на нескольких тестах рассуждения и понимания текста. Код распространяется по Apache-2.0; для весов заявлены академическое и бесплатное коммерческое использование, однако для коммерческой лицензии предлагается подать отдельную заявку.

Devlin Alpha 22B A3B — экспериментальная текстовая языковая модель от Devlin-AI, основанная на Qwen3.6-35B-A3B и распространяемая в формате GGUF. Модель ориентирована на агентские сценарии и задачи, требующие рассуждений; в метаданных также указаны MoE-архитектура и pruning экспертов. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая Ollama, LM Studio, KoboldCpp и text-generation-webui с бэкендом llama.cpp. Указан размер 22B с конфигурацией A3B, поддерживаются режимы с рассуждениями и без них. Это текстовая модель без MTP-головы; для корректного применения шаблона чата Qwen3.6 при использовании llama.cpp требуется включать параметр jinja. В примере запуска указан контекст до 262144 токенов. К сильным сторонам относятся специализация на агентских задачах, поддержка локального инференса и возможность использования в режимах с рассуждениями. При этом модель является версией для разработки и тестирования, не рекомендуется для production, а результаты бенчмарков в README отсутствуют. Языки, точные характеристики модальностей помимо текстовой генерации и дополнительные ограничения производительности не указаны. Модель распространяется по лицензии Apache 2.0 как производная работа Qwen3.6-35B-A3B.

MaziyarPanahi/dolphin-2.6-mistral-7b-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b, разработанной cognitivecomputations. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору базовой модели. Доступны варианты квантования от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. В метаданных указан английский язык; другие языки, поддерживаемые моделью, размер контекста и мультимодальные возможности не заявлены. Основные преимущества — совместимость с широким набором инструментов для локального запуска и возможность подобрать степень квантования под доступное оборудование. Ограничения связаны с потерями качества при более агрессивном квантовании, а также с отсутствием в предоставленных данных подробных оценок, описания точных сценариев применения и характеристик контекстного окна. Распространение указано по лицензии Apache-2.0.

Dolphin Llama 13B — языковая модель команды Dolphin на архитектуре Llama 1 с 12,9 млрд параметров. Она дообучена на открытой реализации датасета Orca: инструкциях FLANv2 с ответами GPT-3.5 и GPT-4. Модель предназначена для диалогов и выполнения разнообразных инструкций; формат запросов включает поля SYSTEM, USER и ASSISTANT. Контекст составляет 2048 токенов. В карточке модель описана как uncensored: при подготовке данных удаляли примеры отказов, избегания и выравнивания. Это позволяет настраивать поведение модели собственным alignment-слоем, но также означает, что без дополнительной фильтрации она может отвечать на вредоносные запросы. Модель основана на Llama 1 и предназначена только для некоммерческого использования; лицензия в метаданных указана как other.

DSE-Phi3-Vidore-ft — биэнкодер для поиска по документам, разработанный на базе Phi-3.5-Vision и обученный авторами с использованием Tevatron. Он преобразует скриншоты документов в плотные векторные представления, сохраняя текст, изображения и структуру страниц, а также умеет кодировать текстовые запросы и текст документов для поиска по содержимому. Модель дообучена на части Docmatix-ir и затем на обучающем наборе ViDoRe; перед этим она прошла этап обучения на текстовом поиске и поиске по веб-страницам. Модель предназначена для семантического поиска и ответов на вопросы по PDF и другим визуально представленным документам: запрос и документ кодируются отдельно, после чего их векторы сравниваются по сходству. Архитектура — плотная Phi3VForCausalLM с 3,7 млрд параметров и контекстом 4096 токенов; библиотека — Tevatron. README приводит для модели DSE-Phi3-Vidore-V2 результат 82,9 nDCG@5 на таблице ViDoRE, но это число не следует приписывать данному чекпойнту. Модель распространяется по лицензии MIT. Ограничения: карточка не приводит отдельной оценки качества именно этого чекпойнта; для использования как поискового энкодера нужны подходящие процессор, схема кодирования и ранжирование по сходству векторов.