I.3Извлечение и структурирование данных

mlx-community/whisper-large-v3-fp16 — версия Whisper large-v3 от сообщества mlx-community, преобразованная в формат MLX из openai/whisper-large-v3 с помощью mlx-audio-plus 0.1.4. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно использовать для транскрибации записей и аудиоввода в приложениях на MLX. Это мультиязычная модель семейства Whisper с плотной архитектурой. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. README описывает использование через mlx-audio-plus.

unsloth/whisper-large-v3-turbo — мультиязычная модель распознавания речи семейства Whisper, опубликованная Unsloth в формате Transformers и Safetensors. Это Transformer-энкодер-декодер с 905,2 млн параметров, производный от openai/whisper-large-v3-turbo и openai/whisper-large-v3. В turbo-версии число слоёв декодера сокращено с 32 до 4, что ускоряет работу и снижает потребление памяти при небольшом ухудшении качества. Модель принимает аудио и преобразует речь в текст на том же языке; также семейство Whisper поддерживает перевод речи между языками. Она рассчитана на многоязычную транскрибацию, в том числе аудио на русском, английском, китайском, немецком, испанском, французском и других языках. Для аудио длиннее 30 секунд README рекомендует использовать последовательную или пакетную обработку фрагментами. Модель может быть полезна для расшифровки записей, диктовки и транскрибации аудио с разными акцентами и фоновым шумом. Возможны галлюцинации, повторы и неодинаковая точность для разных языков, акцентов и диалектов; качество может быть ниже для языков с малым объёмом обучающих данных. Лицензия — MIT.

Yi-1.5-6B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi-1.5-6B-Chat, разработанной компанией 01-ai и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель содержит файлы в формате GGUF с вариантами квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством генерации. Это текстовая модель; в предоставленных данных не указаны языки, размер контекста и подробности архитектуры исходной модели. GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, включая варианты с GPU-ускорением. Сильными сторонами являются широкий выбор уровней квантизации и удобство локального использования на различных платформах. Ограничения связаны с возможными потерями качества при агрессивной квантизации, а также с отсутствием в предоставленной карточке подробных характеристик исходной модели и результатов оценки. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/zephyr-7b-alpha-sharded-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и anakin87/zephyr-7b-alpha-sharded методом SLERP. Это плотная авторегрессионная архитектура Mistral с 7,1 млрд параметров; веса представлены в формате safetensors, а конфигурация слияния использует bfloat16. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно использовать в чат-ботах, для ответов на вопросы и создания черновиков текста. Заявленная длина контекста составляет до 32 768 токенов. Данные о конкретно поддерживаемых естественных языках в карточке не приведены. Модель распространяется по лицензии Apache-2.0. README описывает способ объединения чекпойнтов, но не приводит сравнительных оценок качества; поэтому пригодность для конкретных задач стоит проверять на собственных примерах.

MaziyarPanahi/zephyr-7b-sft-full-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и zephyr-7b-sft-full методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на запросы и других сценариев генерации текста. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. В README не приведены отдельные оценки качества или перечень поддерживаемых языков.

ZEUS 8B V2 — объединённая языковая модель, созданная разработчиком T145 методом DARE TIES с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct, а также включены Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B и Llama-3.1-8B-Lexi-Uncensored-V2. Модель имеет плотную архитектуру Llama 3.1 с 7,5 млрд параметров, принимает текст и генерирует текст; поддерживает диалоги и интерфейс вызова инструментов. Длина контекста — до 131 072 токенов. Модель предназначена для генерации текста, диалогов и ролевого общения. В README приведены результаты Open LLM Leaderboard: средний балл 30,07 и 80,29 на IFEval; эти результаты относятся к указанной версии оценки. Для запуска автор рекомендует параметры генерации, а также приводит рекомендацию по квантизации i1-Q4_K_M. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.

Это исследовательский резервный чекпойнт языковой модели семейства Qwen2, сохранённый в стандартном формате Hugging Face для загрузки через Transformers. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; доступен контекст до 131 072 токенов. Модель можно применять для диалоговой генерации и сценариев с интерфейсом вызова инструментов. Карточка не сообщает о специализированной предметной области или целевых языках. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не указаны.

AeolusBlend-7B-slerp — языковая чат-модель, созданная слиянием OpenPipe/mistral-ft-optimized-1218 и HuggingFaceH4/zephyr-7b-beta методом SLERP с помощью LazyMergekit. Она предназначена для генерации текста, ответов на вопросы и выполнения пользовательских инструкций в диалоге. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст длиной до 32 768 токенов; опубликованные веса представлены в формате safetensors. В карточке также приведён пример инференса с 4-битной квантизацией, но это не формат весов данного репозитория. Модель объединяет возможности двух исходных чекпойнтов, однако README не приводит сравнительных оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

AI21-Jamba-Mini-1.7-GGUF — это квантованная версия языковой модели AI21-Jamba-Mini-1.7, разработанной AI21 Labs и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 21 до 103 ГБ; более крупные варианты обычно обеспечивают лучшее качество, а компактные требуют меньше оперативной памяти. Для работы необходимо использовать указанный шаблон промпта со специальными токенами системного, пользовательского и ассистентского сообщений. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста, поэтому эти характеристики нельзя достоверно определить по представленным данным. Сильной стороной модели является широкий выбор квантований для различных аппаратных ограничений и совместимость с популярными инструментами локального инференса. При этом качество и требования к памяти зависят от выбранного варианта, а низкобитные версии могут заметно уступать более точным. Модель распространяется по лицензии Jamba Open Model License; для точных условий следует обращаться к тексту лицензии AI21 Labs.

Qwen3.5-27B-Anko-GGUF — это квантизированная версия языковой модели allura-org/Qwen3.5-27B-Anko, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет 27 млрд параметров и поддерживает английский и китайский языки. В репозитории представлены варианты от BF16 и Q8_0 до более компактных Q3- и IQ3-квантизаций; наиболее качественными считаются BF16, Q8_0, Q6 и Q5, а Q4 предлагается как сбалансированный вариант по качеству и размеру. Размер файлов составляет примерно от 13,5 до 53,8 ГБ. Данные о модальностях, архитектуре исходной модели и размере контекстного окна в README не указаны. Модель подходит для локальной генерации текста и диалоговых сценариев при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Квантизация снижает требования к ресурсам, но варианты с меньшим числом бит могут заметно уступать более крупным по качеству. Распространение указано по лицензии Apache-2.0.

AlphaMayo — диалоговая языковая модель, созданная слиянием Eric111/Mayo и mlabonne/AlphaMonarch-7B с помощью mergekit. В основе архитектуры лежит Mistral; модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в формате диалога. Указанная длина контекста — 32 768 токенов. Модель подходит для генерации ответов и выполнения инструкций в чат-сценариях. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README описывает конфигурацию слияния методом SLERP и точностью bfloat16.

Amadeus-Verbo-BI-Qwen-2.5-72B-PT-BR-Instruct-Experimental — плотная языковая модель для диалогов и генерации текста на бразильском португальском. Её разработала Amadeus AI на основе Qwen/Qwen2.5-72B, дообучив модель в течение двух эпох на наборе из 600 тысяч инструкций. Архитектура Qwen2 использует Transformer, RoPE, SwiGLU, RMSNorm и grouped-query attention; размер по метаданным — 71,5 млрд параметров. Модель предназначена для ответов на инструкции и диалоговых сценариев на бразильском португальском. Она поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Для загрузки автор рекомендует актуальную версию Transformers. Модель распространяется по лицензии Apache-2.0. Качество ответов может зависеть от формулировки запроса и соответствия задачи бразильскому португальскому; карточка не приводит результатов оценки качества.

bartowski/arcee-ai_Virtuoso-Small-v2-GGUF — это набор квантованных версий языковой модели Virtuoso-Small-v2, разработанной arcee-ai и преобразованной bartowski в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты с точностью от F32 и F16 до различных методов квантования Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 6,5 до 59 ГБ. Для взаимодействия используется chat-шаблон с ролями system, user и assistant. Данные о числе параметров, архитектуре исходной модели, контекстном окне, поддерживаемых языках и модальностях в README не указаны; по имеющимся сведениям это текстовая, а не мультимодальная модель. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к памяти: высокоточные варианты Q6 и Q5 обозначены как близкие к исходному качеству, а Q3 и Q2 подходят для систем с ограниченным объёмом RAM, хотя обеспечивают более низкое качество. Некоторые варианты оптимизированы для ARM или Apple silicon. Распространение указано на условиях лицензии Apache-2.0.

Модель ganesh714/arq_m1_chairs_think_Q7b_C — дообученная языковая модель семейства Qwen2 на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Она построена на архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров; модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. В README указано, что обучение выполнялось с Unsloth и библиотекой TRL. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0. В карточке нет подробностей о специализации дообучения или оценках качества, поэтому пригодность для конкретных задач следует проверять на собственных примерах.

aya-expanse-32b-GGUF — это набор GGUF-квантизаций языковой модели Aya Expanse 32B, разработанной CohereForAI и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio. Доступны варианты с разным уровнем квантизации, размером файла и компромиссом между качеством и требованиями к памяти. Модель имеет около 32 миллиардов параметров и поддерживает широкий набор языков: английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский, турецкий, украинский и вьетнамский. Это текстовая модель без заявленной поддержки дополнительных модальностей. README не содержит сведений об архитектуре исходной модели и размере контекста. Сильная сторона набора — большой выбор квантизаций, позволяющий запускать модель на системах с разным объёмом памяти. Варианты Q6_K и Q6_K_L обозначены как близкие к исходному качеству, а Q4_K_M — как сбалансированный вариант; более компактные форматы требуют меньше памяти, но могут заметно снижать качество. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также предусмотрено принятие условий лицензии Cohere и предоставление регистрационных данных.

Это экспортированная в формат ONNX модель BAAI/bge-reranker-v2-m3, опубликованная пользователем rozgo. Она предназначена для оценки релевантности пар «запрос — документ» и ранжирования найденных текстов, например в поиске и системах RAG. В основе лежит архитектура XLM-RoBERTa с классификационной головой; размер составляет 658,7 млн параметров, заявленный контекст — до 8194 токенов. README подтверждает экспорт оптимизированной модели через Optimum в ONNX с opset 13. Модель подходит для повторной сортировки результатов текстового поиска после первичного извлечения кандидатов. Метаданные указывают на языковое семейство XLM-RoBERTa, но конкретный перечень поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.

qilowoq/bge-reranker-v2-m3-en-ru — уменьшенная версия переранжировщика BAAI/bge-reranker-v2-m3, подготовленная автором репозитория qilowoq. В словаре оставлены токены английского и русского языков; по заявлению карточки, модель примерно в 1,5 раза меньше исходной и при этом сохраняет те же оценки релевантности.

BgGPT-Gemma-2-2.6B-IT-v1.0 — диалоговая языковая модель INSAIT, института при Софийском университете Св. Климента Охридского. Это плотный декодерный трансформер семейства Gemma 2 с 2,7 млрд параметров и контекстом 8192 токена, предназначенный для генерации текста и выполнения инструкций в формате чата. Модель основана на Google Gemma 2 2B и Gemma 2 2B IT. INSAIT непрерывно предобучил её примерно на 100 млрд токенов, включая 85 млрд токенов на болгарском языке, используя стратегию Branch-and-Merge, а затем дообучил на болгарских инструкциях и диалогах. Она рассчитана прежде всего на болгарский язык, сохраняя возможности английского, и подходит для ответов на вопросы, суммаризации, рассуждений и диалоговых приложений. Модель распространяется по условиям Gemma Terms of Use. В README отмечено, что Flash Attention для неё не поддерживается и может ухудшить качество; для работы с инструкциями следует использовать шаблон чата Gemma 2.

BLOOMZ-7b1 — мультиязычная авторегрессионная языковая модель, разработанная BigScience. Это дообученная версия BLOOM-7b1: её обучали следовать инструкциям на смеси кросс-языковых задач xP3, чтобы выполнять задания, сформулированные на естественном языке, в том числе переносить навыки на новые задачи и языки без примеров. Модель содержит 7,1 млрд параметров, использует архитектуру BLOOM и работает с текстом; максимальная длина контекста — 2048 токенов. Модель подходит для генерации и преобразования текста по инструкциям: перевода, ответов на вопросы, классификации тональности, объяснений и написания историй. Она обучалась на нескольких десятках языков и поддерживает также код. Результат зависит от формулировки запроса: рекомендуется чётко обозначать границы инструкции и нужный язык ответа, а также предоставлять достаточный контекст. Модель выпущена по лицензии BigScience-BLOOM-RAIL-1.0; перед использованием следует учитывать её условия и ограничения.

blossom-v3-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная путём слияния Mistral-7B-Instruct-v0.1 и Azure99/blossom-v3-mistral-7b методом SLERP. Она рассчитана на ответы на инструкции и диалоговые запросы; в метаданных также указаны наборы данных для чата, математики и следования инструкциям. Модель имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Поддерживаемые по карточке языки — китайский и английский. Модель принимает текст и генерирует текст. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества или подробных ограничений применения, поэтому пригодность для конкретных задач стоит проверять на собственных примерах.

Breexe-8x7B-Instruct-v0_1 — диалоговая языковая модель MediaTek Research, дообученная для выполнения пользовательских инструкций на основе Breexe-8x7B-Base, который расширяет Mixtral-8x7B. Модель предназначена прежде всего для традиционного китайского языка, также поддерживает английский. Она подходит для ответов на вопросы, многошагового диалога, суммаризации и работы с RAG-сценариями. Метаданные указывают архитектуру Mixtral с разреженной смесью экспертов (MoE), 7,2 млрд параметров и контекст до 32 768 токенов; в README также приведено значение 8 тыс. токенов, поэтому фактическую длину контекста следует проверять для конкретной конфигурации. Расширенный словарь токенизатора, по данным разработчика, ускоряет обработку традиционного китайского языка относительно Mixtral-8x7B. README сообщает о результатах на бенчмарках китайского и английского языков на уровне GPT-3.5-turbo-1106, но не приводит здесь подробностей измерений. Модель выпущена в версии 0.1 и распространяется по лицензии Apache-2.0. Она не предназначена для обработки изображений или аудио; разработчик также отмечает, что в диалоговом режиме нет специальной обработки вредоносных запросов.

bruphin-zeta — объединённая методом SLERP языковая модель от nbeerbower, созданная с помощью mergekit на основе bruphin-epsilon и Dolphin 2.6 Mistral 7B DPO Laser. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов, а конфигурация указывает на совместимость с шаблоном ChatML. Модель может использоваться для диалоговых ассистентов и генерации ответов с длинным контекстом. Карточка не приводит отдельных результатов оценки или перечня языков. Лицензия — Apache-2.0.

CatMacaroni-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и cookinai/CatMacaroni-Slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Слияние использует отдельные веса для слоёв self-attention и MLP. Модель распространяется в формате safetensors под лицензией Apache 2.0. Данные карточки не описывают её языковое покрытие или конкретные ограничения качества.

DeepSeek-R1-Distill-Qwen-14B-heretic — текстовая генеративная модель, созданная на основе DeepSeek-R1-Distill-Qwen-14B компанией или автором репозитория saidutta69 с использованием Heretic версии 1.4.0. Это вариант с подавленным поведением отказа, полученный направленной абляцией и изменением весов в выходных проекциях attention и down-прекциях MLP, без дообучения. Модель предназначена для разработчиков, которым нужны диалоги, генерация текста и рассуждения без встроенных отказов базовой модели. Модель имеет примерно 14,8 млрд параметров, поддерживает текстовую модальность и ориентирована на английский язык. Доступны полноточные веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для запуска рекомендуются GPU с 16–24 ГБ памяти; квантованные версии подходят для потребительского оборудования, CPU и Apple Silicon. Модель совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM, SGLang и Transformers. Размер контекста в README не указан. Главное преимущество — сохранение знаний и навыков следования инструкциям базовой модели при уменьшении количества отказов, а также широкий выбор квантований для локального запуска. При этом это не улучшенная по возможностям версия DeepSeek-R1-Distill-Qwen-14B, а модификация с удалёнными защитными ограничениями. Отсутствие дополнительной фильтрации означает повышенный риск небезопасной генерации, поэтому ответственность за применение и развёртывание лежит на пользователе. Модель распространяется по лицензии deepseek-research-license, унаследованной от базовой модели.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной командой DeepSeek-AI. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b4514; модель распространяется в рамках сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста и прежде всего ориентирована на задачи рассуждения и пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek R1 и настроена на работу с chain-of-thought. Указана поддержка контекстного окна до 128k токенов. Другие характеристики, включая точный размер в параметрах исходной GGUF-сборки, поддерживаемые языки и мультимодальные возможности, в README не приведены; по указанным данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся компактный размер базовой модели, ориентация на рассуждения и большой заявленный контекст. Ограничения включают возможные неточные, вредоносные или неподходящие ответы, а также отсутствие гарантий качества, безопасности и стабильности использования. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнять в материалах исходной модели DeepSeek-R1-Distill-Qwen-1.5B и конкретной GGUF-сборки.

DeepSeek-R1-Distill-Qwen-32B-abliterated-GGUF — это набор квантизированных версий текстовой генеративной модели DeepSeek-R1-Distill-Qwen-32B-abliterated. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходную модель разработала huihui-ai. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая LM Studio и llama.cpp. Модель содержит около 32 миллиардов параметров и распространяется в формате GGUF с вариантами от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, включая IQ-варианты. Размер файлов составляет примерно от 15,94 до 65,54 ГБ в зависимости от варианта. README не указывает поддерживаемые языки, размер контекстного окна и мультимодальные возможности, поэтому подтверждено только текстовое применение. Ключевые преимущества — широкий выбор вариантов квантизации, возможность локального запуска и сохранение высокого качества у версий Q6 и Q5; Q4_K_M обозначена как вариант по умолчанию для большинства сценариев. Более компактные версии подходят для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель помечена как abliterated и uncensored, однако подробные характеристики, ограничения и лицензия в README не указаны.

KeinNiemand/DeepSeek-V4-Flash-0731-IK_GGUF — набор смешанных по точности GGUF-квантизаций базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Квантизации созданы с использованием ik_llama.cpp и матрицы важности; модель предназначена для локального запуска задач генерации текста с уменьшенным потреблением памяти по сравнению с исходной версией. Варианты представлены в диапазоне примерно от 65,4 до 149,2 ГБ, со средней точностью от 1,841 до 4,200 бит на вес. Архитектура исходной модели включает mixture-of-experts, а маршрутизируемые тензоры MXFP4 и тензоры, полученные из FP8, квантизированы с учётом их исходного представления. Другие характеристики исходной модели, включая число параметров, поддерживаемые языки и точный размер контекста, в README не указаны; отмечено лишь наличие очень большого контекстного окна. Доступны варианты XS_IQ1_KT, IQ1_KT, IQ2_KT, IQ2_KS, IQ2_KL, IQ3_KS, IQ3_K и IQ4_KSS. Более крупные варианты обычно обеспечивают лучшее сохранение качества; среди протестированных IQ2_KL показал наилучшие значения perplexity, mean KLD и согласия top-1. IQ2_KT близок по размеру к IQ2_KS, но медленнее на CPU и при гибридном CPU/GPU-запуске. IQ3_KS, IQ3_K и IQ4_KSS в приведённых тестах не оценивались. Файлы требуют свежей сборки ik_llama.cpp с поддержкой специфичных типов тензоров IK IQK и IQT. Стандартные llama.cpp и многие приложения, включая некоторые версии LM Studio, KoboldCpp и text-generation-webui, могут их не загрузить. Необходимо явно задавать размер контекста и оставлять дополнительную память для KV-кэша и служебных буферов. Распространение указано под лицензией MIT.

dqnGPT-v1 — это универсальный мультимодальный AI-ассистент, разработанный DQN Labs как центральный интерфейс экосистемы моделей DQN. Модель предназначена для повседневного общения, объяснения учебных и общих тем, творческого письма, мозгового штурма и решения бытовых задач. В модульных системах она может выступать разговорным фронтендом и координировать взаимодействие со специализированными моделями dqnCode, dqnMath и dqnScience, рекомендуя их для задач, требующих более глубокой экспертизы. В основе модели лежит архитектура Gemma 4 E4B с Mixture-of-Experts (MoE). Это causal language model примерно с 8 млрд параметров, из которых около 4,5 млрд активны при обработке запроса. Указан основной язык English. Модель поддерживает обработку изображений, визуальных материалов, диаграмм и структурированных входных данных, однако качество мультимодальной работы зависит от возможностей используемого runtime. Предоставляется в формате GGUF и ориентирована на эффективный локальный запуск, включая потребительские GPU и конфигурации с квантованием, в том числе 4-bit. dqnGPT-v1 делает акцент на естественном разговорном стиле, понятных объяснениях, следовании инструкциям, контекстной делегации и выразительной, слегка игривой манере общения. Ограничения модели включают отсутствие оптимизации для узкоспециализированных областей, возможную передачу сложных задач специализированным моделям, зависимость мультимодальных возможностей от runtime и непредназначенность для крупномасштабных корпоративных нагрузок. Модель не дообучалась на предметно-ориентированных датасетах: поведение формируется промптами, структурированным форматом диалогов и системными настройками. Лицензия — Apache 2.0.

Alibaba-NLP/E2Rank-8B — модель для текстовых эмбеддингов и ранжирования, разработанная Alibaba-NLP на базе Qwen3-8B. Это плотная архитектура Qwen3 с 7,6 млрд параметров, длиной контекста до 40 960 токенов и размерностью эмбеддингов 4096. Модель дообучена на данных для ранжирования и поддерживает настройку инструкций под задачу. E2Rank объединяет поиск по сходству эмбеддингов и списковое переранжирование: документы и запросы представляются векторами, а сходство оценивается по косинусной мере. Модель предназначена для семантического поиска, улучшения порядка результатов и построения поисковых систем с единым компонентом извлечения и переранжирования. В README заявлены высокие результаты на BEIR и конкурентные показатели на BRIGHT и MTEB; приведённые оценки относятся к экспериментам авторов. Модель принимает текст и выдаёт эмбеддинги для последующего вычисления сходства и ранжирования. В карточке не указаны языки обучения; приведённая таблица MTEB описывает английский бенчмарк и сама по себе не подтверждает поддержку только английского. Для использования эмбеддингов требуется вручную добавлять специальный завершающий токен к каждому входному тексту. Лицензия — Apache-2.0.

fresha/e5-large-v2-endpoint — текстовая модель эмбеддингов на базе BERT, основанная на E5-large-v2, разработанной Liang Wang, Nan Yang и коллегами. Модель использует 24 слоя и формирует векторы размерности 1024; её применяют для представления запросов и документов в задачах семантического поиска и ранжирования. Она поддерживает только английский язык, а входные тексты ограничены 512 токенами и более длинные обрезаются. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT.