II.8Инженерия данных и аналитика

Parallia разработала FMMB-BE-NL — одноязычную нидерландскую версию модели Sentence Transformers для получения эмбеддингов текста. Она основана на ModernBERT и содержит 148,7 млн параметров. Модель преобразует предложения и абзацы длиной до 8192 токенов в плотные векторы размерности 768; для сравнения векторов подходит косинусная близость. В README указано, что веса совпадают с исходной многоязычной моделью FMMB-BE, а эта версия использует нидерландский токенизатор и соответствующую таблицу эмбеддингов. Модель обучена на параллельных предложениях на английском, французском, нидерландском и немецком языках. Её можно применять для семантического поиска, сравнения сходства предложений, поиска перефразировок, кластеризации и классификации текста. Лицензия — Apache-2.0. Карточка рекомендует использовать актуальную версию библиотеки Transformers с поддержкой ModernBERT.

Falcon3-MoE-2x7B-Instruct — инструктивная языковая модель с архитектурой Mixture of Experts, созданная объединением двух моделей Falcon3-7B-Instruct. В README заявлено 13,4 млрд параметров и формат BF16; метаданные указывают 7,1 млрд параметров. Модель основана на Falcon3-7B-Instruct от TII, а репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и генерации ответов по инструкциям. Базовая Falcon3-7B-Instruct рассчитана на задачи понимания языка, следования инструкциям, рассуждений, программирования и математики; контекст составляет до 32 768 токенов. В карточке для базовой модели перечислены английский, французский, испанский и португальский языки. Метаданные также отмечают интерфейс для вызова инструментов. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в репозитории. Описание не содержит отдельных оценок качества или ограничений для MoE-версии; заявленные возможности базовой модели не следует считать подтверждёнными сравнительными результатами этой сборки.

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

Это GGUF-квантование GLM-4.7-Flash, подготовленное TNT.Chat в рамках проекта LOCAL AI. Модель Z.ai — диалоговая MoE-модель класса 30B-A3B; в этой сборке около 20% весов, включая shared expert и тензоры внимания, представлены в Q4_K, остальные — в Q3_K. Такой смешанный формат рассчитан на локальный запуск и использование в редакторах кода, включая VS Code, на потребительском оборудовании; автор заявляет возможность работы в пределах 16 ГБ VRAM и приводит отдельную оценку для контекста 200 тысяч токенов на GPU с 24 ГБ VRAM. Модель генерирует текст в диалоге и ориентирована, среди прочего, на программирование и рассуждения. В карточке приведены рекомендации по параметрам генерации и отмечено, что исправление в llama.cpp устранило зацикливание и низкое качество прежней версии файлов. Заявления о качестве и требованиях к памяти относятся к описанию автора сборки. Репозиторий распространяется по лицензии MIT; README указывает исходный GGUF от Unsloth и метод смешанного квантования, не подтверждая отдельное дообучение этой версии.

mlx-community/GLM-5.1-MXFP4-Q8 — MLX-квантизированная версия текстовой генеративной модели GLM-5.1, разработанной Z.ai (zai-org) и опубликованной в формате MLX сообществом mlx-community. Базовая модель предназначена прежде всего для агентной разработки программного обеспечения, генерации и анализа кода, длительных рассуждений, работы с терминалом и использования инструментов. Она поддерживает текстовый ввод и вывод; сведения о поддержке изображений или аудио для этой версии не указаны. По опубликованным конфигурациям GLM-5.1 относится к архитектуре glm_moe_dsa и использует decoder-only causal language model с Mixture-of-Experts: 78 слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен. Размер модели составляет примерно 744 млрд параметров, максимальная позиционная длина указана как 202 752 токена. Версия MXFP4-Q8 предназначена для запуска через MLX и использует 4-битное MXFP4-квантизирование с отдельными компонентами в 8-битном представлении; это существенно уменьшает объём хранения по сравнению с полной версией, но модель всё равно требует очень значительных аппаратных ресурсов. Сильные стороны модели — ориентация на сложные программные и агентные задачи, большой контекст и возможность локального запуска в MLX-совместимой среде. Ограничения включают крайне большой размер, высокие требования к памяти и потенциально низкую производительность на неподходящей или распределённой конфигурации оборудования; официальная карточка именно этой производной версии практически не содержит описания и результатов оценки. Для базовой GLM-5.1 указана лицензия MIT, но для репозитория mlx-community/GLM-5.1-MXFP4-Q8 отдельные лицензионные условия не указаны, поэтому их следует проверить перед коммерческим использованием.

Granite Switch 4.1 3B Preview — модульная языковая модель IBM, построенная на IBM Granite 4.1 3B и содержащая 12 встроенных адаптеров из библиотек Granite. Выбор возможностей выполняется во время генерации с помощью управляющих токенов в шаблоне чата. Модель насчитывает 3,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Адаптеры предназначены для задач RAG, проверки требований к ответу, атрибуции контекста, оценки неопределённости, выявления рисков безопасности и проверки либо исправления фактических ошибок. Модель можно использовать как обычную генеративную LLM или вызывать отдельные адаптеры; для интеграции README рекомендует Mellea. Поддерживаются Transformers и vLLM. Возможности специализированных адаптеров позволяют объединить несколько этапов работы с ответами и документами в одном чекпойнте. README не перечисляет все адаптеры целиком, а также не сообщает языки обучения или гарантии точности. Модель распространяется по лицензии Apache 2.0.

IoannisKat1 разработал эту модель Sentence Transformers, дообучив Alibaba-NLP/gte-multilingual-base на 4 268 парах текстов. Модель кодирует предложения и абзацы в нормализованные плотные векторы размерности 768 для поиска и сравнения по косинусному сходству. Архитектура включает Transformer-энкодер, CLS-пулинг и нормализацию; максимальная длина входа — 8 192 токена. Модель предназначена для семантического поиска и извлечения релевантных фрагментов по запросу. Matryoshka-обучение позволяет усекать векторы до 512, 256, 128 или 64 измерений, с некоторым снижением качества поиска. Карточка указывает английский язык, однако примеры обучающих пар на греческом, поэтому поддержка других языков неясна. Лицензия — Apache-2.0.

sentence-transformers/gtr-t5-xl — модель для семантического поиска, опубликованная сообществом Sentence Transformers и основанная на работе «Large Dual Encoders Are Generalizable Retrievers». Она кодирует предложения и абзацы в плотные векторы размерностью 768, чтобы находить тексты, близкие по смыслу к запросу. Модель использует энкодер архитектуры T5; в README указано, что веса происходят от T5-3B и хранятся в формате FP16. Версия PyTorch получена преобразованием исходной TensorFlow-модели gtr-xl-1. Максимальная длина контекста по метаданным — 512 токенов. Поддерживаемый язык — английский. Для распространения указана лицензия Apache-2.0. Модель подходит для семантического поиска и сопоставления предложений через векторные представления. README предупреждает, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя результаты на упомянутых бенчмарках совпадают; подробные ограничения применения не описаны.

INF-34B-Base — базовая плотная языковая модель с 34 млрд параметров, разработанная командой INF и построенная на архитектуре LLaMA. Для стабилизации обучения вместо RMSNorm используется LayerNorm с gamma, центрированной относительно нуля. Модель предварительно обучена примерно на 3,5 трлн очищенных токенов из англо-китайского корпуса. README сообщает о контексте до 32K токенов, тогда как метаданные Hugging Face указывают native context в 4096 токенов. Модель предназначена для генерации текста и служит основой для последующей адаптации под диалоговые и прикладные сценарии. В обучении уделялось внимание общим знаниям, математике и программированию, а разработчики также отмечают потенциал в финансах и здравоохранении. В README приведены результаты базовой модели на академических тестах, включая MMLU, CMMLU и GSM8K. Модель опубликована в формате safetensors. В метаданных указана лицензия other; README допускает коммерческое применение на условиях раздела лицензии, но сам текст условий здесь не приведён. Заявление о работе квантованной версии на видеокартах с 24 ГБ видеопамяти относится к отдельной квантованной версии, а не непосредственно к этому базовому репозиторию.

Infinity-Instruct-3M-0625-Llama3-70B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная причинная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и следования текстовым инструкциям; она не проходила RLHF. Модель использует шаблон чата Llama 3 Instruct, принимает текст и генерирует текст, а её контекст составляет 8192 токена. В карточке заявлены благоприятные результаты на AlpacaEval 2.0, однако приведённая таблица и текст описывают разные варианты модели, поэтому результаты конкретно этой версии следует трактовать осторожно. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения инструкций, в том числе в задачах с кодом и математикой. Модель ориентирована на английский язык согласно метаданным; оснований считать её специально адаптированной для русского нет. Репозиторий распространяется под Apache-2.0, но README отдельно ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; следует учитывать это ограничение и проверять применимые условия перед использованием.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

jina-embeddings-v2-base-de-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-de, разработанной Jina AI и подготовленной квантизатором Second State Inc. Это embedding-модель для преобразования текстов в векторные представления, пригодные для семантического поиска, сопоставления текстов и других задач, где требуется оценивать смысловую близость. В README указаны немецкий и английский языки. Модель поддерживает контекст до 8192 токенов и формирует embeddings размерностью 768. Доступны варианты квантизации от Q2_K до Q8_0, а также f16 в формате GGUF; размеры файлов составляют примерно от 82,5 до 323 МБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, тогда как Q2_K–Q4_0 могут заметно снижать качество. Более высокие разрядности уменьшают потери качества, но требуют больше памяти. Модель предназначена для локального запуска через совместимые инструменты, включая LlamaEdge; README приводит конфигурацию с контекстом 8192 и embedding prompt template. Архитектура базовой модели, объём параметров и точные показатели качества в предоставленных данных не указаны. Распространение осуществляется по лицензии Apache-2.0.

quockhangdev представил дообученную модель Sentence Transformers на базе jinaai/jina-embeddings-v5-text-small-retrieval для поиска по смыслу. Она кодирует текстовые запросы, предложения и абзацы в плотные векторы размерностью 1024; сходство между ними можно оценивать косинусной мерой. Архитектура включает Qwen3Model, пулинг последнего токена и нормализацию векторов. Модель предназначена для семантического поиска и извлечения релевантных документов по запросу. Контекст составляет до 32 768 токенов. В README приведён обучающий набор из 507 152 пар «запрос — документ» с примерами на вьетнамском языке; этого недостаточно, чтобы утверждать, что модель поддерживает только вьетнамский. Доступные сведения не содержат лицензию, поэтому условия использования определить нельзя.

Kimi-VL-A3B-Thinking — мультимодальная модель Moonshot AI для анализа изображений и текста с расширенными возможностями рассуждения. Это вариант Kimi-VL-A3B-Instruct, дообученный с помощью supervised fine-tuning на длинных цепочках рассуждений и обучения с подкреплением. Архитектура сочетает MoE-языковую модель, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего в модели около 16 млрд параметров, из них при работе активируется примерно 3 млрд. Модель предназначена для визуальных вопросов и ответов, понимания диаграмм и документов, OCR, математических задач по изображениям и мультимодального рассуждения. Она поддерживает контекст до 128 тыс. токенов и рассчитана на диалоговый сценарий. README рекомендует для задач с длительным рассуждением повышать температуру генерации; также отмечено, что существует более новая версия Kimi-VL-A3B-Thinking-2506. Лицензия — MIT.

Карточка модели Sing0402/legal-embed-gte-distilled на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

Liberalis Cogitator Llama 3.1 8B — разговорная текстовая модель Locutusque, дообученная на базе meta-llama/Llama-3.1-8B примерно на 450 тысячах диалогов, задач и историй. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; заявленная длина контекста — 131 072 токена. В карточке указана поддержка английского языка. Модель ориентирована на решение STEM- и логических задач, программирование, ролевые диалоги, рассказы и построение вымышленных миров. В обучающих данных также использовались синтетические диалоги пациента и психолога, однако карточка не подтверждает пригодность модели для профессиональной психологической помощи. Автор предупреждает, что ответы могут быть ошибочными, необычными или спорными и что модель не знает актуальных событий. Лицензия — Llama 3.1; её условия определяются лицензией Meta Llama 3.1.

Ling-2.6-flash — открытая инструктивная языковая модель компании InclusionAI для диалога и агентных сценариев. Она предназначена для вызова инструментов, многошагового планирования и выполнения задач, включая работу в агентных и программных фреймворках; также подходит для ответов на общие вопросы, математических рассуждений, следования инструкциям и обработки длинного контекста. Архитектура — гибридная MoE семейства Bailing; в карточке заявлены 104 млрд параметров всего и 7,4 млрд активных, тогда как метаданные репозитория указывают 6,4 млрд параметров. Метаданные указывают контекст до 131 072 токенов, текстовый ввод и генерацию текста; карточка отмечает интерфейс вызова инструментов. Заявлены оптимизация скорости вывода и экономии токенов, а также результаты на агентных бенчмарках. Модель распространяется по лицензии MIT. Ограничения включают возможные галлюцинации при вызове инструментов в сложных сценариях, недостаточную глубину рассуждений, не всегда естественное переключение между китайским и английским и трудности со сложными инструкциями. Карточка описывает преимущественно китайско-английские сценарии, а метаданные указывают английский язык; другие языки отдельно не подтверждены.

LongCat-Flash-Lite-FP8 — языковая модель для генерации текста, разработанная командой Meituan LongCat. Это нерассуждающая модель на архитектуре Mixture-of-Experts (MoE) с 68,5 млрд параметров, из которых при обработке запроса активируется примерно 3 млрд. Модель поддерживает контекст длиной до 256 тысяч токенов благодаря методу YaRN и использует таблицу N-gram embedding объёмом более 30 млрд параметров. Модель предназначена для общего текстового использования, агентских сценариев с применением инструментов и задач программирования. Разработчики отмечают высокую эффективность в агентском взаимодействии и coding-задачах, а также улучшенную скорость и задержку инференса благодаря N-gram Cache и специализированным синхронизированным ядрам. В README не указаны точный список поддерживаемых языков и мультимодальные возможности; по назначению и pipeline_tag модель относится к текстовой генерации. Для запуска через Transformers рекомендуется использовать Python 3.10 или новее, PyTorch 2.6 или новее, Transformers 4.57.6 и Accelerate 1.10.0. Требуется как минимум две видеокарты с 80 ГБ VRAM каждая, например H100 или A100. К ограничениям относятся значительные требования к аппаратным ресурсам, а также отсутствие в представленных данных подробностей о качестве на конкретных языках, мультимодальности и иных аспектах эксплуатации. Модель распространяется по лицензии MIT.

Карточка модели liskasYR/MiniCPM5-2B-Base на Hugging Face совпадает с карточкой openbmb/MiniCPM5-2B-Base, поэтому описание составлено по ней. MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

tomaarsen/ModernBERT-base-gooaq — англоязычная модель Sentence Transformers, дообученная разработчиком tomaarsen на базе answerdotai/ModernBERT-base на датасете GooAQ. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения по косинусному сходству. Архитектура состоит из encoder-модели ModernBERT с усреднением токенных представлений; размер — 149 млн параметров, максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска ответов на вопросы, выявления перефразировок, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценивания на NanoNQ, NanoMSMARCO и NanoBEIR, однако они не гарантируют качество на других данных. Модель обучалась на англоязычных парах вопросов и ответов GooAQ и рассчитана прежде всего на английский язык. Лицензия в предоставленных данных не указана.

sobamchan/monnem-large-v0 — модель Sentence Transformer, дообученная на базе answerdotai/ModernBERT-large. Она кодирует предложения и абзацы на английском языке в плотные векторы размерностью 1024 для семантического поиска и извлечения текстов; сходство между векторами рекомендуется оценивать косинусной метрикой. Архитектура состоит из энкодера ModernBERT и слоя усредняющего пулинга. Метаданные указывают 394,7 млн параметров и контекст до 8192 токенов, тогда как карточка модели задаёт максимальную длину последовательности 512 токенов. Модель принимает текст и выдаёт эмбеддинги. Подходит для поиска релевантных предложений и абзацев, в том числе как компонент retrieval-систем. Данных о специализированных предметных областях нет. Модель опубликована под лицензией, сведения о которой в предоставленных источниках отсутствуют.

tomaarsen/mpnet-base-nq — англоязычная Sentence Transformer-модель, дообученная автором на парах запросов и ответов из набора Natural Questions. Она основана на microsoft/mpnet-base и кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Модель содержит 136,7 млн параметров, использует архитектуру MPNet с усреднением токенных представлений; максимальная длина входа — 512 токенов по README и 514 токенов в метаданных. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразировок, кластеризации и классификации текстов. Обучение на Natural Questions ориентирует её на сопоставление вопросов и ответов на английском языке. Для использования в Sentence Transformers предусмотрены готовые средства загрузки и кодирования текстов. Модель распространяется по лицензии Apache-2.0. Её назначение — получение текстовых эмбеддингов; она не генерирует ответы. Качество зависит от соответствия текстов и предметной области обучающим данным, а поддержка языков помимо английского не заявлена.

msmarco-distilbert-dot-v5 — модель Sentence Transformers, обученная командой sentence-transformers для семантического поиска. Она кодирует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения запросов и текстовых фрагментов по смыслу. Модель обучена на 500 тысячах пар «запрос — ответ» из набора MS MARCO и использует архитектуру DistilBERT; максимальная длина входной последовательности составляет 512 токенов. Модель подходит для поиска релевантных документов или ответов по запросу, семантического сопоставления текстов и построения поисковых систем с векторным индексом. Для применения доступны реализации в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Основной язык карточки и метаданных — английский. Эмбеддинги не нормализуются автоматически, поэтому при сравнении нужно учитывать выбранную метрику и способ нормализации. Модель распространяется по лицензии Apache-2.0.

msmarco-MiniLM-L12-cos-v5 — модель sentence-transformers, разработанная командой Sentence Transformers для семантического поиска. Она преобразует предложения и абзацы в плотные векторы размерности 768, обучена на 500 тысячах пар «запрос — ответ» из набора MS MARCO Passages. Модель основана на архитектуре BERT и содержит около 40 млн параметров. При использовании Sentence-Transformers она формирует нормализованные эмбеддинги с mean pooling; косинусное сходство можно вычислять через скалярное произведение. Контекст ограничен 512 токенами. Поддерживается английский язык. Модель подходит для поиска текстов, семантически близких к запросу, и ранжирования кандидатов по сходству. Для более широких языков и предметных областей качество может отличаться от английского поиска по MS MARCO. Лицензия в предоставленных данных не указана.

NeoHorse-1-4B-GGUF — набор общественных GGUF-квантизаций модели NeoHorse-1-4B, опубликованный пользователем ngquocvinh на основе модели TokenRhythm/NeoHorse-1-4B. Это текстовая авторегрессионная языковая модель примерно на 4 млрд параметров, дообученная из Qwen3.5-4B для агентских сценариев, использования инструментов, программирования, следования инструкциям и диалогового общения. Модель работает через llama.cpp и поддерживает форматы квантизации GGUF; варианты представлены с разным балансом между размером файлов и точностью сохранения поведения исходной BF16-модели. Модель предназначена для генерации текста, рассуждений, ответов на инструкции, кодирования и текстового tool use. Заявлена нативная длина контекста 262 144 токена, однако практически доступный контекст зависит от используемого runtime, объёма памяти, настроек KV-cache и рабочей нагрузки. Поддерживаются текстовые сценарии; vision-веса отсутствуют. Проверка поведения охватывала английский, вьетнамский и китайский языки, а также код, JSON и текстовый формат вызовов инструментов. Варианты Q8_0 и Q6_K лучше сохраняют исходное поведение, Q5_K_M является сбалансированным выбором, а Q4_K_M — более компактным практическим вариантом. К преимуществам относятся локальный запуск через llama.cpp, большой заявленный контекст, несколько вариантов размера и подтверждённая загрузка всех опубликованных квантизаций на NVIDIA A10M. Ограничения связаны с потерей качества в низкобитных вариантах: Q3 и более низкие версии отмечены как экспериментальные, а тест строгого вывода по JSON Schema завершился ошибкой инициализации runtime-сэмплера. Проверка tool use оценивала только формат сериализации, а не полноценное выполнение инструментов. Указана лицензия Apache-2.0; в данном репозитории изменён только формат хранения посредством квантизации, без дополнительного обучения.

North-Mini-Code-1.0-GGUF — квантизированная версия языковой модели North-Mini-Code-1.0, разработанной CohereLabs и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, работы с программным кодом и сценариев с агентами. Поддерживает запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K и IQ3/IQ4. Размер файлов составляет примерно от 14,86 до 61 ГБ; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а компактные версии требуют меньше оперативной памяти. Точные сведения об архитектуре, количестве параметров, языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются специализация на коде, поддержка чатового и агентного применения, а также широкий выбор квантизированных вариантов для разных аппаратных ограничений. Ограничения включают значительные требования к памяти даже у компактных сборок, возможное снижение качества при сильной квантизации и необходимость совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

AceInstruct-7B-GGUF — это квантизированная версия инструкционной языковой модели AceInstruct-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к задачам генерации текста и ориентирована на выполнение инструкций, программирование, математику и задачи общего назначения. В README указана поддержка английского языка. Доступны варианты от F32 и F16 до Q2_K_L, включая различные форматы Q4, Q5, Q6, Q8 и IQ; размер файлов варьируется примерно от 3,35 до 30,47 ГБ. Это позволяет выбирать баланс между качеством, требованиями к памяти и скоростью локального вывода. Ключевые архитектурные характеристики исходной модели, включая точный тип архитектуры и размер контекста, в README не указаны. К преимуществам относятся широкий выбор уровней квантизации и возможность локального запуска, а ограничениями — потенциальное снижение качества у наиболее компактных вариантов, англоязычная специализация и отсутствие сведений о мультимодальности. Модель распространяется по лицензии CC BY-NC-4.0, допускающей использование с ограничениями для некоммерческих целей.

Open-Instruct Flan V2 13B — плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями Allen Institute for AI на наборе инструкций Flan V2. Она предназначена для генерации ответов на инструкции и общих текстовых запросов. Модель принимает текст и выдаёт текст; для работы ожидается форматирование входа по шаблону из карточки, а максимальная длина контекста составляет 2048 токенов. В карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель опубликована как diff: для восстановления весов требуется исходная модель LLaMA в формате Hugging Face. Лицензия определяется лицензией AI model, приложенной к репозиторию, и исходной лицензией LLaMA.

Ornith-1.5-9B-OBLITERATED — модифицированная версия Ornith-1.5-9B, разработанного DeepReinforce. Модель доработана проектом OBLITERATUS и собрана Pliny the Prompter с применением precision abliteration surgery — удаления поведенческих направлений, связанных с отказами на потенциально опасные запросы. Она предназначена для генерации текста, программирования, рассуждений, исследовательских задач в области alignment и red teaming, а также агентских сценариев и автоматизации. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Qwen3.5 с Gated DeltaNet и полными attention-слоями; редактированию подверглись все 32 трансформерных слоя. Заявлен английский язык, поддерживаются обычный и thinking-режимы, а также текстовая генерация. В репозитории доступны полноточные bf16-веса и варианты GGUF размером от Q2_K до Q8_0; для максимального сохранения характеристик рекомендуются Q8_0 и Q6_K. Указан контекст размером 8192 токена для примера запуска через llama.cpp, однако общий максимальный контекст README явно не подтверждает. Сильной стороной является существенно сниженная склонность к отказам при сохранении возможностей программирования, рассуждений и базовых агентских задач: в приведённых тестах модель показала 3/3 в генерации кода и 5/6 в тесте связности длинного контекста. Ограничения включают падение MMLU примерно на 4 процентных пункта относительно базовой модели, возможные дополнительные отказы в низкобитных квантизациях, частично ухудшенное function calling и риск галлюцинаций в сложных химических и синтетических сценариях. Модель распространяется по лицензии MIT; из-за удаления защитных ограничений результаты требуют независимой проверки и ответственного применения.