I.2Синтез, понимание и проверка знаний
В разделе собраны самостоятельные задачи, где AI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
42 341 модельheegyu/kogpt-j-base — авторская корейская языковая модель на архитектуре GPT-J, выпущенная в вариантах PyTorch и Flax. В модели 163 млн параметров: 12 слоёв, размер скрытого состояния 768, 12 голов внимания и словарь из 51 200 токенов. Максимальная длина контекста — 1024 токена. Модель предназначена для генерации текста на корейском языке. Для обучения использовались корейские разговорные и письменные корпуса, социальные сети, веб-тексты, Википедия, Namuwiki, газетные статьи и петиции. Карточка сообщает о трёх эпохах обучения и примерно 21,11 млрд обработанных токенов. Модель распространяется по лицензии MIT. В обучающих данных могли присутствовать дискриминационные и оскорбительные материалы без отдельной фильтрации, поэтому сгенерированный текст может содержать предвзятые или оскорбительные высказывания.
pkupie/lawyer-llama-13b-v2 — языковая модель семейства Llama на 13 млрд параметров, представленная в формате safetensors и рассчитанная на генерацию текста. Название указывает на юридическую специализацию, однако README не содержит сведений о назначении, обучении или проверенных возможностях модели. В метаданных указан китайский язык и контекст до 4096 токенов. Модель может быть полезна для экспериментов с генерацией юридических текстов, но её качество и пригодность для практических юридических задач по доступным материалам подтвердить нельзя. Указана лицензия Llama 2.
Learned Input Table Model Classic — анонимный исследовательский чекпойнт авторов статьи «Language Models Without a Trainable Input Embedding Table: Learning from Fixed Minimal Binary Token Codes». Это базовая авторегрессионная языковая модель на архитектуре decoder-only Transformer: 32 слоя, 32 головы внимания, ширина 1024 и 604 млн параметров. Словарь содержит 65 536 токенов, контекст — 1024 токена; используются rotary positional embeddings, GELU и отдельная обучаемая выходная проекция. Модель служит контрольным вариантом с обычной обучаемой таблицей входных эмбеддингов для воспроизводимости и сравнения архитектур в исследовании. Она предназначена для генерации текста и оценки базовых языковых моделей, а не для диалогового помощника. В README приведены результаты на бенчмарках, включая HellaSwag и ARC-Easy; модель обучена на смеси FineWeb-Edu и Cosmopedia. Поддерживается английский язык. Чекпойнт не проходил дообучение для следования инструкциям и не предназначен для безопасного производственного применения. Репозиторий распространяется по лицензии Apache-2.0; условия использования обучающих наборов определяются лицензиями исходных датасетов.
RedHatAI/Llama-2-7b-gsm8k — плотная авторегрессионная модель семейства Llama 2 на 6,6 млрд параметров, дообученная Neural Magic и Cerebras на наборе GSM8K для арифметических рассуждений. Она предназначена для генерации текста с решениями математических задач, в том числе задач начальной математики в формате GSM8K. Модель принимает текст и генерирует текст; в метаданных указано окно контекста 4096 токенов, формат весов — PyTorch, основной язык карточки — английский. В карточке приведён результат 35,5% на GSM8K в режиме zero-shot. Базовая модель — meta-llama/Llama-2-7b-hf. Лицензия в предоставленных данных не указана.
HemonChat — чат-модель на базе Llama 2, дообученная автором на онтологических данных HemOnc.org, посвящённых гематологии и онкологии. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом 4096 токенов; для работы использует формат запросов Llama 2 Chat. Модель предназначена для общения на английском языке по тематике гематологии и онкологии, а также для образовательных и исследовательских экспериментов. Она может отвечать на вопросы и поддерживать диалог, используя знания, добавленные из онтологии HemOnc.org. Модель не проходила тщательную проверку и не подходит для производственного применения или предоставления медицинских рекомендаций. README ограничивает использование некоммерческими и исследовательскими целями; лицензия Llama 2 также содержит собственные условия.
rasyosef выпустил компактную авторегрессионную модель семейства Llama 3.2 на архитектуре decoder transformer (LlamaForCausalLM). Она содержит 178,8 млн параметров и обучена с нуля в течение трёх дней на 210 млн токенов амхарского текста. Это базовая языковая модель без supervised fine-tuning, предназначенная для продолжения текста и экспериментов с генерацией на амхарском языке. Модель использует токенизатор Llama 3.2 1B, обученный на том же амхарском корпусе; размер словаря — 64 тыс. токенов. Контекст ограничен 1 024 токенами. Веса представлены в формате safetensors и рассчитаны на использование с библиотекой Transformers. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
saishf/Llama4Some-SOVL-4x8B-L3-V1 — объединённая чат-модель на основе языковых моделей SOVL, созданная автором с помощью mergekit. Веса объединены методом Mixture of Experts с маршрутизацией экспертов; архитектура относится к семейству Mixtral и использует MixtralForCausalLM. Размер модели — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для генерации текста и диалогов. Автор описывает её как экспериментальное объединение SOVL-моделей, ориентированное на выразительный и нестандартный стиль, но предупреждает, что модель может выдавать бессвязные ответы и что автору не удалось её загрузить. README приводит отдельные результаты бенчмарков, однако не подтверждает надёжность практического применения. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.
Loom Weave 3 — компактная языковая модель Textile Labs для диалогов и ответов на вопросы с поиском сведений в Wikipedia. Это плотная авторегрессионная модель семейства Llama с 31,5 млн параметров, 16 слоями и контекстом 1024 токена; обучена с нуля, без дообучения чужих контрольных точек. Поддерживает текстовый ввод и генерацию текста на английском языке. В связке с harness.py модель решает, когда нужен поиск, формирует запрос и отвечает по полученному фрагменту статьи. Модель рассчитана на короткие ответы и простые многошаговые диалоги. В тестах она сохраняла нить разговора и корректно сообщала о выполненном поиске, однако на отложенных примерах с живыми результатами Wikipedia давала верный ответ примерно в 30% случаев. Она слабо читает незнакомые и неоднозначные фрагменты, не подходит для вычислений и может ответить, даже если источник не содержит нужных сведений. Harness ищет только в Wikipedia. Распространяется по лицензии MIT.
IFM/LoopedLM-P1-moe-ouro-336b — исследовательский чекпойнт рецепта MoE Ouro из работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Это трансформерная языковая модель с архитектурой Mixture of Experts и циклической организацией блоков; чекпойнт соответствует обучению на 336 млрд токенов и шагу оптимизатора 80 000, то есть промежуточной точке графика обучения, рассчитанного на 500 млрд токенов. Модель предназначена для генерации текста и исследования топологии циклических моделей. Веса хранятся в BF16 Safetensors в собственном формате xLLM; для загрузки нужен код xLLM, CUDA GPU и FlashAttention 3. Стандартный загрузчик Hugging Face Transformers этот чекпойнт не загружает. Лицензия Apache-2.0.
team03 Math SLM v4 — модель команды team03 (SLM Learners), созданная для пошагового решения задач по математике в стиле экзамена GATE и по общей математике. Это дообученная на базе Qwen2.5-0.5B-Instruct плотная авторегрессионная модель Qwen2 с 494 млн параметров. Для обучения применялся QLoRA; итоговые веса объединены с базовой моделью. Доступны веса Safetensors и квантованный GGUF Q8_0 для запуска, в том числе на CPU. Метаданные указывают контекст до 32 768 токенов, однако обучение проводилось на последовательностях длиной 2 048 токенов, поэтому README предупреждает, что более длинные задачи обрезаются. Модель предназначена для свободных вопросов и ответов по математике: на простые запросы она может дать краткий ответ, а для сложных обычно формирует рассуждение и отдельную строку с итогом. Подходит для подготовки к GATE и другим конкурсным экзаменам, а также для учебной практики. В оценке авторов отмечены приемлемые результаты на части задач по алгебре и математическому анализу, но общая инструкция-выполняемость слабая: модель часто добавляет многословное рассуждение даже при требованиях к строгому формату ответа. Проверка знаний основана на небольшом и неравномерном наборе задач, поэтому оценки по отдельным темам ненадёжны. Модель выпущена под лицензией Apache-2.0. В карточке указан английский язык; README описывает математические задачи, но не заявляет поддержку других естественных языков.
Mdist_8B_Chem_from_Mspec_ASFT_alpha0.05_Qwen3_8B — дообученная модель Qwen3-8B от автора yileitu. Она предназначена для генерации текста в диалоговом формате; название и датасет указывают на настройку для вопросов и ответов по химическим масс-спектрам, однако README не раскрывает её конкретные возможности и качество в этой области. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors, работает через библиотеку Transformers; длина контекста — 40 960 токенов. Базовая Qwen3-8B поддерживает несколько языков, рассуждения, следование инструкциям, код и вызов инструментов, но эти возможности нельзя автоматически считать подтверждёнными для данного дообученного чекпойнта. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели.
Карточка модели klyang/MentaLLaMA-chat-7B-hf на Hugging Face совпадает с карточкой klyang/MentaLLaMA-chat-7B, поэтому описание составлено по ней. MentaLLaMA-chat-7B — языковая модель проекта MentaLLaMA для интерпретируемого анализа психического здоровья. Это плотная авторегрессионная модель семейства LLaMA, дообученная для диалогового следования инструкциям на основе Meta LLaMA 2 Chat 7B и набора IMHI. В карточке указано, что обучение использовало 75 тысяч инструкций, а оценка проводилась на 20 тысячах примеров бенчмарка IMHI. Модель принимает текстовые запросы и генерирует текстовые прогнозы и объяснения по различным задачам анализа психического здоровья. Она предназначена для не клинических исследований и экспериментов, например для анализа текстовых данных в рамках исследовательских проектов. Заявлены результаты, сопоставимые с сильными дискриминативными методами, и способность объяснять предсказания; контекст составляет 4096 токенов. Модель разработана авторами проекта MentaLLaMA и распространяется по лицензии MIT. Возможны неверные прогнозы, неподходящие объяснения, чрезмерные обобщения и смещения, включая различия по полу. Её результаты не следует использовать для клинических решений или вместо помощи психиатра либо другого медицинского специалиста.
Yakut mGPT 1.3B — языковая модель ai-forever для генерации текста на якутском языке, также известном как саха. Это дообученная версия mGPT-XL 1.3B: её дополнительно обучали 2000 шагов на данных для якутского и других малоресурсных языков. Модель основана на архитектуре GPT-2 и содержит 1,3 млрд параметров. Модель подходит для генерации продолжений текста и экспериментальных приложений на якутском языке. Контекстное окно составляет 2048 токенов; валидационная perplexity, указанная в карточке, — 10,65. Базовая mGPT обучалась на 61 языке с использованием Wikipedia и корпуса C4, однако карточка не уточняет полный состав данных дообучения этой версии. Модель выпущена по лицензии MIT. Карточка не приводит сравнительных оценок качества и не описывает специальные механизмы управления генерацией; результаты для конкретных пользовательских задач следует проверять отдельно.
Mini-Chinese-Phi3 — небольшая диалоговая языковая модель автора niwz, построенная на архитектуре Phi-3. По README, модель прошла предварительное обучение на распространённых китайских текстовых корпусах, затем инструкционную настройку SFT и оптимизацию предпочтений DPO; метаданные указывают 109,6 млн параметров, тогда как README приводит приблизительную оценку 0,13 млрд. Модель предназначена для генерации ответов в диалоге и выполнения инструкций на китайском языке. Проект создан как учебная практика по большим языковым моделям. Для обучения применялись DeepSpeed и Flash Attention 2; веса опубликованы в формате Safetensors. Лицензия — MIT. В README оценка модели обозначена как запланированная, поэтому данных о её качестве и надёжности нет.
miniLLM v2.1 — небольшой французский языковой Transformer, разработанный DevLab (Камерун) и обученный с нуля без использования весов существующей языковой модели. Модель содержит 48,5 млн параметров, 10 слоёв, 8 голов внимания, использует RMSNorm, RoPE, SwiGLU и QK-Norm; её контекст составляет 512 токенов, а токенизатор byte-level BPE — 32 000 токенов. Доступны веса и токенизатор в формате PyTorch. Модель предназначена для генерации коротких текстов на французском и простых диалогов, а также для исправления предложений и ответов на общие вопросы. Предобучение выполнено на корпусе из французской Википедии и веб-данных FineWeb-2; затем модель дообучили на 38 706 примерах, включая French Alpaca, OASST-FR и PIAF. Лицензия — MIT. В описанных наблюдениях модель обычно создаёт связный французский текст для простых задач. Она значительно менее надёжна при точных фактических вопросах, арифметике и многошаговом рассуждении; контекст 512 токенов ограничивает длину обрабатываемого текста.
Карточка модели crazyape777/mir-822-odpo-hirank-midbeta на Hugging Face совпадает с карточкой unconst/Affine-5czsc2fc98-r596-r252-odpo-hirank-midbeta-softctx-megaextra-merged, поэтому описание составлено по ней. Affine R596 — SoftCtx × HiRank × MidBeta MegaExtra — это экспериментальная разговорная модель семейства Qwen3.5 MoE от unconst, дообученная на основе unconst/Affine-5czsc2fc98-r252-merged методом offline DPO. Чекпойнт создан для подачи в майнер SN120 и участия в оценочных Reason-дуэлях, а не для универсального чата. При обучении модель оптимизировали предпочитать ответы с более высокой оценкой Reason на отобранных парах. README сообщает о LoRA с r=64 и α=128, коэффициенте DPO β=0,1 и целевой длине обучения 12 288 токенов; обучение остановили на шаге 259, после чего адаптер объединили с моделью. В метаданных указаны Transformers и формат safetensors. Лицензия не приведена.
Nawah-Math-Reasoning — модель на арабском языке для решения математических задач с пошаговым выводом рассуждения и итоговым ответом. Её разработчик дообучил с нуля обученную базовую модель oddadmix/50M-2048-Emhotob с архитектурой Llama; в модели 51,8 млн параметров, контекст — 2048 токенов. Она предназначена для генерации ответов на арифметические и многошаговые задачи, в том числе задачи на отношения между величинами. Модель компактна и, согласно карточке, может работать на CPU. В опубликованных оценках точность составила 79% на GSM8K-ar, 73% на Arabic_Reasoning и 40,4% на синтетическом наборе математических задач. Модель лучше справляется с узкими формулировками GSM8K-ar, чем с разнообразными синтетическими задачами; вычислительные ошибки могут испортить правильную структуру решения. Обучающие данные преимущественно на современном литературном арабском (MSA), а трасса рассуждений не обязательно отражает внутренний ход вычислений модели. Лицензия — Apache-2.0.
Карточка модели menik1126/ovd-math-1-data-hes-step300-historical на Hugging Face совпадает с карточкой menik1126/OVD-Math-1-data-HES-Step300-Historical, поэтому описание составлено по ней. OVD-Math-1-data-HES-Step300-Historical — экспериментальный чекпойнт из коллекции OVD с весами для инференса и токенизатором. Он основан на Qwen/Qwen2.5-Math-1.5B и представляет собой шаг 300 эксперимента «1-data HES»; архитектура — плотная причинная языковая модель Qwen2ForCausalLM с 1,5 млрд параметров. Модель предназначена для генерации текста, в том числе решений математических задач, на основе базовой модели, рассчитанной на английский и китайский языки. Контекст — до 4096 токенов. Это исторический экспериментальный чекпойнт, поэтому его качество и пригодность для практического применения могут отличаться от базовой модели и не подтверждены сведениями карточки. Лицензия в предоставленных данных не указана.
OVD-Math-1-data-HES-Step300-Historical — экспериментальный чекпойнт из коллекции OVD с весами для инференса и токенизатором. Он основан на Qwen/Qwen2.5-Math-1.5B и представляет собой шаг 300 эксперимента «1-data HES»; архитектура — плотная причинная языковая модель Qwen2ForCausalLM с 1,5 млрд параметров. Модель предназначена для генерации текста, в том числе решений математических задач, на основе базовой модели, рассчитанной на английский и китайский языки. Контекст — до 4096 токенов. Это исторический экспериментальный чекпойнт, поэтому его качество и пригодность для практического применения могут отличаться от базовой модели и не подтверждены сведениями карточки. Лицензия в предоставленных данных не указана.
Модель fpadovani/ppt-art-lang-nld-baseline-100mb_seed3407 — дообученная с помощью TRL языковая модель на архитектуре GPT-2, созданная на основе goldfish-models/nld_latn_100mb. Она предназначена для генерации продолжения текста; в карточке приведён пример генерации ответа на открытый вопрос. Модель работает с текстом и имеет контекст до 512 токенов. Веса опубликованы в формате safetensors и доступны через Transformers. Метаданные указывают на нидерландский язык в базовой модели nld_latn, однако README не уточняет языковое покрытие и качество этой версии. Лицензия в предоставленных данных не указана.
Pythia-6.9B-v0 — англоязычная авторегрессионная языковая модель семейства Pythia, разработанная EleutherAI для контролируемых исследований поведения и интерпретируемости больших языковых моделей. Это плотный трансформер GPT-NeoX с 8,8 млрд параметров; модель принимает текст и предсказывает продолжение, а её контекст составляет 2048 токенов. Она обучена на английской версии корпуса The Pile без дедупликации. В рамках набора Pythia модели разных размеров обучались на одном и том же порядке данных; для изучения динамики обучения доступны 143 промежуточных контрольных точки. Модель подходит для экспериментов с генерацией текста, анализа внутренних представлений и изучения ограничений языковых моделей. Она не настроена для следования инструкциям, коммерческих чат-ботов или пользовательского взаимодействия, а качество фактов не гарантируется. Возможны предвзятые, оскорбительные или нежелательные продолжения, поэтому результаты требуют оценки исследователем. Лицензия Apache 2.0 разрешает использование и адаптацию в её рамках.
Это диалоговая модель Qwen2.5-3B-Instruct-Sheldon-RLVR-math-v1, разработанная в рамках проекта Harvard CS 2881R. Она основана на Qwen2.5-3B-Instruct-Sheldon-RLAIF-grpo-v2 и дообучена с подкреплением по проверяемому математическому вознаграждению; финальный LoRA-адаптер объединён с весами, сохранёнными в формате bf16 Safetensors. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых ответов в образе Шелдона Купера и решения математических задач с пошаговым рассуждением и итоговым ответом в формате \boxed{}. В README приведены результаты на MATH-500, GSM8K и AIME; модель восстановила значительную часть математических способностей, утраченных на предыдущих этапах обучения, но уступает исходной Qwen2.5-3B-Instruct по некоторым метрикам. Обучение ориентировано на точность конечного ответа, поэтому качество объяснений и математических ответов не гарантируется для всех задач. Карточка указывает лицензию «other», но не описывает её условия, поэтому перед использованием следует проверить лицензионные сведения репозитория. Модель рассчитана на английский язык.
Qwen2.5-7B Legal ID — GRPO — языковая модель на базе Qwen2.5, дообученная Haikal1623 методом GRPO поверх haikal1623/qwen2.5-7b-legal-id-sft. Она предназначена для вопросов и ответов по трудовому законодательству Индонезии и выдаёт ответ на бахаса-индонезия, предваряя его рассуждением в тегах think. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. При обучении поощрялись соблюдение формата, развёрнутость рассуждения, близость к эталонным ответам и сохранение языка ответа. Это второй этап трёхэтапной системы; следующий этап добавляет поиск по текстам нормативных актов. Модель подходит для подготовки черновых ответов и демонстрации хода рассуждения, но не заменяет юридическую консультацию. Рассуждения не проверены и могут привести к уверенно изложенному неверному выводу; модель ограничена изученным материалом по трудовому праву Индонезии и не учитывает последующие поправки. Формальный бенчмарк юридической точности не проводился, а ответы длиннее, чем у базовой SFT-модели. Лицензия — Apache-2.0.
Qwen2.5-7B-ViMetaMathQA-Mini — языковая модель, дообученная PeterPaker123 на основе Qwen/Qwen2.5-7B-Instruct для решения математических задач на вьетнамском языке. Это плотная авторегрессионная модель Qwen2 с 7,1 млрд параметров, поддерживающая диалоговую генерацию текста и контекст длиной до 32 768 токенов. Модель предназначена для ответов на инструкции по математике, решения простых задач по алгебре и объяснения математических рассуждений вьетнамским пользователям. При дообучении использовалась выборка из 100 000 примеров вьетнамского переведённого MetaMathQA; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Автор обозначает модель как предварительный эксперимент и отмечает, что обучающая выборка охватывает лишь часть математических тем. Модель может допускать ошибки в вычислениях и правдоподобно объяснять неверные ответы, поэтому результаты следует проверять, особенно при критически важных расчётах.
Qwen2-7B-Instruct-deccp — экспериментальная версия Qwen2-7B-Instruct от augmxnt с ослабленным механизмом отказов. Автор применил вектор отказа, найденный на 16-м слое, и дообучил модель на наборе augmxnt/deccp с 95 вручную проверенными примерами отказов. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров, предназначенная для диалогов и генерации текста; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского и китайского языков. Модель может отвечать на большее число запросов, которым исходная Qwen2-7B-Instruct отказывала, однако это не гарантирует точности или надёжности ответов. Автор отмечает случаи дезинформации, включая ответы, отражающие китайские версии примеров, и указывает, что это доказательство концепции, а не готовая полезная модель. Распространяется по лицензии Apache-2.0.
hai-hu разработал qwen2-style-50k — компактную причинно-языковую модель на 246 млн параметров, обученную с нуля на китайских текстах CCI3-HQ с токенизатором zh-pythia на 50 тыс. токенов. Это экспериментальная модель архитектуры семейства Qwen2, предназначенная для генерации текста и изучения влияния архитектуры трансформера на результаты китайских языковых бенчмарков. Обучение завершено: 24 414 шагов, около 102,4 млрд токенов; размер контекста — 4096 токенов. Модель использует GQA, SwiGLU и RMSNorm. Репозиторий сохраняет веса в формате Llama, чтобы точно представить обученные смещения во всех проекциях внимания; README рекомендует загружать её через LlamaForCausalLM. Указанная лицензия — Apache-2.0. Модель обучена преимущественно на китайских данных; результаты на других языках и пригодность для прикладных сценариев в карточке не описаны.
SindhiLM — авторегрессионная языковая модель на архитектуре GPT-2, разработанная Aakash Meghwar для генерации текста на синдхи. По README модель обучалась с нуля на корпусе Sindhi Mega Corpus объёмом около 118 млн токенов, содержащем литературу, новости и веб-тексты. Метаданные Hugging Face при этом указывают на дообучение openai-community/gpt2; поэтому происхождение модели обозначено как дообучение согласно метаданным. Модель предназначена для продолжения текста на синдхи и экспериментов с генерацией для низкоресурсного языка. В карточке приведена оценка perplexity на отложенной выборке синдхи, но её значения чрезвычайно велики, поэтому они не подтверждают заявленное высокое качество. Контекст составляет 512 токенов; модель использует Transformers и распространяется под лицензией Apache-2.0.
SPP-T0 Base — языковая модель с архитектурой SmolLM2-1.7B, разработанная авторами Synthetic Persona Pretraining и обученная с нуля. Это базовая, не настроенная на выполнение инструкций модель для продолжения текста, исследования и дальнейшего дообучения; шаблон чата не предоставляется. Во время предварительного обучения примерно к 10% размеченных документов добавлялись синтетические размышления от первого лица, сформированные по заданной конституции. Обучение проведено примерно на 100 млрд токенов из поднабора смеси Olmo 3 Dolma 3. Модель содержит 1,7 млрд параметров, использует токенизатор SmolLM2 с дополнительными токенами и поддерживает контекст до 2048 токенов. Репозиторий содержит веса Safetensors и промежуточные контрольные точки для оценки, анализа и дообучения. Модель предназначена для исследований выравнивания и безопасности, а также для продолжения текста и зондирования поведения базовой модели. Она не настроена на инструкции и может выдавать неверный или небезопасный контент. Лицензия указана как other в метаданных, а README сообщает, что её условия ещё предстоит окончательно определить.
Это исследовательский чекпойнт на базе диалоговой Llama 2 от Meta, подготовленный авторами исследования безопасности и сжатия моделей. Веса сжаты методом Basis Sharing: общие базисы используются для групп из двух соседних слоёв, что сокращает число параметров примерно на 40% относительно исходной модели. Затем модель дообучена LoRA только по коэффициентам, при сохранении разделяемых базисов и бюджета параметров. В репозитории указано около 6,6 млрд параметров, архитектура LlamaForCausalLM, формат safetensors и контекст 4096 токенов. Модель предназначена для изучения того, как сжатие влияет на безопасность и полезность ответов, а также для сравнения способов восстановления поведения. Она поддерживает диалоговую генерацию текста; базовая модель ориентирована на английский язык. В карточке приведены метрики атак и чрезмерных отказов, но сам чекпойнт позиционируется как экспериментальный объект исследования, а не готовый ассистент. Лицензия — Llama 2; применяйте её с учётом условий лицензии Meta и ограничений, описанных для исходной модели.
TeenyTinyLlama-460m-Chat — чат-версия компактной языковой модели TeenyTinyLlama, разработанной для бразильского португальского. Это плотная авторегрессионная модель семейства Llama с 435,4 млн параметров, дообученная на Instruct-Aira Dataset версии 2.0. Она принимает текстовые запросы и генерирует текст; родной контекст составляет 2048 токенов. Модель предназначена прежде всего для экспериментов с языковыми моделями для языков с ограниченными ресурсами, а также для дальнейшего дообучения и адаптации. Она может отвечать на инструкции и вопросы на бразильском португальском, но не предназначена для развёртывания или взаимодействия с пользователями и не подходит для перевода либо генерации на других языках. В README отмечены риски галлюцинаций, токсичных и предвзятых ответов, ненадёжной генерации кода и повторов. Качество не гарантирует надёжность для прикладных сценариев; перед адаптацией следует оценить риски и смещения. Модель распространяется по лицензии Apache-2.0.