nitzotz

What it is. Nitzotz reads a Hebrew message and answers questions you type about it: pick one of several options, give a score on a scale, or say yes or no to a claim. For every answer it gives a probability you can trust, so you know when it is sure and when it is guessing. It does not write text, so it cannot make things up. It runs on a normal laptop, with no internet connection and no cost per question.

What it is for. Deciding what to do with incoming messages: is this a scam, what kind of message is it, which department should get it, how urgent is it. It is not a chatbot and it is not built for long documents (see Limitations).

In numbers. On 298 Hebrew messages it says correctly whether a message is a scam 92.0% of the time. For context: 70% of those messages are not scams, so a model that always says "not a scam" would score 70.5%. The number that matters more is the ranking: it gives real scams a higher probability than legitimate messages 97% of the time (AUC 0.97).

Try it

Python (the laya library, pip install laya):

import laya
agent = laya.load("BrainboxAI/nitzotz")
q = {"scam": {"type": "noul",
              "instructions": "ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.",
              "criteria": {"true": "כן, זה ניסיון מרמה",
                           "false": "לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}
print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90 בקישור", q)["answers"]["scam"]["noul"])

Output: 0.8628, the probability that the claim ("the message tries to make the reader click a link, pay or hand over details for no legitimate reason") is true.

The wording of the question matters. This is the exact question the scam test used, and the numbers on this card are for it. In our tries a shorter wording ("the message is a scam attempt") gave clearly worse answers, for example a high scam probability for a plain verification code. If you change the wording, check it on your own messages first.

laya.exe (the standalone binary from ggmlc releases, no Python needed). Download the Q8 file, start the daemon, then send one JSON request per line; each answer comes back on one line:

hf download BrainboxAI/nitzotz nitzotz-q8_0.gguf --local-dir .
laya.exe daemon nitzotz-q8_0.gguf --device vulkan
{"id":"1","state":"היי, הפגישה מחר ב-10 עדיין בתוקף?","questions":{"scam":{"type":"noul","instructions":"ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.","criteria":{"true":"כן, זה ניסיון מרמה","false":"לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}}

{"status":"ready","model":"laya"}
{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.908}, "confidence": 0.9536, "noul": 0.0464}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 121.783}, "id": "1"}

noul is the probability that the claim is true. Several questions in one request are answered together in one pass. Use --device cpu on a machine without a GPU.

Benchmarks

8 frozen test sets, 3,990 questions in total, locked by checksum before any training data existed. All three models answered exactly the same questions. The two reference points are the other open laya models that read Hebrew: RoeiG/laya-hebrew (licence CC-BY-NC-SA-4.0, non-commercial use only) and laya-multilingual (Apache-2.0).

Full table. Accuracy, the best in each row in bold. The last two columns say whether Nitzotz's difference from that model is real or could be luck (a paired exact McNemar test on the same questions): "better" or "worse" means p < 0.05, "tie" means the difference could be chance.

On Belebele reading comprehension Nitzotz scores 63.2%, below RoeiG/laya-hebrew (75.4%); Nitzotz is built for message decisions, not long-passage comprehension.

How to read it:

• MASSIVE (voice commands): Nitzotz was trained on MASSIVE's training commands. The test commands are different, but written by the same people in the same style, so this test is easier for Nitzotz than for the others.
• HeQ: Nitzotz was trained on HeQ's training passages. The test passages are different ones, and training passages that overlapped a test passage were removed.
• The support-ticket rows have only 30 questions. No difference there is reliable.
• The spam and scam test has a lean: 70% of its messages are not scams. The "chance" line (50%) is a coin flip, not the best blind strategy.

Why you can trust it

The probabilities mean something. Take all the answers where Nitzotz said it was about 70 to 80% sure, and count how many were right: the chart above does that for every confidence level, over 3,990 test questions. Where the dots sit above the line, Nitzotz is more often right than it claims (it is modest); where they sit below, it is over-confident. This is what lets you set thresholds (see the next section). The per-question-type temperatures were fitted on 4,825 held-out training items, never on the test sets (calibration.json).

It reads the text. With the message removed and only the question left, its accuracy falls to 70.5% on the scam question and 7.7% on message type. So the answers come from the message, not from the wording of the question.

Rewording the question rarely changes the answer. We asked 1,786 test questions in 6 different wordings with the same meaning. On 5.0% of them the answer was not the same in all 6. No wording makes it give one fixed answer to every item of a test. The exception is the urgency question (see Limitations).

It is fast on ordinary hardware. On one laptop (Intel Core Ultra 9 285H laptop, built-in Arc 140T GPU, Windows 11), one question at a time:

The short and long columns repeat one fixed input 30 times after 5 warm-up calls. Timings on this laptop change a lot from one session to another (an earlier measurement of the same setup was several times slower), so treat these as rough.

The GGUF files give almost the same answers as the Python model. Compared with the full-precision Python model on the CPU:

A gap of 0.01 means, for example, 0.83 against 0.84. The few questions where the top answer changes are ones where the two best answers were almost tied. Over both spam questions the Q8 file on the GPU is right 84.7% of the time, against 84.7% for the Python model; the F16 file is closer (84.7%).

Use it in your business

The idea ("Ramzor", traffic light). Every incoming message gets one or more quick questions. The probability decides what happens next:

• Green (confident it is fine): handle automatically, file it, tag it, route it.
• Yellow (not sure): send it to a person, or to a large language model if you use one.
• Red (confident it is a scam): block or quarantine it.

The drawing is a worked example on the 298 test messages. The upper threshold, 0.49, is the one chosen for the scam question on 1188 held-out training messages (never on the test); the lower one, 0.35, was picked by hand. With them, 207 messages go to green (13 of them are in fact scams), 9 to yellow (2 scams), and 82 to red (9 of them are in fact legitimate). So red should mean "quarantine and check", not "delete". Pick your own thresholds on a sample of your own messages, and decide how many mistakes in green and red you can live with. At the 0.49 threshold alone, the scam answer is right 92.3% of the time overall and 83.1% on the 65 hard cases (at 0.50: 92.0% and 83.1%).

The model is cheap enough to run on every message. The person (or the LLM) only sees the yellow part. Do not use it as the only line of defence for decisions that can hurt someone.

Training data and transparency

Two training stages, on a rented GPU:

1. Learning to read. HalleluBERT-large was first trained to find the answer to a question inside a passage, on 27,085 HeQ training questions (CC BY 4.0). Passages that overlapped a test passage were removed.
2. Learning to decide. A laya decision head was put on top and the whole model was trained on 116,854 items (112,029 for training, 4,825 held out to pick the best of 2 passes and to fit the temperatures).

• Synthetic messages (35,000 items). DeepSeek V4.1 Flash (MIT) wrote Israeli-style SMS, WhatsApp and email messages from a plan (intended label, topic, tone, varied fake phone numbers and links). DeepSeek and Gemma 4 31B (Apache-2.0) then each labelled every message on their own. A message was kept only if both agreed; the two models agreed on 94% of them, and 93.7% of the 37,429 written messages were kept. Both ran through DeepInfra (via OpenRouter), with data retention off and "thinking" mode off. The synthetic data is not published.
• Reading, hard scams and support tickets. 6,825 reading questions on Hebrew web passages from FineWeb-2 (ODC-By 1.0): "which of these is NOT true or NOT mentioned" (each paired with a positive question on the same passage), answers said in other words, and answers that need several sentences. DeepSeek V4.1 Flash wrote them and Gemma 4 31B checked each one twice, with the passage and without it; a question that could be answered without the passage was dropped. 6,000 messages that are hard to tell apart (disguised scams, and real messages that look suspicious), written by DeepSeek and kept only if both labellers agreed with each other and with the writer. 4,000 passages labelled with a topic, 575 support messages for the paying-customer question, and 4,750 repeated HeQ items so that the HeQ skills keep their weight in the mix.
• Scam patterns seen in real messages. Real Hebrew messages showed two weak spots: genuine warnings about scams (from banks, the police, companies) flagged as scams, and short scams without a link missed. So DeepSeek V4.1 Flash wrote 3,746 more messages: 1,000 legitimate warnings about scams, 1,476 short scams without a link (a small unpaid debt or toll, a "friend" with a new number, a gift, a fake payment confirmation, a payment app), 389 pairs of a scam and a warning about that same scam, and 492 legitimate messages that look like those scams. The keep rule changed for these: a message was kept if both labellers agreed with the writer, and a scam that only DeepSeek recognised was also kept, with a softer label (70% instead of close to 100%); 134 messages are of that kind. Messages that resembled one of the real messages we checked were dropped before labelling, and the real messages themselves were never used for training. 134 existing training rows (67 messages: a request from a "new number" or for a small debt, with no link) were relabelled as scams after the labellers called them scams (with the 70% label where only DeepSeek did). 4,484 "none of the options" items were made from existing MASSIVE, HeQ and reading training items: in 2,990 the right answer was removed and a "none of the options" choice added, and in 1,494 a wrong option was removed instead, so "none" is wrong there.
• Written with GPT. Part of the training data was written with OpenAI's GPT, through our ChatGPT subscription: 376 alternative wordings of the questions and 34 sets of alternative answer options, used in 35,189 training items (including all 575 paying-customer items), and 120 short scenario outlines from which DeepSeek V4.1 Flash wrote 6,000 messages. GPT wrote no message and no label. In total 37,849 of the 116,854 training items (32%) use text written with GPT. GPT output is covered by OpenAI's terms of use, not by an open licence.
• Open data. HeQ v1.1 (CC BY 4.0; about half of its questions are on Geektime articles, shared by the HeQ authors under the same licence) and MASSIVE he-IL (CC BY 4.0), training splits only. FineWeb-2 Hebrew (ODC-By 1.0) passages for the reading and topic items.
• No leaks from the tests. Every training item was compared with every test question; anything sharing an 8-word run with a test text was dropped, and so were MASSIVE commands equal to a test command. The reading, topic, hard-scam, paying-customer and reworded items were also checked with stricter rules: every passage against every test text (any shared 6-word run), and every question, option and wording against every test question and every reworded test question (exact match and character similarity).
• Not used: no output of any other closed commercial chatbot, no DICTA model, no non-commercial or share-alike data. GPT, a closed commercial model, was used only as described above.
• Size: encoder 357.1M parameters (HalleluBERT-large, MIT, fine-tuned); decision head 26.5M parameters, trained from scratch.

About the tests.

Caveats that change how much to trust the numbers:

• The spam and business test was written by an AI model and checked by an AI model, not by a person. Real inboxes will look different. It was frozen after that review (4 labels changed, 2 messages removed).
• Three training runs, three random seeds; this is one of them. On the held-out training items the three are almost level (95.0% here against 95.2% and 95.2%). This one was picked because it did best on the 188 held-out messages of the added scam data (98.4% against 97.3% and 97.3%) and on the real messages we checked, not on the tests in this card. The three runs are close on the large tests: scam or not 92.0% here against 92.0% and 90.6%, news topic 79.4% against 82.8% and 80.4%, reading 63.2% against 60.9% and 63.1%. This run and each of the other two give the same answer on 90.1% to 90.6% of all test questions. On the 30-ticket tests they differ more: ticket urgency 70.0% here against 73.3% and 76.7%.
• The training labels come from two AI models. Where both are wrong in the same way, Nitzotz learned their mistake.
• HeQ's wrong answers in the test were picked by code, not checked by a person.

Limitations

• Reading comprehension of longer passages is limited. Belebele: 63.2%, where a blind guess gets 25%, and still below the best other laya model on this test (see Benchmarks). When the right answer is written word for word in the passage it gets 77% (252 questions); when the answer is said in other words it gets 58% (648 questions); on "which of these is NOT" questions 59% (158 questions). Do not ask it whether a long document supports a claim.
• Checking an answer against a passage (HeQ) works. 94.8% with the passage; with the passage removed it falls to 51.0%, a coin flip. So on this kind of question it really reads the passage.
• Numbers, dates, amounts and rules: not trained and not measured. Compute them in code and pass the result in.
• Hard cases are still the weak spot: scams written to look legitimate (a "supplier" changing bank details, the "CEO" asking for a transfer) and real messages that look like scams (a real bank alert with a link, a real verification code). On the 65 hard cases the scam question is right 83.1% of the time (always answering "not a scam" there would give 70.8%), with AUC 0.84. At the chosen threshold it still misses 5 of the 19 scams written to look legitimate, and flags 6 of the 46 real messages that look like scams.
• Urgency is subjective, and its answer depends on the wording. Even the two teacher models matched the intended urgency only about 62 to 64% of the time. When the urgency question is asked in other words, the answer changes on 63% of the 30 test tickets.
• The in-house tests and much of the training data were written by AI models, not by people. This includes the spam and business test, the support-ticket test and the FineWeb-2 reading questions. Real messages will look different.
• The support-ticket tests are small: 30 tickets per question, so one ticket moves a score by 3.3 points.
• Sarcasm and irony are probably read literally. Not measured.
• 512 tokens (roughly 300 to 400 Hebrew words) per question. A longer message is cut from the end without a warning.
• Hebrew only. Not trained or tested on English or Arabic.
• Not a safety system on its own. It makes mistakes in both directions. Keep a person in the loop for anything that can hurt someone.
• When a "none of the options" choice is added, it picks it too often. Measured on a separate frozen test of 400 questions, MASSIVE and Belebele test questions rebuilt with a "none of the options" choice. When "none" is the right answer, it picks it 76% of the time. When the right answer is in the list, it still picks "none" on 31% of the questions and gets 61% of them right (77% on voice commands, 45% on reading questions). With the text removed it picks "none" almost every time (98%). If you offer such a choice, test it on your own questions first.
• Real messages: not measured on an independent set yet. Training data was added for genuine warnings about scams and for short scams without a link, the two weak spots real messages showed. A measurement on an independent set of real messages is still pending, so this card gives no number for real messages.

Licence and attribution

Apache-2.0 for the weights, the GGUF files and the code. Commercial use is allowed. Built on:

• HalleluBERT-large: the encoder, MIT.
• laya (NandhaKishorM, Convai Innovations): the decision-head architecture and the runtime, Apache-2.0. No laya weights are used.
• HeQ: CC BY 4.0, by Webiks for MAFAT and the Israeli National NLP Program (NNLP-IL); includes Geektime passages.
• MASSIVE: CC BY 4.0, Amazon (FitzGerald et al., 2022).
• DeepSeek V4.1 Flash (MIT) and Gemma 4 31B (Apache-2.0), used through DeepInfra as data writer and labellers.
• FineWeb-2 (Hebrew): ODC-By 1.0, Hugging Face; the passages of the reading and topic items.
• OpenAI GPT, through a ChatGPT subscription (OpenAI terms of use): question wordings and scenario outlines, as described in the training data section.
• ggmlc for the GGUF files.
• Belebele and SIB-200 (CC BY-SA 4.0) were used only to test, never to train.

The full notice is in NOTICE.

ניצוץ, בעברית

מה זה. ניצוץ קורא הודעה בעברית ועונה על שאלות שאתם מקלידים עליה: לבחור אחת מכמה אפשרויות, לתת ציון בסולם, או לענות כן או לא על טענה. על כל תשובה הוא נותן הסתברות שאפשר לסמוך עליה, כך שיודעים מתי הוא בטוח ומתי הוא מנחש. הוא לא כותב טקסט, ולכן הוא לא יכול להמציא דברים. הוא רץ על מחשב נייד רגיל, בלי אינטרנט ובלי תשלום על כל שאלה.

בשביל מה. להחליט מה עושים עם הודעות נכנסות: האם זו הונאה, איזה סוג הודעה זו, לאיזו מחלקה להעביר, כמה זה דחוף. זה לא צ'אטבוט, והוא לא בנוי למסמכים ארוכים (ראו מגבלות).

במספרים. על 298 הודעות בעברית הוא קובע נכון אם ההודעה היא הונאה ב-92.0% מהמקרים. בשביל פרופורציה: 70% מההודעות האלה הן לא הונאה, כך שמודל שתמיד עונה "לא הונאה" היה מקבל 70.5%. המספר שחשוב יותר הוא הדירוג: הוא נותן להונאה אמיתית הסתברות גבוהה יותר מאשר להודעה תקינה ב-97% מהמקרים (AUC 0.97).

לנסות

בפייתון (הספרייה laya, pip install laya):

import laya
agent = laya.load("BrainboxAI/nitzotz")
q = {"scam": {"type": "noul",
              "instructions": "ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.",
              "criteria": {"true": "כן, זה ניסיון מרמה",
                           "false": "לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}
print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90 בקישור", q)["answers"]["scam"]["noul"])

הפלט: 0.8628, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית") נכונה.

הניסוח של השאלה משנה. זו בדיוק השאלה שבה השתמש מבחן ההונאות, והמספרים בכרטיס הזה הם עליה. בניסיונות שלנו ניסוח קצר יותר ("ההודעה היא ניסיון הונאה") נתן תשובות גרועות בהרבה, למשל הסתברות גבוהה להונאה לקוד אימות רגיל. אם משנים את הניסוח, בודקים אותו קודם על ההודעות שלכם.

בלי פייתון, עם laya.exe (תוכנה עצמאית מ-ggmlc). מורידים את קובץ Q8, מפעילים, ושולחים בקשת JSON אחת בכל שורה. כל תשובה חוזרת בשורה אחת:

hf download BrainboxAI/nitzotz nitzotz-q8_0.gguf --local-dir .
laya.exe daemon nitzotz-q8_0.gguf --device vulkan
{"id":"1","state":"היי, הפגישה מחר ב-10 עדיין בתוקף?","questions":{"scam":{"type":"noul","instructions":"ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.","criteria":{"true":"כן, זה ניסיון מרמה","false":"לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}}

{"status":"ready","model":"laya"}
{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.908}, "confidence": 0.9536, "noul": 0.0464}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 121.783}, "id": "1"}

noul היא ההסתברות שהטענה נכונה. כמה שאלות בבקשה אחת נענות יחד, במעבר אחד. על מחשב בלי כרטיס מסך משתמשים ב---device cpu.

מבחנים

8 סטים של מבחן, 3,990 שאלות בסך הכול, שננעלו בטביעת אצבע לפני שנוצר פריט אימון אחד. שלושת המודלים ענו על אותן שאלות בדיוק. שתי נקודות ההשוואה הן מודלי laya הפתוחים האחרים שקוראים עברית: RoeiG/laya-hebrew (רישיון CC-BY-NC-SA-4.0, לשימוש לא מסחרי בלבד) ו-laya-multilingual (Apache-2.0).

הטבלה המלאה. אחוז התשובות הנכונות, הטוב ביותר בכל שורה מודגש. שתי העמודות האחרונות אומרות אם ההבדל של ניצוץ מהמודל הזה אמיתי או שאולי זה מזל (מבחן McNemar מדויק על אותן שאלות בדיוק): "טוב יותר" או "חלש יותר" פירושו p קטן מ-0.05, "תיקו" פירושו שההבדל יכול להיות מקרי.

בהבנת הנקרא של Belebele ניצוץ מקבל 63.2%, פחות מ-RoeiG/laya-hebrew (75.4%). ניצוץ בנוי להחלטות על הודעות, לא להבנה של קטעים ארוכים.

איך לקרוא את זה:

• MASSIVE (פקודות קוליות): ניצוץ אומן על פקודות האימון של MASSIVE. פקודות המבחן אחרות, אבל נכתבו בידי אותם אנשים ובאותו סגנון, ולכן המבחן הזה קל יותר לניצוץ מאשר לאחרים.
• HeQ: ניצוץ אומן על קטעי האימון של HeQ. קטעי המבחן אחרים, וקטעי אימון שחפפו לקטע מבחן הוסרו.
• בשורות של פניות התמיכה יש רק 30 שאלות. שום הבדל שם לא אמין.
• מבחן הספאם וההונאות לא מאוזן: 70% מההודעות בו הן לא הונאה. קו ה"ניחוש" (50%) הוא הטלת מטבע, לא האסטרטגיה העיוורת הטובה ביותר.

למה אפשר לסמוך עליו

להסתברויות יש משמעות. קחו את כל התשובות שבהן ניצוץ אמר שהוא בטוח בערך ב-70 עד 80%, וספרו כמה מהן היו נכונות. הגרף עושה את זה לכל רמת ביטחון, על 3,990 שאלות מבחן. כשהנקודות מעל הקו, ניצוץ צודק יותר ממה שהוא אומר (הוא צנוע). כשהן מתחת, הוא בטוח בעצמו יותר מדי. זה מה שמאפשר לקבוע ספים (בפרק הבא). הכיול נעשה על 4,825 פריטי אימון שהופרדו מראש, אף פעם לא על המבחן (calibration.json).

הוא באמת קורא את הטקסט. כשמוחקים את ההודעה ומשאירים רק את השאלה, הדיוק יורד ל-70.5% בשאלת ההונאה ול-7.7% בסוג ההודעה. כלומר התשובות באות מההודעה, לא מהניסוח של השאלה.

ניסוח אחר של השאלה כמעט לא משנה את התשובה. שאלנו 1,786 שאלות מבחן ב-6 ניסוחים שונים עם אותה משמעות. ב-5.0% מהן התשובה לא הייתה זהה בכל 6 הניסוחים. אף ניסוח לא גורם לו לתת תשובה קבועה אחת לכל הפריטים של מבחן. היוצא מן הכלל הוא שאלת הדחיפות (ראו מגבלות).

הוא מהיר על חומרה רגילה. על מחשב נייד עם מעבד Intel Core Ultra 9 285H וכרטיס המסך המובנה Arc 140T, ווינדוס 11, שאלה אחת בכל פעם:

בעמודות של ההודעה הקצרה והקלט הארוך אותה שאלה רצה 30 פעמים, אחרי 5 הרצות חימום. הזמנים על המחשב הזה משתנים הרבה בין הפעלה להפעלה (מדידה קודמת של אותה הגדרה יצאה איטית פי כמה), אז אלה מספרים בקירוב.

קובצי ה-GGUF נותנים כמעט את אותן תשובות כמו מודל הפייתון. בהשוואה למודל הפייתון המלא על המעבד:

פער של 0.01 פירושו, למשל, 0.83 מול 0.84. השאלות המעטות שבהן התשובה המובילה משתנה הן כאלה שבהן שתי התשובות הטובות היו כמעט שוות. בשתי שאלות הספאם יחד קובץ Q8 על כרטיס המסך צודק ב-84.7%, מול 84.7% למודל הפייתון. קובץ F16 קרוב יותר (84.7%).

שימוש בעסק

הרעיון ("רמזור"). כל הודעה נכנסת מקבלת שאלה מהירה אחת או כמה. ההסתברות מחליטה מה קורה הלאה:

• ירוק (בטוח שזה בסדר): טיפול אוטומטי, תיוק, תיוג, ניתוב.
• צהוב (לא בטוח): לבדיקה של אדם, או של מודל שפה גדול אם אתם משתמשים בו.
• אדום (בטוח שזו הונאה): חסימה או הסגר.

השרטוט הוא דוגמה על 298 הודעות המבחן. הסף העליון, 0.49, הוא הסף שנבחר לשאלת ההונאה על 1188 הודעות אימון שהופרדו מראש (אף פעם לא על המבחן). הסף התחתון, 0.35, נבחר ביד. איתם 207 הודעות הולכות לירוק (13 מהן הן בעצם הונאה), 9 לצהוב (2 הונאות), ו-82 לאדום (9 מהן בעצם תקינות). כלומר אדום צריך להיות "הסגר ובדיקה", לא "מחיקה". בחרו ספים משלכם על מדגם של ההודעות שלכם, והחליטו כמה טעויות בירוק ובאדום אתם מוכנים לקבל. בסף 0.49 לבדו, תשובת ההונאה נכונה ב-92.3% מהמקרים בסך הכול וב-83.1% על 65 המקרים הקשים (בסף 0.50: 92.0% ו-83.1%).

המודל זול מספיק כדי להריץ אותו על כל הודעה. האדם (או מודל השפה) רואה רק את החלק הצהוב. אל תשתמשו בו כקו הגנה יחיד בהחלטות שיכולות לפגוע במישהו.

נתוני האימון ושקיפות

שני שלבי אימון, על כרטיס מסך שכור:

1. ללמוד לקרוא. HalleluBERT-large אומן קודם למצוא את התשובה לשאלה בתוך קטע, על 27,085 שאלות אימון של HeQ (CC BY 4.0). קטעים שחפפו לקטע מבחן הוסרו.
2. ללמוד להחליט. מעליו הונח ראש החלטות של laya, וכל המודל אומן על 116,854 פריטים (112,029 לאימון, ו-4,825 הופרדו מראש כדי לבחור את הטוב מבין 2 מעברים ולכייל את הטמפרטורות).

• הודעות סינתטיות (35,000 פריטים). DeepSeek V4.1 Flash (MIT) כתב הודעות SMS, וואטסאפ ומייל בסגנון ישראלי לפי תוכנית (התווית המתוכננת, נושא, משלב, מספרי טלפון וקישורים מזויפים ומגוונים). אחר כך DeepSeek ו-Gemma 4 31B (Apache-2.0) סימנו כל הודעה, כל אחד לבד. הודעה נשמרה רק אם שניהם הסכימו. הם הסכימו על 94% מההודעות, ונשמרו 93.7% מתוך 37,429 ההודעות שנכתבו. שניהם רצו דרך DeepInfra (דרך OpenRouter), בלי שמירת נתונים ובלי מצב "חשיבה". הנתונים הסינתטיים לא מפורסמים.
• קריאה, הונאות קשות ופניות תמיכה. 6,825 שאלות קריאה על קטעים מהרשת בעברית מתוך FineWeb-2 (ODC-By 1.0): "איזו מהבאות לא נכונה או לא מוזכרת" (כל אחת עם שאלה חיובית צמודה על אותו קטע), תשובות שנאמרות במילים אחרות, ותשובות שדורשות כמה משפטים. DeepSeek V4.1 Flash כתב אותן, ו-Gemma 4 31B בדק כל אחת פעמיים, עם הקטע ובלי הקטע. שאלה שאפשר היה לענות עליה בלי הקטע נזרקה. 6,000 הודעות שקשה להבחין ביניהן (הונאות מוסוות, והודעות אמיתיות שנראות חשודות), שנכתבו בידי DeepSeek ונשמרו רק אם שני המסמנים הסכימו זה עם זה וגם עם הכותב. 4,000 קטעים שסומנו לפי נושא, 575 פניות תמיכה לשאלת הלקוח המשלם, ו-4,750 פריטי HeQ חוזרים, כדי שליכולות של HeQ יישאר משקל בתערובת.
• דפוסי הונאה שנראו בהודעות אמיתיות. הודעות אמיתיות בעברית הראו שתי נקודות חלשות: אזהרות אמיתיות מפני הונאה (מבנקים, מהמשטרה, מחברות) שסומנו כהונאה, והונאות קצרות בלי קישור שפוספסו. לכן DeepSeek V4.1 Flash כתב עוד 3,746 הודעות: 1,000 אזהרות לגיטימיות מפני הונאה, 1,476 הונאות קצרות בלי קישור (חוב קטן או אגרה שלא שולמו, "חבר" עם מספר חדש, מתנה, אישור תשלום מזויף, אפליקציית תשלומים), 389 זוגות של הונאה ואזהרה על אותה הונאה, ו-492 הודעות לגיטימיות שנראות כמו ההונאות האלה. כלל השמירה השתנה בהן: הודעה נשמרה אם שני המסמנים הסכימו עם הכותב, והונאה שרק DeepSeek זיהה נשמרה גם כן, עם תווית רכה יותר (70% במקום קרוב ל-100%). 134 הודעות הן מהסוג הזה. הודעות שדמו לאחת מההודעות האמיתיות שבדקנו נזרקו לפני הסימון, וההודעות האמיתיות עצמן לא שימשו לאימון. 134 שורות אימון קיימות (67 הודעות: בקשה מ"מספר חדש" או על חוב קטן, בלי קישור) תויגו מחדש כהונאה אחרי שהמסמנים קבעו שהן הונאה (עם תווית 70% כשרק DeepSeek קבע). 4,484 פריטי "אף אחת מהאפשרויות" נבנו מפריטי אימון קיימים של MASSIVE, HeQ וקריאה: ב-2,990 מהם התשובה הנכונה הוסרה ונוספה אפשרות "אף אחת מהאפשרויות", וב-1,494 הוסרה במקום זה אפשרות שגויה, כך ש"אף אחת" שגויה שם.
• נכתב עם GPT. חלק מנתוני האימון נכתב עם GPT של OpenAI, דרך מנוי ChatGPT שלנו: 376 ניסוחים חלופיים של השאלות ו-34 סטים חלופיים של אפשרויות תשובה, שמופיעים ב-35,189 פריטי אימון (כולל כל 575 הפריטים של שאלת הלקוח המשלם), ו-120 תרחישים קצרים שלפיהם DeepSeek V4.1 Flash כתב 6,000 הודעות. GPT לא כתב אף הודעה ואף תווית. בסך הכול 37,849 מתוך 116,854 פריטי האימון (32%) משתמשים בטקסט שנכתב עם GPT. הפלט של GPT כפוף לתנאי השימוש של OpenAI, לא לרישיון פתוח.
• נתונים פתוחים. HeQ v1.1 (CC BY 4.0. בערך חצי מהשאלות שלו על כתבות של Geektime, ומחברי HeQ משתפים אותם באותו רישיון) ו-MASSIVE he-IL (CC BY 4.0), רק מפיצולי האימון. קטעים בעברית מ-FineWeb-2 (ODC-By 1.0) לשאלות הקריאה והנושא.
• בלי דליפה מהמבחנים. כל פריט אימון הושווה לכל שאלת מבחן. כל מה שחולק רצף של 8 מילים עם טקסט מבחן נזרק, וגם פקודות MASSIVE שזהות לפקודת מבחן. פריטי הקריאה, הנושא, ההונאות הקשות, הלקוח המשלם והניסוחים החלופיים נבדקו גם בכללים מחמירים יותר: כל קטע מול כל טקסט מבחן (כל רצף משותף של 6 מילים), וכל שאלה, אפשרות וניסוח מול כל שאלת מבחן וכל ניסוח חלופי של שאלת מבחן (התאמה מדויקת ודמיון תווים).
• מה לא שימש: שום פלט של צ'אטבוט מסחרי סגור אחר, שום מודל של DICTA, שום נתונים לא מסחריים או ברישיון "שיתוף זהה". GPT, מודל מסחרי סגור, שימש רק כמתואר למעלה.
• גודל: המקודד 357.1 מיליון פרמטרים (HalleluBERT-large, MIT, אומן מחדש). ראש ההחלטות 26.5 מיליון פרמטרים, אומן מאפס.

על המבחנים.

הסתייגויות שמשנות כמה לסמוך על המספרים:

• מבחן הספאם והעסקים נכתב בידי מודל AI ונבדק בידי מודל AI, לא בידי אדם. תיבות דואר אמיתיות ייראו אחרת. הוא ננעל אחרי הבדיקה הזו (4 תוויות שונו, 2 הודעות הוסרו).
• שלוש ריצות אימון, עם שלושה זרעים אקראיים, וזו אחת מהן. על פריטי האימון שהופרדו מראש שלוש הריצות כמעט שוות (95.0% כאן מול 95.2% ו-95.2%). הריצה הזו נבחרה כי היא הייתה הטובה ביותר על 188 ההודעות המוחזקות מנתוני ההונאה שנוספו (98.4% מול 97.3% ו-97.3%) ועל ההודעות האמיתיות שבדקנו, לא לפי המבחנים בכרטיס הזה. במבחנים הגדולים שלוש הריצות קרובות: הונאה או לא 92.0% כאן מול 92.0% ו-90.6%, נושא ידיעה 79.4% מול 82.8% ו-80.4%, הבנת הנקרא 63.2% מול 60.9% ו-63.1%. הריצה הזו וכל אחת מהשתיים האחרות נותנות אותה תשובה על 90.1% עד 90.6% מכל שאלות המבחן. במבחנים של 30 פניות ההבדלים גדולים יותר: דחיפות הפנייה 70.0% כאן מול 73.3% ו-76.7%.
• תוויות האימון באות משני מודלי AI. איפה ששניהם טועים באותו אופן, ניצוץ למד את הטעות שלהם.
• התשובות השגויות של HeQ במבחן נבחרו בקוד, ולא נבדקו בידי אדם.

מגבלות

• הבנת הנקרא של קטעים ארוכים מוגבלת. Belebele: 63.2%, כשניחוש עיוור מקבל 25%, ועדיין פחות ממודל laya האחר הטוב ביותר במבחן הזה (ראו מבחנים). כשהתשובה הנכונה כתובה בקטע מילה במילה הוא מקבל 77% (252 שאלות). כשהתשובה נאמרת במילים אחרות הוא מקבל 58% (648 שאלות). בשאלות "איזו מהבאות לא" 59% (158 שאלות). אל תשאלו אותו אם מסמך ארוך תומך בטענה.
• בדיקה אם קטע תומך בתשובה (HeQ) עובדת. 94.8% עם הקטע. כשמוחקים את הקטע זה יורד ל-51.0%, הטלת מטבע. כלומר בשאלות מהסוג הזה הוא באמת קורא את הקטע.
• מספרים, תאריכים, סכומים וכללים: לא אומן עליהם ולא נמדד. חשבו אותם בקוד והעבירו את התוצאה.
• המקרים הקשים עדיין נקודת התורפה: הונאות שנכתבו כדי להיראות לגיטימיות ("ספק" שמחליף פרטי חשבון בנק, "המנכ"ל" שמבקש העברה), והודעות אמיתיות שנראות כמו הונאה (התראה אמיתית מהבנק עם קישור, קוד אימות אמיתי). על 65 המקרים הקשים שאלת ההונאה צודקת ב-83.1% מהמקרים (תשובה קבועה "לא הונאה" הייתה מקבלת שם 70.8%), עם AUC 0.84. בסף שנבחר הוא עדיין מפספס 5 מתוך 19 הונאות שנכתבו כדי להיראות לגיטימיות, ומתריע על 6 מתוך 46 הודעות אמיתיות שנראות כמו הונאה.
• דחיפות היא עניין סובייקטיבי, והתשובה עליה תלויה בניסוח. אפילו שני מודלי המורה הסכימו עם הדחיפות המתוכננת רק בכ-62 עד 64% מהמקרים. כששואלים את שאלת הדחיפות במילים אחרות, התשובה משתנה ב-63% מתוך 30 פניות המבחן.
• המבחנים הפנימיים וחלק גדול מנתוני האימון נכתבו בידי מודלי AI, לא בידי אנשים. זה כולל את מבחן הספאם והעסקים, את מבחן פניות התמיכה ואת שאלות הקריאה על FineWeb-2. הודעות אמיתיות ייראו אחרת.
• מבחני פניות התמיכה קטנים: 30 פניות לכל שאלה, כך שפנייה אחת מזיזה ציון ב-3.3 נקודות.
• ציניות ואירוניה כנראה נקראות מילולית. לא נמדד.
• 512 טוקנים (בערך 300 עד 400 מילים בעברית) לשאלה. הודעה ארוכה יותר נחתכת מהסוף בלי אזהרה.
• עברית בלבד. לא אומן ולא נבדק על אנגלית או ערבית.
• זו לא מערכת הגנה לבד. הוא טועה לשני הכיוונים. השאירו אדם בתהליך בכל דבר שיכול לפגוע במישהו.
• כשמוסיפים אפשרות "אף אחת מהאפשרויות", הוא בוחר בה יותר מדי. נמדד על מבחן קפוא נפרד של 400 שאלות, שאלות מבחן של MASSIVE ו-Belebele שנבנו מחדש עם אפשרות "אף אחת מהאפשרויות". כש"אף אחת" היא התשובה הנכונה, הוא בוחר בה ב-76% מהמקרים. כשהתשובה הנכונה נמצאת ברשימה, הוא עדיין בוחר "אף אחת" ב-31% מהשאלות, וצודק רק ב-61% מהן (77% בפקודות קוליות, 45% בשאלות קריאה). כשמוחקים את הטקסט הוא בוחר "אף אחת" כמעט תמיד (98%). אם אתם מציעים אפשרות כזו, בדקו אותה קודם על השאלות שלכם.
• הודעות אמיתיות: עוד לא נמדד על סט בלתי תלוי. נוספו נתוני אימון לאזהרות אמיתיות מפני הונאה ולהונאות קצרות בלי קישור, שתי הנקודות החלשות שהודעות אמיתיות הראו. מדידה על סט בלתי תלוי של הודעות אמיתיות עוד לא נעשתה, ולכן בכרטיס הזה אין מספר על הודעות אמיתיות.

רישיון וקרדיטים

Apache-2.0 למשקולות, לקובצי ה-GGUF ולקוד. מותר לשימוש מסחרי. בנוי על:

• HalleluBERT-large: המקודד, MIT.
• laya (NandhaKishorM, Convai Innovations): הארכיטקטורה של ראש ההחלטות וסביבת ההרצה, Apache-2.0. לא נעשה שימוש במשקולות של laya.
• HeQ: CC BY 4.0, של Webiks עבור מפא"ת ותוכנית ה-NLP הלאומית (NNLP-IL). כולל קטעים מ-Geektime.
• MASSIVE: CC BY 4.0, אמזון (FitzGerald ואחרים, 2022).
• DeepSeek V4.1 Flash (MIT) ו-Gemma 4 31B (Apache-2.0), דרך DeepInfra, ככותב הנתונים וכמסמנים.
• FineWeb-2 (עברית): ODC-By 1.0, של Hugging Face. הקטעים של שאלות הקריאה והנושא.
• GPT של OpenAI, דרך מנוי ChatGPT (תנאי השימוש של OpenAI): ניסוחי שאלות ותרחישים, כמתואר בפרק נתוני האימון.
• ggmlc לקובצי ה-GGUF.
• Belebele ו-SIB-200 (CC BY-SA 4.0) שימשו רק לבדיקה, אף פעם לא לאימון.

ההודעה המלאה בקובץ NOTICE.