Wie gut funktionieren PII-Detektoren wirklich? Wir messen unsere eigenen Releases und das gesamte Feld auf denselben Texten, mit derselben Bewertung — und veröffentlichen alles, auch dort, wo wir zurückliegen.
Gegenüber ShinrAI 1.3: Median über 15 Sprachräume 95,0 → 95,5, Ukrainisch 86,7 → 94,6, Hebräisch (Beta) 59,5 → 71,1, Schwärzung langer Dokumente 36,5 → 57,6, enzyklopädischer Recall der acht neu aufgebauten Sprachen 34,5 → 81,9. Auf unserer Feldprobe aus echten Briefen, Formularen und Chats (nur das Modell) schützt 1.6.1 139 von 186 Werten; 1.3 schützt 50. Mittelwerte mit exakten Spannen auf öffentlichen Testsets: ai4privacy 75,2 → 79,2, MultiNERD 85,4 → 88,5. Es besteht unsere Memorisierungs-Prüfungen vor der Freigabe. 1.6.1 läuft in der Managed API unter der Modell-ID v1.6; das Modell mit offenen Gewichten ist ShinrAI 1.3 unter der Innovius Open License.
ShinrAI 1.6.1 ist gemessen und läuft in der Managed API, gehostet bei STACKIT in der EU. Heute verfügbar unter getshinrai.de. Referenz ist ShinrAI 1.3: Jede Tabelle zeigt sie neben 1.6.1 oder 1.6, die Werte von 1.4 und 1.5 stehen in einer eingeklappten Zeile unter jeder Tabelle. Das Enterprise-Produkt legt zusätzliche regelbasierte Erkennung darüber (Prüfsummen-Validatoren, deterministische Identifier); diese Schicht ist konstruktionsbedingt exakt und nicht Teil dieser Werte.
F1-Wert (0–100, höher ist besser · exakte Spannen). 200 Texte je Sprachraum. Der 1.6.1-Median von 95,5 (1.3: 95,0) schließt das hebräische Beta ein. Azure AI PII, gemessen auf denselben Texten: 53–76.
| Land | Sprache | Wert | ShinrAI 1.6.1 F1 | Präzision / Trefferquote | 1.3 → 1.6.1 |
|---|---|---|---|---|---|
| 🇯🇵 | JA | 98.4 | 97.5 / 99.2 | 98.1 → 98.4 | |
| 🇧🇷 | PT-BR | 98.0 | 97.4 / 98.6 | 97.3 → 98.0 | |
| 🇬🇧🇺🇸 | EN | 97.4 | 96.2 / 98.7 | 97.7 → 97.4 | |
| 🇪🇸 | ES | 97.4 | 96.5 / 98.2 | 96.9 → 97.4 | |
| 🇷🇺 | RU | 96.9 | 95.9 / 97.8 | 96.4 → 96.9 | |
| 🇫🇷 | FR | 96.6 | 95.9 / 97.3 | 96.0 → 96.6 | |
| 🇮🇹 | IT | 95.7 | 94.7 / 96.7 | 95.0 → 95.7 | |
| 🇩🇪🇦🇹🇨🇭 | DE | 95.5 | 94.7 / 96.4 | 94.4 → 95.5 | |
| 🇰🇷 | KO | 95.2 | 93.2 / 97.2 | 95.5 → 95.2 | |
| 🇺🇦 | UA | 94.6 | 92.0 / 97.4 | 86.7 → 94.6 | |
| 🇵🇹 | PT-PT | 94.2 | 93.6 / 94.8 | 94.2 → 94.2 | |
| 🇹🇷 | TR | 93.7 | 93.1 / 94.2 | 90.1 → 93.7 | |
| 🇵🇱 | PL | 92.7 | 90.7 / 94.7 | 90.9 → 92.7 | |
| 🇸🇦 | AR | 91.4 | 92.3 / 90.4 | 87.9 → 91.4 | |
| 🇮🇱 | HE Beta | 71.1 | 64.0 / 80.0 | 59.5 → 71.1 |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| JA | 98.5 | 98.5 |
| PT-BR | 98.2 | 98.3 |
| EN | 97.3 | 97.8 |
| ES | 97.6 | 97.7 |
| RU | 96.9 | 96.6 |
| FR | 96.4 | 96.2 |
| IT | 96.1 | 96.3 |
| DE | 95.5 | 94.5 |
| KO | 95.2 | 95.4 |
| UA | 95.0 | 95.1 |
| PT-PT | 94.6 | 94.3 |
| TR | 93.2 | 91.8 |
| PL | 93.5 | 91.7 |
| AR | 90.1 | 91.4 |
| HE | 71.2 | 70.5 |
| Median | 95.5 | 95.4 |
Das Land zählt: Das Modell weiß, wie ein Straßenname in Frankreich gegenüber Spanien aussieht — und wie ein Firmenname in Japan. Erkennung und Ersetzungen folgen den Konventionen jedes Landes.
ShinrAI erkennt Datums- und Altersangaben mit zwei eigenen Heads, DATE und AGE (seit 1.5), trainiert auf generierten klinischen und juristischen Dokumenten, französischen Klinikberichten, Gerichtsurteilen und EU-Rechtssätzen. Die Tabellen vergleichen 1.6 mit 1.3, das keinen der beiden Heads hatte. Noch nicht mit 1.6.1 gemessen; das sind die Werte von 1.6.
F1 mit exakten Spannen auf 127 EGMR-Urteilen · 1.3: 34,4 · Azure Preview: 47,6
dieselben Urteile, Datumsangaben mitbewertet · Azure Preview: 55,5
mittlerer F1 mit exakten Spannen über sechs MAPA-Sprachen · Azure Preview: 48,4
MEDDOCAN (es), F1 mit exakten Spannen für Personen, Orte, Organisationen · 1.3: 51,0 · Datumsangaben 94.9 · Altersangaben 95.2
GraSCCo (de), F1 mit exakten Spannen für Personen, Orte, Organisationen · 1.3: 50,2 · Datumsangaben 80.0
Heute verfügbar über die ShinrAI API, gehostet bei STACKIT in der EU.
| Korpus | Personen · Orte · Organisationen ShinrAI 1.6 | Personen · Orte · Organisationen 1.3 | Daten 1.6 | Altersangaben 1.6 |
|---|---|---|---|---|
| MEDDOCAN (es) — 250 Klinikfälle | 84.5 / 93.1 | 51.0 / 70.0 | 94.9 / 98.2 | 95.2 / 96.3 |
| GraSCCo (de) — 63 Klinikbriefe | 79.5 / 88.7 | 50.2 / 72.4 | 80.0 / 87.2 | 15.0 / 85.0 |
| Unsere Klinikbriefe (de · en · es · fr · it, je 300) | 86.8 · 88.9 · 86.2 · 86.5 · 88.7 | 86.5 · 89.5 · 87.9 · 86.1 · 90.5 | — | — |
| Korpus | Personen · Orte · Organisationen 1.5 | Daten 1.5 | Altersangaben 1.5 | Personen · Orte · Organisationen 1.4-Build |
|---|---|---|---|---|
| MEDDOCAN (es) — 250 Klinikfälle | 82.9 / 92.8 | 94.4 / 97.9 | 95.4 / 96.9 | 61.6 / 79.2 |
| GraSCCo (de) — 63 Klinikbriefe | 80.0 / 90.0 | 79.4 / 88.0 | 15.0 / 85.0 | 57.2 / 75.9 |
| Unsere Klinikbriefe (de · en · es · fr · it, je 300) | 86.3 · 89.3 · 86.5 · 86.8 · 88.1 | — | — | 87.6 · 89.7 · 87.8 · 86.2 · 90.8 |
F1 (0–100), exakte Spanne / Überlappung gleichen Typs. Personen, Orte und Organisationen werden zusammen bewertet, Datums- und Altersangaben je Typ. 1.3 läuft durch denselben Scorer auf denselben Dokumenten; es hatte keinen Datums- oder Alters-Head. Die 1.4-Werte in der eingeklappten Tabelle stammen aus einem Trainings-Build von 1.4, nicht aus den ausgelieferten Gewichten.
| Zelle | Daten | Personen | Organisationen |
|---|---|---|---|
| TAB — Urteile des Europäischen Gerichtshofs für Menschenrechte (en) 127 Urteile | 91.1 | 80.6 | 72.5 |
| MAPA — EUR-Lex-Rechtstext (en) 300 Sätze | 96.9 | 43.6 | 24.4 |
| MAPA (fr) 300 Sätze | 88.1 | 41.0 | 46.6 |
| MAPA (de) 300 Sätze | 88.7 | 39.4 | 58.0 |
| Zelle | Daten 1.5 | Personen 1.5 | Organisationen 1.5 |
|---|---|---|---|
| TAB — Urteile des Europäischen Gerichtshofs für Menschenrechte (en) | 91.0 | 84.1 | 71.1 |
| MAPA — EUR-Lex-Rechtstext (en) | 97.5 | 45.1 | 24.3 |
| MAPA (fr) | 88.7 | 41.1 | 46.1 |
| MAPA (de) | 90.8 | 36.4 | 59.8 |
F1 mit exakten Spannen je Typ, Standard-Serving-Einstellungen. MAPA markiert Gerichte, Parteien und Rollen nach anderen Konventionen als wir, daher bleiben diese Zellen niedrig. 1.3 hatte keinen Datums-Head; auf TAB erreichte es 34,4 F1 mit exakten Spannen für Personen und Organisationen zusammen.
ShinrAI 1.6.1 gegen das Feld auf denselben Testsets. Die Notiz unter jedem ShinrAI-Wert ist ShinrAI 1.3 auf derselben Zelle; die Werte von 1.4 und 1.5 stehen in der eingeklappten Zeile unter jeder Tabelle. Gretel, Nemotron-PII, TAB und MAPA zeigen ShinrAI 1.6: noch nicht mit 1.6.1 gemessen. Die vollständigen Zahlen je Korpus stehen auf der Modellkarte.
Jeder Wettbewerber läuft an seinem besten Schwellwert; ShinrAI läuft mit Standardeinstellungen. Werte sind F1 (0–100, höher ist besser) mit großzügigem Abgleich — ein Fund zählt, wenn er den richtigen Text mit dem richtigen Typ trifft (siehe Glossar). ★ markiert das beste System je Zeile. ⚠ markiert Systeme, die auf genau diesem Testset trainiert haben.
| Sprache | ShinrAI 1.6.1 | LFM2.5 PII (Liquid AI) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|
| DE | 87.7 1.3: 85.4 | 69.4 | 35.6 | 11.0 | 21.3 | 90.3 ★ ⚠ Trainingsüberschneidung wahrscheinlich | 77.8 | — | — | — |
| EN | 81.3 1.3: 80.8 | 76.7 | 38.3 | 10.9 | 21.1 | 86.9 ★ ⚠ Trainingsüberschneidung wahrscheinlich | 70.2 | 68.4 | 50.0 | 69.1 |
| FR | 83.7 1.3: 82.6 | 74.5 | 37.9 | 9.7 | 16.2 | 90.6 ★ ⚠ Trainingsüberschneidung wahrscheinlich | 75.9 | — | — | — |
| IT | 83.6 1.3: 83.3 | 70.9 | 45.2 | 13.1 | 25.3 | 89.0 ★ ⚠ Trainingsüberschneidung wahrscheinlich | 73.8 | — | — | — |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| DE | 87.9 | 85.2 |
| EN | 81.5 | 81.7 |
| FR | 83.8 | 83.0 |
| IT | 80.4 | 79.0 |
| Sprache | ShinrAI 1.6.1 | LFM2.5 PII (Liquid AI) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|
| DE | 92.9 ★ 1.3: 92.1 | 62.3 | 45.6 | 25.7 | 37.9 | 58.5 | 91.3 ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| EN | 92.6 1.3: 94.9 | 60.9 | 45.8 | 17.3 | 28.5 | 58.7 | 96.2 ★ ⚠ Trainingsdaten nicht offengelegt | 86.9 | 65.1 | 86.5 |
| ES | 96.6 ★ 1.3: 97.7 | 61.5 | 39.0 | 16.5 | 29.5 | 64.4 | 93.3 ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| FR | 92.3 ★ 1.3: 93.3 | 61.7 | 40.2 | 16.5 | 26.9 | 61.4 | 90.3 ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| IT | 94.8 ★ 1.3: 96.8 | 56.2 | 33.9 | 11.8 | 21.7 | 60.4 | 91.4 ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| PL | 88.2 ★ 1.3: 81.2 | 65.9 | 32.3 | 20.1 | 23.7 | 45.7 | 87.8 ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| PT | 92.5 1.3: 94.7 | 62.7 | 38.4 | 15.4 | 28.8 | 61.0 | 96.1 ★ ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| RU | 85.2 ★ 1.3: 82.5 | 53.9 | 34.9 | 17.9 | 18.1 | 51.5 | 82.5 ⚠ Trainingsdaten nicht offengelegt | — | — | — |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| DE | 91.5 | 91.8 |
| EN | 93.4 | 93.4 |
| ES | 96.0 | 95.0 |
| FR | 93.4 | 91.6 |
| IT | 95.1 | 94.1 |
| PL | 87.2 | 85.4 |
| PT | 92.4 | 92.2 |
| RU | 85.5 | 86.9 |
| Sprache | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EN | 72.7 1.3: 52.2 | 30.7 | 44.2 | 84.5 ★ | 34.0 | 78.1 | 74.3 | 24.3 | 54.6 | 24.8 | 23.5 | 51.4 | 60.0 | 53.9 | 46.4 | 37.3 | 39.7 |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| EN | 70.9 | — |
| Sprache | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EN | 79.4 1.3: 64.4 | 46.5 | 57.5 | 87.3 | 54.6 | 93.9 ★ ⚠ auf diesem Testset trainiert | 89.6 | 12.9 | 49.7 | 11.0 | 10.9 | 64.8 | 65.5 | 68.0 | 68.3 | 41.2 | 48.7 |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| EN | 76.7 | — |
| Sprache | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EN | 87.8 ★ 1.3: 78.3 | 48.2 ⚠ API-Limit 5.120 Zeichen; lange Dokumente abgeschnitten | 72.8 | 60.0 | 36.1 | 49.1 | 50.4 | 22.4 | 53.0 | 15.5 | 17.8 | 30.3 | 23.5 | 83.6 ⚠ Trainingsdaten nicht offengelegt | 65.4 | 66.9 | 72.6 |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| EN | 87.3 | — |
| Sprache | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DE | 62.7 ★ 1.3: 60.5 | 55.9 | 38.6 | 27.8 | 13.4 | 34.2 | 12.2 | 10.3 | 15.8 | 6.3 | 10.1 | 19.4 | 43.1 | 48.9 | — | — | — |
| EN | 36.6 1.3: 36.2 | 23.4 | 19.3 | 31.7 | 28.6 | 53.4 ★ | 13.1 | 4.8 | 10.2 | 3.2 | 4.2 | 29.0 | 48.2 | 34.8 | 36.3 | 42.5 | 30.9 |
| ES | 39.0 1.3: 39.0 | 28.2 | 3.5 | 43.6 | 32.5 | 73.0 ★ | 13.9 | 6.2 | 10.4 | 2.9 | 4.3 | 54.8 | 49.4 | 36.0 | — | — | — |
| FR | 49.9 ★ 1.3: 48.6 | 42.9 | 25.1 | 32.5 | 6.1 | 33.0 | 11.2 | 8.0 | 17.3 | 5.2 | 7.6 | 18.1 | 31.7 | 44.4 | — | — | — |
| IT | 14.2 1.3: 13.3 | 11.2 | 7.0 | 34.0 | 10.4 | 36.6 ★ | 10.0 | 1.7 | 2.8 | 1.2 | 1.3 | 30.1 | 30.3 | 11.9 | — | — | — |
| PT | 52.7 ★ 1.3: 48.7 | 48.8 | 25.8 | 28.8 | 13.4 | 43.5 | 18.0 | 9.4 | 18.5 | 6.9 | 12.0 | 26.4 | 44.2 | 52.4 | — | — | — |
| Sprache | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| DE | 64.3 | — |
| EN | 36.4 | — |
| ES | 36.2 | — |
| FR | 50.6 | — |
| IT | 13.7 | — |
| PT | 53.7 | — |
Strikte Grenzwerte (exakte Zeichenspannen) für jede Zelle oben liegen den Roh-Läufen bei.
Microsofts Preview-Modell 2026-05, von uns auf 28 Testset-Zellen in einem Prüfstand gemessen, derselbe Scorer, zwei Regeln: exakte Spannen, und Spannen, die mindestens die Hälfte der Gold-Spanne abdecken. ★ markiert den Führenden je Zelle. Azure läuft an seinem besten Schwellwert, ShinrAI mit Standardeinstellungen. Alltagsnachrichten (ai4privacy) und Enzyklopädie-Sätze (MultiNERD) zeigen ShinrAI 1.6.1; die anderen Zeilen zeigen ShinrAI 1.6, noch nicht mit 1.6.1 gemessen.
Zellen, in denen ShinrAI führt
Zellen, in denen ShinrAI führt
| Sprache | ShinrAI · exakt | Azure · exakt | ShinrAI · ≥ 50 % | Azure · ≥ 50 % |
|---|---|---|---|---|
| Alltagsnachrichten (ai4privacy) | ||||
| DE | 81.6 1.3: 76.4 | 82.9 ★ | 84.4 ★ 1.3: 82.0 | 82.9 |
| EN | 74.9 ★ 1.3: 69.4 | 72.9 | 79.7 ★ 1.3: 77.7 | 74.1 |
| FR | 80.0 ★ 1.3: 75.8 | 78.3 | 82.1 ★ 1.3: 80.0 | 79.6 |
| IT | 80.3 ★ 1.3: 79.0 | 76.2 | 83.1 ★ 1.3: 82.9 | 77.3 |
| Synthetische Geschäftsdokumente (Gretel) | ||||
| EN | 56.3 ★ 1.3: 28.9 | 42.1 | 67.9 ★ 1.3: 43.1 | 52.4 |
| Synthetische US-Formulare (Nemotron-PII) | ||||
| EN | 72.9 ★ 1.3: 50.0 | 63.0 | 76.7 ★ 1.3: 56.7 | 69.9 |
| Gerichtsurteile (TAB) | ||||
| EN | 75.4 ★ 1.3: 34.4 | 47.6 | 84.9 ★ 1.3: 69.0 | 79.5 |
| EN + Daten | 82.2 ★ | 55.5 | 88.5 ★ | 81.9 |
| EU-Rechtstext (MAPA) | ||||
| DE | 51.4 ★ 1.3: 44.4 | 44.0 | 59.4 ★ 1.3: 54.8 | 55.5 |
| DE + Daten | 64.4 ★ | 33.2 | 70.2 ★ | 41.9 |
| EN | 30.3 ★ 1.3: 27.3 | 16.4 | 35.2 ★ 1.3: 33.7 | 21.5 |
| EN + Daten | 54.2 ★ | 44.5 | 57.8 ★ | 48.8 |
| ES | 30.9 ★ 1.3: 30.9 | 28.6 | 30.9 ★ 1.3: 35.8 | 30.5 |
| ES + Daten | 50.0 | 50.0 | 51.0 | 51.3 ★ |
| FR | 44.1 1.3: 41.0 | 49.4 ★ | 49.3 1.3: 47.3 | 51.9 ★ |
| FR + Daten | 54.6 | 62.9 ★ | 59.4 | 64.7 ★ |
| IT | 3.8 ★ 1.3: 3.8 | 3.4 | 13.3 1.3: 11.4 | 13.4 ★ |
| IT + Daten | 33.8 | 42.9 ★ | 40.8 | 50.2 ★ |
| PT | 47.1 ★ 1.3: 42.3 | 44.5 | 52.7 ★ 1.3: 48.3 | 46.9 |
| PT + Daten | 57.0 ★ | 56.6 | 61.2 ★ | 58.4 |
| Enzyklopädie-Sätze (MultiNERD) | ||||
| DE | 90.0 1.3: 87.3 | 96.4 ★ | 92.9 1.3: 89.7 | 96.4 ★ |
| EN | 90.4 1.3: 90.4 | 95.7 ★ | 92.6 1.3: 94.4 | 96.3 ★ |
| ES | 93.2 1.3: 93.7 | 97.6 ★ | 96.6 1.3: 97.7 | 97.6 ★ |
| FR | 90.2 1.3: 89.6 | 96.1 ★ | 91.3 1.3: 91.2 | 96.1 ★ |
| IT | 93.4 1.3: 95.4 | 97.8 ★ | 94.8 1.3: 96.1 | 99.3 ★ |
| PL | 83.3 1.3: 66.9 | 88.0 ★ | 84.9 1.3: 71.1 | 88.9 ★ |
| PT | 88.4 1.3: 93.3 | 94.9 ★ | 91.8 1.3: 94.7 | 97.1 ★ |
| RU | 79.3 1.3: 66.9 | 83.3 ★ | 82.2 1.3: 75.8 | 85.6 ★ |
| Sprache | 1.5 · exakt | 1.5 · ≥ 50 % | 1.4 · exakt | 1.4 · ≥ 50 % |
|---|---|---|---|---|
| Alltagsnachrichten (ai4privacy) | ||||
| DE | 80.0 | 83.4 | 74.7 | 81.9 |
| EN | 73.3 | 78.5 | 70.7 | 77.7 |
| FR | 78.9 | 80.5 | 78.9 | 80.4 |
| IT | 76.6 | 79.9 | 73.4 | 78.5 |
| Synthetische Geschäftsdokumente (Gretel) | ||||
| EN | 53.4 | 65.3 | 49.0 | 61.5 |
| Synthetische US-Formulare (Nemotron-PII) | ||||
| EN | 69.6 | 73.1 | 62.5 | 66.2 |
| Gerichtsurteile (TAB) | ||||
| EN | 75.8 | 84.4 | 41.3 | 74.7 |
| EN + Daten | 82.4 | 88.4 | 29.8 | 53.9 |
| EU-Rechtstext (MAPA) | ||||
| DE | 51.4 | 61.0 | 46.0 | 54.0 |
| DE + Daten | 64.9 | 71.8 | 37.8 | 44.2 |
| EN | 30.8 | 35.0 | 25.2 | 31.1 |
| EN + Daten | 54.7 | 57.4 | 20.5 | 25.3 |
| ES | 31.0 | 32.8 | 25.9 | 28.8 |
| ES + Daten | 51.9 | 53.0 | 20.3 | 22.6 |
| FR | 44.0 | 50.6 | 43.1 | 46.3 |
| FR + Daten | 54.8 | 60.6 | 37.7 | 40.5 |
| IT | 3.7 | 11.9 | 3.3 | 10.8 |
| IT + Daten | 32.5 | 38.8 | 2.7 | 8.9 |
| PT | 46.9 | 53.3 | 46.6 | 52.5 |
| PT + Daten | 55.8 | 60.8 | 40.2 | 45.3 |
| Enzyklopädie-Sätze (MultiNERD) | ||||
| DE | 88.7 | 91.5 | 87.2 | 91.4 |
| EN | 91.2 | 93.4 | 89.6 | 93.4 |
| ES | 92.1 | 95.5 | 91.1 | 95.0 |
| FR | 90.7 | 92.8 | 89.0 | 90.6 |
| IT | 93.7 | 95.1 | 92.0 | 94.1 |
| PL | 79.8 | 84.0 | 71.5 | 76.4 |
| PT | 91.0 | 92.4 | 88.7 | 92.2 |
| RU | 77.6 | 83.1 | 72.3 | 81.5 |
Alltagsnachrichten (ai4privacy): ShinrAI 1.6.1 führt in 3 von 4 Zellen mit exakten Spannen, Azure in 1. Synthetische Geschäftsdokumente (Gretel): ShinrAI 1.6 führt in 1 von 1 Zellen mit exakten Spannen, Azure in 0. Synthetische US-Formulare (Nemotron-PII): ShinrAI 1.6 führt in 1 von 1 Zellen mit exakten Spannen, Azure in 0. Gerichtsurteile (TAB): ShinrAI 1.6 führt in 2 von 2 Zellen mit exakten Spannen, Azure in 0. EU-Rechtstext (MAPA): ShinrAI 1.6 führt in 8 von 12 Zellen mit exakten Spannen, Azure in 3. Enzyklopädie-Sätze (MultiNERD): ShinrAI 1.6.1 führt in 0 von 8 Zellen mit exakten Spannen, Azure in 8. Zeilen mit „+ Daten“ bewerten auch Datumsangaben, die ShinrAI mit seinem DATE-Head erkennt. Diese Werte sind nicht mit den Tabellen mit großzügigem Abgleich oben vergleichbar.
F1-Wert (0–100, höher ist besser), großzügiger Abgleich, identische Texte für jedes System.
| System | Wert |
|---|---|
| Azure AI PII preview (Microsoft) unveröffentlichte Preview-API — nicht das ausgelieferte Produkt | 88.8 |
| ShinrAI 1.6.1 1.3: 84.9 · auf dem aktualisierten Gold, das Datums- und Altersangaben bewertet: 87,2 (1.3: 82,3) | 82.9 |
| Azure AI PII (Microsoft) | 81.1 |
| Presidio (open source) | 75.6 |
| GLiNER2 PII (Fastino) | 74.3 |
| GLiNER PII (Urchade) | 70.9 |
| OpenMed Privacy Filter | 67.1 |
| OpenMed PII E5 | 66.2 |
| Privacy Filter (OpenAI) | 55.0 |
| Piiranha v1 (III) | 27.2 |
| System | ursprüngliches Gold | aktualisiertes Gold |
|---|---|---|
| ShinrAI 1.5 | 81.3 | 85.3 |
| ShinrAI 1.4 | 85.1 | 82.8 |
Microsofts ausgeliefertes Produkt (Azure AI PII GA) erreicht hier 81,1; ShinrAI 1.6.1 erreicht 82,9. Ihre Preview-API erreicht 88,8; sie ist nicht allgemein verfügbar. Das ursprüngliche Gold dieser Suite hat keine Datums- oder Alters-Labels, daher zählt in dieser Tabelle jede Datums- und Altersangabe, die ShinrAI findet, gegen ShinrAI. Die Wettbewerberzeilen bleiben auf dem ursprünglichen Gold, bis ihre Zuordnung von Datums- und Altersangaben auf dem aktualisierten Gold geprüft ist.
F1, großzügiger Abgleich · bewertet hier Personen, Orte, Straßen und Firmen; erkennt insgesamt 21 Heads. Noch nicht mit 1.6.1 gemessen; das ist der Wert von 1.6.
1.3: 98.1
Ihr rein japanisches Extraktionsmodell. Es liefert fünf Kategorien: Namen, Adressen, Firmen, E-Mails, Telefonnummern.
| System | Wert |
|---|---|
| ShinrAI 1.5 | 98.4 |
| ShinrAI 1.4 | — |
Das Modell liest 1024 Token auf einmal und gleitet mit überlappenden Fenstern über längeren Text; Spannen werden an den Nähten zusammengeführt — eine 30-seitige Datei läuft als ein Dokument. Die Serving-Schicht ergänzt automatische Segmentierung für Konversationstext: Kurzer Text wird am Stück dekodiert; längerer Text bekommt zusätzlich einen Satz-Durchlauf, und beide müssen übereinstimmen, bevor eine Spanne zählt.
Bei vierfacher Brieflänge halten die Werte: EN 97,5, DE 95,4 (1.6.1; 1.3: EN 97,7, DE 94,5) — keine Qualitätsklippe. Der Gerichtsurteil-Test oben (TAB, ~5.000 Zeichen pro Dokument) läuft durch genau diesen Pfad. Fairness: Wettbewerbsmodelle mit 512-Token-Limit erhielten auf langen Dokumenten dieselbe Fensterung — die Tabelle misst ihre Modelle, nicht ihre Abschneide-Voreinstellung.
| System | EN 4× | DE 4× |
|---|---|---|
| ShinrAI 1.5 | 97.1 | 95.2 |
| ShinrAI 1.4 | 97.8 | 94.9 |
Wir veröffentlichen das, weil Werkzeuge nach gemessenen Zahlen gewählt werden sollten — unsere eingeschlossen. Jede Zeile vergleicht 1.6.1 mit 1.3 und dem stärksten Wettbewerber, sofern die Zeile nicht 1.6 nennt (noch nicht mit 1.6.1 gemessen); die offenen Punkte bleiben in unserem Programm.
| Bereich | heute gemessen | Status |
|---|---|---|
| Sehr lange Akten (REDACT-Test) | 57,6 vs. Azure Preview 51,2 (1.3: 36,5) | Der Recall in der 4-Head-Sicht stieg von 24,9 (1.3) auf 51,8. Die Präzision in der 14-Head-Sicht, 54,5, ist der nächste Punkt. |
| Synthetisches US-Formular-Register (Gretel, Nemotron) | 1.6: 72,7 / 79,4 großzügig vs. Liquid AI 84,5 / 87,3 (1.3: 52,2 / 64,4) | Das Formular-Register bleibt ein offener Punkt. |
| Spannen-Konventionen in Gerichtsdokumenten (TAB) | 1.6: Personen 80,6, Datumsangaben 91,1, Organisationen 72,5 exakte Spannen (1.3: 34,4 für Personen und Organisationen zusammen) | Namen von Institutionen folgen anderen Konventionen und bleiben offen. |
| Chat-Angriffs-Prompts | 82,9 vs. Azure Preview 88,8 (ursprüngliches Gold); 87,2 auf dem aktualisierten Gold | Vor jedem ausgelieferten Produkt. Die unveröffentlichte Azure-Preview-API führt auf dem ursprünglichen Gold. |
| Enzyklopädie-Register in 8 von 15 Sprachen | Recall 34,5 (1.3) → 81,9 (1.6.1) | Größtenteils geschlossen. Die sieben westlichen Sprachen erreichen 92,3 Recall (1.3: 86,0). Im Portugiesischen sind 221 der 395 Gold-Texte auch Trainingstexte jeder Version seit 1.3; ohne sie erreichen die sieben Sprachen 92,2 Recall (1.3: etwa 85,4). |
| Hebräisch (Beta) | 71,1 in unserem Test über 15 Sprachräume (1.3: 59,5) | Unter Release-Niveau. In jedem Median gezeigt und gezählt. |
| Bereich | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| Sehr lange Akten (REDACT-Test) | 55.6 | 46.4 |
| Synthetisches US-Formular-Register (Gretel, Nemotron) | 70.9 / 76.7 | — |
| Spannen-Konventionen in Gerichtsdokumenten (TAB) | 84.1 | — |
| Chat-Angriffs-Prompts | 81.3 | 85.1 |
| Enzyklopädie-Register in 8 von 15 Sprachen | 72.8 | 66.5 |
| Hebräisch (Beta) | 71.2 | 70.5 |
Zeit für die PII-Erkennung einer Anfrage, gemessen mit dem offenen Modell innovius/shinrai-pii-m-v1.3 (volle Präzision, ONNX Runtime). Vier Textgrößen: eine Chat-Nachricht (62 Token ≈ 45 Wörter), ein Absatz (317 Token ≈ 230 Wörter — die Größe hinter jeder ShinrAI-Latenzangabe), eine Seite (1.024 Token, das Fenster des Modells) und ein langes Dokument (10.000 Token ≈ 15 Seiten). Zahlen ohne Zeichen sind auf dieser Maschine gemessen; ≈ ist eine Schätzung aus dem Rechenaufwand des Modells (±40 %); ~ ist von einer gemessenen Schwester-Maschine skaliert.
| Maschine | RAM / VRAM | Chat-Nachricht | Absatz | Seite | Langes Dokument | Wofür es reicht |
|---|---|---|---|---|---|---|
| Einplatinen-Computer | ||||||
| Raspberry Pi 4 Model B (4 GB) | 4 GB · zu klein | ≈706 ms | ≈3.7 s | ≈12.5 s | ≈2.6 min | Nur Dokumente & Datenpipelines — zu langsam für Chats |
| Raspberry Pi 4 Model B (8 GB) | 8 GB · reicht | ≈706 ms | ≈3.7 s | ≈12.5 s | ≈2.6 min | Nur Dokumente & Datenpipelines — zu langsam für Chats |
| Raspberry Pi 5 (8 GB) | 8 GB · reicht | ≈193 ms | ≈982 ms | ≈3.3 s | ≈40.4 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Raspberry Pi 5 (16 GB) | 16 GB · reicht | ≈193 ms | ≈982 ms | ≈3.3 s | ≈40.4 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Mini-PCs | ||||||
| Intel N100 mini PC (16 GB) | 16 GB · reicht | ≈158 ms | ≈774 ms | ≈2.6 s | ≈31.6 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Laptops | ||||||
| Apple M1 (MacBook Air class, 4P+4E) | 8 GB · reicht | ~87 ms | ~458 ms | ~1.8 s | ≈16.9 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Apple M4 (MacBook Air / iMac / Mac mini, 4P+6E) | 16 GB · reicht | ~16 ms | ~78 ms | ~310 ms | ~4.0 s | Echtzeit: KI-Chats & Assistenten |
| x86 laptop, 8 cores (Ryzen 7 7840U / Core Ultra 7 class) | 16 GB · reicht | ~48 ms | ~189 ms | ~676 ms | ~6.8 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Desktops & Workstations | ||||||
| Apple M4 Pro (Mac mini 2024, 10P+4E) | 64 GB · reicht | 13 ms | 56 ms | 233 ms | 3.1 s | Echtzeit: KI-Chats & Assistenten |
| AMD Threadripper 7960X workstation (24 cores, CPU only) | 64 GB · reicht | ≈21 ms | ≈65 ms | ≈193 ms | ≈2.3 s | Echtzeit: KI-Chats & Assistenten |
| Edge-GPUs (Jetson) | ||||||
| NVIDIA Jetson Orin Nano Super (8 GB) | 8 GB · reicht | ≈24 ms | ≈106 ms | ≈344 ms | ≈4.2 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| NVIDIA Jetson Orin NX (16 GB) | 16 GB · reicht | ≈26 ms | ≈116 ms | ≈380 ms | ≈4.6 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| NVIDIA Jetson AGX Orin (64 GB) | 64 GB · reicht | ≈13 ms | ≈45 ms | ≈140 ms | ≈1.7 s | Echtzeit: KI-Chats & Assistenten |
| Desktop-/Workstation-GPUs | ||||||
| NVIDIA DGX Spark (GB10) | 128 GB · reicht | ≈7 ms | ≈12 ms | ≈28 ms | ≈278 ms | Echtzeit: KI-Chats & Assistenten |
| NVIDIA RTX 3090 (24 GB) | 24 GB · reicht | ≈6 ms | ≈11 ms | ≈24 ms | ≈239 ms | Echtzeit: KI-Chats & Assistenten |
| NVIDIA RTX 4090 (24 GB) | 24 GB · reicht | ≈6 ms | ≈10 ms | ≈22 ms | ≈206 ms | Echtzeit: KI-Chats & Assistenten |
| Server & Cloud-VMs — nur CPU | ||||||
| AMD EPYC 7002 'Rome' VM, 2 vCPU (cgroup limit) | 6 GB · reicht | 131 ms | 589 ms | 2.2 s | 29.8 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| AMD EPYC 7002 'Rome' VM, 4 vCPU | 6 GB · reicht | 83 ms | 350 ms | 1.2 s | 15.5 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| AMD EPYC 7002 'Rome' VM, 8 vCPU | 6 GB · reicht | 59 ms | 237 ms | 845 ms | 8.5 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| AMD EPYC 7002 'Rome' VM, 16 vCPU | 6 GB · reicht | 76 ms | 215 ms | 668 ms | 7.2 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Cloud VM, 4 vCPU x86 (AMD EPYC 9V74 "Genoa", shared, GitHub-hosted runner) | 16 GB · reicht | 105 ms | 514 ms | 1.9 s | ≈21.0 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Cloud VM, 4 vCPU Arm (Neoverse N2 / Cobalt 100, GitHub-hosted runner) | 16 GB · reicht | 92 ms | 442 ms | 1.7 s | ≈18.0 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Cloud VM, 4 vCPU Intel Ice Lake / Sapphire Rapids (AVX-512 VNNI) | 16 GB · reicht | ~70 ms | ~298 ms | ~1.0 s | ~13.1 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Hugging Face Space, cpu-upgrade (8 vCPU, 32 GB) | 32 GB · reicht | ~83 ms | ~350 ms | ~1.2 s | ~15.5 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| STACKIT c2a.4d (4 dedicated AMD EPYC Genoa vCPU, 8 GB) | 8 GB · reicht | 76 ms | 364 ms | 1.2 s | 13.4 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| STACKIT n2.14d.g1 host CPU path (14 dedicated Intel Sapphire Rapids vCPU) | 50 GB · reicht | 26 ms | 91 ms | 337 ms | ≈3.4 s | Echtzeit: KI-Chats & Assistenten |
| STACKIT c2i.4 (4 shared Intel Ice Lake vCPU, overcommit 4, 8 GB) | 8 GB · reicht | 57 ms | 250 ms | 1.2 s | 16.3 s | Agentische KI & Workflows (kein Echtzeit-Chat) |
| Server — GPU | ||||||
| NVIDIA Tesla P40 (24 GB, Pascal 2016) | 24 GB · reicht | 9 ms | 25 ms | 93 ms | 1.6 s | Echtzeit: KI-Chats & Assistenten |
| NVIDIA T4 (16 GB) | 16 GB · reicht | ≈10 ms | ≈31 ms | ≈93 ms | ≈1.1 s | Echtzeit: KI-Chats & Assistenten |
| NVIDIA L4 (24 GB) | 24 GB · reicht | ≈7 ms | ≈12 ms | ≈28 ms | ≈282 ms | Echtzeit: KI-Chats & Assistenten |
| NVIDIA A10 (24 GB) | 24 GB · reicht | ≈7 ms | ≈12 ms | ≈27 ms | ≈271 ms | Echtzeit: KI-Chats & Assistenten |
| NVIDIA L40S (48 GB) | 48 GB · reicht | 6 ms | 8 ms | 20 ms | 305 ms | Echtzeit: KI-Chats & Assistenten |
| NVIDIA A100 (80 GB) | 80 GB · reicht | ≈6 ms | ≈8 ms | ≈14 ms | ≈112 ms | Echtzeit: KI-Chats & Assistenten |
| NVIDIA H100 SXM (80 GB) | 80 GB · reicht | ≈6 ms | ≈6 ms | ≈8 ms | ≈39 ms | Echtzeit: KI-Chats & Assistenten |
Raspberry Pi: geeignet für Dokument- und Datenpipelines (ein Absatz dauert auf dem Pi 5 etwa eine Sekunde, auf dem Pi 4 vier), nicht für Chats. Mindestens 4 GB RAM mit dem kompakten Modelldatei-Layout, 8 GB komfortabel, 64-bit-OS.
Speicher: eine Modell-Session in voller Präzision braucht etwa 1.9 GB RAM im ausgelieferten Format oder etwa 0.9 GB mit der Modelldatei im ONNX-External-Data-Layout (gleiche Geschwindigkeit) — unsere Empfehlung für kleine Geräte.
Über den ShinrAI-Dienst liest der Standard-Modus für lange Eingaben Texte über 1.200 Zeichen zusätzlich Satz für Satz (bessere Trefferquote); das kostet bei einem Absatz etwa das Dreifache. Die Zeilen unten zeigen beide Modi auf derselben GPU.
| ShinrAI-Dienst auf einer Tesla P40 (2016) | Chat-Nachricht | Absatz | Brief (2 Seiten) | Langes Dokument |
|---|---|---|---|---|
| nur Modell (ganzer Text in einem Durchlauf) | 9 ms | 25 ms | 175 ms | 1.6 s |
| Standard: Langtext-Modus (Satzstücke) | 9 ms | 69 ms | 348 ms | 4.9 s |
Erzeugt 2026-09-03 aus research/hardware-map/hardware-map.json (scripts/hardware/render-map.py).
| Klasse | ShinrAI 1.6.1 | Azure PII | GLiNER2 | Presidio | OpenAI PF |
|---|---|---|---|---|---|
| PERSON häufig / selten / rar (Namensrang) | nativer Head | Person | zero-shot | PERSON (spaCy) | private persons only |
| CITY groß / mittel / klein (Einwohnerzahl) | nativer Head | City/Location (preview) | zero-shot | LOCATION (spaCy) | — |
| STREET generisch / spezifisch / lokal | nativer Head | Address | zero-shot | — | private address |
| ORG international / national / regional (Sitelinks) | nativer Head | Organization | zero-shot (P 15–33%) | ORGANIZATION (off by default) | — |
| EMAIL Standard | nativer Head | zero-shot | EMAIL_ADDRESS | private email | |
| USERNAME Standard | nativer Head | — | zero-shot | — | — |
| URL Standard | nativer Head | URL | zero-shot | URL | private url |
| PHONE Standard | nativer Head | PhoneNumber | zero-shot | PHONE_NUMBER | private phone |
| ACCOUNT Standard | nativer Head | IBAN / BankAccount | zero-shot | IBAN_CODE, US_BANK_NUMBER | — |
| WALLET Standard | nativer Head | — | zero-shot | CRYPTO | — |
| CARD Standard | nativer Head | CreditCardNumber | zero-shot | CREDIT_CARD | — |
| NATIONAL_ID Standard | nativer Head | ~70 country ID categories | zero-shot | ~76 country recognizers | — |
| PLATE Standard | nativer Head | LicensePlate (preview) | zero-shot | — | — |
| DOB Standard | nativer Head | DateOfBirth (preview) | zero-shot | DATE_TIME (any date) | — |
| NETADDR Standard | nativer Head | IPAddress | zero-shot | IP_ADDRESS | — |
| POSTAL_CODE Standard | nativer Head | ZipCode (preview) | zero-shot | — | — |
| CUSTOMER_ID Standard | nativer Head | — | zero-shot | — | — |
| SECRET Standard | nativer Head | Password (preview) | zero-shot | — | — |
| CODENAME Standard | nativer Head | — | zero-shot (43% recall on the 27 prompts; 7 languages) | — | — |
| DATE Kalenderdaten und Ereignisjahre — neu in 1.5; Geburtsdaten bleiben DOB | nativer Head | DateTime (any date) | zero-shot | DATE_TIME (any date) | — |
| AGE eine genannte Altersangabe: Zahl mit Einheit, bloße Zahl im Altersfeld, Spanne, Wortform — neu in 1.5 | nativer Head | Age | zero-shot | — | — |
| F1-Wert | Eine Zahl von 0 bis 100, die „alles gefunden“ (Trefferquote) und „keine Fehlalarme“ (Präzision) verbindet. Höher ist besser. |
| Strikt | Ein Fund zählt nur mit exakten Zeichengrenzen und dem richtigen Typ. |
| Großzügig / partiell | Ein Fund zählt, wenn er den richtigen Text mit dem richtigen Typ trifft. Fairer über Systeme mit unterschiedlichen Spannen-Konventionen hinweg. |
| Testset × Sprache | Jede Tabellenzeile ist ein öffentliches Testset in einer Sprache, typisch 300 Texte. |
| Bester Schwellwert | Wettbewerber berichten ihren besten Wert über alle Empfindlichkeitseinstellungen. ShinrAI berichtet immer seine Standardeinstellungen. |
| ⚠ auf diesem Testset trainiert | Das System hat die Daten dieses Tests im Training gesehen — sein Wert dort ist aufgebläht und nicht vergleichbar. |
| Präzision / Trefferquote | Präzision: Wie viel von allem Markierten war richtig. Trefferquote: Wie viel von allem Vorhandenen wurde gefunden. |
| Beta-Sprachraum | Hebräisch wird für Integration und Feedback ausgeliefert; die Qualität liegt unter Release-Niveau und wird überall gezeigt — und mitgezählt. |
ShinrAI (信頼, japanisch für Vertrauen) · Innovius × EECC Research Labs · trainiert am Jülich Supercomputing Centre (JURECA, WestAI) · offene Modellgewichte · ShinrAI live ausprobieren — PII-Playground