English Deutsch 日本語
Innovius · ShinrAI 信頼 · Semantische Verschlüsselung

PII-Benchmark-Board

Wie gut funktionieren PII-Detektoren wirklich? Wir messen unsere eigenen Releases und das gesamte Feld auf denselben Texten, mit derselben Bewertung — und veröffentlichen alles, auch dort, wo wir zurückliegen.

🇩🇪 🇬🇧 🇺🇸 🇫🇷 🇪🇸 🇮🇹 🇵🇱 🇵🇹 🇧🇷 🇷🇺 🇺🇦 🇹🇷 🇸🇦 🇯🇵 🇰🇷 🇮🇱
15 Sprachräume · ein Modell · 21 Heads · 🇪🇺 Release mit EU-Fokus, weitere folgen · 🇮🇱 Hebräisch ist Beta
Calm, private AI

Das Release auf diesem Board

ShinrAI 1.6.1 heute in der API

Sprachen15 Sprachräume
Erkennung21 Heads · Daten und Altersangaben

Gegenüber ShinrAI 1.3: Median über 15 Sprachräume 95,0 → 95,5, Ukrainisch 86,7 → 94,6, Hebräisch (Beta) 59,5 → 71,1, Schwärzung langer Dokumente 36,5 → 57,6, enzyklopädischer Recall der acht neu aufgebauten Sprachen 34,5 → 81,9. Auf unserer Feldprobe aus echten Briefen, Formularen und Chats (nur das Modell) schützt 1.6.1 139 von 186 Werten; 1.3 schützt 50. Mittelwerte mit exakten Spannen auf öffentlichen Testsets: ai4privacy 75,2 → 79,2, MultiNERD 85,4 → 88,5. Es besteht unsere Memorisierungs-Prüfungen vor der Freigabe. 1.6.1 läuft in der Managed API unter der Modell-ID v1.6; das Modell mit offenen Gewichten ist ShinrAI 1.3 unter der Innovius Open License.

1.6.1 über die ShinrAI API nutzen →

ShinrAI 1.6.1 ist gemessen und läuft in der Managed API, gehostet bei STACKIT in der EU. Heute verfügbar unter getshinrai.de. Referenz ist ShinrAI 1.3: Jede Tabelle zeigt sie neben 1.6.1 oder 1.6, die Werte von 1.4 und 1.5 stehen in einer eingeklappten Zeile unter jeder Tabelle. Das Enterprise-Produkt legt zusätzliche regelbasierte Erkennung darüber (Prüfsummen-Validatoren, deterministische Identifier); diese Schicht ist konstruktionsbedingt exakt und nicht Teil dieser Werte.

Unser Test über 15 Sprachräume

Geschäfts- & Klinikbriefe — unser Test über 15 Sprachräume
Realistische Briefe, Rechnungen und Kliniknotizen je Sprache. Finde jeden Namen, Ort, jede Firma und jeden Identifier.
Sehr geehrte Frau Keller, Ihr Termin in Leipzig ist bestätigt — Kundennummer KD-2024-88371.

F1-Wert (0–100, höher ist besser · exakte Spannen). 200 Texte je Sprachraum. Der 1.6.1-Median von 95,5 (1.3: 95,0) schließt das hebräische Beta ein. Azure AI PII, gemessen auf denselben Texten: 53–76.

LandSpracheWertShinrAI 1.6.1 F1Präzision / Trefferquote1.3 → 1.6.1
🇯🇵JA
98.497.5 / 99.298.1 → 98.4
🇧🇷PT-BR
98.097.4 / 98.697.3 → 98.0
🇬🇧🇺🇸EN
97.496.2 / 98.797.7 → 97.4
🇪🇸ES
97.496.5 / 98.296.9 → 97.4
🇷🇺RU
96.995.9 / 97.896.4 → 96.9
🇫🇷FR
96.695.9 / 97.396.0 → 96.6
🇮🇹IT
95.794.7 / 96.795.0 → 95.7
🇩🇪🇦🇹🇨🇭DE
95.594.7 / 96.494.4 → 95.5
🇰🇷KO
95.293.2 / 97.295.5 → 95.2
🇺🇦UA
94.692.0 / 97.486.7 → 94.6
🇵🇹PT-PT
94.293.6 / 94.894.2 → 94.2
🇹🇷TR
93.793.1 / 94.290.1 → 93.7
🇵🇱PL
92.790.7 / 94.790.9 → 92.7
🇸🇦AR
91.492.3 / 90.487.9 → 91.4
🇮🇱HE Beta
71.164.0 / 80.059.5 → 71.1
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
JA98.598.5
PT-BR98.298.3
EN97.397.8
ES97.697.7
RU96.996.6
FR96.496.2
IT96.196.3
DE95.594.5
KO95.295.4
UA95.095.1
PT-PT94.694.3
TR93.291.8
PL93.591.7
AR90.191.4
HE71.270.5
Median95.595.4

Das Land zählt: Das Modell weiß, wie ein Straßenname in Frankreich gegenüber Spanien aussieht — und wie ein Firmenname in Japan. Erkennung und Ersetzungen folgen den Konventionen jedes Landes.

Klinische und juristische Dokumente

ShinrAI erkennt Datums- und Altersangaben mit zwei eigenen Heads, DATE und AGE (seit 1.5), trainiert auf generierten klinischen und juristischen Dokumenten, französischen Klinikberichten, Gerichtsurteilen und EU-Rechtssätzen. Die Tabellen vergleichen 1.6 mit 1.3, das keinen der beiden Heads hatte. Noch nicht mit 1.6.1 gemessen; das sind die Werte von 1.6.

Gerichtsurteile

75.4

F1 mit exakten Spannen auf 127 EGMR-Urteilen · 1.3: 34,4 · Azure Preview: 47,6

Gerichtsurteile mit Daten

82.2

dieselben Urteile, Datumsangaben mitbewertet · Azure Preview: 55,5

EU-Rechtstext mit Daten

52.3

mittlerer F1 mit exakten Spannen über sechs MAPA-Sprachen · Azure Preview: 48,4

Klinikfälle

84.5

MEDDOCAN (es), F1 mit exakten Spannen für Personen, Orte, Organisationen · 1.3: 51,0 · Datumsangaben 94.9 · Altersangaben 95.2

Klinikbriefe

79.5

GraSCCo (de), F1 mit exakten Spannen für Personen, Orte, Organisationen · 1.3: 50,2 · Datumsangaben 80.0

Heute verfügbar über die ShinrAI API, gehostet bei STACKIT in der EU.

Farben in den Beispielen: Person · Ort · Organisation · Datum / Alter
Klinikbriefe und Klinikfälle
Zwei öffentliche klinische Korpora — MEDDOCAN (Spanisch, 250 Klinikfälle) und GraSCCo (Deutsch, 63 Klinikbriefe) — plus unsere eigenen Klinikbrief-Testsets. Finde die Personen, Orte, Organisationen, Daten und Altersangaben.
Sehr geehrte Frau Kollegin Dr. Weber, wir berichten über Herrn Lukas Brandt, 54 Jahre, der sich am 12.03.2026 in der Klinik St. Anna, Leipzig, vorstellte.
KorpusPersonen · Orte · Organisationen
ShinrAI 1.6
Personen · Orte · Organisationen
1.3
Daten
1.6
Altersangaben
1.6
MEDDOCAN (es) — 250 Klinikfälle84.5 / 93.151.0 / 70.094.9 / 98.295.2 / 96.3
GraSCCo (de) — 63 Klinikbriefe79.5 / 88.750.2 / 72.480.0 / 87.215.0 / 85.0
Unsere Klinikbriefe (de · en · es · fr · it, je 300)86.8 · 88.9 · 86.2 · 86.5 · 88.786.5 · 89.5 · 87.9 · 86.1 · 90.5——
Frühere Releases: 1.4 und 1.5
KorpusPersonen · Orte · Organisationen
1.5
Daten
1.5
Altersangaben
1.5
Personen · Orte · Organisationen
1.4-Build
MEDDOCAN (es) — 250 Klinikfälle82.9 / 92.894.4 / 97.995.4 / 96.961.6 / 79.2
GraSCCo (de) — 63 Klinikbriefe80.0 / 90.079.4 / 88.015.0 / 85.057.2 / 75.9
Unsere Klinikbriefe (de · en · es · fr · it, je 300)86.3 · 89.3 · 86.5 · 86.8 · 88.1——87.6 · 89.7 · 87.8 · 86.2 · 90.8

F1 (0–100), exakte Spanne / Überlappung gleichen Typs. Personen, Orte und Organisationen werden zusammen bewertet, Datums- und Altersangaben je Typ. 1.3 läuft durch denselben Scorer auf denselben Dokumenten; es hatte keinen Datums- oder Alters-Head. Die 1.4-Werte in der eingeklappten Tabelle stammen aus einem Trainings-Build von 1.4, nicht aus den ausgelieferten Gewichten.

Gerichtsurteile und EU-Recht
Echte Urteile des Europäischen Gerichtshofs für Menschenrechte (TAB, 127 lange Dokumente) und EUR-Lex-Sätze (MAPA, 300 je Sprache). Finde die Parteien, Vertreter, Institutionen und Daten.
The applicant, Mr Henrik Hasslund, aged 57, lodged the application on 14 September 2016; the Aarhus District Court had dismissed the claim on 3 May 2019.
ZelleDatenPersonenOrganisationen
TAB — Urteile des Europäischen Gerichtshofs für Menschenrechte (en)
127 Urteile
91.180.672.5
MAPA — EUR-Lex-Rechtstext (en)
300 Sätze
96.943.624.4
MAPA (fr)
300 Sätze
88.141.046.6
MAPA (de)
300 Sätze
88.739.458.0
Frühere Releases: 1.4 und 1.5
ZelleDaten
1.5
Personen
1.5
Organisationen
1.5
TAB — Urteile des Europäischen Gerichtshofs für Menschenrechte (en)91.084.171.1
MAPA — EUR-Lex-Rechtstext (en)97.545.124.3
MAPA (fr)88.741.146.1
MAPA (de)90.836.459.8

F1 mit exakten Spannen je Typ, Standard-Serving-Einstellungen. MAPA markiert Gerichte, Parteien und Rollen nach anderen Konventionen als wir, daher bleiben diese Zellen niedrig. 1.3 hatte keinen Datums-Head; auf TAB erreichte es 34,4 F1 mit exakten Spannen für Personen und Organisationen zusammen.

Öffentliche Testsets — alle im selben Prüfstand

ShinrAI 1.6.1 gegen das Feld auf denselben Testsets. Die Notiz unter jedem ShinrAI-Wert ist ShinrAI 1.3 auf derselben Zelle; die Werte von 1.4 und 1.5 stehen in der eingeklappten Zeile unter jeder Tabelle. Gretel, Nemotron-PII, TAB und MAPA zeigen ShinrAI 1.6: noch nicht mit 1.6.1 gemessen. Die vollständigen Zahlen je Korpus stehen auf der Modellkarte.

Jeder Wettbewerber läuft an seinem besten Schwellwert; ShinrAI läuft mit Standardeinstellungen. Werte sind F1 (0–100, höher ist besser) mit großzügigem Abgleich — ein Fund zählt, wenn er den richtigen Text mit dem richtigen Typ trifft (siehe Glossar). ★ markiert das beste System je Zeile. ⚠ markiert Systeme, die auf genau diesem Testset trainiert haben.

Farben in den Beispielen: Person · Ort · Identifier · Organisation
ai4privacy — Alltagsnachrichten
Kurze Chatnachrichten und Formularausschnitte mit eingebetteten persönlichen Daten. Vier Sprachen.
Hi Maria Ortega, your parcel to 8 Elm Road, Leeds arrives Friday.
SpracheShinrAI 1.6.1LFM2.5 PII (Liquid AI)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE87.7
1.3: 85.4
69.435.611.021.390.3 ★
⚠ Trainingsüberschneidung wahrscheinlich
77.8———
EN81.3
1.3: 80.8
76.738.310.921.186.9 ★
⚠ Trainingsüberschneidung wahrscheinlich
70.268.450.069.1
FR83.7
1.3: 82.6
74.537.99.716.290.6 ★
⚠ Trainingsüberschneidung wahrscheinlich
75.9———
IT83.6
1.3: 83.3
70.945.213.125.389.0 ★
⚠ Trainingsüberschneidung wahrscheinlich
73.8———
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
DE87.985.2
EN81.581.7
FR83.883.0
IT80.479.0
MultiNERD — Enzyklopädie-Sätze
Sätze im Wikipedia-Stil in acht Sprachen. Finde die Personen und Organisationen.
Clara Immerwahr studied chemistry in Breslau before joining the university institute.
SpracheShinrAI 1.6.1LFM2.5 PII (Liquid AI)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE92.9 ★
1.3: 92.1
62.345.625.737.958.591.3
⚠ Trainingsdaten nicht offengelegt
———
EN92.6
1.3: 94.9
60.945.817.328.558.796.2 ★
⚠ Trainingsdaten nicht offengelegt
86.965.186.5
ES96.6 ★
1.3: 97.7
61.539.016.529.564.493.3
⚠ Trainingsdaten nicht offengelegt
———
FR92.3 ★
1.3: 93.3
61.740.216.526.961.490.3
⚠ Trainingsdaten nicht offengelegt
———
IT94.8 ★
1.3: 96.8
56.233.911.821.760.491.4
⚠ Trainingsdaten nicht offengelegt
———
PL88.2 ★
1.3: 81.2
65.932.320.123.745.787.8
⚠ Trainingsdaten nicht offengelegt
———
PT92.5
1.3: 94.7
62.738.415.428.861.096.1 ★
⚠ Trainingsdaten nicht offengelegt
———
RU85.2 ★
1.3: 82.5
53.934.917.918.151.582.5
⚠ Trainingsdaten nicht offengelegt
———
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
DE91.591.8
EN93.493.4
ES96.095.0
FR93.491.6
IT95.194.1
PL87.285.4
PT92.492.2
RU85.586.9
Gretel — synthetische Geschäftsdokumente
Maschinell erzeugte Urkunden, Anträge und Akten — das Formular-Register.
ADOPTION CERTIFICATE — confirms the adoption of Urvashi Jaggi, identifier UID-PRWBO4TB.
SpracheShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN72.7
1.3: 52.2
30.744.284.5 ★34.078.174.324.354.624.823.551.460.053.946.437.339.7
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
EN70.9—
Nemotron-PII — synthetische US-Formulare
Maschinell erzeugte US-Antragsformulare und Briefe (NVIDIA-Testset).
I, Jason, live at 87 Avenida De La Estrella. Date of birth 1987-05-22.
SpracheShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN79.4
1.3: 64.4
46.557.587.354.693.9 ★
⚠ auf diesem Testset trainiert
89.612.949.711.010.964.865.568.068.341.248.7
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
EN76.7—
TAB — echte Gerichtsurteile (lange Dokumente)
Echte Entscheidungen des Europäischen Gerichtshofs für Menschenrechte, je rund 5.000 Zeichen. Anonymisiere die Personen und Organisationen.
…lodged by Mr Henrik Hasslund, represented by Mr Tyge Trier, a lawyer in Copenhagen…
SpracheShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN87.8 ★
1.3: 78.3
48.2
⚠ API-Limit 5.120 Zeichen; lange Dokumente abgeschnitten
72.860.036.149.150.422.453.015.517.830.323.583.6
⚠ Trainingsdaten nicht offengelegt
65.466.972.6
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
EN87.3—
MAPA — EU-Rechtstexte
Sätze aus EU-Recht (EUR-LEX) in sechs Sprachen. Dünn besetzt — viele Sätze enthalten nichts zu finden, was es für jedes System schwer macht.
Reference for a preliminary ruling from the Rechtbank Amsterdam concerning SF.
SpracheShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE62.7 ★
1.3: 60.5
55.938.627.813.434.212.210.315.86.310.119.443.148.9———
EN36.6
1.3: 36.2
23.419.331.728.653.4 ★13.14.810.23.24.229.048.234.836.342.530.9
ES39.0
1.3: 39.0
28.23.543.632.573.0 ★13.96.210.42.94.354.849.436.0———
FR49.9 ★
1.3: 48.6
42.925.132.56.133.011.28.017.35.27.618.131.744.4———
IT14.2
1.3: 13.3
11.27.034.010.436.6 ★10.01.72.81.21.330.130.311.9———
PT52.7 ★
1.3: 48.7
48.825.828.813.443.518.09.418.56.912.026.444.252.4———
Frühere Releases: 1.4 und 1.5
SpracheShinrAI 1.5ShinrAI 1.4
DE64.3—
EN36.4—
ES36.2—
FR50.6—
IT13.7—
PT53.7—

Strikte Grenzwerte (exakte Zeichenspannen) für jede Zelle oben liegen den Roh-Läufen bei.

Direktvergleich: ShinrAI 1.6.1 vs. Azure AI PII Preview

Microsofts Preview-Modell 2026-05, von uns auf 28 Testset-Zellen in einem Prüfstand gemessen, derselbe Scorer, zwei Regeln: exakte Spannen, und Spannen, die mindestens die Hälfte der Gold-Spanne abdecken. ★ markiert den Führenden je Zelle. Azure läuft an seinem besten Schwellwert, ShinrAI mit Standardeinstellungen. Alltagsnachrichten (ai4privacy) und Enzyklopädie-Sätze (MultiNERD) zeigen ShinrAI 1.6.1; die anderen Zeilen zeigen ShinrAI 1.6, noch nicht mit 1.6.1 gemessen.

Exakte Spannen

15 / 28

Zellen, in denen ShinrAI führt

Überlappung ≥ 50 %

15 / 28

Zellen, in denen ShinrAI führt

SpracheShinrAI · exaktAzure · exaktShinrAI · ≥ 50 %Azure · ≥ 50 %
Alltagsnachrichten (ai4privacy)
DE81.6
1.3: 76.4
82.9 ★84.4 ★
1.3: 82.0
82.9
EN74.9 ★
1.3: 69.4
72.979.7 ★
1.3: 77.7
74.1
FR80.0 ★
1.3: 75.8
78.382.1 ★
1.3: 80.0
79.6
IT80.3 ★
1.3: 79.0
76.283.1 ★
1.3: 82.9
77.3
Synthetische Geschäftsdokumente (Gretel)
EN56.3 ★
1.3: 28.9
42.167.9 ★
1.3: 43.1
52.4
Synthetische US-Formulare (Nemotron-PII)
EN72.9 ★
1.3: 50.0
63.076.7 ★
1.3: 56.7
69.9
Gerichtsurteile (TAB)
EN75.4 ★
1.3: 34.4
47.684.9 ★
1.3: 69.0
79.5
EN + Daten82.2 ★55.588.5 ★81.9
EU-Rechtstext (MAPA)
DE51.4 ★
1.3: 44.4
44.059.4 ★
1.3: 54.8
55.5
DE + Daten64.4 ★33.270.2 ★41.9
EN30.3 ★
1.3: 27.3
16.435.2 ★
1.3: 33.7
21.5
EN + Daten54.2 ★44.557.8 ★48.8
ES30.9 ★
1.3: 30.9
28.630.9 ★
1.3: 35.8
30.5
ES + Daten50.050.051.051.3 ★
FR44.1
1.3: 41.0
49.4 ★49.3
1.3: 47.3
51.9 ★
FR + Daten54.662.9 ★59.464.7 ★
IT3.8 ★
1.3: 3.8
3.413.3
1.3: 11.4
13.4 ★
IT + Daten33.842.9 ★40.850.2 ★
PT47.1 ★
1.3: 42.3
44.552.7 ★
1.3: 48.3
46.9
PT + Daten57.0 ★56.661.2 ★58.4
Enzyklopädie-Sätze (MultiNERD)
DE90.0
1.3: 87.3
96.4 ★92.9
1.3: 89.7
96.4 ★
EN90.4
1.3: 90.4
95.7 ★92.6
1.3: 94.4
96.3 ★
ES93.2
1.3: 93.7
97.6 ★96.6
1.3: 97.7
97.6 ★
FR90.2
1.3: 89.6
96.1 ★91.3
1.3: 91.2
96.1 ★
IT93.4
1.3: 95.4
97.8 ★94.8
1.3: 96.1
99.3 ★
PL83.3
1.3: 66.9
88.0 ★84.9
1.3: 71.1
88.9 ★
PT88.4
1.3: 93.3
94.9 ★91.8
1.3: 94.7
97.1 ★
RU79.3
1.3: 66.9
83.3 ★82.2
1.3: 75.8
85.6 ★
Frühere Releases: 1.4 und 1.5
Sprache1.5 · exakt1.5 · ≥ 50 %1.4 · exakt1.4 · ≥ 50 %
Alltagsnachrichten (ai4privacy)
DE80.083.474.781.9
EN73.378.570.777.7
FR78.980.578.980.4
IT76.679.973.478.5
Synthetische Geschäftsdokumente (Gretel)
EN53.465.349.061.5
Synthetische US-Formulare (Nemotron-PII)
EN69.673.162.566.2
Gerichtsurteile (TAB)
EN75.884.441.374.7
EN + Daten82.488.429.853.9
EU-Rechtstext (MAPA)
DE51.461.046.054.0
DE + Daten64.971.837.844.2
EN30.835.025.231.1
EN + Daten54.757.420.525.3
ES31.032.825.928.8
ES + Daten51.953.020.322.6
FR44.050.643.146.3
FR + Daten54.860.637.740.5
IT3.711.93.310.8
IT + Daten32.538.82.78.9
PT46.953.346.652.5
PT + Daten55.860.840.245.3
Enzyklopädie-Sätze (MultiNERD)
DE88.791.587.291.4
EN91.293.489.693.4
ES92.195.591.195.0
FR90.792.889.090.6
IT93.795.192.094.1
PL79.884.071.576.4
PT91.092.488.792.2
RU77.683.172.381.5

Alltagsnachrichten (ai4privacy): ShinrAI 1.6.1 führt in 3 von 4 Zellen mit exakten Spannen, Azure in 1. Synthetische Geschäftsdokumente (Gretel): ShinrAI 1.6 führt in 1 von 1 Zellen mit exakten Spannen, Azure in 0. Synthetische US-Formulare (Nemotron-PII): ShinrAI 1.6 führt in 1 von 1 Zellen mit exakten Spannen, Azure in 0. Gerichtsurteile (TAB): ShinrAI 1.6 führt in 2 von 2 Zellen mit exakten Spannen, Azure in 0. EU-Rechtstext (MAPA): ShinrAI 1.6 führt in 8 von 12 Zellen mit exakten Spannen, Azure in 3. Enzyklopädie-Sätze (MultiNERD): ShinrAI 1.6.1 führt in 0 von 8 Zellen mit exakten Spannen, Azure in 8. Zeilen mit „+ Daten“ bewerten auch Datumsangaben, die ShinrAI mit seinem DATE-Head erkennt. Diese Werte sind nicht mit den Tabellen mit großzügigem Abgleich oben vergleichbar.

Angriffsresistenz

Chat-Angriffs-Prompts
27 Chatnachrichten, geschrieben wie Menschen wirklich Daten an eine KI verlieren — Spitznamen, Andeutungen, verstreute Details — gebaut, um an Filtern vorbeizukommen (aus einer Privacy-Studie von 2026).
"my colleague — let's call him R. — just moved to the office on Karlsplatz for project Bluebird…"

F1-Wert (0–100, höher ist besser), großzügiger Abgleich, identische Texte für jedes System.

SystemWert
Azure AI PII preview (Microsoft)
unveröffentlichte Preview-API — nicht das ausgelieferte Produkt
88.8
ShinrAI 1.6.1
1.3: 84.9 · auf dem aktualisierten Gold, das Datums- und Altersangaben bewertet: 87,2 (1.3: 82,3)
82.9
Azure AI PII (Microsoft)81.1
Presidio (open source)75.6
GLiNER2 PII (Fastino)74.3
GLiNER PII (Urchade)70.9
OpenMed Privacy Filter67.1
OpenMed PII E566.2
Privacy Filter (OpenAI)55.0
Piiranha v1 (III)27.2
Frühere Releases: 1.4 und 1.5
Systemursprüngliches Goldaktualisiertes Gold
ShinrAI 1.581.385.3
ShinrAI 1.485.182.8

Microsofts ausgeliefertes Produkt (Azure AI PII GA) erreicht hier 81,1; ShinrAI 1.6.1 erreicht 82,9. Ihre Preview-API erreicht 88,8; sie ist nicht allgemein verfügbar. Das ursprüngliche Gold dieser Suite hat keine Datums- oder Alters-Labels, daher zählt in dieser Tabelle jede Datums- und Altersangabe, die ShinrAI findet, gegen ShinrAI. Die Wettbewerberzeilen bleiben auf dem ursprünglichen Gold, bis ihre Zuordnung von Datums- und Altersangaben auf dem aktualisierten Gold geprüft ist.

Japanisch im Direktvergleich 🇯🇵

Unser Name ist japanisch — der Test auch
300 japanische Geschäfts- und Klinikbriefe. ShinrAI (信頼) gegen Liquid AIs dediziertes japanisches PII-Modell.
担当者 入迫 かつなが 様 — 川崎フロンターレ、川崎市中原区

ShinrAI 1.6

98.3

F1, großzügiger Abgleich · bewertet hier Personen, Orte, Straßen und Firmen; erkennt insgesamt 21 Heads. Noch nicht mit 1.6.1 gemessen; das ist der Wert von 1.6.

1.3: 98.1

LFM2 PII Extract JP (Liquid AI)

56.6

Ihr rein japanisches Extraktionsmodell. Es liefert fünf Kategorien: Namen, Adressen, Firmen, E-Mails, Telefonnummern.

Frühere Releases: 1.4 und 1.5
SystemWert
ShinrAI 1.598.4
ShinrAI 1.4—

Lange Dokumente — wie ShinrAI sie liest

Wie langer Text verarbeitet wird

Das Modell liest 1024 Token auf einmal und gleitet mit überlappenden Fenstern über längeren Text; Spannen werden an den Nähten zusammengeführt — eine 30-seitige Datei läuft als ein Dokument. Die Serving-Schicht ergänzt automatische Segmentierung für Konversationstext: Kurzer Text wird am Stück dekodiert; längerer Text bekommt zusätzlich einen Satz-Durchlauf, und beide müssen übereinstimmen, bevor eine Spanne zählt.

Auf langen Dokumenten gemessen

Bei vierfacher Brieflänge halten die Werte: EN 97,5, DE 95,4 (1.6.1; 1.3: EN 97,7, DE 94,5) — keine Qualitätsklippe. Der Gerichtsurteil-Test oben (TAB, ~5.000 Zeichen pro Dokument) läuft durch genau diesen Pfad. Fairness: Wettbewerbsmodelle mit 512-Token-Limit erhielten auf langen Dokumenten dieselbe Fensterung — die Tabelle misst ihre Modelle, nicht ihre Abschneide-Voreinstellung.

Frühere Releases: 1.4 und 1.5
SystemEN 4×DE 4×
ShinrAI 1.597.195.2
ShinrAI 1.497.894.9

Verbesserungsfelder

Wir veröffentlichen das, weil Werkzeuge nach gemessenen Zahlen gewählt werden sollten — unsere eingeschlossen. Jede Zeile vergleicht 1.6.1 mit 1.3 und dem stärksten Wettbewerber, sofern die Zeile nicht 1.6 nennt (noch nicht mit 1.6.1 gemessen); die offenen Punkte bleiben in unserem Programm.

Bereichheute gemessenStatus
Sehr lange Akten (REDACT-Test)57,6 vs. Azure Preview 51,2 (1.3: 36,5)Der Recall in der 4-Head-Sicht stieg von 24,9 (1.3) auf 51,8. Die Präzision in der 14-Head-Sicht, 54,5, ist der nächste Punkt.
Synthetisches US-Formular-Register (Gretel, Nemotron)1.6: 72,7 / 79,4 großzügig vs. Liquid AI 84,5 / 87,3 (1.3: 52,2 / 64,4)Das Formular-Register bleibt ein offener Punkt.
Spannen-Konventionen in Gerichtsdokumenten (TAB)1.6: Personen 80,6, Datumsangaben 91,1, Organisationen 72,5 exakte Spannen (1.3: 34,4 für Personen und Organisationen zusammen)Namen von Institutionen folgen anderen Konventionen und bleiben offen.
Chat-Angriffs-Prompts82,9 vs. Azure Preview 88,8 (ursprüngliches Gold); 87,2 auf dem aktualisierten GoldVor jedem ausgelieferten Produkt. Die unveröffentlichte Azure-Preview-API führt auf dem ursprünglichen Gold.
Enzyklopädie-Register in 8 von 15 SprachenRecall 34,5 (1.3) → 81,9 (1.6.1)Größtenteils geschlossen. Die sieben westlichen Sprachen erreichen 92,3 Recall (1.3: 86,0). Im Portugiesischen sind 221 der 395 Gold-Texte auch Trainingstexte jeder Version seit 1.3; ohne sie erreichen die sieben Sprachen 92,2 Recall (1.3: etwa 85,4).
Hebräisch (Beta)71,1 in unserem Test über 15 Sprachräume (1.3: 59,5)Unter Release-Niveau. In jedem Median gezeigt und gezählt.
Frühere Releases: 1.4 und 1.5
BereichShinrAI 1.5ShinrAI 1.4
Sehr lange Akten (REDACT-Test)55.646.4
Synthetisches US-Formular-Register (Gretel, Nemotron)70.9 / 76.7—
Spannen-Konventionen in Gerichtsdokumenten (TAB)84.1—
Chat-Angriffs-Prompts81.385.1
Enzyklopädie-Register in 8 von 15 Sprachen72.866.5
Hebräisch (Beta)71.270.5

Wie schnell ist ShinrAI auf Ihrer Hardware?

Zeit für die PII-Erkennung einer Anfrage, gemessen mit dem offenen Modell innovius/shinrai-pii-m-v1.3 (volle Präzision, ONNX Runtime). Vier Textgrößen: eine Chat-Nachricht (62 Token ≈ 45 Wörter), ein Absatz (317 Token ≈ 230 Wörter — die Größe hinter jeder ShinrAI-Latenzangabe), eine Seite (1.024 Token, das Fenster des Modells) und ein langes Dokument (10.000 Token ≈ 15 Seiten). Zahlen ohne Zeichen sind auf dieser Maschine gemessen; ≈ ist eine Schätzung aus dem Rechenaufwand des Modells (±40 %); ~ ist von einer gemessenen Schwester-Maschine skaliert.

MaschineRAM / VRAMChat-NachrichtAbsatzSeiteLanges DokumentWofür es reicht
Einplatinen-Computer
Raspberry Pi 4 Model B (4 GB)4 GB · zu klein≈706 ms≈3.7 s≈12.5 s≈2.6 minNur Dokumente & Datenpipelines — zu langsam für Chats
Raspberry Pi 4 Model B (8 GB)8 GB · reicht≈706 ms≈3.7 s≈12.5 s≈2.6 minNur Dokumente & Datenpipelines — zu langsam für Chats
Raspberry Pi 5 (8 GB)8 GB · reicht≈193 ms≈982 ms≈3.3 s≈40.4 sAgentische KI & Workflows (kein Echtzeit-Chat)
Raspberry Pi 5 (16 GB)16 GB · reicht≈193 ms≈982 ms≈3.3 s≈40.4 sAgentische KI & Workflows (kein Echtzeit-Chat)
Mini-PCs
Intel N100 mini PC (16 GB)16 GB · reicht≈158 ms≈774 ms≈2.6 s≈31.6 sAgentische KI & Workflows (kein Echtzeit-Chat)
Laptops
Apple M1 (MacBook Air class, 4P+4E)8 GB · reicht~87 ms~458 ms~1.8 s≈16.9 sAgentische KI & Workflows (kein Echtzeit-Chat)
Apple M4 (MacBook Air / iMac / Mac mini, 4P+6E)16 GB · reicht~16 ms~78 ms~310 ms~4.0 sEchtzeit: KI-Chats & Assistenten
x86 laptop, 8 cores (Ryzen 7 7840U / Core Ultra 7 class)16 GB · reicht~48 ms~189 ms~676 ms~6.8 sAgentische KI & Workflows (kein Echtzeit-Chat)
Desktops & Workstations
Apple M4 Pro (Mac mini 2024, 10P+4E)64 GB · reicht13 ms56 ms233 ms3.1 sEchtzeit: KI-Chats & Assistenten
AMD Threadripper 7960X workstation (24 cores, CPU only)64 GB · reicht≈21 ms≈65 ms≈193 ms≈2.3 sEchtzeit: KI-Chats & Assistenten
Edge-GPUs (Jetson)
NVIDIA Jetson Orin Nano Super (8 GB)8 GB · reicht≈24 ms≈106 ms≈344 ms≈4.2 sAgentische KI & Workflows (kein Echtzeit-Chat)
NVIDIA Jetson Orin NX (16 GB)16 GB · reicht≈26 ms≈116 ms≈380 ms≈4.6 sAgentische KI & Workflows (kein Echtzeit-Chat)
NVIDIA Jetson AGX Orin (64 GB)64 GB · reicht≈13 ms≈45 ms≈140 ms≈1.7 sEchtzeit: KI-Chats & Assistenten
Desktop-/Workstation-GPUs
NVIDIA DGX Spark (GB10)128 GB · reicht≈7 ms≈12 ms≈28 ms≈278 msEchtzeit: KI-Chats & Assistenten
NVIDIA RTX 3090 (24 GB)24 GB · reicht≈6 ms≈11 ms≈24 ms≈239 msEchtzeit: KI-Chats & Assistenten
NVIDIA RTX 4090 (24 GB)24 GB · reicht≈6 ms≈10 ms≈22 ms≈206 msEchtzeit: KI-Chats & Assistenten
Server & Cloud-VMs — nur CPU
AMD EPYC 7002 'Rome' VM, 2 vCPU (cgroup limit)6 GB · reicht131 ms589 ms2.2 s29.8 sAgentische KI & Workflows (kein Echtzeit-Chat)
AMD EPYC 7002 'Rome' VM, 4 vCPU6 GB · reicht83 ms350 ms1.2 s15.5 sAgentische KI & Workflows (kein Echtzeit-Chat)
AMD EPYC 7002 'Rome' VM, 8 vCPU6 GB · reicht59 ms237 ms845 ms8.5 sAgentische KI & Workflows (kein Echtzeit-Chat)
AMD EPYC 7002 'Rome' VM, 16 vCPU6 GB · reicht76 ms215 ms668 ms7.2 sAgentische KI & Workflows (kein Echtzeit-Chat)
Cloud VM, 4 vCPU x86 (AMD EPYC 9V74 "Genoa", shared, GitHub-hosted runner)16 GB · reicht105 ms514 ms1.9 s≈21.0 sAgentische KI & Workflows (kein Echtzeit-Chat)
Cloud VM, 4 vCPU Arm (Neoverse N2 / Cobalt 100, GitHub-hosted runner)16 GB · reicht92 ms442 ms1.7 s≈18.0 sAgentische KI & Workflows (kein Echtzeit-Chat)
Cloud VM, 4 vCPU Intel Ice Lake / Sapphire Rapids (AVX-512 VNNI)16 GB · reicht~70 ms~298 ms~1.0 s~13.1 sAgentische KI & Workflows (kein Echtzeit-Chat)
Hugging Face Space, cpu-upgrade (8 vCPU, 32 GB)32 GB · reicht~83 ms~350 ms~1.2 s~15.5 sAgentische KI & Workflows (kein Echtzeit-Chat)
STACKIT c2a.4d (4 dedicated AMD EPYC Genoa vCPU, 8 GB)8 GB · reicht76 ms364 ms1.2 s13.4 sAgentische KI & Workflows (kein Echtzeit-Chat)
STACKIT n2.14d.g1 host CPU path (14 dedicated Intel Sapphire Rapids vCPU)50 GB · reicht26 ms91 ms337 ms≈3.4 sEchtzeit: KI-Chats & Assistenten
STACKIT c2i.4 (4 shared Intel Ice Lake vCPU, overcommit 4, 8 GB)8 GB · reicht57 ms250 ms1.2 s16.3 sAgentische KI & Workflows (kein Echtzeit-Chat)
Server — GPU
NVIDIA Tesla P40 (24 GB, Pascal 2016)24 GB · reicht9 ms25 ms93 ms1.6 sEchtzeit: KI-Chats & Assistenten
NVIDIA T4 (16 GB)16 GB · reicht≈10 ms≈31 ms≈93 ms≈1.1 sEchtzeit: KI-Chats & Assistenten
NVIDIA L4 (24 GB)24 GB · reicht≈7 ms≈12 ms≈28 ms≈282 msEchtzeit: KI-Chats & Assistenten
NVIDIA A10 (24 GB)24 GB · reicht≈7 ms≈12 ms≈27 ms≈271 msEchtzeit: KI-Chats & Assistenten
NVIDIA L40S (48 GB)48 GB · reicht6 ms8 ms20 ms305 msEchtzeit: KI-Chats & Assistenten
NVIDIA A100 (80 GB)80 GB · reicht≈6 ms≈8 ms≈14 ms≈112 msEchtzeit: KI-Chats & Assistenten
NVIDIA H100 SXM (80 GB)80 GB · reicht≈6 ms≈6 ms≈8 ms≈39 msEchtzeit: KI-Chats & Assistenten

Raspberry Pi: geeignet für Dokument- und Datenpipelines (ein Absatz dauert auf dem Pi 5 etwa eine Sekunde, auf dem Pi 4 vier), nicht für Chats. Mindestens 4 GB RAM mit dem kompakten Modelldatei-Layout, 8 GB komfortabel, 64-bit-OS.

Speicher: eine Modell-Session in voller Präzision braucht etwa 1.9 GB RAM im ausgelieferten Format oder etwa 0.9 GB mit der Modelldatei im ONNX-External-Data-Layout (gleiche Geschwindigkeit) — unsere Empfehlung für kleine Geräte.

Über den ShinrAI-Dienst liest der Standard-Modus für lange Eingaben Texte über 1.200 Zeichen zusätzlich Satz für Satz (bessere Trefferquote); das kostet bei einem Absatz etwa das Dreifache. Die Zeilen unten zeigen beide Modi auf derselben GPU.

ShinrAI-Dienst auf einer Tesla P40 (2016)Chat-NachrichtAbsatzBrief (2 Seiten)Langes Dokument
nur Modell (ganzer Text in einem Durchlauf)9 ms25 ms175 ms1.6 s
Standard: Langtext-Modus (Satzstücke)9 ms69 ms348 ms4.9 s

Erzeugt 2026-09-03 aus research/hardware-map/hardware-map.json (scripts/hardware/render-map.py).

Was erkannt wird — 21 Heads

KlasseShinrAI 1.6.1Azure PIIGLiNER2PresidioOpenAI PF
PERSON
häufig / selten / rar (Namensrang)
nativer HeadPersonzero-shotPERSON (spaCy)private persons only
CITY
groß / mittel / klein (Einwohnerzahl)
nativer HeadCity/Location (preview)zero-shotLOCATION (spaCy)—
STREET
generisch / spezifisch / lokal
nativer HeadAddresszero-shot—private address
ORG
international / national / regional (Sitelinks)
nativer HeadOrganizationzero-shot (P 15–33%)ORGANIZATION (off by default)—
EMAIL
Standard
nativer HeadEmailzero-shotEMAIL_ADDRESSprivate email
USERNAME
Standard
nativer Head—zero-shot——
URL
Standard
nativer HeadURLzero-shotURLprivate url
PHONE
Standard
nativer HeadPhoneNumberzero-shotPHONE_NUMBERprivate phone
ACCOUNT
Standard
nativer HeadIBAN / BankAccountzero-shotIBAN_CODE, US_BANK_NUMBER—
WALLET
Standard
nativer Head—zero-shotCRYPTO—
CARD
Standard
nativer HeadCreditCardNumberzero-shotCREDIT_CARD—
NATIONAL_ID
Standard
nativer Head~70 country ID categorieszero-shot~76 country recognizers—
PLATE
Standard
nativer HeadLicensePlate (preview)zero-shot——
DOB
Standard
nativer HeadDateOfBirth (preview)zero-shotDATE_TIME (any date)—
NETADDR
Standard
nativer HeadIPAddresszero-shotIP_ADDRESS—
POSTAL_CODE
Standard
nativer HeadZipCode (preview)zero-shot——
CUSTOMER_ID
Standard
nativer Head—zero-shot——
SECRET
Standard
nativer HeadPassword (preview)zero-shot——
CODENAME
Standard
nativer Head—zero-shot (43% recall on the 27 prompts; 7 languages)——
DATE
Kalenderdaten und Ereignisjahre — neu in 1.5; Geburtsdaten bleiben DOB
nativer HeadDateTime (any date)zero-shotDATE_TIME (any date)—
AGE
eine genannte Altersangabe: Zahl mit Einheit, bloße Zahl im Altersfeld, Spanne, Wortform — neu in 1.5
nativer HeadAgezero-shot——
Ein Datensatz, alles auf einmal
Dr. Anna Keller (Leipzig, Lindenweg 12) of Volksbank Nordpark — anna.k@example.de · +49 170 1234567 · IBAN DE89 3704 0044 0532 0130 00 · customer KD-448291 · project Bluebird · aged 54 · appointment 12 March 2026
Dazu drei Attributsignale, die kein anderes System liefert — kulturelle Herkunft (51 Klassen), Geschlechtsausdruck, Namensbestandteil — die Steuerdaten für Ersetzungen, die natürlich lesen und verlustfrei zurückwandelbar sind.

Glossar

F1-WertEine Zahl von 0 bis 100, die „alles gefunden“ (Trefferquote) und „keine Fehlalarme“ (Präzision) verbindet. Höher ist besser.
StriktEin Fund zählt nur mit exakten Zeichengrenzen und dem richtigen Typ.
Großzügig / partiellEin Fund zählt, wenn er den richtigen Text mit dem richtigen Typ trifft. Fairer über Systeme mit unterschiedlichen Spannen-Konventionen hinweg.
Testset × SpracheJede Tabellenzeile ist ein öffentliches Testset in einer Sprache, typisch 300 Texte.
Bester SchwellwertWettbewerber berichten ihren besten Wert über alle Empfindlichkeitseinstellungen. ShinrAI berichtet immer seine Standardeinstellungen.
⚠ auf diesem Testset trainiertDas System hat die Daten dieses Tests im Training gesehen — sein Wert dort ist aufgebläht und nicht vergleichbar.
Präzision / TrefferquotePräzision: Wie viel von allem Markierten war richtig. Trefferquote: Wie viel von allem Vorhandenen wurde gefunden.
Beta-SprachraumHebräisch wird für Integration und Feedback ausgeliefert; die Qualität liegt unter Release-Niveau und wird überall gezeigt — und mitgezählt.

Methode

ShinrAI (信頼, japanisch für Vertrauen) · Innovius × EECC Research Labs · trainiert am Jülich Supercomputing Centre (JURECA, WestAI) · offene Modellgewichte · ShinrAI live ausprobieren — PII-Playground