English Deutsch 日本語
Innovius · ShinrAI 信頼 · 意味論的暗号化

PIIベンチマークボード

PII検出器は実際どこまで機能するのか。私たちは自社のリリースと他社システムを同じテキスト・同じ採点で測定し、劣っている箇所も含めてすべてを公開します。

🇩🇪 🇬🇧 🇺🇸 🇫🇷 🇪🇸 🇮🇹 🇵🇱 🇵🇹 🇧🇷 🇷🇺 🇺🇦 🇹🇷 🇸🇦 🇯🇵 🇰🇷 🇮🇱
15ロケール · ひとつのモデル · 21ヘッド · 🇪🇺 EU重視リリース、順次拡大 · 🇮🇱 ヘブライ語はベータ
Calm, private AI

このボードのリリース

ShinrAI 1.6.1 本日から API で利用可

対応言語15ロケール
検出21ヘッド · 日付と年齢

ShinrAI 1.3比:15ロケール中央値 95.0 → 95.5、ウクライナ語 86.7 → 94.6、ヘブライ語(ベータ)59.5 → 71.1、長文書の秘匿化 36.5 → 57.6、再構築8言語の百科事典リコール 34.5 → 81.9。実際の手紙・フォーム・チャットからなるフィールドベンチ(モデル単体)で、1.6.1は186件中139件の値を保護します。1.3は50件です。公開テストセットの厳密スパン平均:ai4privacy 75.2 → 79.2、MultiNERD 85.4 → 88.5。リリース前の記憶化チェックに合格しています。1.6.1はマネージドAPIで提供します(モデルID v1.6)。オープンウェイトのモデルはInnovius Open LicenseのShinrAI 1.3です。

ShinrAI APIで1.6.1を使う →

ShinrAI 1.6.1は測定済みで、EU内のSTACKITでホストされるマネージドAPIで稼働中。本日よりgetshinrai.jpで利用可能。基準はShinrAI 1.3で、各表は1.6.1または1.6の隣に1.3を示し、1.4と1.5の値は各表の下の折りたたみ行にあります。エンタープライズ製品はその上にルールベース検出(チェックサム検証、決定的識別子)を重ねます。この層は構造上正確であり、これらのスコアには含まれません。

15ロケール自社テスト

ビジネス文書・診療文書 — 15ロケール自社テスト
各言語の現実的な書簡・請求書・診療メモ。氏名、地名、企業名、識別子をすべて検出します。
Sehr geehrte Frau Keller, Ihr Termin in Leipzig ist bestätigt — Kundennummer KD-2024-88371.

F1スコア(0–100、高いほど良い · 厳密スパン)。ロケールごとに200テキスト。1.6.1の中央値 95.5(1.3: 95.0)はヘブライ語ベータを含みます。同じテキストで測定したAzure AI PII:53–76。

国言語スコアShinrAI 1.6.1 F1適合率 / 再現率1.3 → 1.6.1
🇯🇵JA
98.497.5 / 99.298.1 → 98.4
🇧🇷PT-BR
98.097.4 / 98.697.3 → 98.0
🇬🇧🇺🇸EN
97.496.2 / 98.797.7 → 97.4
🇪🇸ES
97.496.5 / 98.296.9 → 97.4
🇷🇺RU
96.995.9 / 97.896.4 → 96.9
🇫🇷FR
96.695.9 / 97.396.0 → 96.6
🇮🇹IT
95.794.7 / 96.795.0 → 95.7
🇩🇪🇦🇹🇨🇭DE
95.594.7 / 96.494.4 → 95.5
🇰🇷KO
95.293.2 / 97.295.5 → 95.2
🇺🇦UA
94.692.0 / 97.486.7 → 94.6
🇵🇹PT-PT
94.293.6 / 94.894.2 → 94.2
🇹🇷TR
93.793.1 / 94.290.1 → 93.7
🇵🇱PL
92.790.7 / 94.790.9 → 92.7
🇸🇦AR
91.492.3 / 90.487.9 → 91.4
🇮🇱HE ベータ
71.164.0 / 80.059.5 → 71.1
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
JA98.598.5
PT-BR98.298.3
EN97.397.8
ES97.697.7
RU96.996.6
FR96.496.2
IT96.196.3
DE95.594.5
KO95.295.4
UA95.095.1
PT-PT94.694.3
TR93.291.8
PL93.591.7
AR90.191.4
HE71.270.5
中央値95.595.4

国が重要です。モデルはフランスとスペインで街路名がどう違うか、日本で企業名がどう見えるかを知っています。検出も置換も各国の慣習に従います。

臨床文書と法務文書

ShinrAIは専用の2つのヘッドDATEとAGE(1.5から)で日付と年齢を検出します。生成した臨床・法務文書、フランス語の臨床報告、判決文、EU法の文で学習しています。表は1.6を、どちらのヘッドも持たない1.3と比較します。1.6.1ではまだ測定していません。1.6の値です。

判決文

75.4

欧州人権裁判所の判決127件での厳密スパンF1 · 1.3: 34.4 · Azureプレビュー: 47.6

日付を含む判決文

82.2

同じ判決、日付も採点 · Azureプレビュー: 55.5

日付を含むEU法文

52.3

MAPA 6言語の厳密スパンF1平均 · Azureプレビュー: 48.4

臨床症例

84.5

MEDDOCAN(es)、人物・場所・組織の厳密スパンF1 · 1.3: 51.0 · 日付 94.9 · 年齢 95.2

診療書簡

79.5

GraSCCo(de)、人物・場所・組織の厳密スパンF1 · 1.3: 50.2 · 日付 80.0

本日より利用可能 — EU内のSTACKITでホストされるShinrAI API経由。

例文中の色分け: 人名 · 地名 · 組織 · 日付 / 年齢
診療情報提供書と臨床症例
2つの公開臨床コーパス — MEDDOCAN(スペイン語、250症例)とGraSCCo(ドイツ語、63通の診療書簡) — に自社の診療書簡テストセットを加えたもの。人物・場所・組織・日付・年齢を見つけます。
Sehr geehrte Frau Kollegin Dr. Weber, wir berichten über Herrn Lukas Brandt, 54 Jahre, der sich am 12.03.2026 in der Klinik St. Anna, Leipzig, vorstellte.
コーパス人物 · 場所 · 組織
ShinrAI 1.6
人物 · 場所 · 組織
1.3
日付
1.6
年齢
1.6
MEDDOCAN (es) — 250症例84.5 / 93.151.0 / 70.094.9 / 98.295.2 / 96.3
GraSCCo (de) — 63通の診療書簡79.5 / 88.750.2 / 72.480.0 / 87.215.0 / 85.0
自社の診療書簡(de · en · es · fr · it、各300)86.8 · 88.9 · 86.2 · 86.5 · 88.786.5 · 89.5 · 87.9 · 86.1 · 90.5——
以前のリリース:1.4と1.5
コーパス人物 · 場所 · 組織
1.5
日付
1.5
年齢
1.5
人物 · 場所 · 組織
1.4ビルド
MEDDOCAN (es) — 250症例82.9 / 92.894.4 / 97.995.4 / 96.961.6 / 79.2
GraSCCo (de) — 63通の診療書簡80.0 / 90.079.4 / 88.015.0 / 85.057.2 / 75.9
自社の診療書簡(de · en · es · fr · it、各300)86.3 · 89.3 · 86.5 · 86.8 · 88.1——87.6 · 89.7 · 87.8 · 86.2 · 90.8

F1(0–100)、厳密スパン / 同タイプ重なり。人物・場所・組織はまとめて、日付・年齢はタイプ別に採点。1.3は同じ文書を同じスコアラーで測定しており、日付・年齢ヘッドはありませんでした。折りたたみ表の1.4の値は1.4の学習ビルドによるもので、出荷された重みではありません。

判決文とEU法
欧州人権裁判所の実判決(TAB、127件の長文書)とEUR-Lexの文(MAPA、各言語300文)。当事者・代理人・機関・日付を見つけます。
The applicant, Mr Henrik Hasslund, aged 57, lodged the application on 14 September 2016; the Aarhus District Court had dismissed the claim on 3 May 2019.
セル日付人物組織
TAB — 欧州人権裁判所の判決 (en)
127件の判決
91.180.672.5
MAPA — EUR-Lex法文 (en)
300文
96.943.624.4
MAPA (fr)
300文
88.141.046.6
MAPA (de)
300文
88.739.458.0
以前のリリース:1.4と1.5
セル日付
1.5
人物
1.5
組織
1.5
TAB — 欧州人権裁判所の判決 (en)91.084.171.1
MAPA — EUR-Lex法文 (en)97.545.124.3
MAPA (fr)88.741.146.1
MAPA (de)90.836.459.8

タイプ別の厳密スパンF1、既定サービング設定。MAPAは裁判所・当事者・役割を当社と異なる規約でラベル付けしており、これらのセルは低いままです。1.3には日付ヘッドがなく、TABでは人物・組織合計の厳密スパンF1が 34.4 でした。

公開テストセット — 全システムを同一測定環境で

同じテストセットでのShinrAI 1.6.1と競合。各ShinrAIスコアの下の注記は同じセルでのShinrAI 1.3です。1.4と1.5の値は各表の下の折りたたみ行にあります。Gretel、Nemotron-PII、TAB、MAPAはShinrAI 1.6の値です(1.6.1ではまだ測定していません)。コーパスごとの全数値はモデルカードにあります。

各社システムは自己最良のしきい値で、ShinrAIは標準設定で動作。スコアはF1(0–100、高いほど良い)、寛容マッチング — 正しいテキストに正しいタイプで触れれば検出成立(用語集参照)。★は行ごとの最良システム。⚠は当該テストセットで訓練したシステム。

例文中の色分け: 人名 · 地名 · 識別子 · 組織
ai4privacy — 日常メッセージ
個人データを埋め込んだ短いチャットとフォーム断片。4言語。
Hi Maria Ortega, your parcel to 8 Elm Road, Leeds arrives Friday.
言語ShinrAI 1.6.1LFM2.5 PII (Liquid AI)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE87.7
1.3: 85.4
69.435.611.021.390.3 ★
⚠ 訓練データ重複の可能性が高い
77.8———
EN81.3
1.3: 80.8
76.738.310.921.186.9 ★
⚠ 訓練データ重複の可能性が高い
70.268.450.069.1
FR83.7
1.3: 82.6
74.537.99.716.290.6 ★
⚠ 訓練データ重複の可能性が高い
75.9———
IT83.6
1.3: 83.3
70.945.213.125.389.0 ★
⚠ 訓練データ重複の可能性が高い
73.8———
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
DE87.985.2
EN81.581.7
FR83.883.0
IT80.479.0
MultiNERD — 百科事典文
8言語のWikipedia調の文。人物と組織を検出します。
Clara Immerwahr studied chemistry in Breslau before joining the university institute.
言語ShinrAI 1.6.1LFM2.5 PII (Liquid AI)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE92.9 ★
1.3: 92.1
62.345.625.737.958.591.3
⚠ 訓練データ非公開
———
EN92.6
1.3: 94.9
60.945.817.328.558.796.2 ★
⚠ 訓練データ非公開
86.965.186.5
ES96.6 ★
1.3: 97.7
61.539.016.529.564.493.3
⚠ 訓練データ非公開
———
FR92.3 ★
1.3: 93.3
61.740.216.526.961.490.3
⚠ 訓練データ非公開
———
IT94.8 ★
1.3: 96.8
56.233.911.821.760.491.4
⚠ 訓練データ非公開
———
PL88.2 ★
1.3: 81.2
65.932.320.123.745.787.8
⚠ 訓練データ非公開
———
PT92.5
1.3: 94.7
62.738.415.428.861.096.1 ★
⚠ 訓練データ非公開
———
RU85.2 ★
1.3: 82.5
53.934.917.918.151.582.5
⚠ 訓練データ非公開
———
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
DE91.591.8
EN93.493.4
ES96.095.0
FR93.491.6
IT95.194.1
PL87.285.4
PT92.492.2
RU85.586.9
Gretel — 合成ビジネス文書
機械生成の証明書・申請書・記録 — 書式文書レジスタ。
ADOPTION CERTIFICATE — confirms the adoption of Urvashi Jaggi, identifier UID-PRWBO4TB.
言語ShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN72.7
1.3: 52.2
30.744.284.5 ★34.078.174.324.354.624.823.551.460.053.946.437.339.7
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
EN70.9—
Nemotron-PII — 合成の米国書式
機械生成の米国申請書・書簡(NVIDIAテストセット)。
I, Jason, live at 87 Avenida De La Estrella. Date of birth 1987-05-22.
言語ShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN79.4
1.3: 64.4
46.557.587.354.693.9 ★
⚠ このテストセットで訓練済み
89.612.949.711.010.964.865.568.068.341.248.7
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
EN76.7—
TAB — 実在の判例(長文書)
欧州人権裁判所の実際の判決文、各約5,000字。人物と組織を匿名化します。
…lodged by Mr Henrik Hasslund, represented by Mr Tyge Trier, a lawyer in Copenhagen…
言語ShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN87.8 ★
1.3: 78.3
48.2
⚠ API上限5,120字。長文書は切り詰め
72.860.036.149.150.422.453.015.517.830.323.583.6
⚠ 訓練データ非公開
65.466.972.6
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
EN87.3—
MAPA — EU法令テキスト
EU法(EUR-LEX)の6言語の文。対象が疎らで、検出すべきものが無い文も多く、どのシステムにも難しい条件です。
Reference for a preliminary ruling from the Rechtbank Amsterdam concerning SF.
言語ShinrAI 1.6Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE62.7 ★
1.3: 60.5
55.938.627.813.434.212.210.315.86.310.119.443.148.9———
EN36.6
1.3: 36.2
23.419.331.728.653.4 ★13.14.810.23.24.229.048.234.836.342.530.9
ES39.0
1.3: 39.0
28.23.543.632.573.0 ★13.96.210.42.94.354.849.436.0———
FR49.9 ★
1.3: 48.6
42.925.132.56.133.011.28.017.35.27.618.131.744.4———
IT14.2
1.3: 13.3
11.27.034.010.436.6 ★10.01.72.81.21.330.130.311.9———
PT52.7 ★
1.3: 48.7
48.825.828.813.443.518.09.418.56.912.026.444.252.4———
以前のリリース:1.4と1.5
言語ShinrAI 1.5ShinrAI 1.4
DE64.3—
EN36.4—
ES36.2—
FR50.6—
IT13.7—
PT53.7—

上記全セルの厳密境界スコア(正確な文字スパン)は生の実行ファイルに同梱しています。

直接対決:ShinrAI 1.6.1 対 Azure AI PIIプレビュー

Microsoftの2026-05プレビューモデルを、当社が28個のテストセットのセルで同一ハーネス・同一スコアラー・2つの規則(厳密スパン、およびゴールドスパンの半分以上を覆うスパン)で測定。★はセルごとの首位。Azureは最良しきい値、ShinrAIは既定設定で実行。日常メッセージ(ai4privacy)と百科事典の文(MultiNERD)はShinrAI 1.6.1、その他の行はShinrAI 1.6の値です(1.6.1ではまだ測定していません)。

厳密スパン

15 / 28

ShinrAIが首位のセル

50%以上の重なり

15 / 28

ShinrAIが首位のセル

言語ShinrAI · 厳密Azure · 厳密ShinrAI · ≥ 50 %Azure · ≥ 50 %
日常メッセージ(ai4privacy)
DE81.6
1.3: 76.4
82.9 ★84.4 ★
1.3: 82.0
82.9
EN74.9 ★
1.3: 69.4
72.979.7 ★
1.3: 77.7
74.1
FR80.0 ★
1.3: 75.8
78.382.1 ★
1.3: 80.0
79.6
IT80.3 ★
1.3: 79.0
76.283.1 ★
1.3: 82.9
77.3
合成ビジネス文書(Gretel)
EN56.3 ★
1.3: 28.9
42.167.9 ★
1.3: 43.1
52.4
合成US書式(Nemotron-PII)
EN72.9 ★
1.3: 50.0
63.076.7 ★
1.3: 56.7
69.9
判決文(TAB)
EN75.4 ★
1.3: 34.4
47.684.9 ★
1.3: 69.0
79.5
EN + 日付82.2 ★55.588.5 ★81.9
EU法文(MAPA)
DE51.4 ★
1.3: 44.4
44.059.4 ★
1.3: 54.8
55.5
DE + 日付64.4 ★33.270.2 ★41.9
EN30.3 ★
1.3: 27.3
16.435.2 ★
1.3: 33.7
21.5
EN + 日付54.2 ★44.557.8 ★48.8
ES30.9 ★
1.3: 30.9
28.630.9 ★
1.3: 35.8
30.5
ES + 日付50.050.051.051.3 ★
FR44.1
1.3: 41.0
49.4 ★49.3
1.3: 47.3
51.9 ★
FR + 日付54.662.9 ★59.464.7 ★
IT3.8 ★
1.3: 3.8
3.413.3
1.3: 11.4
13.4 ★
IT + 日付33.842.9 ★40.850.2 ★
PT47.1 ★
1.3: 42.3
44.552.7 ★
1.3: 48.3
46.9
PT + 日付57.0 ★56.661.2 ★58.4
百科事典の文(MultiNERD)
DE90.0
1.3: 87.3
96.4 ★92.9
1.3: 89.7
96.4 ★
EN90.4
1.3: 90.4
95.7 ★92.6
1.3: 94.4
96.3 ★
ES93.2
1.3: 93.7
97.6 ★96.6
1.3: 97.7
97.6 ★
FR90.2
1.3: 89.6
96.1 ★91.3
1.3: 91.2
96.1 ★
IT93.4
1.3: 95.4
97.8 ★94.8
1.3: 96.1
99.3 ★
PL83.3
1.3: 66.9
88.0 ★84.9
1.3: 71.1
88.9 ★
PT88.4
1.3: 93.3
94.9 ★91.8
1.3: 94.7
97.1 ★
RU79.3
1.3: 66.9
83.3 ★82.2
1.3: 75.8
85.6 ★
以前のリリース:1.4と1.5
言語1.5 · 厳密1.5 · ≥ 50 %1.4 · 厳密1.4 · ≥ 50 %
日常メッセージ(ai4privacy)
DE80.083.474.781.9
EN73.378.570.777.7
FR78.980.578.980.4
IT76.679.973.478.5
合成ビジネス文書(Gretel)
EN53.465.349.061.5
合成US書式(Nemotron-PII)
EN69.673.162.566.2
判決文(TAB)
EN75.884.441.374.7
EN + 日付82.488.429.853.9
EU法文(MAPA)
DE51.461.046.054.0
DE + 日付64.971.837.844.2
EN30.835.025.231.1
EN + 日付54.757.420.525.3
ES31.032.825.928.8
ES + 日付51.953.020.322.6
FR44.050.643.146.3
FR + 日付54.860.637.740.5
IT3.711.93.310.8
IT + 日付32.538.82.78.9
PT46.953.346.652.5
PT + 日付55.860.840.245.3
百科事典の文(MultiNERD)
DE88.791.587.291.4
EN91.293.489.693.4
ES92.195.591.195.0
FR90.792.889.090.6
IT93.795.192.094.1
PL79.884.071.576.4
PT91.092.488.792.2
RU77.683.172.381.5

日常メッセージ(ai4privacy):厳密スパンでShinrAI 1.6.1が4セル中3セル、Azureが1セルで首位。合成ビジネス文書(Gretel):厳密スパンでShinrAI 1.6が1セル中1セル、Azureが0セルで首位。合成US書式(Nemotron-PII):厳密スパンでShinrAI 1.6が1セル中1セル、Azureが0セルで首位。判決文(TAB):厳密スパンでShinrAI 1.6が2セル中2セル、Azureが0セルで首位。EU法文(MAPA):厳密スパンでShinrAI 1.6が12セル中8セル、Azureが3セルで首位。百科事典の文(MultiNERD):厳密スパンでShinrAI 1.6.1が8セル中0セル、Azureが8セルで首位。「+ 日付」行は日付も採点し、ShinrAIはDATEヘッドで検出します。これらの数値は上の寛容マッチング表とは比較できません。

攻撃耐性

チャット攻撃プロンプト
人が実際にAIへデータを漏らす書き方 — あだ名、ほのめかし、分散した詳細 — でフィルタをすり抜けるよう作られた27のチャット文(2026年のプライバシー研究より)。
"my colleague — let's call him R. — just moved to the office on Karlsplatz for project Bluebird…"

F1スコア(0–100、高いほど良い)、寛容マッチング、全システム同一テキスト。

システムスコア
Azure AI PII preview (Microsoft)
未リリースのプレビューAPI — 出荷済み製品ではありません
88.8
ShinrAI 1.6.1
1.3: 84.9 · 日付・年齢を採点する更新ゴールドでは 87.2(1.3: 82.3)
82.9
Azure AI PII (Microsoft)81.1
Presidio (open source)75.6
GLiNER2 PII (Fastino)74.3
GLiNER PII (Urchade)70.9
OpenMed Privacy Filter67.1
OpenMed PII E566.2
Privacy Filter (OpenAI)55.0
Piiranha v1 (III)27.2
以前のリリース:1.4と1.5
システム元のゴールド更新ゴールド
ShinrAI 1.581.385.3
ShinrAI 1.485.182.8

Microsoftの出荷製品(Azure AI PII GA)はここで81.1、ShinrAI 1.6.1は82.9です。同社のプレビューAPIは88.8ですが、一般提供されていません。このスイートの元のゴールドには日付・年齢ラベルがないため、ShinrAIが見つけた日付・年齢はこの表では減点になります。競合の行は、日付・年齢の対応付けが更新ゴールドで検証されるまで元のゴールドのままです。

日本語 直接対決 🇯🇵

名前が日本語なら、テストも日本語で
日本語のビジネス・診療文書300通。ShinrAI(信頼)対 Liquid AIの日本語専用PIIモデル。
担当者 入迫 かつなが 様 — 川崎フロンターレ、川崎市中原区

ShinrAI 1.6

98.3

F1、寛容マッチング · ここでは人物・場所・通り・企業を採点。全体では21ヘッドを検出。1.6.1ではまだ測定していません。1.6の値です。

1.3: 98.1

LFM2 PII Extract JP (Liquid AI)

56.6

同社の日本語専用抽出モデル。出力は5カテゴリ:氏名、住所、企業、メール、電話番号。

以前のリリース:1.4と1.5
システムスコア
ShinrAI 1.598.4
ShinrAI 1.4—

長文書 — ShinrAIの読み方

長いテキストの処理方法

モデルは一度に1024トークンを読み、長いテキストには重なり合う窓をスライドさせ、継ぎ目でスパンを統合します — 30ページのファイルも1つの文書として処理。サービング層は会話入力向けの自動セグメンテーションを追加:短文は一括デコード、長文は文単位の走査も行い、両者が一致して初めてスパンが成立します。

長文書での測定結果

手紙4倍の長さでもスコアは維持されます:EN 97.5、DE 95.4(1.6.1。1.3: EN 97.7、DE 94.5)— 品質の急落はありません。上の判決文テスト(TAB、1文書あたり約5,000文字)はまさにこの経路を通ります。公平性について:512トークン制限の競合モデルにも長文書では同じウィンドウ処理を適用しており、表は切り捨ての既定値ではなくモデルそのものを測定しています。

以前のリリース:1.4と1.5
システムEN 4×DE 4×
ShinrAI 1.597.195.2
ShinrAI 1.497.894.9

改善領域

ツールは測定値で選ぶべきだからこそ、当社の数値も含めて公開します。1.6と記載がない限り、各行は1.6.1を1.3および最も強い競合と比較します。1.6と記載された値は1.6.1ではまだ測定していません。未解決の項目は引き続き当社の計画に残ります。

領域現在の実測値状況
超長文レコード(REDACTテスト)57.6 対 Azureプレビュー 51.2(1.3: 36.5)4ヘッドビューのリコールは 24.9(1.3)から 51.8 に向上。14ヘッドビューの適合率 54.5 が次の課題です。
合成の米国書式レジスタ(Gretel、Nemotron)1.6: 72.7 / 79.4(寛容)対 Liquid AI 84.5 / 87.3(1.3: 52.2 / 64.4)書式レジスタは未解決の課題のままです。
判例文書のスパン慣習(TAB)1.6: 人物 80.6、日付 91.1、組織 72.5(厳密スパン)(1.3: 人物・組織合計で 34.4)機関名は別の規約に従っており、未解決のままです。
チャット攻撃プロンプト82.9 対 Azureプレビュー 88.8(元のゴールド)。更新ゴールドでは 87.2すべての出荷製品を上回ります。元のゴールドでは未リリースのAzureプレビューAPIが首位です。
15言語中8言語の百科事典レジスタリコール 34.5(1.3)→ 81.9(1.6.1)おおむね解消。西欧7言語のリコールは 92.3(1.3: 86.0)。ポルトガル語のゴールドテキスト395件のうち221件は1.3以降の全バージョンの学習テキストでもあり、これらを除くと7言語のリコールは 92.2(1.3: 約85.4)。
ヘブライ語(ベータ)15ロケールテストで 71.1(1.3: 59.5)リリース水準未満。すべての中央値に表示・算入しています。
以前のリリース:1.4と1.5
領域ShinrAI 1.5ShinrAI 1.4
超長文レコード(REDACTテスト)55.646.4
合成の米国書式レジスタ(Gretel、Nemotron)70.9 / 76.7—
判例文書のスパン慣習(TAB)84.1—
チャット攻撃プロンプト81.385.1
15言語中8言語の百科事典レジスタ72.866.5
ヘブライ語(ベータ)71.270.5

お使いのハードウェアで ShinrAI はどれくらい速いか

公開モデル innovius/shinrai-pii-m-v1.3(フル精度、ONNX Runtime)で 1 リクエストの PII 検出にかかる時間。4 つのテキストサイズ:チャットの一言(62 トークン ≈ 45 語)、段落(317 トークン ≈ 230 語、ShinrAI のレイテンシ値の基準)、1 ページ(1,024 トークン、モデルのウィンドウ)、長文書(10,000 トークン ≈ 15 ページ)。無印はその機器で実測、≈ はモデルの計算量からの推定(±40 %)、~ は実測した同系機からの換算。

機器RAM / VRAMチャットの一言段落1 ページ長文書向いている用途
シングルボードコンピュータ
Raspberry Pi 4 Model B (4 GB)4 GB · 不足≈706 ms≈3.7 s≈12.5 s≈2.6 min文書・データ処理のみ — チャットには遅すぎる
Raspberry Pi 4 Model B (8 GB)8 GB · 十分≈706 ms≈3.7 s≈12.5 s≈2.6 min文書・データ処理のみ — チャットには遅すぎる
Raspberry Pi 5 (8 GB)8 GB · 十分≈193 ms≈982 ms≈3.3 s≈40.4 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Raspberry Pi 5 (16 GB)16 GB · 十分≈193 ms≈982 ms≈3.3 s≈40.4 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
ミニ PC
Intel N100 mini PC (16 GB)16 GB · 十分≈158 ms≈774 ms≈2.6 s≈31.6 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
ノート PC
Apple M1 (MacBook Air class, 4P+4E)8 GB · 十分~87 ms~458 ms~1.8 s≈16.9 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Apple M4 (MacBook Air / iMac / Mac mini, 4P+6E)16 GB · 十分~16 ms~78 ms~310 ms~4.0 sリアルタイム:AI チャット・アシスタント向き
x86 laptop, 8 cores (Ryzen 7 7840U / Core Ultra 7 class)16 GB · 十分~48 ms~189 ms~676 ms~6.8 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
デスクトップ・ワークステーション
Apple M4 Pro (Mac mini 2024, 10P+4E)64 GB · 十分13 ms56 ms233 ms3.1 sリアルタイム:AI チャット・アシスタント向き
AMD Threadripper 7960X workstation (24 cores, CPU only)64 GB · 十分≈21 ms≈65 ms≈193 ms≈2.3 sリアルタイム:AI チャット・アシスタント向き
エッジ GPU(Jetson)
NVIDIA Jetson Orin Nano Super (8 GB)8 GB · 十分≈24 ms≈106 ms≈344 ms≈4.2 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
NVIDIA Jetson Orin NX (16 GB)16 GB · 十分≈26 ms≈116 ms≈380 ms≈4.6 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
NVIDIA Jetson AGX Orin (64 GB)64 GB · 十分≈13 ms≈45 ms≈140 ms≈1.7 sリアルタイム:AI チャット・アシスタント向き
デスクトップ/ワークステーション GPU
NVIDIA DGX Spark (GB10)128 GB · 十分≈7 ms≈12 ms≈28 ms≈278 msリアルタイム:AI チャット・アシスタント向き
NVIDIA RTX 3090 (24 GB)24 GB · 十分≈6 ms≈11 ms≈24 ms≈239 msリアルタイム:AI チャット・アシスタント向き
NVIDIA RTX 4090 (24 GB)24 GB · 十分≈6 ms≈10 ms≈22 ms≈206 msリアルタイム:AI チャット・アシスタント向き
サーバー・クラウド VM — CPU のみ
AMD EPYC 7002 'Rome' VM, 2 vCPU (cgroup limit)6 GB · 十分131 ms589 ms2.2 s29.8 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
AMD EPYC 7002 'Rome' VM, 4 vCPU6 GB · 十分83 ms350 ms1.2 s15.5 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
AMD EPYC 7002 'Rome' VM, 8 vCPU6 GB · 十分59 ms237 ms845 ms8.5 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
AMD EPYC 7002 'Rome' VM, 16 vCPU6 GB · 十分76 ms215 ms668 ms7.2 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Cloud VM, 4 vCPU x86 (AMD EPYC 9V74 "Genoa", shared, GitHub-hosted runner)16 GB · 十分105 ms514 ms1.9 s≈21.0 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Cloud VM, 4 vCPU Arm (Neoverse N2 / Cobalt 100, GitHub-hosted runner)16 GB · 十分92 ms442 ms1.7 s≈18.0 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Cloud VM, 4 vCPU Intel Ice Lake / Sapphire Rapids (AVX-512 VNNI)16 GB · 十分~70 ms~298 ms~1.0 s~13.1 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Hugging Face Space, cpu-upgrade (8 vCPU, 32 GB)32 GB · 十分~83 ms~350 ms~1.2 s~15.5 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
STACKIT c2a.4d (4 dedicated AMD EPYC Genoa vCPU, 8 GB)8 GB · 十分76 ms364 ms1.2 s13.4 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
STACKIT n2.14d.g1 host CPU path (14 dedicated Intel Sapphire Rapids vCPU)50 GB · 十分26 ms91 ms337 ms≈3.4 sリアルタイム:AI チャット・アシスタント向き
STACKIT c2i.4 (4 shared Intel Ice Lake vCPU, overcommit 4, 8 GB)8 GB · 十分57 ms250 ms1.2 s16.3 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
サーバー — GPU
NVIDIA Tesla P40 (24 GB, Pascal 2016)24 GB · 十分9 ms25 ms93 ms1.6 sリアルタイム:AI チャット・アシスタント向き
NVIDIA T4 (16 GB)16 GB · 十分≈10 ms≈31 ms≈93 ms≈1.1 sリアルタイム:AI チャット・アシスタント向き
NVIDIA L4 (24 GB)24 GB · 十分≈7 ms≈12 ms≈28 ms≈282 msリアルタイム:AI チャット・アシスタント向き
NVIDIA A10 (24 GB)24 GB · 十分≈7 ms≈12 ms≈27 ms≈271 msリアルタイム:AI チャット・アシスタント向き
NVIDIA L40S (48 GB)48 GB · 十分6 ms8 ms20 ms305 msリアルタイム:AI チャット・アシスタント向き
NVIDIA A100 (80 GB)80 GB · 十分≈6 ms≈8 ms≈14 ms≈112 msリアルタイム:AI チャット・アシスタント向き
NVIDIA H100 SXM (80 GB)80 GB · 十分≈6 ms≈6 ms≈8 ms≈39 msリアルタイム:AI チャット・アシスタント向き

Raspberry Pi:文書・データパイプラインには使えます(段落 1 つが Pi 5 で約 1 秒、Pi 4 で約 4 秒)が、チャットには不向きです。コンパクトなモデルファイル配置で RAM 4 GB 以上、8 GB あれば余裕、64-bit OS。

メモリ:フル精度のモデルセッション 1 つに、配布形式で約 1.9 GB、ONNX external-data 配置なら約 0.9 GB の RAM が必要です(速度は同じ)。小型機器にはこの配置を推奨します。

ShinrAI サービス経由では、既定の長文モードが 1,200 文字を超えるテキストを文単位でも読み直します(再現率向上のため)。段落では約 3 倍のコストになります。下の行は同じ GPU での両モードです。

Tesla P40(2016 年)上の ShinrAI サービスチャットの一言段落手紙(2 ページ)長文書
モデルのみ(全文を 1 パス)9 ms25 ms175 ms1.6 s
既定:長文モード(文単位)9 ms69 ms348 ms4.9 s

2026-09-03 に research/hardware-map/hardware-map.json から生成(scripts/hardware/render-map.py)。

検出対象 — 21ヘッド

クラスShinrAI 1.6.1Azure PIIGLiNER2PresidioOpenAI PF
PERSON
一般的 / 珍しい / 希少(名前順位)
ネイティブヘッドPersonzero-shotPERSON (spaCy)private persons only
CITY
大 / 中 / 小(人口)
ネイティブヘッドCity/Location (preview)zero-shotLOCATION (spaCy)—
STREET
一般 / 特定 / 局地
ネイティブヘッドAddresszero-shot—private address
ORG
国際 / 全国 / 地域(サイトリンク)
ネイティブヘッドOrganizationzero-shot (P 15–33%)ORGANIZATION (off by default)—
EMAIL
標準
ネイティブヘッドEmailzero-shotEMAIL_ADDRESSprivate email
USERNAME
標準
ネイティブヘッド—zero-shot——
URL
標準
ネイティブヘッドURLzero-shotURLprivate url
PHONE
標準
ネイティブヘッドPhoneNumberzero-shotPHONE_NUMBERprivate phone
ACCOUNT
標準
ネイティブヘッドIBAN / BankAccountzero-shotIBAN_CODE, US_BANK_NUMBER—
WALLET
標準
ネイティブヘッド—zero-shotCRYPTO—
CARD
標準
ネイティブヘッドCreditCardNumberzero-shotCREDIT_CARD—
NATIONAL_ID
標準
ネイティブヘッド~70 country ID categorieszero-shot~76 country recognizers—
PLATE
標準
ネイティブヘッドLicensePlate (preview)zero-shot——
DOB
標準
ネイティブヘッドDateOfBirth (preview)zero-shotDATE_TIME (any date)—
NETADDR
標準
ネイティブヘッドIPAddresszero-shotIP_ADDRESS—
POSTAL_CODE
標準
ネイティブヘッドZipCode (preview)zero-shot——
CUSTOMER_ID
標準
ネイティブヘッド—zero-shot——
SECRET
標準
ネイティブヘッドPassword (preview)zero-shot——
CODENAME
標準
ネイティブヘッド—zero-shot (43% recall on the 27 prompts; 7 languages)——
DATE
暦日と出来事の年 — 1.5の新機能。生年月日はDOBのまま
ネイティブヘッドDateTime (any date)zero-shotDATE_TIME (any date)—
AGE
明示された年齢:単位付き数値、年齢欄の裸の数値、範囲、語形 — 1.5の新機能
ネイティブヘッドAgezero-shot——
1レコードで全クラスを一度に
Dr. Anna Keller (Leipzig, Lindenweg 12) of Volksbank Nordpark — anna.k@example.de · +49 170 1234567 · IBAN DE89 3704 0044 0532 0130 00 · customer KD-448291 · project Bluebird · aged 54 · appointment 12 March 2026
さらに他社にはない3つの属性信号 — 文化的出自(51クラス)、ジェンダー表現、名前の部位 — が、自然に読めて無損失復元できる置換の制御データになります。

用語集

F1スコア「すべて見つけた」(再現率)と「誤警報なし」(適合率)を1つにまとめた0〜100の数値。高いほど良い。
厳密文字境界が完全一致し、タイプも正しい場合のみ検出成立。
寛容 / 部分一致正しいテキストに正しいタイプで触れれば検出成立。スパン慣習が異なるシステム間でより公平。
テストセット × 言語表の各行は1言語の公開テストセット1件、通常300テキスト。
最良しきい値他社は感度設定を走査した最良値を報告。ShinrAIは常に標準設定の値を報告。
⚠ このテストセットで訓練済みそのシステムは訓練中にこのテストのデータを見ています — 当該スコアは水増しされており比較になりません。
適合率 / 再現率適合率:検出したもののうち正しかった割合。再現率:存在するもののうち見つけた割合。
ベータロケールヘブライ語は統合とフィードバックのために提供中。品質はリリース水準未満ですが、常に表示し、集計にも含めます。

測定方法

ShinrAI(信頼)· Innovius × EECC Research Labs · ユーリッヒ・スーパーコンピューティングセンター(JURECA、WestAI)で訓練 · 公開モデル重み · ShinrAIを今すぐ試す — PIIプレイグラウンド