PII検出器は実際どこまで機能するのか。私たちは自社のリリースと他社システムを同じテキスト・同じ採点で測定し、劣っている箇所も含めてすべてを公開します。
ShinrAI 1.3比:15ロケール中央値 95.0 → 95.5、ウクライナ語 86.7 → 94.6、ヘブライ語(ベータ)59.5 → 71.1、長文書の秘匿化 36.5 → 57.6、再構築8言語の百科事典リコール 34.5 → 81.9。実際の手紙・フォーム・チャットからなるフィールドベンチ(モデル単体)で、1.6.1は186件中139件の値を保護します。1.3は50件です。公開テストセットの厳密スパン平均:ai4privacy 75.2 → 79.2、MultiNERD 85.4 → 88.5。リリース前の記憶化チェックに合格しています。1.6.1はマネージドAPIで提供します(モデルID v1.6)。オープンウェイトのモデルはInnovius Open LicenseのShinrAI 1.3です。
ShinrAI 1.6.1は測定済みで、EU内のSTACKITでホストされるマネージドAPIで稼働中。本日よりgetshinrai.jpで利用可能。基準はShinrAI 1.3で、各表は1.6.1または1.6の隣に1.3を示し、1.4と1.5の値は各表の下の折りたたみ行にあります。エンタープライズ製品はその上にルールベース検出(チェックサム検証、決定的識別子)を重ねます。この層は構造上正確であり、これらのスコアには含まれません。
F1スコア(0–100、高いほど良い · 厳密スパン)。ロケールごとに200テキスト。1.6.1の中央値 95.5(1.3: 95.0)はヘブライ語ベータを含みます。同じテキストで測定したAzure AI PII:53–76。
| 国 | 言語 | スコア | ShinrAI 1.6.1 F1 | 適合率 / 再現率 | 1.3 → 1.6.1 |
|---|---|---|---|---|---|
| 🇯🇵 | JA | 98.4 | 97.5 / 99.2 | 98.1 → 98.4 | |
| 🇧🇷 | PT-BR | 98.0 | 97.4 / 98.6 | 97.3 → 98.0 | |
| 🇬🇧🇺🇸 | EN | 97.4 | 96.2 / 98.7 | 97.7 → 97.4 | |
| 🇪🇸 | ES | 97.4 | 96.5 / 98.2 | 96.9 → 97.4 | |
| 🇷🇺 | RU | 96.9 | 95.9 / 97.8 | 96.4 → 96.9 | |
| 🇫🇷 | FR | 96.6 | 95.9 / 97.3 | 96.0 → 96.6 | |
| 🇮🇹 | IT | 95.7 | 94.7 / 96.7 | 95.0 → 95.7 | |
| 🇩🇪🇦🇹🇨🇭 | DE | 95.5 | 94.7 / 96.4 | 94.4 → 95.5 | |
| 🇰🇷 | KO | 95.2 | 93.2 / 97.2 | 95.5 → 95.2 | |
| 🇺🇦 | UA | 94.6 | 92.0 / 97.4 | 86.7 → 94.6 | |
| 🇵🇹 | PT-PT | 94.2 | 93.6 / 94.8 | 94.2 → 94.2 | |
| 🇹🇷 | TR | 93.7 | 93.1 / 94.2 | 90.1 → 93.7 | |
| 🇵🇱 | PL | 92.7 | 90.7 / 94.7 | 90.9 → 92.7 | |
| 🇸🇦 | AR | 91.4 | 92.3 / 90.4 | 87.9 → 91.4 | |
| 🇮🇱 | HE ベータ | 71.1 | 64.0 / 80.0 | 59.5 → 71.1 |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| JA | 98.5 | 98.5 |
| PT-BR | 98.2 | 98.3 |
| EN | 97.3 | 97.8 |
| ES | 97.6 | 97.7 |
| RU | 96.9 | 96.6 |
| FR | 96.4 | 96.2 |
| IT | 96.1 | 96.3 |
| DE | 95.5 | 94.5 |
| KO | 95.2 | 95.4 |
| UA | 95.0 | 95.1 |
| PT-PT | 94.6 | 94.3 |
| TR | 93.2 | 91.8 |
| PL | 93.5 | 91.7 |
| AR | 90.1 | 91.4 |
| HE | 71.2 | 70.5 |
| 中央値 | 95.5 | 95.4 |
国が重要です。モデルはフランスとスペインで街路名がどう違うか、日本で企業名がどう見えるかを知っています。検出も置換も各国の慣習に従います。
ShinrAIは専用の2つのヘッドDATEとAGE(1.5から)で日付と年齢を検出します。生成した臨床・法務文書、フランス語の臨床報告、判決文、EU法の文で学習しています。表は1.6を、どちらのヘッドも持たない1.3と比較します。1.6.1ではまだ測定していません。1.6の値です。
欧州人権裁判所の判決127件での厳密スパンF1 · 1.3: 34.4 · Azureプレビュー: 47.6
同じ判決、日付も採点 · Azureプレビュー: 55.5
MAPA 6言語の厳密スパンF1平均 · Azureプレビュー: 48.4
MEDDOCAN(es)、人物・場所・組織の厳密スパンF1 · 1.3: 51.0 · 日付 94.9 · 年齢 95.2
GraSCCo(de)、人物・場所・組織の厳密スパンF1 · 1.3: 50.2 · 日付 80.0
本日より利用可能 — EU内のSTACKITでホストされるShinrAI API経由。
| コーパス | 人物 · 場所 · 組織 ShinrAI 1.6 | 人物 · 場所 · 組織 1.3 | 日付 1.6 | 年齢 1.6 |
|---|---|---|---|---|
| MEDDOCAN (es) — 250症例 | 84.5 / 93.1 | 51.0 / 70.0 | 94.9 / 98.2 | 95.2 / 96.3 |
| GraSCCo (de) — 63通の診療書簡 | 79.5 / 88.7 | 50.2 / 72.4 | 80.0 / 87.2 | 15.0 / 85.0 |
| 自社の診療書簡(de · en · es · fr · it、各300) | 86.8 · 88.9 · 86.2 · 86.5 · 88.7 | 86.5 · 89.5 · 87.9 · 86.1 · 90.5 | — | — |
| コーパス | 人物 · 場所 · 組織 1.5 | 日付 1.5 | 年齢 1.5 | 人物 · 場所 · 組織 1.4ビルド |
|---|---|---|---|---|
| MEDDOCAN (es) — 250症例 | 82.9 / 92.8 | 94.4 / 97.9 | 95.4 / 96.9 | 61.6 / 79.2 |
| GraSCCo (de) — 63通の診療書簡 | 80.0 / 90.0 | 79.4 / 88.0 | 15.0 / 85.0 | 57.2 / 75.9 |
| 自社の診療書簡(de · en · es · fr · it、各300) | 86.3 · 89.3 · 86.5 · 86.8 · 88.1 | — | — | 87.6 · 89.7 · 87.8 · 86.2 · 90.8 |
F1(0–100)、厳密スパン / 同タイプ重なり。人物・場所・組織はまとめて、日付・年齢はタイプ別に採点。1.3は同じ文書を同じスコアラーで測定しており、日付・年齢ヘッドはありませんでした。折りたたみ表の1.4の値は1.4の学習ビルドによるもので、出荷された重みではありません。
| セル | 日付 | 人物 | 組織 |
|---|---|---|---|
| TAB — 欧州人権裁判所の判決 (en) 127件の判決 | 91.1 | 80.6 | 72.5 |
| MAPA — EUR-Lex法文 (en) 300文 | 96.9 | 43.6 | 24.4 |
| MAPA (fr) 300文 | 88.1 | 41.0 | 46.6 |
| MAPA (de) 300文 | 88.7 | 39.4 | 58.0 |
| セル | 日付 1.5 | 人物 1.5 | 組織 1.5 |
|---|---|---|---|
| TAB — 欧州人権裁判所の判決 (en) | 91.0 | 84.1 | 71.1 |
| MAPA — EUR-Lex法文 (en) | 97.5 | 45.1 | 24.3 |
| MAPA (fr) | 88.7 | 41.1 | 46.1 |
| MAPA (de) | 90.8 | 36.4 | 59.8 |
タイプ別の厳密スパンF1、既定サービング設定。MAPAは裁判所・当事者・役割を当社と異なる規約でラベル付けしており、これらのセルは低いままです。1.3には日付ヘッドがなく、TABでは人物・組織合計の厳密スパンF1が 34.4 でした。
同じテストセットでのShinrAI 1.6.1と競合。各ShinrAIスコアの下の注記は同じセルでのShinrAI 1.3です。1.4と1.5の値は各表の下の折りたたみ行にあります。Gretel、Nemotron-PII、TAB、MAPAはShinrAI 1.6の値です(1.6.1ではまだ測定していません)。コーパスごとの全数値はモデルカードにあります。
各社システムは自己最良のしきい値で、ShinrAIは標準設定で動作。スコアはF1(0–100、高いほど良い)、寛容マッチング — 正しいテキストに正しいタイプで触れれば検出成立(用語集参照)。★は行ごとの最良システム。⚠は当該テストセットで訓練したシステム。
| 言語 | ShinrAI 1.6.1 | LFM2.5 PII (Liquid AI) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|
| DE | 87.7 1.3: 85.4 | 69.4 | 35.6 | 11.0 | 21.3 | 90.3 ★ ⚠ 訓練データ重複の可能性が高い | 77.8 | — | — | — |
| EN | 81.3 1.3: 80.8 | 76.7 | 38.3 | 10.9 | 21.1 | 86.9 ★ ⚠ 訓練データ重複の可能性が高い | 70.2 | 68.4 | 50.0 | 69.1 |
| FR | 83.7 1.3: 82.6 | 74.5 | 37.9 | 9.7 | 16.2 | 90.6 ★ ⚠ 訓練データ重複の可能性が高い | 75.9 | — | — | — |
| IT | 83.6 1.3: 83.3 | 70.9 | 45.2 | 13.1 | 25.3 | 89.0 ★ ⚠ 訓練データ重複の可能性が高い | 73.8 | — | — | — |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| DE | 87.9 | 85.2 |
| EN | 81.5 | 81.7 |
| FR | 83.8 | 83.0 |
| IT | 80.4 | 79.0 |
| 言語 | ShinrAI 1.6.1 | LFM2.5 PII (Liquid AI) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|
| DE | 92.9 ★ 1.3: 92.1 | 62.3 | 45.6 | 25.7 | 37.9 | 58.5 | 91.3 ⚠ 訓練データ非公開 | — | — | — |
| EN | 92.6 1.3: 94.9 | 60.9 | 45.8 | 17.3 | 28.5 | 58.7 | 96.2 ★ ⚠ 訓練データ非公開 | 86.9 | 65.1 | 86.5 |
| ES | 96.6 ★ 1.3: 97.7 | 61.5 | 39.0 | 16.5 | 29.5 | 64.4 | 93.3 ⚠ 訓練データ非公開 | — | — | — |
| FR | 92.3 ★ 1.3: 93.3 | 61.7 | 40.2 | 16.5 | 26.9 | 61.4 | 90.3 ⚠ 訓練データ非公開 | — | — | — |
| IT | 94.8 ★ 1.3: 96.8 | 56.2 | 33.9 | 11.8 | 21.7 | 60.4 | 91.4 ⚠ 訓練データ非公開 | — | — | — |
| PL | 88.2 ★ 1.3: 81.2 | 65.9 | 32.3 | 20.1 | 23.7 | 45.7 | 87.8 ⚠ 訓練データ非公開 | — | — | — |
| PT | 92.5 1.3: 94.7 | 62.7 | 38.4 | 15.4 | 28.8 | 61.0 | 96.1 ★ ⚠ 訓練データ非公開 | — | — | — |
| RU | 85.2 ★ 1.3: 82.5 | 53.9 | 34.9 | 17.9 | 18.1 | 51.5 | 82.5 ⚠ 訓練データ非公開 | — | — | — |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| DE | 91.5 | 91.8 |
| EN | 93.4 | 93.4 |
| ES | 96.0 | 95.0 |
| FR | 93.4 | 91.6 |
| IT | 95.1 | 94.1 |
| PL | 87.2 | 85.4 |
| PT | 92.4 | 92.2 |
| RU | 85.5 | 86.9 |
| 言語 | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EN | 72.7 1.3: 52.2 | 30.7 | 44.2 | 84.5 ★ | 34.0 | 78.1 | 74.3 | 24.3 | 54.6 | 24.8 | 23.5 | 51.4 | 60.0 | 53.9 | 46.4 | 37.3 | 39.7 |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| EN | 70.9 | — |
| 言語 | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EN | 79.4 1.3: 64.4 | 46.5 | 57.5 | 87.3 | 54.6 | 93.9 ★ ⚠ このテストセットで訓練済み | 89.6 | 12.9 | 49.7 | 11.0 | 10.9 | 64.8 | 65.5 | 68.0 | 68.3 | 41.2 | 48.7 |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| EN | 76.7 | — |
| 言語 | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EN | 87.8 ★ 1.3: 78.3 | 48.2 ⚠ API上限5,120字。長文書は切り詰め | 72.8 | 60.0 | 36.1 | 49.1 | 50.4 | 22.4 | 53.0 | 15.5 | 17.8 | 30.3 | 23.5 | 83.6 ⚠ 訓練データ非公開 | 65.4 | 66.9 | 72.6 |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| EN | 87.3 | — |
| 言語 | ShinrAI 1.6 | Azure AI PII (Microsoft) | Presidio (open source) | LFM2.5 PII (Liquid AI) | Privacy Filter (OpenAI) | OpenMed PII E5 | OpenMed Privacy Filter | GLiNER PII (Urchade) | GLiNER2 PII (Fastino) | GLiNER Large (Knowledgator) | GLiNER Edge (Knowledgator) | Piiranha v1 (III) | EU PII Safeguard (Tabularis) | EU PII Multilang (Bards.ai) | PII BERT (Gravitee) | De-identifier (Stanford AIMI) | DeID RoBERTa (OBI) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DE | 62.7 ★ 1.3: 60.5 | 55.9 | 38.6 | 27.8 | 13.4 | 34.2 | 12.2 | 10.3 | 15.8 | 6.3 | 10.1 | 19.4 | 43.1 | 48.9 | — | — | — |
| EN | 36.6 1.3: 36.2 | 23.4 | 19.3 | 31.7 | 28.6 | 53.4 ★ | 13.1 | 4.8 | 10.2 | 3.2 | 4.2 | 29.0 | 48.2 | 34.8 | 36.3 | 42.5 | 30.9 |
| ES | 39.0 1.3: 39.0 | 28.2 | 3.5 | 43.6 | 32.5 | 73.0 ★ | 13.9 | 6.2 | 10.4 | 2.9 | 4.3 | 54.8 | 49.4 | 36.0 | — | — | — |
| FR | 49.9 ★ 1.3: 48.6 | 42.9 | 25.1 | 32.5 | 6.1 | 33.0 | 11.2 | 8.0 | 17.3 | 5.2 | 7.6 | 18.1 | 31.7 | 44.4 | — | — | — |
| IT | 14.2 1.3: 13.3 | 11.2 | 7.0 | 34.0 | 10.4 | 36.6 ★ | 10.0 | 1.7 | 2.8 | 1.2 | 1.3 | 30.1 | 30.3 | 11.9 | — | — | — |
| PT | 52.7 ★ 1.3: 48.7 | 48.8 | 25.8 | 28.8 | 13.4 | 43.5 | 18.0 | 9.4 | 18.5 | 6.9 | 12.0 | 26.4 | 44.2 | 52.4 | — | — | — |
| 言語 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| DE | 64.3 | — |
| EN | 36.4 | — |
| ES | 36.2 | — |
| FR | 50.6 | — |
| IT | 13.7 | — |
| PT | 53.7 | — |
上記全セルの厳密境界スコア(正確な文字スパン)は生の実行ファイルに同梱しています。
Microsoftの2026-05プレビューモデルを、当社が28個のテストセットのセルで同一ハーネス・同一スコアラー・2つの規則(厳密スパン、およびゴールドスパンの半分以上を覆うスパン)で測定。★はセルごとの首位。Azureは最良しきい値、ShinrAIは既定設定で実行。日常メッセージ(ai4privacy)と百科事典の文(MultiNERD)はShinrAI 1.6.1、その他の行はShinrAI 1.6の値です(1.6.1ではまだ測定していません)。
ShinrAIが首位のセル
ShinrAIが首位のセル
| 言語 | ShinrAI · 厳密 | Azure · 厳密 | ShinrAI · ≥ 50 % | Azure · ≥ 50 % |
|---|---|---|---|---|
| 日常メッセージ(ai4privacy) | ||||
| DE | 81.6 1.3: 76.4 | 82.9 ★ | 84.4 ★ 1.3: 82.0 | 82.9 |
| EN | 74.9 ★ 1.3: 69.4 | 72.9 | 79.7 ★ 1.3: 77.7 | 74.1 |
| FR | 80.0 ★ 1.3: 75.8 | 78.3 | 82.1 ★ 1.3: 80.0 | 79.6 |
| IT | 80.3 ★ 1.3: 79.0 | 76.2 | 83.1 ★ 1.3: 82.9 | 77.3 |
| 合成ビジネス文書(Gretel) | ||||
| EN | 56.3 ★ 1.3: 28.9 | 42.1 | 67.9 ★ 1.3: 43.1 | 52.4 |
| 合成US書式(Nemotron-PII) | ||||
| EN | 72.9 ★ 1.3: 50.0 | 63.0 | 76.7 ★ 1.3: 56.7 | 69.9 |
| 判決文(TAB) | ||||
| EN | 75.4 ★ 1.3: 34.4 | 47.6 | 84.9 ★ 1.3: 69.0 | 79.5 |
| EN + 日付 | 82.2 ★ | 55.5 | 88.5 ★ | 81.9 |
| EU法文(MAPA) | ||||
| DE | 51.4 ★ 1.3: 44.4 | 44.0 | 59.4 ★ 1.3: 54.8 | 55.5 |
| DE + 日付 | 64.4 ★ | 33.2 | 70.2 ★ | 41.9 |
| EN | 30.3 ★ 1.3: 27.3 | 16.4 | 35.2 ★ 1.3: 33.7 | 21.5 |
| EN + 日付 | 54.2 ★ | 44.5 | 57.8 ★ | 48.8 |
| ES | 30.9 ★ 1.3: 30.9 | 28.6 | 30.9 ★ 1.3: 35.8 | 30.5 |
| ES + 日付 | 50.0 | 50.0 | 51.0 | 51.3 ★ |
| FR | 44.1 1.3: 41.0 | 49.4 ★ | 49.3 1.3: 47.3 | 51.9 ★ |
| FR + 日付 | 54.6 | 62.9 ★ | 59.4 | 64.7 ★ |
| IT | 3.8 ★ 1.3: 3.8 | 3.4 | 13.3 1.3: 11.4 | 13.4 ★ |
| IT + 日付 | 33.8 | 42.9 ★ | 40.8 | 50.2 ★ |
| PT | 47.1 ★ 1.3: 42.3 | 44.5 | 52.7 ★ 1.3: 48.3 | 46.9 |
| PT + 日付 | 57.0 ★ | 56.6 | 61.2 ★ | 58.4 |
| 百科事典の文(MultiNERD) | ||||
| DE | 90.0 1.3: 87.3 | 96.4 ★ | 92.9 1.3: 89.7 | 96.4 ★ |
| EN | 90.4 1.3: 90.4 | 95.7 ★ | 92.6 1.3: 94.4 | 96.3 ★ |
| ES | 93.2 1.3: 93.7 | 97.6 ★ | 96.6 1.3: 97.7 | 97.6 ★ |
| FR | 90.2 1.3: 89.6 | 96.1 ★ | 91.3 1.3: 91.2 | 96.1 ★ |
| IT | 93.4 1.3: 95.4 | 97.8 ★ | 94.8 1.3: 96.1 | 99.3 ★ |
| PL | 83.3 1.3: 66.9 | 88.0 ★ | 84.9 1.3: 71.1 | 88.9 ★ |
| PT | 88.4 1.3: 93.3 | 94.9 ★ | 91.8 1.3: 94.7 | 97.1 ★ |
| RU | 79.3 1.3: 66.9 | 83.3 ★ | 82.2 1.3: 75.8 | 85.6 ★ |
| 言語 | 1.5 · 厳密 | 1.5 · ≥ 50 % | 1.4 · 厳密 | 1.4 · ≥ 50 % |
|---|---|---|---|---|
| 日常メッセージ(ai4privacy) | ||||
| DE | 80.0 | 83.4 | 74.7 | 81.9 |
| EN | 73.3 | 78.5 | 70.7 | 77.7 |
| FR | 78.9 | 80.5 | 78.9 | 80.4 |
| IT | 76.6 | 79.9 | 73.4 | 78.5 |
| 合成ビジネス文書(Gretel) | ||||
| EN | 53.4 | 65.3 | 49.0 | 61.5 |
| 合成US書式(Nemotron-PII) | ||||
| EN | 69.6 | 73.1 | 62.5 | 66.2 |
| 判決文(TAB) | ||||
| EN | 75.8 | 84.4 | 41.3 | 74.7 |
| EN + 日付 | 82.4 | 88.4 | 29.8 | 53.9 |
| EU法文(MAPA) | ||||
| DE | 51.4 | 61.0 | 46.0 | 54.0 |
| DE + 日付 | 64.9 | 71.8 | 37.8 | 44.2 |
| EN | 30.8 | 35.0 | 25.2 | 31.1 |
| EN + 日付 | 54.7 | 57.4 | 20.5 | 25.3 |
| ES | 31.0 | 32.8 | 25.9 | 28.8 |
| ES + 日付 | 51.9 | 53.0 | 20.3 | 22.6 |
| FR | 44.0 | 50.6 | 43.1 | 46.3 |
| FR + 日付 | 54.8 | 60.6 | 37.7 | 40.5 |
| IT | 3.7 | 11.9 | 3.3 | 10.8 |
| IT + 日付 | 32.5 | 38.8 | 2.7 | 8.9 |
| PT | 46.9 | 53.3 | 46.6 | 52.5 |
| PT + 日付 | 55.8 | 60.8 | 40.2 | 45.3 |
| 百科事典の文(MultiNERD) | ||||
| DE | 88.7 | 91.5 | 87.2 | 91.4 |
| EN | 91.2 | 93.4 | 89.6 | 93.4 |
| ES | 92.1 | 95.5 | 91.1 | 95.0 |
| FR | 90.7 | 92.8 | 89.0 | 90.6 |
| IT | 93.7 | 95.1 | 92.0 | 94.1 |
| PL | 79.8 | 84.0 | 71.5 | 76.4 |
| PT | 91.0 | 92.4 | 88.7 | 92.2 |
| RU | 77.6 | 83.1 | 72.3 | 81.5 |
日常メッセージ(ai4privacy):厳密スパンでShinrAI 1.6.1が4セル中3セル、Azureが1セルで首位。合成ビジネス文書(Gretel):厳密スパンでShinrAI 1.6が1セル中1セル、Azureが0セルで首位。合成US書式(Nemotron-PII):厳密スパンでShinrAI 1.6が1セル中1セル、Azureが0セルで首位。判決文(TAB):厳密スパンでShinrAI 1.6が2セル中2セル、Azureが0セルで首位。EU法文(MAPA):厳密スパンでShinrAI 1.6が12セル中8セル、Azureが3セルで首位。百科事典の文(MultiNERD):厳密スパンでShinrAI 1.6.1が8セル中0セル、Azureが8セルで首位。「+ 日付」行は日付も採点し、ShinrAIはDATEヘッドで検出します。これらの数値は上の寛容マッチング表とは比較できません。
F1スコア(0–100、高いほど良い)、寛容マッチング、全システム同一テキスト。
| システム | スコア |
|---|---|
| Azure AI PII preview (Microsoft) 未リリースのプレビューAPI — 出荷済み製品ではありません | 88.8 |
| ShinrAI 1.6.1 1.3: 84.9 · 日付・年齢を採点する更新ゴールドでは 87.2(1.3: 82.3) | 82.9 |
| Azure AI PII (Microsoft) | 81.1 |
| Presidio (open source) | 75.6 |
| GLiNER2 PII (Fastino) | 74.3 |
| GLiNER PII (Urchade) | 70.9 |
| OpenMed Privacy Filter | 67.1 |
| OpenMed PII E5 | 66.2 |
| Privacy Filter (OpenAI) | 55.0 |
| Piiranha v1 (III) | 27.2 |
| システム | 元のゴールド | 更新ゴールド |
|---|---|---|
| ShinrAI 1.5 | 81.3 | 85.3 |
| ShinrAI 1.4 | 85.1 | 82.8 |
Microsoftの出荷製品(Azure AI PII GA)はここで81.1、ShinrAI 1.6.1は82.9です。同社のプレビューAPIは88.8ですが、一般提供されていません。このスイートの元のゴールドには日付・年齢ラベルがないため、ShinrAIが見つけた日付・年齢はこの表では減点になります。競合の行は、日付・年齢の対応付けが更新ゴールドで検証されるまで元のゴールドのままです。
F1、寛容マッチング · ここでは人物・場所・通り・企業を採点。全体では21ヘッドを検出。1.6.1ではまだ測定していません。1.6の値です。
1.3: 98.1
同社の日本語専用抽出モデル。出力は5カテゴリ:氏名、住所、企業、メール、電話番号。
| システム | スコア |
|---|---|
| ShinrAI 1.5 | 98.4 |
| ShinrAI 1.4 | — |
モデルは一度に1024トークンを読み、長いテキストには重なり合う窓をスライドさせ、継ぎ目でスパンを統合します — 30ページのファイルも1つの文書として処理。サービング層は会話入力向けの自動セグメンテーションを追加:短文は一括デコード、長文は文単位の走査も行い、両者が一致して初めてスパンが成立します。
手紙4倍の長さでもスコアは維持されます:EN 97.5、DE 95.4(1.6.1。1.3: EN 97.7、DE 94.5)— 品質の急落はありません。上の判決文テスト(TAB、1文書あたり約5,000文字)はまさにこの経路を通ります。公平性について:512トークン制限の競合モデルにも長文書では同じウィンドウ処理を適用しており、表は切り捨ての既定値ではなくモデルそのものを測定しています。
| システム | EN 4× | DE 4× |
|---|---|---|
| ShinrAI 1.5 | 97.1 | 95.2 |
| ShinrAI 1.4 | 97.8 | 94.9 |
ツールは測定値で選ぶべきだからこそ、当社の数値も含めて公開します。1.6と記載がない限り、各行は1.6.1を1.3および最も強い競合と比較します。1.6と記載された値は1.6.1ではまだ測定していません。未解決の項目は引き続き当社の計画に残ります。
| 領域 | 現在の実測値 | 状況 |
|---|---|---|
| 超長文レコード(REDACTテスト) | 57.6 対 Azureプレビュー 51.2(1.3: 36.5) | 4ヘッドビューのリコールは 24.9(1.3)から 51.8 に向上。14ヘッドビューの適合率 54.5 が次の課題です。 |
| 合成の米国書式レジスタ(Gretel、Nemotron) | 1.6: 72.7 / 79.4(寛容)対 Liquid AI 84.5 / 87.3(1.3: 52.2 / 64.4) | 書式レジスタは未解決の課題のままです。 |
| 判例文書のスパン慣習(TAB) | 1.6: 人物 80.6、日付 91.1、組織 72.5(厳密スパン)(1.3: 人物・組織合計で 34.4) | 機関名は別の規約に従っており、未解決のままです。 |
| チャット攻撃プロンプト | 82.9 対 Azureプレビュー 88.8(元のゴールド)。更新ゴールドでは 87.2 | すべての出荷製品を上回ります。元のゴールドでは未リリースのAzureプレビューAPIが首位です。 |
| 15言語中8言語の百科事典レジスタ | リコール 34.5(1.3)→ 81.9(1.6.1) | おおむね解消。西欧7言語のリコールは 92.3(1.3: 86.0)。ポルトガル語のゴールドテキスト395件のうち221件は1.3以降の全バージョンの学習テキストでもあり、これらを除くと7言語のリコールは 92.2(1.3: 約85.4)。 |
| ヘブライ語(ベータ) | 15ロケールテストで 71.1(1.3: 59.5) | リリース水準未満。すべての中央値に表示・算入しています。 |
| 領域 | ShinrAI 1.5 | ShinrAI 1.4 |
|---|---|---|
| 超長文レコード(REDACTテスト) | 55.6 | 46.4 |
| 合成の米国書式レジスタ(Gretel、Nemotron) | 70.9 / 76.7 | — |
| 判例文書のスパン慣習(TAB) | 84.1 | — |
| チャット攻撃プロンプト | 81.3 | 85.1 |
| 15言語中8言語の百科事典レジスタ | 72.8 | 66.5 |
| ヘブライ語(ベータ) | 71.2 | 70.5 |
公開モデル innovius/shinrai-pii-m-v1.3(フル精度、ONNX Runtime)で 1 リクエストの PII 検出にかかる時間。4 つのテキストサイズ:チャットの一言(62 トークン ≈ 45 語)、段落(317 トークン ≈ 230 語、ShinrAI のレイテンシ値の基準)、1 ページ(1,024 トークン、モデルのウィンドウ)、長文書(10,000 トークン ≈ 15 ページ)。無印はその機器で実測、≈ はモデルの計算量からの推定(±40 %)、~ は実測した同系機からの換算。
| 機器 | RAM / VRAM | チャットの一言 | 段落 | 1 ページ | 長文書 | 向いている用途 |
|---|---|---|---|---|---|---|
| シングルボードコンピュータ | ||||||
| Raspberry Pi 4 Model B (4 GB) | 4 GB · 不足 | ≈706 ms | ≈3.7 s | ≈12.5 s | ≈2.6 min | 文書・データ処理のみ — チャットには遅すぎる |
| Raspberry Pi 4 Model B (8 GB) | 8 GB · 十分 | ≈706 ms | ≈3.7 s | ≈12.5 s | ≈2.6 min | 文書・データ処理のみ — チャットには遅すぎる |
| Raspberry Pi 5 (8 GB) | 8 GB · 十分 | ≈193 ms | ≈982 ms | ≈3.3 s | ≈40.4 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| Raspberry Pi 5 (16 GB) | 16 GB · 十分 | ≈193 ms | ≈982 ms | ≈3.3 s | ≈40.4 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| ミニ PC | ||||||
| Intel N100 mini PC (16 GB) | 16 GB · 十分 | ≈158 ms | ≈774 ms | ≈2.6 s | ≈31.6 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| ノート PC | ||||||
| Apple M1 (MacBook Air class, 4P+4E) | 8 GB · 十分 | ~87 ms | ~458 ms | ~1.8 s | ≈16.9 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| Apple M4 (MacBook Air / iMac / Mac mini, 4P+6E) | 16 GB · 十分 | ~16 ms | ~78 ms | ~310 ms | ~4.0 s | リアルタイム:AI チャット・アシスタント向き |
| x86 laptop, 8 cores (Ryzen 7 7840U / Core Ultra 7 class) | 16 GB · 十分 | ~48 ms | ~189 ms | ~676 ms | ~6.8 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| デスクトップ・ワークステーション | ||||||
| Apple M4 Pro (Mac mini 2024, 10P+4E) | 64 GB · 十分 | 13 ms | 56 ms | 233 ms | 3.1 s | リアルタイム:AI チャット・アシスタント向き |
| AMD Threadripper 7960X workstation (24 cores, CPU only) | 64 GB · 十分 | ≈21 ms | ≈65 ms | ≈193 ms | ≈2.3 s | リアルタイム:AI チャット・アシスタント向き |
| エッジ GPU(Jetson) | ||||||
| NVIDIA Jetson Orin Nano Super (8 GB) | 8 GB · 十分 | ≈24 ms | ≈106 ms | ≈344 ms | ≈4.2 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| NVIDIA Jetson Orin NX (16 GB) | 16 GB · 十分 | ≈26 ms | ≈116 ms | ≈380 ms | ≈4.6 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| NVIDIA Jetson AGX Orin (64 GB) | 64 GB · 十分 | ≈13 ms | ≈45 ms | ≈140 ms | ≈1.7 s | リアルタイム:AI チャット・アシスタント向き |
| デスクトップ/ワークステーション GPU | ||||||
| NVIDIA DGX Spark (GB10) | 128 GB · 十分 | ≈7 ms | ≈12 ms | ≈28 ms | ≈278 ms | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA RTX 3090 (24 GB) | 24 GB · 十分 | ≈6 ms | ≈11 ms | ≈24 ms | ≈239 ms | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA RTX 4090 (24 GB) | 24 GB · 十分 | ≈6 ms | ≈10 ms | ≈22 ms | ≈206 ms | リアルタイム:AI チャット・アシスタント向き |
| サーバー・クラウド VM — CPU のみ | ||||||
| AMD EPYC 7002 'Rome' VM, 2 vCPU (cgroup limit) | 6 GB · 十分 | 131 ms | 589 ms | 2.2 s | 29.8 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| AMD EPYC 7002 'Rome' VM, 4 vCPU | 6 GB · 十分 | 83 ms | 350 ms | 1.2 s | 15.5 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| AMD EPYC 7002 'Rome' VM, 8 vCPU | 6 GB · 十分 | 59 ms | 237 ms | 845 ms | 8.5 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| AMD EPYC 7002 'Rome' VM, 16 vCPU | 6 GB · 十分 | 76 ms | 215 ms | 668 ms | 7.2 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| Cloud VM, 4 vCPU x86 (AMD EPYC 9V74 "Genoa", shared, GitHub-hosted runner) | 16 GB · 十分 | 105 ms | 514 ms | 1.9 s | ≈21.0 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| Cloud VM, 4 vCPU Arm (Neoverse N2 / Cobalt 100, GitHub-hosted runner) | 16 GB · 十分 | 92 ms | 442 ms | 1.7 s | ≈18.0 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| Cloud VM, 4 vCPU Intel Ice Lake / Sapphire Rapids (AVX-512 VNNI) | 16 GB · 十分 | ~70 ms | ~298 ms | ~1.0 s | ~13.1 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| Hugging Face Space, cpu-upgrade (8 vCPU, 32 GB) | 32 GB · 十分 | ~83 ms | ~350 ms | ~1.2 s | ~15.5 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| STACKIT c2a.4d (4 dedicated AMD EPYC Genoa vCPU, 8 GB) | 8 GB · 十分 | 76 ms | 364 ms | 1.2 s | 13.4 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| STACKIT n2.14d.g1 host CPU path (14 dedicated Intel Sapphire Rapids vCPU) | 50 GB · 十分 | 26 ms | 91 ms | 337 ms | ≈3.4 s | リアルタイム:AI チャット・アシスタント向き |
| STACKIT c2i.4 (4 shared Intel Ice Lake vCPU, overcommit 4, 8 GB) | 8 GB · 十分 | 57 ms | 250 ms | 1.2 s | 16.3 s | エージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き) |
| サーバー — GPU | ||||||
| NVIDIA Tesla P40 (24 GB, Pascal 2016) | 24 GB · 十分 | 9 ms | 25 ms | 93 ms | 1.6 s | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA T4 (16 GB) | 16 GB · 十分 | ≈10 ms | ≈31 ms | ≈93 ms | ≈1.1 s | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA L4 (24 GB) | 24 GB · 十分 | ≈7 ms | ≈12 ms | ≈28 ms | ≈282 ms | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA A10 (24 GB) | 24 GB · 十分 | ≈7 ms | ≈12 ms | ≈27 ms | ≈271 ms | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA L40S (48 GB) | 48 GB · 十分 | 6 ms | 8 ms | 20 ms | 305 ms | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA A100 (80 GB) | 80 GB · 十分 | ≈6 ms | ≈8 ms | ≈14 ms | ≈112 ms | リアルタイム:AI チャット・アシスタント向き |
| NVIDIA H100 SXM (80 GB) | 80 GB · 十分 | ≈6 ms | ≈6 ms | ≈8 ms | ≈39 ms | リアルタイム:AI チャット・アシスタント向き |
Raspberry Pi:文書・データパイプラインには使えます(段落 1 つが Pi 5 で約 1 秒、Pi 4 で約 4 秒)が、チャットには不向きです。コンパクトなモデルファイル配置で RAM 4 GB 以上、8 GB あれば余裕、64-bit OS。
メモリ:フル精度のモデルセッション 1 つに、配布形式で約 1.9 GB、ONNX external-data 配置なら約 0.9 GB の RAM が必要です(速度は同じ)。小型機器にはこの配置を推奨します。
ShinrAI サービス経由では、既定の長文モードが 1,200 文字を超えるテキストを文単位でも読み直します(再現率向上のため)。段落では約 3 倍のコストになります。下の行は同じ GPU での両モードです。
| Tesla P40(2016 年)上の ShinrAI サービス | チャットの一言 | 段落 | 手紙(2 ページ) | 長文書 |
|---|---|---|---|---|
| モデルのみ(全文を 1 パス) | 9 ms | 25 ms | 175 ms | 1.6 s |
| 既定:長文モード(文単位) | 9 ms | 69 ms | 348 ms | 4.9 s |
2026-09-03 に research/hardware-map/hardware-map.json から生成(scripts/hardware/render-map.py)。
| クラス | ShinrAI 1.6.1 | Azure PII | GLiNER2 | Presidio | OpenAI PF |
|---|---|---|---|---|---|
| PERSON 一般的 / 珍しい / 希少(名前順位) | ネイティブヘッド | Person | zero-shot | PERSON (spaCy) | private persons only |
| CITY 大 / 中 / 小(人口) | ネイティブヘッド | City/Location (preview) | zero-shot | LOCATION (spaCy) | — |
| STREET 一般 / 特定 / 局地 | ネイティブヘッド | Address | zero-shot | — | private address |
| ORG 国際 / 全国 / 地域(サイトリンク) | ネイティブヘッド | Organization | zero-shot (P 15–33%) | ORGANIZATION (off by default) | — |
| EMAIL 標準 | ネイティブヘッド | zero-shot | EMAIL_ADDRESS | private email | |
| USERNAME 標準 | ネイティブヘッド | — | zero-shot | — | — |
| URL 標準 | ネイティブヘッド | URL | zero-shot | URL | private url |
| PHONE 標準 | ネイティブヘッド | PhoneNumber | zero-shot | PHONE_NUMBER | private phone |
| ACCOUNT 標準 | ネイティブヘッド | IBAN / BankAccount | zero-shot | IBAN_CODE, US_BANK_NUMBER | — |
| WALLET 標準 | ネイティブヘッド | — | zero-shot | CRYPTO | — |
| CARD 標準 | ネイティブヘッド | CreditCardNumber | zero-shot | CREDIT_CARD | — |
| NATIONAL_ID 標準 | ネイティブヘッド | ~70 country ID categories | zero-shot | ~76 country recognizers | — |
| PLATE 標準 | ネイティブヘッド | LicensePlate (preview) | zero-shot | — | — |
| DOB 標準 | ネイティブヘッド | DateOfBirth (preview) | zero-shot | DATE_TIME (any date) | — |
| NETADDR 標準 | ネイティブヘッド | IPAddress | zero-shot | IP_ADDRESS | — |
| POSTAL_CODE 標準 | ネイティブヘッド | ZipCode (preview) | zero-shot | — | — |
| CUSTOMER_ID 標準 | ネイティブヘッド | — | zero-shot | — | — |
| SECRET 標準 | ネイティブヘッド | Password (preview) | zero-shot | — | — |
| CODENAME 標準 | ネイティブヘッド | — | zero-shot (43% recall on the 27 prompts; 7 languages) | — | — |
| DATE 暦日と出来事の年 — 1.5の新機能。生年月日はDOBのまま | ネイティブヘッド | DateTime (any date) | zero-shot | DATE_TIME (any date) | — |
| AGE 明示された年齢:単位付き数値、年齢欄の裸の数値、範囲、語形 — 1.5の新機能 | ネイティブヘッド | Age | zero-shot | — | — |
| F1スコア | 「すべて見つけた」(再現率)と「誤警報なし」(適合率)を1つにまとめた0〜100の数値。高いほど良い。 |
| 厳密 | 文字境界が完全一致し、タイプも正しい場合のみ検出成立。 |
| 寛容 / 部分一致 | 正しいテキストに正しいタイプで触れれば検出成立。スパン慣習が異なるシステム間でより公平。 |
| テストセット × 言語 | 表の各行は1言語の公開テストセット1件、通常300テキスト。 |
| 最良しきい値 | 他社は感度設定を走査した最良値を報告。ShinrAIは常に標準設定の値を報告。 |
| ⚠ このテストセットで訓練済み | そのシステムは訓練中にこのテストのデータを見ています — 当該スコアは水増しされており比較になりません。 |
| 適合率 / 再現率 | 適合率:検出したもののうち正しかった割合。再現率:存在するもののうち見つけた割合。 |
| ベータロケール | ヘブライ語は統合とフィードバックのために提供中。品質はリリース水準未満ですが、常に表示し、集計にも含めます。 |
ShinrAI(信頼)· Innovius × EECC Research Labs · ユーリッヒ・スーパーコンピューティングセンター(JURECA、WestAI)で訓練 · 公開モデル重み · ShinrAIを今すぐ試す — PIIプレイグラウンド