English Deutsch 日本語
Innovius · ShinrAI 信頼 · 意味論的暗号化

PIIベンチマークボード

PII検出器は実際どこまで機能するのか。私たちは自社のリリースと他社システムを同じテキスト・同じ採点で測定し、劣っている箇所も含めてすべてを公開します。

🇩🇪 🇬🇧 🇺🇸 🇫🇷 🇪🇸 🇮🇹 🇵🇱 🇵🇹 🇧🇷 🇷🇺 🇺🇦 🇹🇷 🇸🇦 🇯🇵 🇰🇷 🇮🇱
15ロケール · 単一モデル · 🇪🇺 EU重点リリース、対応拡大予定 · 🇮🇱 ヘブライ語はベータ
Calm, private AI

3つのリリースをひとつのボードで

ShinrAI 1.1

対応言語独・英・日
検出4ヘッド · 12クラス

最初の公開世代(2026年)。アーカイブとして引き続き利用可能。

ShinrAI 1.2

対応言語西欧6言語
検出4ヘッド · 12クラス

拡充された辞書資産、1024トークン窓。アーカイブ。

ShinrAI 1.3

対応言語15ロケール
検出19ヘッド · 27クラス

現行リリース:識別子フォーマットをモデルに内蔵、51クラスの出自属性、日本語は過去最高水準。

今後の予定:ShinrAI 1.4 を訓練中 — 長文書の黒塗り、書式文書レジスタ、ヘブライ語の正式対応へ。

「ShinrAI 1.3」列は、標準サービング設定で動く公開モデルの値 — これが本当に意味のある数字です。エンタープライズ製品はその上にルールベース検出(チェックサム検証、確定的識別子)を重ねます。この層は構造上厳密であり、本スコアには含まれません。

15ロケール自社テスト

ビジネス文書・診療文書 — 15ロケール自社テスト
各言語の現実的な書簡・請求書・診療メモ。氏名、地名、企業名、識別子をすべて検出します。
Sehr geehrte Frau Keller, Ihr Termin in Leipzig ist bestätigt — Kundennummer KD-2024-88371.

F1スコア(0–100、高いほど良い · 厳密スパン)。各ロケール200テキスト。中央値 95.0 はヘブライ語ベータを含みます。同じテキストで測定したAzure AI PII:53–76。

言語スコアF1適合率 / 再現率
🇯🇵JA
98.198.3 / 97.8
🇬🇧🇺🇸EN
97.797.2 / 98.1
🇧🇷PT-BR
97.397.7 / 96.9
🇪🇸ES
96.997.2 / 96.6
🇷🇺RU
96.496.2 / 96.7
🇫🇷FR
96.096.3 / 95.8
🇰🇷KO
95.595.9 / 95.2
🇮🇹IT
95.096.3 / 93.8
🇩🇪🇦🇹🇨🇭DE
94.495.3 / 93.5
🇵🇹PT-PT
94.295.3 / 93.1
🇵🇱PL
90.991.4 / 90.3
🇹🇷TR
90.190.7 / 89.5
🇸🇦AR
87.990.3 / 85.6
🇺🇦UA
86.789.2 / 84.3
🇮🇱HE ベータ
59.568.8 / 52.3

国が重要です。モデルはフランスとスペインで街路名がどう違うか、日本で企業名がどう見えるかを知っています。検出も置換も各国の慣習に従います。

公開テストセット — 全システムを同一測定環境で

各社システムは自己最良のしきい値で、ShinrAIは標準設定で動作。スコアはF1(0–100、高いほど良い)、寛容マッチング — 正しいテキストに正しいタイプで触れれば検出成立(用語集参照)。★は行ごとの最良システム。⚠は当該テストセットで訓練したシステム。

例文中の色分け: 人名 · 地名 · 識別子 · 組織
ai4privacy — 日常メッセージ
個人データを埋め込んだ短いチャットとフォーム断片。4言語。
Hi Maria Ortega, your parcel to 8 Elm Road, Leeds arrives Friday.
言語ShinrAI 1.1ShinrAI 1.2ShinrAI 1.3LFM2.5 PII (Liquid AI)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE81.583.685.469.435.611.021.390.3 ★
⚠ 訓練データ重複の可能性が高い
77.8
EN80.575.580.876.738.310.921.186.9 ★
⚠ 訓練データ重複の可能性が高い
70.268.450.069.1
FR80.782.482.674.537.99.716.290.6 ★
⚠ 訓練データ重複の可能性が高い
75.9
IT76.577.683.370.945.213.125.389.0 ★
⚠ 訓練データ重複の可能性が高い
73.8
MultiNERD — 百科事典文
8言語のWikipedia調の文。人物と組織を検出します。
Clara Immerwahr studied chemistry in Breslau before joining the university institute.
言語ShinrAI 1.1ShinrAI 1.2ShinrAI 1.3LFM2.5 PII (Liquid AI)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE72.878.192.1 ★62.345.625.737.958.591.3
⚠ 訓練データ非公開
EN79.383.294.960.945.817.328.558.796.2 ★
⚠ 訓練データ非公開
86.965.186.5
ES85.673.597.7 ★61.539.016.529.564.493.3
⚠ 訓練データ非公開
FR84.172.893.3 ★61.740.216.526.961.490.3
⚠ 訓練データ非公開
IT88.567.896.8 ★56.233.911.821.760.491.4
⚠ 訓練データ非公開
PL74.773.581.265.932.320.123.745.787.8 ★
⚠ 訓練データ非公開
PT81.073.394.762.738.415.428.861.096.1 ★
⚠ 訓練データ非公開
RU71.170.582.5 ★53.934.917.918.151.582.5 ★
⚠ 訓練データ非公開
Gretel — 合成ビジネス文書
機械生成の証明書・申請書・記録 — 書式文書レジスタ。
ADOPTION CERTIFICATE — confirms the adoption of Urvashi Jaggi, identifier UID-PRWBO4TB.
言語ShinrAI 1.1ShinrAI 1.2ShinrAI 1.3Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN24.125.452.230.744.284.5 ★34.078.174.324.354.624.823.551.460.053.946.437.339.7
Nemotron-PII — 合成の米国書式
機械生成の米国申請書・書簡(NVIDIAテストセット)。
I, Jason, live at 87 Avenida De La Estrella. Date of birth 1987-05-22.
言語ShinrAI 1.1ShinrAI 1.2ShinrAI 1.3Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN25.142.264.446.557.587.354.693.9 ★
⚠ このテストセットで訓練済み
89.612.949.711.010.964.865.568.068.341.248.7
TAB — 実在の判例(長文書)
欧州人権裁判所の実際の判決文、各約5,000字。人物と組織を匿名化します。
…lodged by Mr Henrik Hasslund, represented by Mr Tyge Trier, a lawyer in Copenhagen
言語ShinrAI 1.1ShinrAI 1.2ShinrAI 1.3Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
EN24.432.878.348.2
⚠ API上限5,120字。長文書は切り詰め
72.860.036.149.150.422.453.015.517.830.323.583.6 ★
⚠ 訓練データ非公開
65.466.972.6
MAPA — EU法令テキスト
EU法(EUR-LEX)の6言語の文。対象が疎らで、検出すべきものが無い文も多く、どのシステムにも難しい条件です。
Reference for a preliminary ruling from the Rechtbank Amsterdam concerning SF.
言語ShinrAI 1.1ShinrAI 1.2ShinrAI 1.3Azure AI PII (Microsoft)Presidio (open source)LFM2.5 PII (Liquid AI)Privacy Filter (OpenAI)OpenMed PII E5OpenMed Privacy FilterGLiNER PII (Urchade)GLiNER2 PII (Fastino)GLiNER Large (Knowledgator)GLiNER Edge (Knowledgator)Piiranha v1 (III)EU PII Safeguard (Tabularis)EU PII Multilang (Bards.ai)PII BERT (Gravitee)De-identifier (Stanford AIMI)DeID RoBERTa (OBI)
DE22.643.460.5 ★55.938.627.813.434.212.210.315.86.310.119.443.148.9
EN36.822.936.223.419.331.728.653.4 ★13.14.810.23.24.229.048.234.836.342.530.9
ES53.729.539.028.23.543.632.573.0 ★13.96.210.42.94.354.849.436.0
FR22.441.548.642.925.132.56.133.011.28.017.35.27.618.131.744.4
IT29.516.913.311.27.034.010.436.6 ★10.01.72.81.21.330.130.311.9
PT30.138.248.748.825.828.813.443.518.09.418.56.912.026.444.252.4 ★

上記全セルの厳密境界スコア(正確な文字スパン)は生の実行ファイルに同梱しています。

攻撃耐性

チャット攻撃プロンプト
人が実際にAIへデータを漏らす書き方 — あだ名、ほのめかし、分散した詳細 — でフィルタをすり抜けるよう作られた27のチャット文(2026年のプライバシー研究より)。
"my colleague — let's call him R. — just moved to the office on Karlsplatz for project Bluebird…"

F1スコア(0–100、高いほど良い)、寛容マッチング、全システム同一テキスト。

システムスコア
Azure AI PII preview (Microsoft)
未リリースのプレビューAPI — 出荷済み製品ではありません
88.8
ShinrAI 1.3 (Innovius.AI / EECC Labs)84.9
Azure AI PII (Microsoft)81.1
Presidio (open source)75.6
GLiNER2 PII (Fastino)74.3
GLiNER PII (Urchade)70.9
OpenMed Privacy Filter67.1
OpenMed PII E566.2
Privacy Filter (OpenAI)55.0
Piiranha v1 (III)27.2

Microsoftの出荷済み製品(Azure AI PII GA)はここで81.1 — ShinrAI 1.3を下回ります。プレビューAPIは3.9ポイント先行していますが、一般提供されていません。

日本語 直接対決 🇯🇵

名前が日本語なら、テストも日本語で
日本語のビジネス・診療文書300通。ShinrAI(信頼)対 Liquid AIの日本語専用PIIモデル。
担当者 入迫 かつなが 様 — 川崎フロンターレ川崎市中原区

ShinrAI 1.3

98.1

F1、寛容マッチング · 本テストでは人名・地名・街路・企業を採点。全体では27クラスを検出。

LFM2 PII Extract JP (Liquid AI)

56.6

同社の日本語専用抽出モデル。出力は5カテゴリ:氏名、住所、企業、メール、電話番号。

長文書 — ShinrAIの読み方

長いテキストの処理方法

モデルは一度に1024トークンを読み、長いテキストには重なり合う窓をスライドさせ、継ぎ目でスパンを統合します — 30ページのファイルも1つの文書として処理。サービング層は会話入力向けの自動セグメンテーションを追加:短文は一括デコード、長文は文単位の走査も行い、両者が一致して初めてスパンが成立します。

長文書での測定結果

書簡4倍の長さでもスコアは維持:EN 96.6、DE 93.8 — 品質の崖はありません。上記の判例テスト(TAB、1文書約5,000字)はまさにこの経路で実行。公平性:512トークン制限の他社モデルにも長文書では同じ窓処理を適用 — 表が測るのはモデルの実力であり、切り詰めの既定値ではありません。

改善領域

ツールは実測値で選ぶべきだからこそ、自社の弱点も公開します。以下はすべて1.4計画に組み込み済みで、最初の項目は訓練中です。

領域現在の実測値状況
超長文レコード(REDACTテスト)36.5 対 Azure 51.2長文レコード専用の訓練コーパスを1.4キャンペーンに組み込み済み。
合成の米国書式レジスタ(Gretel、Nemotron)寛容 52.2 / 64.4 対 Liquid AI 84.5 / 87.3書式文書レジスタの訓練トラックを1.4で計画。
判例文書のスパン慣習(TAB)検出は寛容78.3、厳密スパンは34.4エンティティは検出できています。スパン境界の慣習(敬称、機関の正式名称)が異なるだけです。サービング側の慣習プロファイルを作成中 — 再訓練は不要。
チャット攻撃プロンプト84.9 対 Azureプレビュー 88.8PresidioとGLiNER2はすでに上回っています。会話テキスト向けデコーダの改良を1.4で継続。
15言語中8言語の百科事典レジスタ1.3で7言語は改善、残る8言語は百科事典テキストで後退ビジネス文書の品質は影響なし。両立の再調整が1.4訓練の主目標 — 実行中です。

お使いのハードウェアで ShinrAI はどれくらい速いか

公開モデル innovius/shinrai-pii-m-v1.3(フル精度、ONNX Runtime)で 1 リクエストの PII 検出にかかる時間。4 つのテキストサイズ:チャットの一言(62 トークン ≈ 45 語)、段落(317 トークン ≈ 230 語、ShinrAI のレイテンシ値の基準)、1 ページ(1,024 トークン、モデルのウィンドウ)、長文書(10,000 トークン ≈ 15 ページ)。無印はその機器で実測、 はモデルの計算量からの推定(±40 %)、~ は実測した同系機からの換算。

機器RAM / VRAMチャットの一言段落1 ページ長文書向いている用途
シングルボードコンピュータ
Raspberry Pi 4 Model B (4 GB)4 GB · 不足≈706 ms≈3.7 s≈12.5 s≈2.6 min文書・データ処理のみ — チャットには遅すぎる
Raspberry Pi 4 Model B (8 GB)8 GB · 十分≈706 ms≈3.7 s≈12.5 s≈2.6 min文書・データ処理のみ — チャットには遅すぎる
Raspberry Pi 5 (8 GB)8 GB · 十分≈193 ms≈982 ms≈3.3 s≈40.4 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Raspberry Pi 5 (16 GB)16 GB · 十分≈193 ms≈982 ms≈3.3 s≈40.4 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
ミニ PC
Intel N100 mini PC (16 GB)16 GB · 十分≈174 ms≈835 ms≈2.8 s≈33.9 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
ノート PC
Apple M1 (MacBook Air class, 4P+4E)8 GB · 十分~87 ms~458 ms~1.8 s≈16.9 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Apple M4 (MacBook Air / iMac / Mac mini, 4P+6E)16 GB · 十分~16 ms~78 ms~310 ms~4.0 sリアルタイム:AI チャット・アシスタント向き
x86 laptop, 8 cores (Ryzen 7 7840U / Core Ultra 7 class)16 GB · 十分~48 ms~189 ms~676 ms~6.8 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
デスクトップ・ワークステーション
Apple M4 Pro (Mac mini 2024, 10P+4E)64 GB · 十分13 ms56 ms233 ms3.1 sリアルタイム:AI チャット・アシスタント向き
AMD Threadripper 7960X workstation (24 cores, CPU only)64 GB · 十分≈21 ms≈64 ms≈193 ms≈2.3 sリアルタイム:AI チャット・アシスタント向き
エッジ GPU(Jetson)
NVIDIA Jetson Orin Nano Super (8 GB)8 GB · 十分≈24 ms≈106 ms≈344 ms≈4.2 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
NVIDIA Jetson Orin NX (16 GB)16 GB · 十分≈26 ms≈116 ms≈380 ms≈4.6 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
NVIDIA Jetson AGX Orin (64 GB)64 GB · 十分≈13 ms≈45 ms≈140 ms≈1.7 sリアルタイム:AI チャット・アシスタント向き
デスクトップ/ワークステーション GPU
NVIDIA DGX Spark (GB10)128 GB · 十分≈6 ms≈9 ms≈19 ms≈175 msリアルタイム:AI チャット・アシスタント向き
NVIDIA RTX 3090 (24 GB)24 GB · 十分≈6 ms≈9 ms≈17 ms≈151 msリアルタイム:AI チャット・アシスタント向き
NVIDIA RTX 4090 (24 GB)24 GB · 十分≈6 ms≈8 ms≈16 ms≈131 msリアルタイム:AI チャット・アシスタント向き
サーバー・クラウド VM — CPU のみ
AMD EPYC 7002 'Rome' VM, 2 vCPU (cgroup limit)6 GB · 十分131 ms589 ms2.2 s29.8 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
AMD EPYC 7002 'Rome' VM, 4 vCPU6 GB · 十分83 ms350 ms1.2 s15.5 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
AMD EPYC 7002 'Rome' VM, 8 vCPU6 GB · 十分59 ms237 ms845 ms8.5 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
AMD EPYC 7002 'Rome' VM, 16 vCPU6 GB · 十分76 ms215 ms668 ms7.2 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Cloud VM, 4 vCPU x86 (AMD EPYC 9V74 "Genoa", shared, GitHub-hosted runner)16 GB · 十分105 ms514 ms1.9 s≈21.0 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Cloud VM, 4 vCPU Arm (Neoverse N2 / Cobalt 100, GitHub-hosted runner)16 GB · 十分92 ms442 ms1.7 s≈18.0 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Cloud VM, 4 vCPU Intel Ice Lake / Sapphire Rapids (AVX-512 VNNI)16 GB · 十分~70 ms~298 ms~1.0 s~13.1 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
Hugging Face Space, cpu-upgrade (8 vCPU, 32 GB)32 GB · 十分~83 ms~350 ms~1.2 s~15.5 sエージェント型 AI・ワークフロー向き(リアルタイムチャットは不向き)
サーバー — GPU
NVIDIA Tesla P40 (24 GB, Pascal 2016)24 GB · 十分9 ms25 ms93 ms1.6 sリアルタイム:AI チャット・アシスタント向き
NVIDIA T4 (16 GB)16 GB · 十分≈10 ms≈31 ms≈93 ms≈1.1 sリアルタイム:AI チャット・アシスタント向き
NVIDIA L4 (24 GB)24 GB · 十分≈6 ms≈10 ms≈19 ms≈178 msリアルタイム:AI チャット・アシスタント向き
NVIDIA A10 (24 GB)24 GB · 十分≈6 ms≈9 ms≈19 ms≈171 msリアルタイム:AI チャット・アシスタント向き
NVIDIA L40S (48 GB)48 GB · 十分≈6 ms≈7 ms≈10 ms≈62 msリアルタイム:AI チャット・アシスタント向き
NVIDIA A100 (80 GB)80 GB · 十分≈6 ms≈7 ms≈11 ms≈72 msリアルタイム:AI チャット・アシスタント向き
NVIDIA H100 SXM (80 GB)80 GB · 十分≈5 ms≈6 ms≈7 ms≈26 msリアルタイム:AI チャット・アシスタント向き

Raspberry Pi:文書・データパイプラインには使えます(段落 1 つが Pi 5 で約 1 秒、Pi 4 で約 4 秒)が、チャットには不向きです。コンパクトなモデルファイル配置で RAM 4 GB 以上、8 GB あれば余裕、64-bit OS。

メモリ:フル精度のモデルセッション 1 つに、配布形式で約 2.0 GB、ONNX external-data 配置なら約 0.9 GB の RAM が必要です(速度は同じ)。小型機器にはこの配置を推奨します。

ShinrAI サービス経由では、既定の長文モードが 1,200 文字を超えるテキストを文単位でも読み直します(再現率向上のため)。段落では約 3 倍のコストになります。下の行は同じ GPU での両モードです。

Tesla P40(2016 年)上の ShinrAI サービスチャットの一言段落手紙(2 ページ)長文書
モデルのみ(全文を 1 パス)9 ms25 ms175 ms1.6 s
既定:長文モード(文単位)9 ms69 ms348 ms4.9 s

2026-09-02 に research/hardware-map/hardware-map.json から生成(scripts/hardware/render-map.py)。

検出対象 — 19ヘッド、27クラス

クラスShinrAI 1.3Azure PIIGLiNER2PresidioOpenAI PF
PERSON
一般的 / 珍しい / 希少(名前順位)
ネイティブヘッドPersonzero-shotPERSON (spaCy)private persons only
CITY
大 / 中 / 小(人口)
ネイティブヘッドCity/Location (preview)zero-shotLOCATION (spaCy)
STREET
一般 / 特定 / 局地
ネイティブヘッドAddresszero-shotprivate address
ORG
国際 / 全国 / 地域(サイトリンク)
ネイティブヘッドOrganizationzero-shot (P 15–33%)ORGANIZATION (off by default)
EMAIL
標準
ネイティブヘッドEmailzero-shotEMAIL_ADDRESSprivate email
USERNAME
標準
ネイティブヘッドzero-shot
URL
標準
ネイティブヘッドURLzero-shotURLprivate url
PHONE
標準
ネイティブヘッドPhoneNumberzero-shotPHONE_NUMBERprivate phone
ACCOUNT
標準
ネイティブヘッドIBAN / BankAccountzero-shotIBAN_CODE, US_BANK_NUMBER
WALLET
標準
ネイティブヘッドzero-shotCRYPTO
CARD
標準
ネイティブヘッドCreditCardNumberzero-shotCREDIT_CARD
NATIONAL_ID
標準
ネイティブヘッド~70 country ID categorieszero-shot~76 country recognizers
PLATE
標準
ネイティブヘッドLicensePlate (preview)zero-shot
DOB
標準
ネイティブヘッドDateOfBirth (preview)zero-shotDATE_TIME (any date)
NETADDR
標準
ネイティブヘッドIPAddresszero-shotIP_ADDRESS
POSTAL_CODE
標準
ネイティブヘッドZipCode (preview)zero-shot
CUSTOMER_ID
標準
ネイティブヘッドzero-shot
SECRET
標準
ネイティブヘッドPassword (preview)zero-shot
CODENAME
標準
ネイティブヘッドzero-shot (43% recall on the 27 prompts; 7 languages)
1レコードで全クラスを一度に
Dr. Anna Keller (Leipzig, Lindenweg 12) of Volksbank Nordparkanna.k@example.de · +49 170 1234567 · IBAN DE89 3704 0044 0532 0130 00 · customer KD-448291 · project Bluebird
さらに他社にはない3つの属性信号 — 文化的出自(51クラス)、ジェンダー表現、名前の部位 — が、自然に読めて無損失復元できる置換の制御データになります。

用語集

F1スコア「すべて見つけた」(再現率)と「誤警報なし」(適合率)を1つにまとめた0〜100の数値。高いほど良い。
厳密文字境界が完全一致し、タイプも正しい場合のみ検出成立。
寛容 / 部分一致正しいテキストに正しいタイプで触れれば検出成立。スパン慣習が異なるシステム間でより公平。
テストセット × 言語表の各行は1言語の公開テストセット1件、通常300テキスト。
最良しきい値他社は感度設定を走査した最良値を報告。ShinrAIは常に標準設定の値を報告。
⚠ このテストセットで訓練済みそのシステムは訓練中にこのテストのデータを見ています — 当該スコアは水増しされており比較になりません。
適合率 / 再現率適合率:検出したもののうち正しかった割合。再現率:存在するもののうち見つけた割合。
ベータロケールヘブライ語は統合とフィードバックのために提供中。品質はリリース水準未満ですが、常に表示し、集計にも含めます。

測定方法

ShinrAI(信頼)· Innovius × EECC Research Labs · ユーリッヒ・スーパーコンピューティングセンター(JURECA、WestAI)で訓練 · 公開モデル重み · ShinrAIを今すぐ試す — PIIプレイグラウンド