部品

どの部品も参照実装と突き合わせて検証し、入力サイズごとに計測しています。選んで、コピーして、証拠ごと持ち帰ってください。

AI

LLM 周辺のデータ処理：チャンク分割、正規化、重複除去、トークン計測。

BLAKE3 と SHA-256 によるストリーミングハッシュ。ファイルの改ざん確認や、データセット内の完全一致の重複検出に使えます。

MinHash シグネチャによる近似重複検出。datasketch とビット単位で同じ結果を返します。トークン集合どうしの Jaccard 類似度を一定のメモリ量で推定し、RAG のコーパスや学習データの重複除去に使えます。

RAG 向けの再帰的なテキスト分割。段落・文・単語の境目で文書を区切り、指定した大きさと重なり幅のチャンクにします。

OpenAI 互換のエンコーディング（cl100k_base、o200k_base）で BPE トークン数を数えます。トークンの一覧は作りません。

テキスト処理のための Unicode の整形。NFC/NFKC 正規化、空白のまとめ、見えない文字の除去を行います。

ログのパース、パターンマッチ、ハッシュ計算、バイナリ解析。

バイナリをずらしながら区切った窓ごとにシャノンエントロピーを計算し、圧縮や暗号化された部分を見つけます。

BLAKE3 と SHA-256 によるストリーミングハッシュ。ファイルの改ざん確認や、データセット内の完全一致の重複検出に使えます。

syslog（RFC 3164 / 5424）と一般的な Web サーバーのアクセスログを、構造化されたレコードに変換します。

Aho–Corasick 法で数千のパターンを1回の走査で照合します。ログや通信内容から侵害の痕跡（IOC）を探すのに使えます。