Bausteine
Jeder Baustein wird gegen eine Referenzimplementierung geprüft und über verschiedene Eingabegrößen gebenchmarkt. Wähle einen aus, kopiere ihn, behalte den Beweis.
KI
Datenverarbeitung rund um LLMs: Chunking, Normalisierung, Deduplizierung, Token-Zählung.
File Hash
Streaming-Hashing mit BLAKE3 und SHA-256 für Integritätsprüfungen von Dateien und das Erkennen exakter Duplikate in Datensätzen.
- Verifiziert gegen
- hashlib
- Bis zu
- 5.7× schneller
MinHash
Erkennung von Beinahe-Duplikaten mit MinHash-Signaturen, bitgenau kompatibel zu datasketch. Schätzt die Jaccard-Ähnlichkeit zwischen Token-Mengen bei konstantem Speicherbedarf – zur Deduplizierung von RAG-Korpora und Trainingsdaten.
- Verifiziert gegen
- datasketch
- Bis zu
- 19× schneller
Text Chunker
Rekursiver Text-Splitter für RAG. Teilt Dokumente an Absatz-, Satz- und Wortgrenzen in Chunks mit Zielgröße und Überlappung.
- Verifiziert gegen
- langchain-text-splitters
- Bis zu
- 26× schneller
Token Counter
Zählt BPE-Tokens für OpenAI-kompatible Kodierungen (cl100k_base, o200k_base), ohne die Token-Liste aufzubauen.
- Verifiziert gegen
- tiktoken
- Bis zu
- 1.7× schneller
Unicode Normalize
Unicode-Bereinigung für Text-Pipelines: NFC/NFKC-Normalisierung, Zusammenfassen von Leerraum und Entfernen unsichtbarer Zeichen.
- Verifiziert gegen
- unicodedata
- Bis zu
- 2.2× schneller
Sicherheit
Log-Parsing, Mustererkennung, Hashing, Binäranalyse.
Byte Entropy
Shannon-Entropie über gleitende Fenster einer Binärdatei, um gepackte oder verschlüsselte Abschnitte zu finden.
- Verifiziert gegen
- scipy.stats.entropy
- Bis zu
- 35× schneller
File Hash
Streaming-Hashing mit BLAKE3 und SHA-256 für Integritätsprüfungen von Dateien und das Erkennen exakter Duplikate in Datensätzen.
- Verifiziert gegen
- hashlib
- Bis zu
- 5.7× schneller
Log Parse
Parst Syslog (RFC 3164 / 5424) und gängige Webserver-Zugriffslogs in strukturierte Datensätze.
- Verifiziert gegen
- re
- Bis zu
- 20× schneller
Multi-pattern Match
Aho–Corasick-Suche nach Tausenden Mustern in einem Durchlauf, um Logs und Payloads nach Kompromittierungsindikatoren zu durchsuchen.
- Verifiziert gegen
- pyahocorasick
- Bis zu
- 5.0× schneller