Composants
Chaque composant est vérifié par rapport à une implémentation de référence et mesuré sur plusieurs tailles d'entrée. Choisissez-en un, copiez-le, gardez la preuve.
IA
Traitement de données autour des LLM : découpage, normalisation, déduplication, comptage de tokens.
File Hash
Hachage en flux BLAKE3 et SHA-256 pour vérifier l'intégrité des fichiers et détecter les doublons exacts dans les jeux de données.
- Vérifié par rapport à
- hashlib
- Jusqu'à
- 5.7× plus rapide
MinHash
Détection de quasi-doublons à l'aide de signatures MinHash, identique bit à bit à datasketch. Estime la similarité de Jaccard entre des ensembles de tokens en espace constant, pour dédupliquer les corpus RAG et les données d'entraînement.
- Vérifié par rapport à
- datasketch
- Jusqu'à
- 19× plus rapide
Text Chunker
Découpage récursif de texte pour le RAG. Coupe les documents aux limites de paragraphes, de phrases et de mots en fragments de taille cible, avec chevauchement.
- Vérifié par rapport à
- langchain-text-splitters
- Jusqu'à
- 26× plus rapide
Token Counter
Compte les tokens BPE des encodages compatibles OpenAI (cl100k_base, o200k_base) sans construire la liste des tokens.
- Vérifié par rapport à
- tiktoken
- Jusqu'à
- 1.7× plus rapide
Unicode Normalize
Nettoyage Unicode pour les pipelines de texte : normalisation NFC/NFKC, regroupement des espaces et suppression des caractères invisibles.
- Vérifié par rapport à
- unicodedata
- Jusqu'à
- 2.2× plus rapide
Sécurité
Analyse de logs, recherche de motifs, hachage, analyse de binaires.
Byte Entropy
Entropie de Shannon sur des fenêtres glissantes d'un binaire, pour repérer les sections compressées ou chiffrées.
- Vérifié par rapport à
- scipy.stats.entropy
- Jusqu'à
- 35× plus rapide
File Hash
Hachage en flux BLAKE3 et SHA-256 pour vérifier l'intégrité des fichiers et détecter les doublons exacts dans les jeux de données.
- Vérifié par rapport à
- hashlib
- Jusqu'à
- 5.7× plus rapide
Log Parse
Analyse le syslog (RFC 3164 / 5424) et les journaux d'accès des serveurs web courants en enregistrements structurés.
- Vérifié par rapport à
- re
- Jusqu'à
- 20× plus rapide
Multi-pattern Match
Recherche Aho–Corasick de milliers de motifs en une seule passe, pour analyser journaux et charges utiles à la recherche d'indicateurs de compromission.
- Vérifié par rapport à
- pyahocorasick
- Jusqu'à
- 5.0× plus rapide