Piezas
Cada pieza se verifica frente a una implementación de referencia y se mide con distintos tamaños de entrada. Elige una, cópiala y conserva la prueba.
IA
Procesamiento de datos en torno a LLM: fragmentación, normalización, deduplicación y conteo de tokens.
File Hash
Hash en streaming con BLAKE3 y SHA-256 para verificar la integridad de archivos y detectar duplicados exactos en conjuntos de datos.
- Verificado frente a
- hashlib
- Hasta
- 5.7× más rápido
MinHash
Detección de casi duplicados con firmas MinHash, idéntica bit a bit a datasketch. Estima la similitud de Jaccard entre conjuntos de tokens en espacio constante, para deduplicar corpus de RAG y datos de entrenamiento.
- Verificado frente a
- datasketch
- Hasta
- 19× más rápido
Text Chunker
Divisor de texto recursivo para RAG. Separa documentos por párrafos, oraciones y palabras en fragmentos de tamaño objetivo con solapamiento.
- Verificado frente a
- langchain-text-splitters
- Hasta
- 26× más rápido
Token Counter
Cuenta tokens BPE para codificaciones compatibles con OpenAI (cl100k_base, o200k_base) sin construir la lista de tokens.
- Verificado frente a
- tiktoken
- Hasta
- 1.7× más rápido
Unicode Normalize
Limpieza Unicode para flujos de texto: normalización NFC/NFKC, unificación de espacios y eliminación de caracteres invisibles.
- Verificado frente a
- unicodedata
- Hasta
- 2.2× más rápido
Seguridad
Análisis de logs, coincidencia de patrones, hashing y análisis de binarios.
Byte Entropy
Entropía de Shannon sobre ventanas deslizantes de un binario, para detectar secciones empaquetadas o cifradas.
- Verificado frente a
- scipy.stats.entropy
- Hasta
- 35× más rápido
File Hash
Hash en streaming con BLAKE3 y SHA-256 para verificar la integridad de archivos y detectar duplicados exactos en conjuntos de datos.
- Verificado frente a
- hashlib
- Hasta
- 5.7× más rápido
Log Parse
Analiza syslog (RFC 3164 / 5424) y logs de acceso de servidores web comunes en registros estructurados.
- Verificado frente a
- re
- Hasta
- 20× más rápido
Multi-pattern Match
Búsqueda Aho–Corasick de miles de patrones en una sola pasada, para analizar logs y cargas útiles en busca de indicadores de compromiso.
- Verificado frente a
- pyahocorasick
- Hasta
- 5.0× más rápido