Peças
Cada peça é verificada contra uma implementação de referência e passa por benchmarks em vários tamanhos de entrada. Escolha uma, copie e guarde a prova.
IA
Processamento de dados em torno de LLMs: chunking, normalização, deduplicação, contagem de tokens.
File Hash
Hash em streaming com BLAKE3 e SHA-256 para verificar a integridade de arquivos e detectar duplicatas exatas em conjuntos de dados.
- Verificado com
- hashlib
- Até
- 5.7× mais rápido
MinHash
Detecção de quase duplicatas com assinaturas MinHash, idêntica bit a bit ao datasketch. Estima a similaridade de Jaccard entre conjuntos de tokens em espaço constante, para deduplicar corpora de RAG e dados de treinamento.
- Verificado com
- datasketch
- Até
- 19× mais rápido
Text Chunker
Divisor de texto recursivo para RAG. Separa documentos em limites de parágrafo, frase e palavra em blocos de tamanho-alvo, com sobreposição.
- Verificado com
- langchain-text-splitters
- Até
- 26× mais rápido
Token Counter
Conta tokens BPE para codificações compatíveis com a OpenAI (cl100k_base, o200k_base) sem montar a lista de tokens.
- Verificado com
- tiktoken
- Até
- 1.7× mais rápido
Unicode Normalize
Limpeza Unicode para pipelines de texto: normalização NFC/NFKC, unificação de espaços e remoção de caracteres invisíveis.
- Verificado com
- unicodedata
- Até
- 2.2× mais rápido
Segurança
Parsing de logs, busca de padrões, hashing, análise de binários.
Byte Entropy
Entropia de Shannon em janelas deslizantes de um binário, para identificar seções compactadas ou criptografadas.
- Verificado com
- scipy.stats.entropy
- Até
- 35× mais rápido
File Hash
Hash em streaming com BLAKE3 e SHA-256 para verificar a integridade de arquivos e detectar duplicatas exatas em conjuntos de dados.
- Verificado com
- hashlib
- Até
- 5.7× mais rápido
Log Parse
Converte syslog (RFC 3164 / 5424) e logs de acesso de servidores web comuns em registros estruturados.
- Verificado com
- re
- Até
- 20× mais rápido
Multi-pattern Match
Busca Aho–Corasick de milhares de padrões em uma única passada, para varrer logs e payloads em busca de indicadores de comprometimento.
- Verificado com
- pyahocorasick
- Até
- 5.0× mais rápido