Text Chunker
v0.1.0Añadido el 26 sept 2026Datos de ejemploDivisor de texto recursivo para RAG. Separa documentos por párrafos, oraciones y palabras en fragmentos de tamaño objetivo con solapamiento.
Datos de ejemplo. Estas cifras son provisionales, no mediciones.
cargo install kura-rs
kura add text-chunkerCopia 2 archivos de código fuente en tu proyecto. A partir de ahí, el código es tuyo.
Si otra herramienta ya instala un comando kura, ejecuta cargo install kura-rs --bin kura-rs y usa kura-rs add en su lugar.
use crate::parts::text_chunker::Chunker;
let chunker = Chunker::new(1_000).overlap(200);
for chunk in chunker.split(&document) {
index.add(chunk.text, chunk.range);
}Verificación
Datos de ejemploVerificado frente a langchain-text-splitters 0.3.8 (Python). Método: Pruebas diferenciales. Las mismas entradas se pasan a ambas implementaciones y se comparan las salidas.
Estas cifras son provisionales. Todavía no se han medido y no deben interpretarse como resultados reales. Esta pieza está marcada con "sample": true en su archivo del registro.
Benchmarks
Datos de ejemplokura-rs (Rust) frente a langchain-text-splitters con distintos tamaños de entrada. Más rápido en todos los tamaños de entrada medidos, hasta 26× más rápido.
Estas cifras son provisionales. Todavía no se han medido y no deben interpretarse como resultados reales. Esta pieza está marcada con "sample": true en su archivo del registro.
Mostrar tabla de datos
| Tamaño de entrada | kura-rs (Rust) | langchain-text-splitters | Aceleración |
|---|---|---|---|
| 1 | 0,08 ms | 0,9 ms | 11× |
| 10 | 0,4 ms | 6,2 ms | 16× |
| 100 | 3,1 ms | 71 ms | 23× |
| 1000 | 29 ms | 720 ms | 25× |
| 10.000 | 290 ms | 7,4 s | 26× |
Archivos
- parts/text_chunker/mod.rs
- parts/text_chunker/boundaries.rs