Text Chunker
v0.1.0Hinzugefügt am 26. Sept. 2026BeispieldatenRekursiver Text-Splitter für RAG. Teilt Dokumente an Absatz-, Satz- und Wortgrenzen in Chunks mit Zielgröße und Überlappung.
Beispieldaten. Diese Werte sind Platzhalter, keine Messungen.
cargo install kura-rs
kura add text-chunkerKopiert 2 Quelldateien in dein Projekt. Ab dann gehört der Code dir.
Wenn ein anderes Tool bereits einen kura-Befehl installiert, führe cargo install kura-rs --bin kura-rs aus und nutze stattdessen kura-rs add.
use crate::parts::text_chunker::Chunker;
let chunker = Chunker::new(1_000).overlap(200);
for chunk in chunker.split(&document) {
index.add(chunk.text, chunk.range);
}Verifikation
BeispieldatenGeprüft gegen langchain-text-splitters 0.3.8 (Python). Verfahren: Differenzielles Testen. Beide Implementierungen erhalten dieselben Eingaben, die Ausgaben werden verglichen.
Diese Werte sind Platzhalter. Sie wurden noch nicht gemessen und dürfen nicht als echte Ergebnisse gelesen werden. Dieser Baustein ist in seiner Registry-Datei mit "sample": true markiert.
Benchmarks
Beispieldatenkura-rs (Rust) im Vergleich zu langchain-text-splitters über verschiedene Eingabegrößen. Bei jeder gemessenen Eingabegröße schneller, bis zu 26× schneller.
Diese Werte sind Platzhalter. Sie wurden noch nicht gemessen und dürfen nicht als echte Ergebnisse gelesen werden. Dieser Baustein ist in seiner Registry-Datei mit "sample": true markiert.
Datentabelle anzeigen
| Eingabegröße | kura-rs (Rust) | langchain-text-splitters | Speedup |
|---|---|---|---|
| 1 | 0,08 ms | 0,9 ms | 11× |
| 10 | 0,4 ms | 6,2 ms | 16× |
| 100 | 3,1 ms | 71 ms | 23× |
| 1.000 | 29 ms | 720 ms | 25× |
| 10.000 | 290 ms | 7,4 s | 26× |
Dateien
- parts/text_chunker/mod.rs
- parts/text_chunker/boundaries.rs