[Reference:<_A20@freyasx.ML_>]
Newsgroups: mail-lists.freyasx
[FreyaSX] FreyaSX-0.99.2 リリース ( 索引の作成・併合の高速化)
0.99.2 をリリースしました。
今回は主に索引の作成と併合の高速化を行いました。
・可変長ビット単位のポインタ圧縮をやめて可変長バイトにした。
・ほぼ全面的に fstream をやめて FILE (に皮をかぶせたFstreamクラス) にした。
例によって日本語版DeleGate-MLの索引で測定すると、0.99.1 と較べて、
・索引作成(findex)は約40%高速化 (10万語/150記事/秒)
・索引併合(fmerge)は3倍以上高速化 (1000記事/秒)
というカンジになりました(iMac / MacOSX / PPC1GHz)。
いずれにしても、これまでで最速です。CPU使用状況を prof で調べてみると、
・findex は Patricia木の探索時間が4割くらい
・fmerge については I/O 関係が5割、圧縮に2割くらい
というカンジで、かなり煮詰まったカンジです。
D G
┌─┐┬┌──┬┐ //\^^ ( - ); {Do the more with the less -- B. Fuller}
├─┤│└─┐│ / 877m\_< >_ <URL:http://www.delegate.org/delegate/>
┴ └┴──┘┴──────────────────────────────
佐藤豊@情報技術研究部門.産業技術総合研究所(独立行政法人)
|