Article freyasx/22 of [1-110] on the server localhost:119
  upper oldest olders older1 this newer1 newers latest
search
[Top/Up] [oldest] - [Older+chunk] - [Newer+chunk] - [newest + Check]
[Reference:<_A20@freyasx.ML_>]
Newsgroups: mail-lists.freyasx

[FreyaSX] FreyaSX-0.99.2 リリース (索引の作成・併合の高速化)
20 Aug 2004 08:13:19 GMT ysato@delegate.org (Yutaka Sato)
The DeleGate Project


0.99.2 をリリースしました。

今回は主に索引の作成と併合の高速化を行いました。

 ・可変長ビット単位のポインタ圧縮をやめて可変長バイトにした。
 ・ほぼ全面的に fstream をやめて FILE (に皮をかぶせたFstreamクラス) にした。

例によって日本語版DeleGate-MLの索引で測定すると、0.99.1 と較べて、

 ・索引作成(findex)は約40%高速化 (10万語/150記事/秒)
 ・索引併合(fmerge)は3倍以上高速化 (1000記事/秒)

というカンジになりました(iMac / MacOSX / PPC1GHz)。

いずれにしても、これまでで最速です。CPU使用状況を prof で調べてみると、

 ・findex は Patricia木の探索時間が4割くらい
 ・fmerge については I/O 関係が5割、圧縮に2割くらい

というカンジで、かなり煮詰まったカンジです。

                   D G  
┌─┐┬┌──┬┐ //\^^ ( - ); {Do the more with the less -- B. Fuller}
├─┤│└─┐│ / 877m\_<   >_ <URL:http://www.delegate.org/delegate/>
┴ └┴──┘┴──────────────────────────────
佐藤豊@情報技術研究部門.産業技術総合研究所(独立行政法人)

  admin search upper oldest olders older1 this newer1 newers latest
[Top/Up] [oldest] - [Older+chunk] - [Newer+chunk] - [newest + Check]
@_@V