[Reference:<_A93@freyasx.ML_>]
Newsgroups: mail-lists.freyasx
[FreyaSX] Re: FreyaSX action=URL
In message <_A93@freyasx.ML_> on 08/18/06(01:04:25)
you Shinichi Maruyama <pc4aabth4-pg3up56huedw.ml@delegate.org> wrote:
|丸山です。
|
| 目を離しているすきに、すみません。短めにフォローさせて頂きます。
...
|ysato> FreyaSXのことではなくて、ロボット的に動作する場合の any2fdif のことを
|ysato> 言われているのでしょうか?
|ysato> どうもそういうことみたいですね。
|
| はい。その意味では FreyaSX の主機能では無いですね。
自分では、any2fdif でFORMをたぐっているつもりは全然なかったので、
fsearch.cgi の話だとばかり思ってしまい、とんちんかんな応答になり
ました。
それと、今のところ any2fdif では、/robots.txt やら META ROBOTS
やらを見てないので、他者のサイトへ送るロボットとして働かせるための
しつけが全くなされてない状態です。
| テスト目的に、「この Link を辿って良いの?」と確認してくれるよ
|うなインタフェースがあると嬉しいですが、DeleGate 側に影響が出てしまう
|でしょうか(rm、mv、cp の -i みたいに)。
そうですね。特に影響は無いと思いますが。
|ysato> 少し試してみたところ、
|ysato>
|ysato> any2fdif idx -h100 -r URL
|ysato>
|ysato> みたいな感じで、多段のホップをイケルような感じです。
|
| なるほど。
| ただ、今回の場合、「便利な URL 集」みたいなページがあり、
|yahoo や google などの外を向いていたりもするので、ちょっと無理です。
これはもちろん、REACHABLE や PERMIT でアクセス先を制限するというのと
組み合わせて用いることを想定しています。
|ysato> これだと、プロキシ側でキャッシュしたりとかもできるメリットがあります。
|ysato> とはいえ、面倒なので、同封のようなパッチをあてて、
|ysato>
|ysato> delegated REACHABLE="*.domain" -Fany2fdif idx -h100 -r URL
このパッチの段階では、とりあえず探索対象URLリストに追加して、実際に
接続する際にアクセス制御をするようなものでしたが、リリースした 9.2.4-pre17
の any2fdif では、そもそも探索対象URLリストに追加する前に、アクセス
制御を行って、禁止されたものはリストに追加しないようになっています。
9 9
┌─┐┬┌──┬┐ //\^^ ( ~ ); {Do the more with the less -- B. Fuller}
├─┤│└─┐│ / 877m\_< >_ <URL:http://www.delegate.org/delegate/>
┴ └┴──┘┴──────────────────────────────
佐藤豊@情報技術研究部門.産業技術総合研究所(独立行政法人)
|