Article freyasx/94 of [1-99] on the server localhost:7119
  upper oldest olders older1 this newer1 newers latest
search
[Top/Up] [oldest] - [Older+chunk] - [Newer+chunk] - [newest + Check]
[Reference:<_A93@freyasx.ML_>]
Newsgroups: mail-lists.freyasx

[FreyaSX] Re: FreyaSX action=URL
23 Aug 2006 03:37:15 GMT ysato@delegate.org (Yutaka Sato)
The DeleGate Project

In message <_A93@freyasx.ML_> on 08/18/06(01:04:25)
you Shinichi Maruyama <pc4aabth4-pg3up56huedw.ml@delegate.org> wrote:
 |丸山です。
 |
 |	目を離しているすきに、すみません。短めにフォローさせて頂きます。
...
 |ysato> FreyaSXのことではなくて、ロボット的に動作する場合の any2fdif のことを
 |ysato> 言われているのでしょうか?
 |ysato> どうもそういうことみたいですね。
 |
 |	はい。その意味では FreyaSX の主機能では無いですね。

自分では、any2fdif でFORMをたぐっているつもりは全然なかったので、
fsearch.cgi の話だとばかり思ってしまい、とんちんかんな応答になり
ました。

それと、今のところ any2fdif では、/robots.txt やら META ROBOTS
やらを見てないので、他者のサイトへ送るロボットとして働かせるための
しつけが全くなされてない状態です。

 |	テスト目的に、「この Link を辿って良いの?」と確認してくれるよ
 |うなインタフェースがあると嬉しいですが、DeleGate 側に影響が出てしまう
 |でしょうか(rm、mv、cp の -i みたいに)。

そうですね。特に影響は無いと思いますが。


 |ysato> 少し試してみたところ、
 |ysato> 
 |ysato>   any2fdif idx -h100 -r URL
 |ysato> 
 |ysato> みたいな感じで、多段のホップをイケルような感じです。
 |
 |	なるほど。
 |	ただ、今回の場合、「便利な URL 集」みたいなページがあり、
 |yahoo や google などの外を向いていたりもするので、ちょっと無理です。

これはもちろん、REACHABLE や PERMIT でアクセス先を制限するというのと
組み合わせて用いることを想定しています。

 |ysato> これだと、プロキシ側でキャッシュしたりとかもできるメリットがあります。
 |ysato> とはいえ、面倒なので、同封のようなパッチをあてて、
 |ysato> 
 |ysato>   delegated REACHABLE="*.domain" -Fany2fdif idx -h100 -r URL

このパッチの段階では、とりあえず探索対象URLリストに追加して、実際に
接続する際にアクセス制御をするようなものでしたが、リリースした 9.2.4-pre17
の any2fdif では、そもそも探索対象URLリストに追加する前に、アクセス
制御を行って、禁止されたものはリストに追加しないようになっています。

                   9 9  
┌─┐┬┌──┬┐ //\^^ ( ~ ); {Do the more with the less -- B. Fuller}
├─┤│└─┐│ / 877m\_<   >_ <URL:http://www.delegate.org/delegate/>
┴ └┴──┘┴──────────────────────────────
佐藤豊@情報技術研究部門.産業技術総合研究所(独立行政法人)

  admin search upper oldest olders older1 this newer1 newers latest
[Top/Up] [oldest] - [Older+chunk] - [Newer+chunk] - [newest + Check]
@_@V