[Reference:<_A90@freyasx.ML_>]
Newsgroups: mail-lists.freyasx
[FreyaSX] Re: FreyaSX action=URL
丸山です。
目を離しているすきに、すみません。短めにフォローさせて頂きます。
ysato> ここで言われている「cgi」や「form」が何者で、FreyaSXのCGIプログラムや
ysato> FORMとどのように関係するのかが、わからないのですが。。。
後で御記述のとおり、直接は fsearch.cgi とは関係無く、こちらの
Web サーバ上の cgi、および、それを駆動する form です。
ysato> FreyaSXのことではなくて、ロボット的に動作する場合の any2fdif のことを
ysato> 言われているのでしょうか?
ysato> どうもそういうことみたいですね。
はい。その意味では FreyaSX の主機能では無いですね。
ysato> DeleGate/any2fdif の探索ロボット機能では、<A HREF=url> と <FRAME SRC=url>
ysato> だけを追うように作ったようなのですが、その時しょうもないコーディングミスを
ysato> して、全てのリンクを追うようになってました。
ysato> ということで、同封のパッチのように、修正します。
ありがとうございます。明日以降になってしまいますが、使わせて頂
きます。
テスト目的に、「この Link を辿って良いの?」と確認してくれるよ
うなインタフェースがあると嬉しいですが、DeleGate 側に影響が出てしまう
でしょうか(rm、mv、cp の -i みたいに)。
ysato> 少し試してみたところ、
ysato>
ysato> any2fdif idx -h100 -r URL
ysato>
ysato> みたいな感じで、多段のホップをイケルような感じです。
なるほど。
ただ、今回の場合、「便利な URL 集」みたいなページがあり、
yahoo や google などの外を向いていたりもするので、ちょっと無理です。
ysato> REACHABLEをany2fdif自身で検査する機能は無効にされていますが、any2fdifを
ysato> プロキシ経由にして、そちらでアクセス制限を行うことはできます。
ysato>
ysato> delegated -P9999 SERVER=http REACHABLE="*.domain"
ysato> delegated CONNECT=proxy PROXY=localhost:9999 -Fany2fdif idx -h100 -r URL
ysato>
ysato> これだと、プロキシ側でキャッシュしたりとかもできるメリットがあります。
ysato> とはいえ、面倒なので、同封のようなパッチをあてて、
ysato>
ysato> delegated REACHABLE="*.domain" -Fany2fdif idx -h100 -r URL
ysato>
ysato> のようにも、できるようにしてみました。ちょっと試してみたところでは、
ysato> うまく行くようです。
ysato> もちろん、収集対象の制限は自分自身でやって、キャッシュや中継をプロキシに
ysato> 任せることもできます。
ysato>
ysato> delegated CONNECT=proxy PROXY=host:port REACHABLE="*.domain" \
ysato> -Fany2fdif idx -h100 -r URL
ysato>
ysato> みたいに。
これは、とても助かります。
ありがとうございます。
--
Yes, I'm in panic.
Shinichi Maruyama (pc4aabth4-qjkxlpon6oa6.ml@delegate.org)
|