NICT Webクローラの概要

契約書の入手及 び記載方法等につきましては、右下の「ALAGIN会員」よりログイン頂く事で、右メニューより「入手の方法(契約書含む)」「契約書の記載方法・代理作成」がご覧になれます。

NICT Webクローラは、インターネット上のWebページ(HTMLファイル)を自動収集するプログラムです。主な特徴として下記の機能を備えています。

    • 一度収集したWebページに再アクセスし、内容に更新があれば再収集します。
    • Webページの更新間隔を推定することで、適切なタイミングで再アクセスします。
    • robots.txtの遵守、同一ホストに対するアクセス頻度の制御など、アクセス先サーバに過度の負荷をかけることのないよう配慮します。

<動作環境>

○OS: Linux系システム
○メモリ: 256MB以上のRAM
○ハードディスク: 1GB以上のハードディスク空き容量
※詳細な動作環境・必須モジュール・ライブラリについては、マニュアルをご参照ください。

<ご利用に際しての注意点>

(全般)
ご利用の前には、利用契約書、利用契約書の手引き、マニュアルを必ずご一読下さい。

(第三者プログラム)
NICT Webクローラには、当機構以外の第三者により作成されたプログラム、モジュール、ルーチン等(「第三者プログラム」といいます)が使用されています。
第三者プログラムの詳細および利用上の注意事項等につきましては、それぞれマニュアルおよび利用の手引きをご参照下さい。

(アクセス間隔)
NICT Webクローラの使用に際しては、Webサーバに過度の負荷をかけることのないよう適切なアクセス間隔を設定して下さい。
非常に短い間隔でサーバにアクセスを繰り返した場合、サーバ所有者に意図的な攻撃と見做される場合や、実際にサーバに対して損害を与えることがありますのでご注意下さい。
アクセス間隔の設定方法につきましてはマニュアルをご参照下さい。

(クローラの身元情報)
NICT Webクローラは、アクセス時にメールアドレス等の身元情報を相手サーバに通知します。
身元情報はインストール時に設定して頂きますが、収集責任者の情報をお間違えのなきよう適切に記載して下さい。
身元情報の詳細につきましてはマニュアルをご参照下さい。


<免責事項>
NICTでは、本ソフトウェアの導入及び使用に関連して生ずる損失、損害について、いかなる場合においても一切責任を負いません。

<お問合せ>
E-mail: info [at] alagin.jp

 

マニュアル