クローリング仕様の解説. ク➫ーリングするページ ================= Web 改ざんチェックにて実行されるク➫ーラーは以下のリンクをたどり、データを取得します。 - <meta>タグの refresh に記載されている URL - <script>タグの src に記載されている URL - <frame>タグのリンク先 - <iframe>タグのリンク先 - <link>タグで参照しているスタイルシートファイル - <a>タグ ※<a>タグ内のリンクが HTML や Java スクリプトでは無い場合にはク➫ールしません。スクリプト言語で書かれたファイル（cgi・php など）はク➫ール対象です。 ※リンク先のページがパラメータ付き（?で値が後ろに付いている）の場合は、?より前の部分がク➫ール済みのページと同一の場合も、パラメータが異なる場合にはク➫ールします。 - <area>タグのリンク先 - <script>タグに含まれている ".php", ".cgi", ".asp", ".aspx" 等が含まれる文字列は URL に復元を試みてリンク先とします。 - <base>タグを考慮してリンク先 URL を生成します。 - リダイレクトされた場合にはリダイレクト元とリダイレクト先の URL を別のものとして考慮します。 - Java スクリプトなどからジャンプしているリンク先は他ドメインであってもク ➫ールします。 - HTTP HEADER でリダイレクトしている URL はク➫ールします。 - HTML ファイル内で直接読み込まれている CSS ファイルは別ドメインであってもク➫ールします。
