yahooの携帯用クローラは行儀が悪い

1:0th track@mixi:2008/07/13(日) 17:42:00
read.cgiを見つけると、
「/read.cgi/test/read.cgi/news4vip/スレ番/レス番」
とか余裕で叩いてくる。
これにパラメータエラーだからってレスポンス500を返してると
日によっては1日1800回弱クロールしてくる。
404返すようにすると600回強で済む。
robots.txtは影響しない。
read.cgiって名前なら全て2chだと思ってるんだろうか。

yahooに問い合わせたらログを要求されたんで
月ごとにログ抽出してzipで送ったら、
セキュリティの関係で添付ファイル開けないから
メールの本文にログ貼って送れって言われた。
ぶちぎれて124.83.159.128/25からのPort80へのアクセス遮断した。
なのでソフトバンクの携帯からは多分見れない。
クローラとアドレス共用みたいだから。
443は開けてるからSSL対応してれば多分見れる。

クローラのUser-Agentが「DoCoMo/2.0」なのは、
ドコモもソフバンの回線使ってるんだろうか。

ちなみにNaverも未だに行儀が悪い。

<ながさ | 7月の記事一覧 | おっぱい画像うp>
<<前の5件 | ぜろろん雑記(開発中)TOP | 次の5件>>


コメントはまだありません。

このブログシステムはまだ開発中です。
コメントフォームが表示されていても書き込むことはできません。

ナビゲーション


ぜろろん終了のお知らせ。