read.cgiを見つけると、
「/read.cgi/test/read.cgi/news4vip/スレ番/レス番」
とか余裕で叩いてくる。
これにパラメータエラーだからってレスポンス500を返してると
日によっては1日1800回弱クロールしてくる。
404返すようにすると600回強で済む。
robots.txtは影響しない。
read.cgiって名前なら全て2chだと思ってるんだろうか。

yahooに問い合わせたらログを要求されたんで
月ごとにログ抽出してzipで送ったら、
セキュリティの関係で添付ファイル開けないから
メールの本文にログ貼って送れって言われた。
ぶちぎれて124.83.159.128/25からのPort80へのアクセス遮断した。
なのでソフトバンクの携帯からは多分見れない。
クローラとアドレス共用みたいだから。
443は開けてるからSSL対応してれば多分見れる。

クローラのUser-Agentが「DoCoMo/2.0」なのは、
ドコモもソフバンの回線使ってるんだろうか。

ちなみにNaverも未だに行儀が悪い。

---

＜ながさ | 7月の記事一覧 | おっぱい画像うｐ＞
＜＜前の5件 | ぜろろん雑記（開発中）TOP | 次の5件＞＞

---

コメントはまだありません。

このブログシステムはまだ開発中です。
コメントフォームが表示されていても書き込むことはできません。