目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロックしてクロール禁止に

内部検索スパム サーチコンソールの未登録件数

最近サーチコンソールの未登録件数が異常に増えすぎて50万件以上の内部検索スパムがnoindexで除外されていた事に気付きました。
実際にはGoogle検索にインデックス登録されていないので問題は無いのですが、かなり目障りなのでRobots.txtでクロールをブロックしてしまいます!

増え続ける内部検索スパム SEO To66.Asia

内部検索スパム サーチコンソールの未登録件数
久しぶりにgoogleサーチコンソールを眺めていると、ページのインデックス登録で未登録件数が異常に増え続けている事に気付きました。
ほとんどの場合はnoindexタグでインデックス登録自体を除外できているものの、一部はクロール済み – インデックス未登録となっております。

これは内部検索スパムと言って、内部検索フォームに様々な文字列を入力してクローラーに巡回させるスパムらしいのです。

ほとんどの場合はcontent=”noindex”でGoogle検索にインデックスをさせないように制御をできるものの、metaタグにnoindexを入れていないウェブサイトは、Google検索に内容の無いページが検索登録されてしまっている状況です。

内部検索スパムをnoindexでブロックした件数
URLに決まったパターンがあれば特定のURLにcanonicalを入れたり404ページにしたり出来るのですが、ドメイン直後の文字列に決まったパターンがなく、ランダムな文字列を入れてその後にギャンブル系の文字列を入力しているのです。

黒幕は中華系のSEO業者らしいのですが、登録されたページにはギャンブル系の文字列に関する内容のページが存在しておらず、内部検索スパムをする意図も全く分からないものとなっておりますので、ほぼ嫌がらせに近いのではないかとも言われているようです。

ほとんどの場合は文字列の中に[To66.Asia]が入っているのが特徴ですが、ドメインの後にランダムな文字列が入ってから[To66.Asia]が入っているので、悩みに悩んでどうやってクローラーの巡回を止めるか考えてみました。

WordPressは仮想Robots.txtを編集する仕組みが必要

WordPressテーマにTCDのGENSENを使用しているのですが、noindexとnofollowでクローラーを制御する仕組みが無く、プラグイン頼りでWP Custom Noindex Nofollowをインストールしておりますので、検索フォームの制御はnoindex化しかできません。

つまり、このままでは50万件近い内部検索スパムのURLにクローラーが巡回してしまうのです。

これを止めてしまおうという事で、Robots.txtで特定文字列が入ったURLにクローラーが巡回しないようにすれば良いのではないかと考えました。

Robots.txtは通常ディレクトリ直下に配置されますが、WordPressは仮想Robots.txtが生成される仕組みになっているため、このファイル自体がサーバー内に存在しておりません。

つまり、仮想Robots.txtの内容を読み込んで編集できるようにしないといけないのです。

WP Robots Txtをインストールしてクローラーの巡回を停止させる

ワードプレスプラグインWP-ROBOTS.TXTのインストール
ワードプレス用プラグインのWP Robots Txt By George Pattihisをインストールして、有効化します。
有効化をしたら、設定の表示設定の欄にRobots.txt Contentという項目が追加されますので、これでWordPressの仮想Robots.txtを編集できるようになります。

Disallow: *To66.Asia*を仮想Robots.txtに入力
Disallow: *キーワード*をRobots.txtに書き込むと、このキーワードが入ったURLへのクローラーの巡回を停止させられる事が出来るはずです。
Disallow: *to66.asia*でもクローラーの巡回をブロック出来ると思いますが、念のためDisallow: *To66.Asia*も入力して、大文字と小文字の両方を仮想Robots.txtに書き込みました。

ちなみにXMLサイトマップのURLが記載されていないのは、XMLサイトマップ作成プラグインのGoogle XML Sitemaps Generator Proが自動で出力しているためで、実際に出力しているRobots.txtにはXMLサイトマップのURLが入っております。
実際に読み込ませたいXMLサイトマップのURL以外をサーチコンソールに認識せないためにもWP Robots Txtは有効なのです。

サーチコンソール robots.txt によりブロックされました
これで様子を見続けておりましたが、「クロール済み – インデックス未登録」と「noindexタグによって除外されました」の項目にはTo66.Asiaが入った新たなURLは表示されなくなりました。
しかし、インデックス未登録の項目に「robots.txt によりブロックされました」の項目が追加されてしまったので、未登録が増え続ける事自体の根本的な解決には至っておりません。

サーチコンソールに表示される項目が変わらない限り増え続けるのだと思いますが、クローラーの巡回自体は停止させられていると思うので、しばらくこのまま様子を見ていこうと思います。

この内部検索スパムは何をしたいんでしょうね。意図があってやっているのか、ただ単に頭が悪いだけなのか・・。この文字列を好みそうな人同士で勝手にやってくれれば良いけど、関係ないウェブサイトまで巻き込むのは非常に迷惑です。



YouTubeチャンネルバナー

Youtubeチャンネルでは、日本国内各地の美しい四季の風景、ネイチャービデオ、花火大会やイベント・お祭り等、クリスマスイルミネーションや夜景、星景タイムラプス映像、Vlog、飛行機や新幹線などの乗り物等の映像をライブラリー化し、世界各地に発信しております。
また、不定期で花火大会やイベントのライブ配信も実施中!
下のYouTubeアイコンからチャンネルを表示していただき、チャンネル登録後に通知をオンにしていただくとライブ配信の通知が受け取れます!
もちろん動画URLや埋め込みタグを使用したウェブサイトへの埋め込みやSNSでのシェアもOKです!

最新の更新情報を受け取れる各種SNSを運営中!フォローや登録はこちら!


X Postをタップして、@jvcameratravelを付けたまま記事をX(旧・Twitter)でシェアをすると、弊社運営のXアカウントにてあなたのポストをリポストするアカウント拡散キャンペーンを行っています。
不要な時は@jvcameratravelは外してね!

関連記事

  1. Flying Scriptsで高速化する前後のPagespeed Insightsのスコア比較

    WordPress高速化プラグインFlying Scripts|重いアドセンス等のJavaScript遅延読み込み

  2. Xサーバーの高速化設定ページのサムネイル

    エックスサーバーの高速化設定!レンタルサーバーのパフォーマンス向上で快適に!

  3. WordPress Popular Postsのサムネイル

    ワードプレスで人気記事ランキングを表示するプラグイン WordPress Popular Posts

  4. WordPressプラグインWP Rocketの購入ページと3つの料金プラン

    WP Rocketのレビュー!高機能キャッシュ&最強のWordPress高速化プラグイン!

  5. WordPressを高速化するプラグイン3選 サムネイル画像

    WordPressを高速化!95点から100点を取れる軽量爆速の無料プラグイン3選

  6. XサーバーのXPageSpeedの設定

    WordPressサイトのトラブル|TCD GENSENのヘッダーバーメニューが開けない時の対処法

  7. WordPressサイトの写真や画像が色褪せたり色が変わる原因の対策や対処法

    WordPressサイトの写真や画像が色褪せたり色が変わる原因の対策や対処法

  8. 自動読み込みがリスクになっているWordPressサイト

    WordPressプラグインの入れすぎがダメな理由を解説!アンインストール後も注意!

  9. Googleサーチコンソールへの登録

    Googleサーチコンソールで検索登録してSEO対策!XMLサイトマップの送信と使用方法

  10. 閉鎖したサブドメインのWordPressサイトから新サブドメインに301リダイレクトする方法 サムネイル画像

    閉鎖したサブドメインのWordPressサイトから新サブドメインに301リダイレクトする方法

  11. Word Pressプラグイン Your Channel

    Your Channel | Youtubeチャンネルを埋め込むWordPressプラグイン

  12. WordPress 常時SSL化とサブディレクトリからサブドメインへの301転送設定

    WordPressのサブドメインサイト、常時SSL化とサブディレクトリからリダイレクトする301転送設定

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

  1. EXPO2025ブルーインパルス大阪・関西万博フライトの演目

    EXPO2025 ブルーインパルス 大阪・関西万博の展示飛…

  2. 栃木県那須郡那須町 駐車場から眺める殺生石園地全景の景色

    九尾の狐の那須伝説が残る国指定名勝「殺生石」|栃…

  3. SOFT99 ディグロス 鬼黒 タイヤワックスのパッケージ

    自然な黒艶で美しく保護!SOFT99の水性タイヤワック…

  4. 楽天モバイル×富士ソフト ポケットWi-Fi FS050W

    楽天モバイルをWi-Fi専用で使用!富士ソフトのモバイ…

  5. ザハトラーFSB8へのHaoge Tie Down Short Threadedノブ取り付け風景

    短くて激安!ザハトラービデオ三脚雲台用ボールクラ…

  6. DHLの国際配送で日本に届くまでの荷物追跡履歴

    DHLで荷物を国際発送・受け取り 到着日数や荷物の追…

  7. 尺玉のド迫力を体感!三条夏まつり大花火大会 | 新潟県三条市

    三条夏まつりは2025年7月25日から開催!26日に花火大…

  8. 宮城県登米市 伊豆沼はすまつり

    遊覧船で蓮の花を観賞!伊豆沼・内沼はすまつり開催 …

  9. 2023年 大曲の花火 全国花火競技大会 大会提供花火

    大曲全国花火競技大会は2025年8月30日に開催!有料観…

  10. 2023年 神明の花火 グランドフィナーレ

    神明の花火は2025年8月7日に開催!有料観覧席も販売…

楽天トラベルのバナー画像

よく読まれている人気記事ランキング




Amazonトップページバナー
楽天モバイルアフィリエイト

記事内の目次