目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロック!意地でもクロール禁止にしたい!

内部検索スパム サーチコンソールの未登録件数

最近サーチコンソールの未登録件数が異常に増えすぎて50万件以上の内部検索スパムがnoindexで除外されていた事に気付きました。
実際にはGoogle検索にインデックス登録されていないので問題は無いのですが、かなり目障りなのでRobots.txtでクロールをブロックしてしまいます!

目障りなSEO To66.Asia 内部検索スパムをRobots.txtでブロック!意地でもクロールさせたくない!

増え続ける内部検索スパム SEO To66.Asia

内部検索スパム サーチコンソールの未登録件数
久しぶりにgoogleサーチコンソールを眺めていると、ページのインデックス登録で未登録件数が異常に増え続けている事に気付きました。
ほとんどの場合はnoindexタグでインデックス登録自体を除外できているものの、一部はクロール済み – インデックス未登録となっております。

これは内部検索スパムと言って、内部検索フォームに様々な文字列を入力してクローラーに巡回させるスパムらしいのです。

ほとんどの場合はcontent=”noindex”でGoogle検索にインデックスをさせないように制御をできるものの、metaタグにnoindexを入れていないウェブサイトは、Google検索に内容の無いページが検索登録されてしまっている状況です。

内部検索スパムをnoindexでブロックした件数
URLに決まったパターンがあれば特定のURLにcanonicalを入れたり404ページにしたり出来るのですが、ドメイン直後の文字列に決まったパターンがなく、ランダムな文字列を入れてその後にギャンブル系の文字列を入力しているのです。

黒幕は中華系のSEO業者らしいのですが、登録されたページにはギャンブル系の文字列に関する内容のページが存在しておらず、内部検索スパムをする意図も全く分からないものとなっておりますので、ほぼ嫌がらせに近いのではないかとも言われているようです。

ほとんどの場合は文字列の中に[To66.Asia]が入っているのが特徴ですが、ドメインの後にランダムな文字列が入ってから[To66.Asia]が入っているので、悩みに悩んでどうやってクローラーの巡回を止めるか考えてみました。

WordPressは仮想Robots.txtを編集する仕組みが必要

WordPressテーマにTCDのGENSENを使用しているのですが、noindexとnofollowでクローラーを制御する仕組みが無く、プラグイン頼りでWP Custom Noindex Nofollowをインストールしておりますので、検索フォームの制御はnoindex化しかできません。

つまり、このままでは50万件近い内部検索スパムのURLにクローラーが巡回してしまうのです。

これを止めてしまおうという事で、Robots.txtで特定文字列が入ったURLにクローラーが巡回しないようにすれば良いのではないかと考えました。

Robots.txtは通常ディレクトリ直下に配置されますが、WordPressは仮想Robots.txtが生成される仕組みになっているため、このファイル自体がサーバー内に存在しておりません。

つまり、仮想Robots.txtの内容を読み込んで編集できるようにしないといけないのです。

WP Robots Txtをインストールしてクローラーの巡回を停止させる

ワードプレスプラグインWP-ROBOTS.TXTのインストール
ワードプレス用プラグインのWP Robots Txt By George Pattihisをインストールして、有効化します。
有効化をしたら、設定の表示設定の欄にRobots.txt Contentという項目が追加されますので、これでWordPressの仮想Robots.txtを編集できるようになります。

Disallow: *To66.Asia*を仮想Robots.txtに入力
Disallow: *キーワード*をRobots.txtに書き込むと、このキーワードが入ったURLへのクローラーの巡回を停止させられる事が出来るはずです。
Disallow: *to66.asia*でもクローラーの巡回をブロック出来ると思いますが、念のためDisallow: *To66.Asia*も入力して、大文字と小文字の両方を仮想Robots.txtに書き込みました。

ちなみにXMLサイトマップのURLが記載されていないのは、XMLサイトマップ作成プラグインのGoogle XML Sitemaps Generator Proが自動で出力しているためで、実際に出力しているRobots.txtにはXMLサイトマップのURLが入っております。
実際に読み込ませたいXMLサイトマップのURL以外をサーチコンソールに認識せないためにもWP Robots Txtは有効なのです。

サーチコンソール robots.txt によりブロックされました
これで様子を見続けておりましたが、「クロール済み – インデックス未登録」と「noindexタグによって除外されました」の項目にはTo66.Asiaが入った新たなURLは表示されなくなりました。
しかし、インデックス未登録の項目に「robots.txt によりブロックされました」の項目が追加されてしまったので、未登録が増え続ける事自体の根本的な解決には至っておりません。

サーチコンソールに表示される項目が変わらない限り増え続けるのだと思いますが、クローラーの巡回自体は停止させられていると思うので、しばらくこのまま様子を見ていこうと思います。

この内部検索スパムは何をしたいんでしょうね。意図があってやっているのか、ただ単に頭が悪いだけなのか・・。この文字列を好みそうな人同士で勝手にやってくれれば良いけど、関係ないウェブサイトまで巻き込むのは非常に迷惑です。


 

YouTubeチャンネルオリジナルロゴ

Youtubeチャンネルでは、日本国内各地の美しい四季の風景、ネイチャービデオ、花火大会やイベント・お祭り等、クリスマスイルミネーションや夜景、星景タイムラプス映像、Vlog、飛行機や新幹線などの乗り物等の映像をライブラリー化し、世界各地に発信しております。
また、不定期で花火大会やイベントのライブ配信も実施中!
下のYouTubeアイコンからチャンネルを表示していただき、チャンネル登録後に通知をオンにしていただくとライブ配信の通知が受け取れます!
もちろん動画URLや埋め込みタグを使用したウェブサイトへの埋め込みやSNSでのシェアもOKです!

最新の更新情報を受け取れる各種SNSを運営中!フォローや登録はこちら!


関連記事

  1. ウェブサイト管理者向け!汚い美容系広告だけをブロックして収益を減らさず離脱率を下げる方法

    ウェブサイト管理者向け!汚い美容系広告だけをブロックして収益を減らさず離脱率を下げる方法

  2. ワードプレスプラグイン Autoptimizeの導入サムネイル画像

    Autoptimizeの設定方法!CSS、JavaScript、画像を最適化してWordPressを高速化するプラグイン!

  3. エックスサーバーとワードプレス URLの正規化 www無しhttpsに統一をする設定

    URLの正規化 www無しhttpsに統一をする設定 | 常時SSL化WordPressサイト×エックスサーバー

  4. 肘をつき悩む女性 [モデル:Lala*]

    WordPressでブログを書き始めて1か月目から11ヶ月目のアクセス数と収益、SEO対策や記事の書き方も!

  5. udinra sitemap proの購入

    【公開終了】Udinra Sitemap pro|WordPress画像・動画サイトマップ作成プラグインの使用方法

  6. Word Pressプラグイン Your Channel

    Your Channel | Youtubeチャンネルを埋め込むWordPressプラグイン

  7. オプション設定で添付ファイル自動生成ページが有効化になっている

    WordPressのメディア添付ファイルページの無効化と有効化を簡単に切り替える方法

  8. WordPressを高速化するプラグイン3選 サムネイル画像

    WordPressを高速化!95点から100点を取れる軽量爆速プラグイン!3選

  9. WordPressプラグインWP Rocketの購入ページと3つの料金プラン

    WP Rocketのレビュー!高機能キャッシュ&最強のWordPress高速化プラグイン

  10. 閉鎖したサブドメインのWordPressサイトから新サブドメインに301リダイレクトする方法 サムネイル画像

    閉鎖したサブドメインのWordPressサイトから新サブドメインに301リダイレクトする方法

  11. XサーバーのXPageSpeedの設定

    TCD GENSENのヘッダーバー検索機能が使えなくなったけど対処法を発見!WordPressサイトのトラブル!

  12. モバイル端末でウェブサイトをスクロールできない問題を解決したサムネイル画像

    モバイル端末でウェブサイトのスクロールが止まる原因はアドセンスの自動広告

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

  1. ZOWEETEK ICカードリーダーICR0012の商品画像

    マイナカードや免許証などをマルチに読み込めるZOWEE…

  2. おおがわら桜イルミネーション 対岸からの風景

    白石川堤一目千本桜の地・おおがわら桜イルミネーシ…

  3. 屋台やプロジェクションマッピングも!小牛田駅前イルミネーション2023点灯式 | 宮城県美里町

    小牛田駅前イルミネーションは2024年12月8日から開催…

  4. やまがた音と光のファンタジア2023 イルミネーション

    最上川ふるさと総合公園のイルミネーション、やまが…

  5. 定禅寺通り SENDAI光のページェント

    杜の都仙台のイルミネーション、SENDAI光のページェ…

  6. 壁紙屋本舗イマジンブルーグレートーンペイント塗装完了後の画像

    部屋のリフォーム、天井壁紙と巾木・ドアを白で塗装…

  7. 壁紙屋本舗イマジンブルーグレートーンペイント塗装完了後の写真

    イマジンブルーグレーペイントで部屋をリフォーム!…

  8. 石ノ森章太郎ふるさと記念館のイルミネーション、2022光のページェント開催決定!

    石ノ森章太郎ふるさと記念館のイルミネーション 光の…

  9. 松島ハーバーライト in 宮城県松島離宮

    イルミネーション 松島ハーバーライト in 宮城県松島…

  10. イルミネーション、ひがしねウィンターフェスティバル

    山形県東根市のイルミネーション、ひがしねウィンタ…

楽天トラベルのバナー画像

よく読まれている人気記事ランキング




Amazonトップページバナー
楽天モバイルアフィリエイト