困った。最近ちっともGoogleが来ない。どういうことかというと、いつも新しく記事を書いて公開したときは、そのページが検索にヒットするようにGoogleへ登録申請を出すのだが、3月に入ってから新規の申請が一切無視されるようになってしまったのである。
つまり3月になってから公開した記事はいずれも、どんなキーワードでググろうが絶対にヒットしない(本記事公開時点)。検索順位が低いどころの騒ぎではなく、そもそも登録すらされないのだ。
SNSなんてやってないし、もちろん広告を打つわけもなく、検索経由だけがほとんど唯一の訪問ルートなのに、こいつはマズイ。干されるとはこういうことか。おもてなしの心=干すピタリティに感謝感激だ、結構結構、結構毛だらけ、見上げたもんだよ屋根屋のふんどし。
(2018/3/19追記)この記事自身は今日になってインデックス登録された。
(2020/2追記)Googleがこの記事をソフト404エラーページと誤認しているので、タイトルを変えました。本件の現象は1~2ヶ月で正常化し、現在は問題なしです。
そこでGoogleサイドに「新しいページができましたよ」「ページ内容を更新しましたよ」と、こちらからお知らせする仕組みがいくつかある。
ひとつはサイトマップの送信。サイトマップ(=インデックス登録してほしいURLの一覧)を作って、Googleのサーチコンソールというツールを通じて提出する。提出後すぐにクローラーが来てくれる保証はないけど、何もしないまま受け身で待つよりはずっと早い。
実際、Fetch as Googleの呼び込みはかなり早い。これまではURLをリクエストすると、数分以内にクローラーがやって来て、インデックス登録まで完了していた。だから記事の公開とFetch as Googleのリクエスト作業を続けて行えば、公開=インデックス登録と言ってもいいくらいの同時タイミングで事が運んでいたわけである。
サーチコンソールでサイトマップの送信結果を見ると、サイトマップから検出されたURL数は目論見通りの最新の数字になっているのに、インデックス登録されたURL数は2月末時点の数字からまったく増えていかない。両者の差は開く一方だ。
以前から両者に差がある状態は珍しくなかったが、今回は差が大きいし、インデックス登録数が増えないまま2週間も経過している。こんなことは今までなかった。
サイトマップ送信の方法がいくらか停滞していたときでも、Fetch as Googleはいつも変わらず数分以内で仕事をやってのけてたから、まさに初めて見る異常事態だ。
当のGoogleからの公式発表があるわけではないからあくまで憶測で、各種情報を総合すると、次のような背景が考えられるようだった。
今の停滞状況がいつになったら解消されるのか、先が見えないのがまた辛い。
ただでさえ季節の変わり目で体調がいまいちで辛い上に花粉も辛い。加えてこの問題でも辛いとはね。あーあ。春なのに、ため息またひとつ。
(追記)冒頭に追記した通り、公開から4日後に本記事は無事インデックス登録された。だが3週間たってもまだ登録されない記事が残っているし、Fetch as Googleは相変わらずリクエストに反応しているように見えない。当面はジリジリとした展開が続きそうだ。
つまり3月になってから公開した記事はいずれも、どんなキーワードでググろうが絶対にヒットしない(本記事公開時点)。検索順位が低いどころの騒ぎではなく、そもそも登録すらされないのだ。
SNSなんてやってないし、もちろん広告を打つわけもなく、検索経由だけがほとんど唯一の訪問ルートなのに、こいつはマズイ。干されるとはこういうことか。おもてなしの心=干すピタリティに感謝感激だ、結構結構、結構毛だらけ、見上げたもんだよ屋根屋のふんどし。
(2018/3/19追記)この記事自身は今日になってインデックス登録された。
(2020/2追記)Googleがこの記事をソフト404エラーページと誤認しているので、タイトルを変えました。本件の現象は1~2ヶ月で正常化し、現在は問題なしです。
公開した記事をGoogleに登録する
Googleクローラーの訪問とお持ち帰り
ブログなどのウェブページがGoogle検索にヒットするようになる仕組みは、一般的な理解だとこうなる。- 我々が新しいページを作って公開する。
- 既存ページからのリンクをたどる等により、該当ページへGoogleのロボット(クローラー)がやって来る。
- クローラーがページ内容を読み取ってGoogle内部に持ち帰る。
- Google内部では持ち帰ったページ内容からキーワードを抽出して、評価スコアと共に登録する(インデックス登録)。
- 我々がGoogleに検索語を入れて送信すると、登録ずみインデックスの中から検索語と関連の深い、評価の高いページを探して提示する。
サイトマップ送信でインデックス登録を早める
ただし、2.のクローラーがいつやって来るかはわからない。大手や有名なサイトだとすぐに来るんだろうけど、弱小ブログ程度ではものすごく日数がかかるかもしれない。そうは言っても、できるだけ早くインデックス登録してほしいのが人情だ。そこでGoogleサイドに「新しいページができましたよ」「ページ内容を更新しましたよ」と、こちらからお知らせする仕組みがいくつかある。
ひとつはサイトマップの送信。サイトマップ(=インデックス登録してほしいURLの一覧)を作って、Googleのサーチコンソールというツールを通じて提出する。提出後すぐにクローラーが来てくれる保証はないけど、何もしないまま受け身で待つよりはずっと早い。
仕事が早い有能な Fetch as Google
もうひとつはインデックスの送信。サーチコンソールの中に「Fetch as Google」という機能があって、登録してほしいURLをリクエストできる。こちらも必ずやってくれる保証はないが、通常はリクエストしてから割とすぐにクローラーを呼び込むことができる。実際、Fetch as Googleの呼び込みはかなり早い。これまではURLをリクエストすると、数分以内にクローラーがやって来て、インデックス登録まで完了していた。だから記事の公開とFetch as Googleのリクエスト作業を続けて行えば、公開=インデックス登録と言ってもいいくらいの同時タイミングで事が運んでいたわけである。
停滞するインデックス登録
サイトマップ送信は「受理すれども処理せず」
ところが3月になってから、これらの仕組みが停滞している。サーチコンソールでサイトマップの送信結果を見ると、サイトマップから検出されたURL数は目論見通りの最新の数字になっているのに、インデックス登録されたURL数は2月末時点の数字からまったく増えていかない。両者の差は開く一方だ。
以前から両者に差がある状態は珍しくなかったが、今回は差が大きいし、インデックス登録数が増えないまま2週間も経過している。こんなことは今までなかった。
うんともすんとも言わない Fetch as Google
Fetch as GoogleにURLをリクエストすると、「リクエストを受け付けました」的なメッセージが出るものの、その後いつまで待ってもインデックス登録される気配がない。あの数分以内に登録を完了してくれてた仕事の早いFetch as Googleさんがまるで眠ってしまったかのようだ。サイトマップ送信の方法がいくらか停滞していたときでも、Fetch as Googleはいつも変わらず数分以内で仕事をやってのけてたから、まさに初めて見る異常事態だ。
時代が大きく動く兆候か?!
いろいろと背景を推測する
一体全体どうなっているのか。ネットで調べてみると、同じ目に遭っている人は少なくないようだ。「急にインデックス登録されなくなりました」と訴えつつ原因を考察しているブログの記事もあった。でもその記事はGoogle検索で見つけたんだけどね…。当のGoogleからの公式発表があるわけではないからあくまで憶測で、各種情報を総合すると、次のような背景が考えられるようだった。
仮説1:大規模なページ再評価の都合
- Googleのページ評価アルゴリズムに関して、3月初めに、大幅な検索順位の変動を伴うアップデートがあった模様。
- PCで見た時の画面をベースにページ評価を行っていたのを、4月からモバイル画面ベースに移行する(モバイルファーストインデックス)。
- こうした事情により、莫大な数の既存ページの再評価タスクが爆発的に発生。
- その影響で新規ページまでなかなか手が回らない。とくに弱小サイトは後回しになっている。
仮説2:インデックス登録の厳格化
- 皆が皆、サイトマップやFetch as Googleを活用するこんな世の中じゃ。
- 低品質なページまでもがあちこちから大量に登録リクエストされるのが常態化。
- さすがに大量すぎて即応しきれなくなってきたし、低品質ページのためにもうリソースを割きたくない。とGoogle様が方針転換。
- リクエストに対し、吟味にじっくり時間をかけるようになった。
- あるいは低品質と判断したらインデックス登録せず切り捨てるようにした…以前からそうだったとしたら、たいがいの弱小サイトが引っかかってしまうくらいまで基準を引き上げた。
(追記)仮説3:トレンドブログのSEOスパム封じ
- 仮説2と似ているが、次の理由から意図的にインデックス登録を遅らせている。
- 旬のネタで瞬間風速的にアクセスを稼ぐトレンドブログという手法があるらしい。
- トレンドブログは瞬発力勝負なので即時インデックス登録されることが命綱→やたらとFetch as Googleリクエストを送ることになる。
- 記事内容をちょっと変えてはリクエスト、ちょっと変えてはリクエスト…を繰り返して、「つねにクローラーの注意を引く」「活発な更新→高品質なページと評価してもらえる」という戦術があるかもしれない。
- それをSEOスパムとして苦々しく思ったGoogleが対策してきた。
この記事も結局ハロー・グッバイ
真相がどうであれ、現にクローラーが来てくれない・インデックス登録されないってのは困るぞ。この記事もインデックス登録されることはないであろう。今の停滞状況がいつになったら解消されるのか、先が見えないのがまた辛い。
ただでさえ季節の変わり目で体調がいまいちで辛い上に花粉も辛い。加えてこの問題でも辛いとはね。あーあ。春なのに、ため息またひとつ。
(追記)冒頭に追記した通り、公開から4日後に本記事は無事インデックス登録された。だが3週間たってもまだ登録されない記事が残っているし、Fetch as Googleは相変わらずリクエストに反応しているように見えない。当面はジリジリとした展開が続きそうだ。