No.5055
chatgptに聞いた情報ですが、まずはrobots.txtを読んでもらう→読まないbotにはmetaタグ→それでも読まないお行儀悪いものは.htaccess…という感じで使い分けての併用なら意味があるとのことでした。私はずっと併用しています。
なんでもかんでも.htaccessで弾いてしまうと、robots.txtやmetaタグを読んでくれるbotには意味がなくなってしまうよ、ということではないかと思います。.htaccessで弾きつつ、robots.txtだけはアクセス許可するとかもできますよ。調べればそれぞれ出てくるかと…
なんでもかんでも.htaccessで弾いてしまうと、robots.txtやmetaタグを読んでくれるbotには意味がなくなってしまうよ、ということではないかと思います。.htaccessで弾きつつ、robots.txtだけはアクセス許可するとかもできますよ。調べればそれぞれ出てくるかと…