گاهی یک صفحه با دقت نوشته میشود، تصاویرش آماده است، لینک آن در منو یا بلاگ نشسته و صاحب کسبوکار منتظر است اولین ورودیهای گوگل از راه برسند؛ اما چند روز بعد، سرچ کنسول چیز دیگری میگوید: صفحه در گوگل نیست. نه ورودی دارد، نه ایمپرشن، نه حتی نشانهای از حضور در نتایج.
اینجا همان جایی است که خیلیها مسئله را با «رتبه نگرفتن» یکی میگیرند. در حالی که رتبه نگرفتن یعنی صفحه وارد فهرست گوگل شده اما جایگاه خوبی ندارد. ایندکس نشدن یعنی گوگل هنوز صفحه را به فهرست قابل نمایش خود راه نداده است. این تفاوت کوچک، مسیر عیبیابی را کاملاً عوض میکند.
برای سایتهای ایرانی، مخصوصاً فروشگاهها، کلینیکها، شرکتهای خدماتی و استارتاپهایی که تازه به تولید محتوا جدی نگاه کردهاند، این موضوع فقط یک مسئله فنی نیست؛ یک مسئله اقتصادی است. صفحهای که ایندکس نمیشود، مثل شعبهای است که تابلو دارد اما در نقشه شهر ثبت نشده. شاید زیبا باشد، شاید کامل باشد، اما کسی از مسیر جستوجو به آن نمیرسد.
در این مقاله قرار نیست فقط فهرستی از اصطلاحات سئو تکنیکال را کنار هم بگذاریم. هدف این است که بفهمیم چرا صفحات سایت ایندکس نمیشوند، هر دلیل را چطور تشخیص دهیم و برای هر کدام چه تصمیمی بگیریم.
اول مطمئن شوید مشکل واقعاً ایندکس است، نه رتبه
قبل از هر تغییری، باید تشخیص را درست انجام دهید. بسیاری از مدیران سایت وقتی صفحهشان را با یک عبارت رقابتی جستوجو میکنند و آن را نمیبینند، تصور میکنند صفحه ایندکس نشده است. اما شاید صفحه ایندکس شده و فقط در صفحههای پایینتر نتایج قرار دارد.
- آدرس کامل صفحه را در گوگل با دستور site: بررسی کنید.
- در Google Search Console از ابزار URL Inspection استفاده کنید.
- ببینید وضعیت صفحه «Indexed» است یا در یکی از گزارشهای «Not indexed» قرار گرفته.
- تاریخ آخرین خزیدن گوگل را بررسی کنید؛ گاهی دادههای گزارش صفحات با تأخیر بهروزرسانی میشوند.
قاعده ساده این است: اگر گوگل صفحه را ندیده، مسئله کشف و خزش است. اگر دیده اما وارد نتایج نکرده، مسئله معمولاً کیفیت، تکرار، سیگنالهای فنی یا اولویت پایین صفحه است.
۱۵ دلیل مهم که باعث میشود صفحات سایت ایندکس نشوند
حالا برویم سراغ چکلیست اصلی. بهتر است این موارد را به ترتیب بررسی کنید، چون بعضی علتها پایهایترند و اگر همان ابتدا پیدا شوند، نیازی نیست ساعتها سراغ فرضیههای پیچیدهتر بروید.
- صفحه تازه منتشر شده و هنوز زمان کافی نگذشته است. گوگل همیشه بلافاصله بعد از انتشار، صفحه را ایندکس نمیکند. در سایتهای تازهکار، صفحات کملینک یا دامنههایی که سابقه محتوایی ضعیفی دارند، این انتظار میتواند طولانیتر شود. اگر صفحه تازه منتشر شده، ابتدا سایتمپ، لینک داخلی و امکان دسترسی را بررسی کنید و بعد چند روز فرصت بدهید.
- فایل robots.txt مسیر صفحه را بسته است. robots.txt برای مدیریت خزش است، نه درمان همه مسائل ایندکس. اگر مسیر یک صفحه مهم را در این فایل بسته باشید، گوگل نمیتواند محتوای آن را ببیند. در این حالت حتی اگر صفحه مهم باشد، مسیر خزش قطع شده و تشخیص محتوایی دشوار میشود.
- تگ noindex روی صفحه مانده است. گاهی قالب، افزونه سئو، تنظیمات صفحه یا نسخه آزمایشی سایت باعث میشود تگ noindex روی صفحات اصلی باقی بماند. این یکی از سادهترین اما پرهزینهترین علتهاست. صفحهای که noindex دارد، عملاً به گوگل میگوید من را وارد نتایج نکن.
- canonical به آدرس دیگری اشاره میکند. اگر canonical صفحه به یک URL دیگر تنظیم شده باشد، شما به گوگل میگویید نسخه اصلی آن صفحه جای دیگری است. این کار برای صفحات مشابه مفید است، اما اگر ناخواسته روی صفحات مهم اعمال شود، همان صفحه از نتایج کنار میرود و سیگنالها به نسخه دیگر منتقل میشوند.
- محتوا بیش از حد شبیه صفحات دیگر سایت است. در بسیاری از سایتهای خدماتی، صفحات شهر، صفحات دستهبندی یا مقالات آموزشی با چند تغییر جزئی ساخته میشوند. گوگل معمولاً علاقهای ندارد چند صفحه بسیار مشابه را جداگانه وارد نتایج کند. اگر هر صفحه ارزش مستقل ندارد، شانس ایندکس آن هم پایین میآید.
- صفحه ارزش محتوایی کافی ندارد. کمحجم بودن همیشه مشکل نیست؛ اما صفحهای که به پرسش کاربر جواب روشن نمیدهد، ساختار ندارد، مثال ندارد و فقط چند پاراگراف عمومی است، ممکن است از نگاه گوگل ضرورتی برای ورود به فهرست نداشته باشد. این موضوع در موضوعات رقابتی شدیدتر خودش را نشان میدهد.
- صفحه یتیم است و لینک داخلی ندارد. اگر هیچ صفحهای از سایت به URL جدید لینک نداده باشد، گوگل آن را کماهمیتتر میبیند یا دیرتر پیدا میکند. لینک داخلی فقط مسیر حرکت ربات نیست؛ نوعی رأی editorial داخل سایت است. اگر شما به صفحهای لینک نمیدهید، چرا گوگل باید آن را اولویت بداند؟
- صفحه در سایتمپ نیست یا سایتمپ آلوده است. سایتمپ باید فهرست صفحات قابل ایندکس و مهم باشد، نه انباری از URLهای قدیمی، ریدایرکتشده، noindex یا بیکیفیت. اگر سایتمپ پر از آدرسهای نامعتبر باشد، سیگنال روشنی به گوگل نمیدهد.
- سرور هنگام مراجعه گوگل ناپایدار است. خطاهای ۵xx، تایماوت، کندی شدید یا محدودیتهای امنیتی میتوانند باعث شوند گوگل نتواند صفحه را بهدرستی دریافت کند. این مشکل در هاستهای ضعیف، سایتهای پرترافیک یا پروژههایی که افزونههای سنگین دارند زیاد دیده میشود.
- صفحه به ریدایرکت، زنجیره ریدایرکت یا soft 404 ختم میشود. اگر URL در ظاهر وجود دارد اما گوگل آن را شبیه صفحه خالی، حذفشده یا بیارزش تشخیص دهد، ممکن است ایندکس نشود. زنجیرههای چندمرحلهای ریدایرکت هم سیگنال صفحه را کدر میکنند و خزش را فرسوده.
- محتوای اصلی با جاوااسکریپت دیر یا ناقص بارگذاری میشود. سایتهایی که بخش اصلی متن، محصول یا لینکها را فقط بعد از اجرای اسکریپت نمایش میدهند، ممکن است برای گوگل قابل فهم باشند، اما همیشه بیدردسر نیستند. اگر نسخه HTML اولیه تقریباً خالی است، باید رندر صفحه را جدیتر بررسی کنید.
- URLها پارامتری، فیلترشده یا کمارزش هستند. صفحات جستوجوی داخلی، فیلترهای فروشگاهی، ترکیبهای رنگ و سایز، تگهای بیهدف و URLهای دارای پارامتر اگر مدیریت نشوند، حجم زیادی صفحه کمارزش میسازند. گوگل معمولاً همه اینها را وارد نتایج نمیکند.
- عمق صفحه در معماری سایت زیاد است. صفحهای که فقط بعد از پنج یا شش کلیک از صفحه اصلی قابل رسیدن است، برای ربات و کاربر هر دو دورافتاده به نظر میرسد. صفحات مهم باید از مسیرهای منطقی، دستهبندیها، مقالات مرتبط و لینکهای متنی قابل دسترسی باشند.
- دامنه دچار مسائل امنیتی، اقدام دستی یا حذف موقت شده است. اگر سایت هک شده، محتوای اسپم دارد، درخواست حذف URL فعال است یا در سرچ کنسول هشدار امنیتی دیده میشود، ایندکس شدن صفحات جدید هم تحتتأثیر قرار میگیرد. این بخش را نباید با حدس بررسی کرد؛ گزارشهای سرچ کنسول مرجع اصلیاند.
- گوگل صفحه را در اولویت پایینتری میبیند. گاهی همه چیز ظاهراً درست است، اما صفحه همچنان در وضعیت «Crawled - currently not indexed» باقی میماند. در چنین حالتی باید کیفیت کل سایت، اعتماد محتوایی، لینکسازی داخلی، تازگی اطلاعات و تمایز صفحه را کنار هم ببینید. یک صفحه خوب در سایتی شلوغ و بیساختار ممکن است دیرتر جدی گرفته شود.
گزارش سرچ کنسول را چطور بخوانیم؟
Search Console معمولاً سرنخ را در نام وضعیت پنهان کرده است. اگر فقط به عدد کل صفحات ایندکسنشده نگاه کنید، احتمالاً گیج میشوید. اما اگر وضعیتها را جداگانه بخوانید، تصمیمها روشنتر میشوند.
| وضعیت در سرچ کنسول | برداشت کاربردی | اقدام پیشنهادی |
|---|---|---|
| Discovered - currently not indexed | گوگل URL را میشناسد اما هنوز سراغ خزش جدی آن نرفته است. | لینک داخلی، سایتمپ، سرعت سرور و اولویت صفحه را تقویت کنید. |
| Crawled - currently not indexed | گوگل صفحه را دیده اما فعلاً وارد نتایج نکرده است. | کیفیت محتوا، تکراری بودن، intent و سیگنالهای داخلی را بررسی کنید. |
| Excluded by noindex tag | خود صفحه دستور خروج از ایندکس داده است. | اگر صفحه مهم است، noindex را حذف و دوباره درخواست بررسی دهید. |
| Duplicate, Google chose different canonical | گوگل نسخه دیگری را اصلیتر تشخیص داده است. | canonical، محتوای مشابه و ساختار URLها را بازبینی کنید. |
یک چکلیست ۹۰ دقیقهای برای عیبیابی سریع
اگر زمان محدودی دارید و میخواهید بدانید مشکل از کجاست، این ترتیب را دنبال کنید. این چکلیست برای مدیر سایت، کارشناس محتوا و تیم فنی قابل اجراست.
- ۱۰ دقیقه اول: URL را در سرچ کنسول inspect کنید و وضعیت دقیق را یادداشت کنید.
- ۱۰ دقیقه بعد: robots.txt، noindex و canonical را بررسی کنید. اگر یکی از اینها خطا دارد، فعلاً سراغ محتوا نروید.
- ۱۵ دقیقه بعد: ببینید صفحه در سایتمپ هست یا نه و آیا سایتمپ فقط صفحات قابل ایندکس را شامل میشود.
- ۱۵ دقیقه بعد: از ۳ تا ۵ صفحه مرتبط و معتبر داخل سایت به این صفحه لینک متنی بدهید.
- ۲۰ دقیقه بعد: محتوای صفحه را با دو رقیب ایندکسشده مقایسه کنید؛ نه برای کپی، برای فهمیدن سطح پاسخگویی به نیاز کاربر.
- ۱۰ دقیقه بعد: وضعیت سرور، سرعت بارگذاری و خطاهای crawl را بررسی کنید.
- ۱۰ دقیقه پایانی: اگر خطای فنی رفع شده، درخواست indexing بدهید و تاریخ اقدام را ثبت کنید.
اگر این فرایند را برای ده URL تکرار کنید، معمولاً یک الگوی مشترک پیدا میشود؛ مثلاً همه صفحات ایندکسنشده از یک قالب خاص، یک دستهبندی خاص یا یک نوع محتوای تکراری آمدهاند.
چه صفحاتی را نباید به زور ایندکس کنیم؟
همه صفحات سایت قرار نیست در گوگل دیده شوند. این جمله برای بسیاری از کسبوکارها تلخ است، اما سالمترین نگاه سئویی همین است. صفحه پنل کاربری، صفحه نتایج جستوجوی داخلی، فیلترهای بیپایان فروشگاهی، آرشیوهای کمارزش یا صفحات تشکر بعد از خرید، معمولاً نباید هدف ایندکس باشند.
سئو فقط افزایش تعداد صفحات ایندکسشده نیست؛ افزایش تعداد صفحات مفید و قابل رقابت است. اگر یک سایت ۲۰۰ صفحه دارد اما فقط ۶۰ صفحه واقعاً برای جستوجوی کاربر طراحی شدهاند، بهتر است همان ۶۰ صفحه تمیز، عمیق، قابل دسترسی و قابل اعتماد باشند.
در پروژههای جدیتر، بهتر است برای هر نوع صفحه تصمیم مشخص داشته باشید: ایندکس شود، noindex شود، ادغام شود، ریدایرکت شود یا بازنویسی شود. اگر این تصمیمها پراکنده و موردی گرفته شوند، بعد از چند ماه سایت پر از URLهایی میشود که نه کاربر میخواهند، نه گوگل.
وقتی مشکل رفع شد، چه زمانی منتظر نتیجه باشیم؟
بعد از اصلاح، معمولاً وسوسه میشویم هر چند ساعت یک بار سرچ کنسول را باز کنیم. اما ایندکس شدن ریتم خودش را دارد. برای صفحات مهم، بعد از رفع مانع فنی و درخواست بررسی، چند روز تا چند هفته زمان طبیعی است. اگر سایت تازه است یا حجم زیادی URL مشکلدار داشته، باید صبورتر بود.
نکته مهمتر این است که ایندکس شدن پایان مسیر نیست. صفحهای که وارد نتایج میشود، تازه وارد میدان رقابت شده است. از اینجا به بعد، کیفیت پاسخ، عنوان، ساختار محتوا، لینکهای داخلی، اعتبار موضوعی و تجربه کاربر تعیین میکند صفحه فقط «حاضر» باشد یا واقعاً ورودی ارگانیک بسازد.
اگر در سایت شما تعداد زیادی صفحه ارزشمند ایندکس نمیشود، معمولاً مسئله از یک عامل تنها نیست. ترکیبی از معماری ضعیف، محتوای مشابه، بینظمی سایتمپ و نبود اولویت محتوایی باعث میشود گوگل تصویر روشنی از سایت نگیرد. در چنین وضعیتی، یک برنامه منظم SEO سایت میتواند مسئله را از سطح رفع خطای موردی به سطح رشد پایدار ببرد.
FAQ
چرا گوگل صفحه را کراول کرده اما ایندکس نکرده است؟
این وضعیت معمولاً یعنی گوگل به صفحه دسترسی داشته، اما فعلاً آن را برای نمایش در نتایج کافی، متمایز یا اولویتدار تشخیص نداده است. ابتدا محتوا، تکراری نبودن، لینک داخلی و canonical را بررسی کنید. اگر همه چیز درست بود، کیفیت کلی سایت و ساختار موضوعی را هم ارزیابی کنید.
آیا درخواست ایندکس در سرچ کنسول مشکل را حل میکند؟
درخواست ایندکس فقط گوگل را به بازبینی URL دعوت میکند؛ خودش درمان نیست. اگر صفحه noindex داشته باشد، canonical اشتباه باشد، محتوا کمارزش باشد یا مسیر خزش بسته باشد، درخواست دستی هم نتیجه پایدار نمیدهد. اول مانع را رفع کنید، بعد درخواست بدهید.
آیا تعداد زیاد صفحات ایندکسنشده برای سایت خطرناک است؟
بستگی دارد آن صفحات چه هستند. اگر صفحات بیاهمیت، فیلترها یا آرشیوهای کمارزش ایندکس نشدهاند، ممکن است طبیعی باشد. اما اگر صفحات خدمات، محصولات، مقالات اصلی یا لندینگهای مهم ایندکس نمیشوند، باید سریعتر بررسی فنی و محتوایی انجام شود.
برای ایندکس شدن سریعتر صفحه جدید چه کار کنیم؟
صفحه را در سایتمپ قرار دهید، از چند صفحه مرتبط و معتبر داخلی به آن لینک بدهید، مطمئن شوید noindex و canonical خطا ندارند، محتوای صفحه را کامل و متمایز بنویسید و سپس از URL Inspection درخواست ایندکس بدهید. سرعت مهم است، اما اولویت و ارزش صفحه مهمتر است.
