دلایل عدم ایندکس سایت و فروشگاه اینترنتی در گوگل ✔️

1- ممانعت متا تگ‌های ROBOTS از ایندکس شدن صفحات

وجود کد زیر در robots سایت باعث خواهد شد که موتور جستجو صفحه مورد نظر را بررسی نکند و به سراغ بقیه صفحات برود :

meta name="robots" content="noindex" 

این کد را بررسی کرده و در صورت وجود اصلاح کنید .

۲ - لینک‌های  No follow

همانطور که در مقالات گذشته عنوان کردیم , لینک‌های  No follow، به موتور جستجو می گوید که این لینک را دنبال نکنند . لینک های نوفالو دو نوع هستند ,  نوع اول: برای کل صفحه , قطعه کد زیر را در کد صفحه بررسی کنید , در صورت وجود خزنده موتور جستجو لینک های آن صفحه را دنبال نمی کند :

 meta name="robots" content="nofollow"

نوع دوم: برای یک لینک . کد نوع دوم به صورت زیر است :

href="pagename.html" rel="nofollow"/

۳- تلاش برای ایندکس نشدن صفحات از طریق  robots.txt

وقتی یک خزنده به سایت و یا فروشگاه اینترنتی وارد می‌شود, فایل robots.txt و نقشه سایت اولین مواردی هستند که یک خزنده هنگام ورود به سایت با آن‌ها مواجه می‌شود. اگر نقشه سایت به‌خوبی طراحی شده باشد، خزنده‌ها از طریق آن می‌توانند به‌خوبی یک سایت و صفحات آن را ایندکس کنند.

 اگر کد زیر در این صفحه باشد سایت شما توسط موتورهای جستجو ایندکس نخواهد شد :

User-agent: *

Disallow: /

ممکن است این مشکل برای صفحات یا بخش‌های خاصی  از سایت رخ دهد. برای مثال:

User-agent: *

Disallow: /products/

در چنین صورتی، تمامی صفحات موجود در ساب فولدر products ایندکس نمی‌شوند؛ بنابراین هیچ‌کدام از توضیحات محصولات شما در گوگل قابل مشاهده نخواهند بود.

Robots  سایت پیشگامان را می توانید از طریق آدرس زیر مشاهده کنید :

https://pdf.co.ir/robots.txt

در سایت پیشگامان , سه صفحه را برای ایندکس نشدن در موتور جستجو مسدود کرده ایم .

Disallow: https://pdf.co.ir/login/
Disallow: https://pdf.co.ir/cart/ *
Disallow: https://pdf.co.ir/carttour/

وجود لینک های شکسته در سایت بر روی خزنده ها تاثیر منفی می گذارد , اگر تعداد زیادی لینک شکسته در سایت شما وجود داشته باشد ، خزنده تمام زمانش برای ایندکس کردن صفحاتی بی ارزش  هدر می‌دهد و نمی‌تواند به صفحات مرتبط و با کیفیت دسترسی پیدا کند. در سرچ کنسول گوگل یا سرویس‌هایی مانند SEMrush می‌توانید لینک‌های شکسته سایت خود را شناسایی کنید.

۴-  خطاهای  URL

اشتباه در نوشتن باعث بوجود آمدن خطای URL می شود , از درست نوشته شدن و کار کردن تمام URL های سایت خود مطمئن شوید .

5- URL های منقضی شده

اگر  در سایت خود تغییرات ایجاد کرده اید حتما تغییرات لینک ها و لینک های حذف شده را بررسی کنید , تغییرات در ساختار سایت باعث تغییر در آدرس URL ها می شود .

۶- منع دسترسی به صفحات

سایت شما ممکن است سطوح دسترسی مختلفی داشته باشد و برخی از محتوا فقط برای افراد خاصی در دسترس باشد , در این حالت ممکن است تعداد زیادی از صفحات سایتتان کد وضعیتی ۴۰۳ را نشان دهد. برای رفع این مشکل این صفحات را به‌صورت نوفالو در بیاورید تا بودجه خزنده‌های موتورهای جستجو را تلف نکنند.

کد 403 چیست : دسترسی به صفحه یا منبعی‌ که شما در تلاش برای رسیدن به آن هستید به دلایل مختلفی امکان‌پذیر نیست , ممکن است این موضوع به دلایل افزایش امنیت ، تحریم‌ها، خرید هاست با تنظیمات نامناسب و یا خطاهای نرم افزاری و یا انسانی باشد.

۷- خطای سرور

بیشتر خطاهای 5xx(برای مثال خطاهای ۵۰۲) می‌توانند نشانه‌ای از خطاهای سروری باشند. برای حل آن‌ها ، لیستی از این صفحات را به پشتیبان سایت خود بدهید تا باگ‌ها یا خطاهای پیکربندی سایت که از سرور ناشی می‌شوند را شناسایی و رفع کند.

۸- محدودیت ظرفیت سرور

در صورت کمبود فضا بر روی سرور کاربران و بات ها دچاره مشکل می شوند , کاربران در هنگام ورود به سایت پیام Connection timed out را دریافت می‌کنند. برای تهیه هاست همیشه فضای مورد نیاز را پیش بینی کرده و اگر دچار مشکل شدید بلافاصله به پشتیبان جهت ارتقا هاست اعلام نمایید .

۹- خطا در پیکربندی سرور

در هنگام خطا در پیکربندی سرور , سایت بدون نقص برای کاربران در دسترس خواهد بود اما ممکن است برای بات موتورهای جستجو خطا صادر کند و صفحات ایندکس نشوند بطور مثال برخی اپلیکیشن‌های فایروال وب، گاهی به‌صورت پیش‌فرض بات‌های گوگل را بلاک می‌کنند. خطا در پیکربندی سرور توسط خودتان قابل رفع نمی باشد و نیاز به یک متخصص دارد .

۱۰- وجود خطا در فرمت‌ها

معمولا خطاهای فرمتی می‌توانند در چندین شکل ظاهر شوند , مثلا ، یک URL   غیر معتبر یا تگ‌های حذف‌ شده . در ابتدا ممکن است متوجه شوید که فایل robots.txt نقشه سایت را بلاک کرده , به این ترتیب بات موتور جستجو امکان دسترسی به محتوای نقشه سایت را نخواهد داشت .

۱۱- وجود صفحات اشتباه در Sitemap

نقشه سایت یکی از موارد مهم در ایندکس کردن سایت می باشد . نقشه سایت به خزنده های موتور جستجو کمک میکند تا سریعتر مهمترین صفحات را ایندکس کنند . برای اطمینان از درستی سایت مپ , آدرس های موجود در آن را بررسی کنید و از درستی و بروز بودن آن مطمئن شوید . این نکته را فراموش نکنید که آدرس های موجود در سایت مپ توسط دستورات متا و یا robots.txt بلاک نشده باشند .

۱۲- لینک‌دهی داخلی اشتباه

یک سایت درست و بهینه , تمام صفحاتش مانند یک زنجیر بهم متصل و مرتبط هستند , بنابراین یک خزنده به راحتی قادر است تمام صفحات را پیدا کند . برخی از صفحات که ساختار درستی ندارند ممکن است توسط خزنده ها شناسایی نشوند . ابزارهایی مانند Site Audit از SEMrush وجود دارند که می‌توانند در تشخیص و حل این مشکل به شما کمک کنند.

به این چند نکته در زمینه لینک دهی اشتباه دقت کنید :

 - ممکن است بخواهید برای یک صفحه از سایت رتبه بگیرید , این کار از طریق لینک سازی انجام می شود , اما اگر به صفحه ای لینک نداده باشید , بات‌های جستجو نمی‌توانند این صفحه را پیدا و ایندکس کنند.
- بیش از ۳۰۰۰ لینک فعال در یک صفحه . وجود این تعداد لینک کار خزنده را بیشتر می‌کند.
- مخفی بودن لینک‌ها در بخش‌های غیرقابل ایندکس سایت مانند فرم‌ها، فریم‌ها و پلاگین‌ها.

در برخی مواقع مشکل ساختار لینک‌های داخلی ممکن است به‌سرعت و به‌آسانی قابل‌حل نباشد. بنابراین باید با همراهی توسعه‌دهندگان حرفه‌ای یک بررسی عمیق از سایت خود داشته باشید.

۱۳- ریدایرکت‌های اشتباه

اگر می‌خواهید کاربران را به صفحه ای مرتبط‌ هدایت کنید ، استفاده از ریدایرکت ضروری است . موارد زیر را برای کار با ریدایرکت‌ها باید مدنظر داشته باشید:

–  ریدایرکت موقتی به‌ جای دائمی: ریدایرکت‌های ۳۰۲ و ۳۰۷ این سیگنال به خزنده‌ها است که آن‌ها مجدداً می‌توانند بارها و بارها به صفحه باز گردند که این موجب صرف بودجه خزنده می‌شود. اگر قصد دارید یک آدرس را برای همیشه منتقل کنید از ریدایرکت 301 یا دائمی استفاده کنید .

– حلقه ریدایرکت: حلقه ریدایرکت زمانی اتفاق خواهد افتاد که دو صفحه به هم ریدایرکت شوند. در چنین حالتی، بات موتور جستجو در یک حلقه به دام افتاده و تمام بودجه‌اش را بیهوده مصرف می‌کند. یک بررسی از سایت خود داشته باشید و ریدایرکت‌های دوگانه و حلقه ریدایرکت را حذف کنید.

۱۴- سرعت کم در بارگذاری وب‌سایت

سرعت بارگذاری بالای سایت , ارتباط مستقیمی با سرعت ایندکس شدن آن توسط خزنده‌ها دارد. هر یک ثانیه سرعت لود بالاتر دارای اهمیت است . سرعت بارگذاری سایت یکی از فاکتورهای مؤثر در رتبه‌بندی و سئو نیز می باشد .

با ابزار Pagespeed Insights گوگل می‌توانید ببینید که آیا سایتتان به‌سرعت بارگذاری می‌شود یا خیر. این ابزار برای تست سرعت دسکتاپ و موبایل قابل استفاده است . پایین بودن سرعت لود سایت معمولاً به این دو علت رخ می‌دهد:

مشکلات سرور: پهنای باند کم سرور باعث کند بودن سایت می شود , حتما هنگام انتخاب هاست , این پارامتر را در نظر داشته باشید .

 مشکلات Front-end  : بهینه‌ نبودن کدها یکی از رایج‌ترین مشکلاتی است که ممکن است رخ بدهد. وجود اسکریپت‌ها و پلاگین‌ها متعدد می‌تواند باعث کندی سایت شود . به طور منظم تصاویر، ویدئوها و محتواهای مشابه سایت خود را بررسی کنید تا مطمئن شوید که به‌خوبی بهینه‌سازی و کم حجم شده‌اند و موجب کاهش سرعت بارگذاری سایت نمی‌شوند.

۱۵- معماری نامناسب سایت که صفحات تکراری را ایجاد می‌کند

وجود محتواهای تکراری یکی از رایج‌ترین مشکلات در سئو  سایت است . اساس تحقیقات  SEMrush، این مشکل در حدود ۵۰ درصد سایت‌ها وجود دارد. وجود محتوا و صفحات تکراری می‌تواند یکی از دلایل عمده مصرف بودجه خزنده‌ها نیز باشد. هر وب‌سایت فقط زمان محدودی برای بررسی شدن از سوی گوگل دارد، بنابراین گوگل قطعاً نمی‌خواهد با ایندکس کردن محتواهای تکراری زمان خود را تلف کند.

مشکل دیگر این است که در صورت وجود دو نسخه از یک محتوا ، خزنده‌ها نمی‌دانند که کدام یک نسخه اصلی است و باید به کدام اعتماد کنند. برای شفاف‌سازی این موضوع باید از canonicalsها استفاده کنید.

برای حل  مشکل محتوای تکراری می توان از موارد زیر کمک گرفت تا مانع ایندکس مجدد آنها شود :

✔️ حذف صفحات تکراری
✔️ پارامترهای مشخصی را در robots.txt تعیین کنید
✔️ پارامترهای مشخصی را در متا تگ‌ها تعیین کنید
✔️ از ریدایرکت ۳۰۱ استفاده کنید
✔️ از rel=canonical استفاده کنید

۱۶- جاوا اسکریپت و CSS

موتور جستجوی گوگل در سال ۲۰۱۵ رسماً اعلام کرد تا وقتی‌که سایت‌ها  , بات‌های ما را از خزش کردن جاوا اسکریپت و فایل‌های CSS بلاک نکنند، ما عموماً می‌توانیم مانند مرورگرهای مدرن صفحات وب شما را رندر کنیم و بفهمیم . این موضوع فقط مختص به گوگل است و سایر موتورهای جستجو را شامل نمی‌شود. همچنین گوگل با استفاده از واژه «عموماً» در اینجا اعلام می‌کند که در برخی مواقع ایندکس شدن صحیح تضمین‌شده نیست.

۱۷- محتواهای فلش

با توجه به عدم پشتیبانی برخی مرورگرها و موبایل های هوشمند از محتوای فلش , استفاده از آنها بر روی تجربه کاربری تاثیر گذار بوده و بر روی سئو سایت تاثیر منفی خواهد گذاشت . وجود محتوا در فلش ممکن است توسط خزنده ها ایندکس نشود , بنابر این پیشنهاد می شود تا از محتوای فلش بر روی سایت و فروشگاه آنلاین استفاده نشود .

۱۸- فریم‌های HTML

تا جایی که ممکن است از فریم ها  در سایت خود استفاده نکنید , فریم ها به شدت منقضی شده اند و به ندرت توسط خزنده ها ایندکس می شوند , بجای استفاده از فریم ها ازراه حل های بروزتری استفاده کنید .

19- تمرکز و نظم در کار با سایت

استفاده از کلمات کلیدی اشتباه یا مشکلات مرتبط با محتوا , می‌تواند شما را در زیر ذره بین گوگل قرار دهد. اگر شما به علت عدم ایندکس سایتتان نتوانید محتواهایتان را به موتورهای جستجو تحویل دهید؛ دیگر اهمیتی ندارد که صفحات سایتتان تا چه حد خوب و بهینه‌سازی شده‌ است .

برای اینکه مشکل را بفهمید که کجاست , باید دامنه خود را بطور دقیق مورد بررسی قرار دهید . استفاده از ابزارهای مناسب می تواند به شما در این زمینه کمک کند , برخی از ابزارهای سئو می تواند سایت شما را بررسی کرده , مشکلات آنرا شناسایی نموده , سپس دسته بندی و اولویت گذاری کند تا شما بتوانید سریعتر نسبت به رفع آنها اقدام نمایید . سرچ کنسول گوگل گوگل تا حدودی می تواند در این زمینه به مشا کمک کند .