جستجو
برای جستجو متن مورد نظر وارد کنید و Enter بزنید برای بستن Esc بزنید.
وب مسترها و ارائه دهندگان محتوا در اواسط دهه 1990 شروع به بهینه سازی وب سایت ها برای موتورهای جستجو کردند، زیرا اولین موتورهای جستجو در حال فهرست نویسی وب اولیه بودند. در ابتدا، همه وب مسترها فقط نیاز داشتند که آدرس یک صفحه یا URL را به موتورهای مختلف ارسال کنند، که یک خزنده وب را برای خزیدن آن صفحه می فرستد، پیوندهای صفحات دیگر را از آن استخراج می کند، و اطلاعات یافت شده در صفحه را باز می گرداند. نمایه شده است.[5] این فرآیند شامل عنکبوت موتور جستجو است که یک صفحه را دانلود کرده و آن را در سرور خود موتور جستجو ذخیره می کند. برنامه دوم، که به عنوان نمایه ساز شناخته می شود، اطلاعات مربوط به صفحه را استخراج می کند، مانند کلماتی که در آن وجود دارد، جایی که آنها قرار دارند، و هر وزنی برای کلمات خاص، و همچنین تمام پیوندهایی که صفحه در آن قرار دارد. سپس تمام این اطلاعات در یک زمانبندی قرار میگیرد تا در تاریخ بعدی خزیده شود.
نسخه های اولیه الگوریتم های جستجو به اطلاعات ارائه شده توسط وبمستر مانند متا تگ کلمه کلیدی یا فایل های فهرست در موتورهایی مانند ALIWEB متکی بودند. متا تگ ها راهنمای محتوای هر صفحه را ارائه می دهند. با این حال، استفاده از ابرداده برای نمایه سازی صفحات کمتر قابل اعتماد بود، زیرا انتخاب کلمات کلیدی توسط مدیر وب در متا تگ به طور بالقوه می تواند نمایش نادرستی از محتوای واقعی سایت باشد. دادههای ناقص در متا تگها، مانند آنهایی که مشخصههای دقیق، کامل یا نادرست نبودند، این پتانسیل را ایجاد کردند که صفحات در جستجوهای نامربوط به اشتباه توصیف شوند. منبع یک صفحه در تلاش برای رتبه بندی خوب در موتورهای جستجو.[9] در سال 1997، طراحان موتورهای جستجو متوجه شدند که مدیران وبسایتها تلاش میکنند تا در موتور جستجوی خود رتبه خوبی کسب کنند و برخی از مدیران وبسایتها حتی با پر کردن صفحات با کلمات کلیدی بیش از حد یا نامربوط، رتبهبندی خود را در نتایج جستجو دستکاری میکنند. موتورهای جستجوی اولیه، مانند Altavista و Infoseek، الگوریتم های خود را برای جلوگیری از دستکاری مدیران وب سایت ها در رتبه بندی تنظیم کردند.
موتورهای جستجوی اولیه با تکیه بر عواملی مانند چگالی کلمات کلیدی که منحصراً در کنترل وبمستر بود، از سوء استفاده و دستکاری رتبهبندی رنج میبردند. برای ارائه نتایج بهتر به کاربران خود، موتورهای جستجو مجبور بودند برای اطمینان از اینکه صفحات نتایج آنها مرتبطترین نتایج جستجو را نشان میدهند، به جای صفحات نامرتبط مملو از کلمات کلیدی متعدد توسط وبمستران بیوجدان، سازگار میشدند. این به معنای دور شدن از اتکای شدید به تراکم اصطلاحی به یک فرآیند جامع تر برای امتیاز دهی به سیگنال های معنایی بود. از آنجایی که موفقیت و محبوبیت یک موتور جستجو با توانایی آن در تولید مرتبط ترین نتایج برای هر جستجو مشخص می شود، نتایج جستجو با کیفیت پایین یا نامربوط می تواند کاربران را به یافتن منابع جستجوی دیگر سوق دهد. موتورهای جستجو با توسعه الگوریتمهای رتبهبندی پیچیدهتر، با در نظر گرفتن عوامل دیگری که دستکاری آنها برای مدیران وبسایت دشوارتر بود، پاسخ دادند.
شرکتهایی که از تکنیکهای بیش از حد تهاجمی استفاده میکنند، میتوانند وبسایت مشتریان خود را از نتایج جستجو ممنوع کنند. در سال 2005، وال استریت ژورنال در مورد شرکتی به نام Traffic Power گزارش داد که ظاهراً از تکنیکهای پرخطر استفاده میکرد و نتوانست آن خطرات را برای مشتریان خود فاش کند. مجله Wired گزارش داد که همان شرکت از وبلاگ نویس و SEO Aaron Wall به دلیل نوشتن در مورد ممنوعیت شکایت کرد.مت کاتس گوگل بعدا تایید کرد که گوگل در واقع Traffic Power و برخی از مشتریانش را ممنوع کرده است.
در سال 1998، دو دانشجوی فارغ التحصیل دانشگاه استنفورد، لری پیج و سرگئی برین، «Backrub» را توسعه دادند، موتور جستجویی که بر یک الگوریتم ریاضی برای رتبهبندی برجستگی صفحات وب متکی بود. عدد محاسبه شده توسط الگوریتم، PageRank، تابعی از کمیت و قدرت پیوندهای ورودی است. PageRank احتمال دسترسی به یک صفحه معین توسط کاربر وب را که به طور تصادفی در وب گشت و گذار می کند و پیوندها را از یک صفحه به صفحه دیگر دنبال می کند، تخمین می زند. در واقع، این بدان معنی است که برخی از پیوندها قوی تر از سایرین هستند، زیرا به احتمال زیاد یک وب گرد تصادفی به صفحه رتبه بالاتری می رسد.
در سال 2007، گوگل کمپینی را علیه پیوندهای پولی که رتبه صفحه را انتقال می دهند، اعلام کرد. در 15 ژوئن 2009، گوگل فاش کرد که اقداماتی را برای کاهش اثرات مجسمه سازی PageRank با استفاده از ویژگی nofollow در پیوندها انجام داده است. Matt Cutts، مهندس نرمافزار معروف در گوگل، اعلام کرد که Google Bot دیگر با هیچ پیوند عدم دنبال کردنی به همان شیوه برخورد نمیکند تا از استفاده ارائهدهندگان خدمات سئو برای جلوگیری از استفاده از nofollow برای مجسمهسازی PageRank جلوگیری کند. در نتیجه این تغییر، استفاده از nofollow منجر به تبخیر رتبه صفحه شد. به منظور اجتناب از موارد فوق، مهندسان سئو تکنیکهای جایگزینی را توسعه دادند که برچسبهای nofollowed را با جاوا اسکریپت مبهم جایگزین میکنند و بنابراین اجازه مجسمهسازی رتبه صفحه را میدهند. علاوه بر این، چندین راه حل پیشنهاد شده است که شامل استفاده از iframes، فلش و جاوا اسکریپت است.
در فوریه 2011، گوگل به روز رسانی پاندا را اعلام کرد که وب سایت های حاوی محتوای کپی شده از سایر وب سایت ها و منابع را جریمه می کند. از لحاظ تاریخی وب سایت ها محتوا را از یکدیگر کپی کرده اند و با درگیر شدن در این عمل در رتبه بندی موتورهای جستجو سود می برند. با این حال، گوگل سیستم جدیدی را اجرا کرد که سایت هایی را که محتوای آنها منحصر به فرد نیست مجازات می کند. Google Penguin در سال 2012 تلاش کرد تا وب سایت هایی را که از تکنیک های دستکاری برای بهبود رتبه خود در موتور جستجو استفاده می کردند، جریمه کند.[34] اگرچه Google Penguin به عنوان الگوریتمی با هدف مبارزه با هرزنامههای وب معرفی شده است، اما با سنجش کیفیت سایتهایی که پیوندها از آنها میآیند، واقعاً بر پیوندهای هرزنامه [35] تمرکز میکند. به روز رسانی مرغ مگس خوار Google در سال 2013 یک تغییر الگوریتم طراحی شده برای بهبود پردازش زبان طبیعی گوگل و درک معنایی صفحات وب را نشان داد. سیستم پردازش زبان مرغ مگس خوار تحت اصطلاح جدید شناخته شده “جستجوی مکالمه” قرار می گیرد، که در آن سیستم به هر کلمه در پرس و جو توجه بیشتری می کند تا صفحات را بهتر با معنای پرس و جو تطبیق دهد تا چند کلمه. با توجه به تغییرات ایجاد شده در بهینه سازی موتورهای جستجو، برای ناشران و نویسندگان محتوا، مرغ مگس خوار قصد دارد با خلاص شدن از شر محتوای نامربوط و هرزنامه، مشکلات را حل کند و به Google اجازه دهد محتوای با کیفیت بالا تولید کند و به آنها اعتماد کند تا نویسندگان «معتمد» باشند. .
موتورهای جستجوی پیشرو مانند گوگل، بینگ و یاهو، از خزنده ها برای یافتن صفحات نتایج جستجوی الگوریتمی خود استفاده می کنند. صفحاتی که از سایر صفحات فهرست شده توسط موتورهای جستجو لینک شده اند، نیازی به ارسال ندارند زیرا به صورت خودکار پیدا می شوند. یاهو Directory و DMOZ، دو دایرکتوری اصلی که به ترتیب در سالهای 2014 و 2017 بسته شدند، هر دو نیاز به ارسال دستی و بررسی ویراستاری انسانی داشتند. Google کنسول جستجوی Google را ارائه میکند که میتوان برای آن یک فید نقشه سایت XML ایجاد و به صورت رایگان ارسال کرد تا اطمینان حاصل شود که همه صفحات یافت میشوند، به خصوص صفحاتی که با دنبال کردن خودکار پیوندها علاوه بر کنسول ارسال URL آنها قابل کشف نیستند. یاهو قبلاً یک سرویس ارسال پولی را اجرا می کرد که خزیدن را برای هزینه هر کلیک تضمین می کرد؛ با این حال، این روش در سال 2009 متوقف شد.
خزنده های موتورهای جستجو ممکن است هنگام خزیدن یک سایت به عوامل مختلفی توجه کنند. هر صفحه ای توسط موتورهای جستجو ایندکس نمی شود. فاصله صفحات از دایرکتوری ریشه یک سایت نیز ممکن است عاملی در خزیدن یا عدم خزیدن صفحات باشد. امروزه، اکثر مردم با استفاده از یک دستگاه تلفن همراه در گوگل جستجو می کنند.[43] در نوامبر 2016، گوگل تغییر عمدهای را در نحوه خزیدن وبسایتها اعلام کرد و شروع به ایجاد ایندکس آنها در تلفن همراه کرد، که به این معنی است که نسخه تلفن همراه یک وبسایت معین، نقطه شروعی برای آنچه Google در فهرست خود قرار میدهد، میشود. در ماه مه 2019، گوگل موتور رندر خزنده خود را بهروزرسانی کرد تا آخرین نسخه Chromium باشد (74 در زمان اعلام). Google نشان داد که موتور رندر Chromium را مرتباً به آخرین نسخه به روز می کند.در دسامبر 2019، گوگل شروع به به روز رسانی رشته User-Agent خزنده خود کرد تا آخرین نسخه کروم مورد استفاده توسط سرویس رندر خود را منعکس کند. این تأخیر به مدیران وبسایت اجازه میداد تا کدهای خود را که به رشتههای عامل ربات خاصی پاسخ میداد، بهروزرسانی کنند. گوگل ارزیابی هایی را انجام داد و مطمئن بود که تأثیر آن جزئی خواهد بود.
برای جلوگیری از محتوای نامطلوب در فهرستهای جستجو، مدیران وبسایتها میتوانند به عنکبوتها دستور دهند که از طریق فایل استاندارد robots.txt در فهرست اصلی دامنه، فایلها یا فهرستهای خاصی را جستجو نکنند. علاوه بر این، با استفاده از متا تگ مخصوص روبات ها (معمولاً <meta name=”robots” content=”noindex”> ) می توان به صراحت یک صفحه را از پایگاه داده موتور جستجو حذف کرد. هنگامی که یک موتور جستجو از یک سایت بازدید می کند، robots.txt واقع در فهرست اصلی اولین فایلی است که خزیده می شود. سپس فایل robots.txt تجزیه میشود و به ربات دستور میدهد که کدام صفحات نباید خزیده شوند. از آنجایی که یک خزنده موتور جستجو ممکن است یک کپی ذخیره شده از این فایل را نگه دارد، ممکن است گاهی اوقات صفحاتی را که مدیر وب مایل به خزیدن آن نیست بخزد. صفحاتی که معمولاً از خزیدن آنها جلوگیری می شود شامل صفحات مخصوص ورود به سیستم مانند سبد خرید و محتوای خاص کاربر مانند نتایج جستجو از جستجوهای داخلی است. در مارس 2007، گوگل به مدیران وبسایتها هشدار داد که باید از فهرستبندی نتایج جستجوی داخلی جلوگیری کنند، زیرا آن صفحات هرزنامه جستجو در نظر گرفته میشوند. در سال 2020، گوگل استاندارد را لغو کرد (و کد آنها را منبع باز کرد) و اکنون با آن به عنوان یک اشاره و نه یک دستورالعمل رفتار می کند. برای اطمینان از اینکه صفحات ایندکس نمی شوند، باید متا تگ ربات در سطح صفحه گنجانده شود.
روشهای مختلفی میتوانند برجستگی یک صفحه وب را در نتایج جستجو افزایش دهند. پیوند متقابل بین صفحات یک وب سایت برای ارائه پیوندهای بیشتر به صفحات مهم ممکن است دید آن را بهبود بخشد. طراحی صفحه باعث می شود که کاربران به یک سایت اعتماد کنند و پس از یافتن آن بخواهند در آن باقی بمانند. هنگامی که مردم از سایتی پرش می کنند، آن سایت به حساب می آید و اعتبار آن را تحت تأثیر قرار می دهد. نوشتن محتوایی که شامل عبارات کلیدی مکرر جستجو شده باشد تا با طیف گسترده ای از عبارت های جستجو مرتبط باشد، باعث افزایش ترافیک می شود. بهروزرسانی محتوا بهمنظور خزیدن مکرر موتورهای جستجو میتواند وزن بیشتری به سایت بدهد. افزودن کلمات کلیدی مرتبط به ابرداده یک صفحه وب، از جمله تگ عنوان و توضیحات متا، باعث بهبود ارتباط لیست های جستجوی یک سایت و در نتیجه افزایش ترافیک می شود. متعارف سازی URL صفحات وب قابل دسترسی از طریق چندین URL، با استفاده از عنصر پیوند متعارف یا از طریق تغییر مسیرهای 301 می تواند به اطمینان حاصل شود که پیوندها به نسخه های مختلف URL همگی در امتیاز محبوبیت پیوند صفحه به حساب می آیند. این لینکها به عنوان لینکهای ورودی شناخته میشوند که به URL اشاره میکنند و میتوانند در امتیاز محبوبیت پیوند صفحه حساب شوند و بر اعتبار یک وبسایت تأثیر بگذارند.