6 Червня 2020

Пошукова оптимізація та індексація сайту

Необхідну інформацію в Інтернет легше всього знайти за допомогою пошукових систем. Потрібний запит вводиться в пошуковий рядок, користувач отримує результат – список сторінок, найбільш точно відповідних пошуковому запиту. Щоб потрапити в пошукову видачу сторінки сайту перш за все повинні бути проіндексовані пошуковим роботом. Пошукова система обробляє і заносить в базу інформацію, яку можна знайти на сайті, індексуються статті, посилання, ілюстрації.
Основні способи індексації сайту
Примусова індексація – дані про сайті додаються в спеціальну форму пошукової системи.
Природна індексація – пошуковий робот самостійно відшукує сайт, переходячи зі посилаються на сайт ресурсів. Отже зовнішня посилальна маса сайту не повинна бути нульовою.
Термін індексації сайту може бути різним, від декількох днів до декількох тижнів. Процес індексації циклічний і повторюється з періодичністю в два-чотири тижні, залежно від конкретного пошукового робота. Індексуватися може як сайт цілком, так і окремі внутрішні сторінки. Іноді через технічні неполадки, відсутність доступу до сторінок сайт може не індексуватися. В такому випадку пошукова система надійде по одному з таких сценаріїв:

відразу виключить непроіндексовані сторінки зі своєї бази даних;
проведе повторну індексацію сайту через кілька днів;
виключить сторінки, що не були проіндексовані, якщо не виявить їх при повторній індексації.
Управління індексацією і оптимізація сайту
Для управління індексацією сайту використовуємо карту сайту і спеціальний файл robots.txt і спеціальні теги.

Часткове закриття контенту сторінки від пошукових роботів Yandex виконується тегом . Існує також спеціальний мета-тег robots, який може дозволяти або забороняти індексацію і проходження посиланнях кожної окремої сторінки сайту.

Robots.txt – файл, в якому, оперуючи директивами Disallow, Allow, User-agent, Crawl-delay, можна заборонити або дозволити індексацію тільки певним пошуковим системам або ж повністю заборонити індексацію як всього сайту, так і окремих його розділів.

Карта сайту – це завжди актуальний список сторінок сайту, що підлягають індексації. Спеціальний файл sitemap може бути створений у форматі XML або ж в звичайному текстовому форматі. Для вказівки розташування файлу Sitemap може бути використаний файл robots.txt. Для цього слід додати в нього такий рядок: Sitemap: http: //імя_сайта/sitemap.xml

Використання карти сайту дозволяє повідомити пошуковій системі:

про ті сторінки сайту, які слід проіндексувати;
про те наскільки часто оновлюється інформація на сторінках сайту;
про те наскільки важлива індексація кожної зі сторінок.
Прискорення індексації сайту
Існує безліч способів прискорення індексації сайту пошуковими роботами. Однак для початку розглянемо норми, дотримання яких допоможе вирішити проблеми індексації сайту.

Чи не створюються надто об’ємні сторінки (розмір не повинен перевищувати 100-200 кбайт).
Посилання на внутрішні сторінки сайту пояснюють зміст сторінки, використовуючи прості заголовки.
Використовуються людино-зрозумілі URL (ЧПУ), які полегшує індексацію сайту. З URL виключаються параметри і ідентифікатори сесії.

photo
photo