Технологія AJAX та пошукові системи

Технологія AJAX стрімко увірвалася в типовий набір технологій формування Веб-сторінок і зараз набуває ще більшої популярності.
Вперше користувачі близько познайомилися з AJAX в новій пошті Google Mail (Gmail) і були вражені високою інтерактивністю Веб-сторінок та їхньою “легкістю” під час змін. Фактично, по інтерактивності такі сторінки вже більше співмірні з локальними програмами “офісного” класу ніж з традиційними HTML-сторінками.
Я не буду зараз вдаватися в деталі технології (це тема для окремого матеріалу, і сподіваюся, що такий матеріал в нас на сайті ще зявиться), відмічу коротко що суть технології наступна. Браузер, окрім статичного HTML разом зі сторінкою підтягує досить хитрий JavaScript код, який постійно тримає звязок зі сервером, отримує потрібні інструкції зі сервера, і відповідно до них модифікує код сторінки (сторінка видозмінюється).
Детальніше про технологію можна почитати наприклад тут http://en.wikipedia.org/wiki/Ajax_%28programming%29
У цій статті мова дещо про інше. Річ у тім, що окрім броузерів сторінки сайту “переглядають” і роботи пошукових систем. А для них звичайно AJAX не значить нічого, і замість AJAX-сторінок вони бачать пусте місце, або стартовий статичний HMTL-код сторінки.
Тут і виникає певна проблема. Попри всю зручність і ефектність сайт виконаний по технології AJAX може для пошукової системи бути пустим місцем. Тобто відвідувачі на сайт з пошуківців потрапляти не будуть. А таку розкіш можуть дозволити далеко не всі власники сайтів.
Коли я вперше познайомився з AJAX, моя думка щодо технології з наведеної вище причини була цілком негативною.
Проте, при детальнішому розгляді стає зрозуміло, що не все так погано. Більше того, використання AJAX для деяких типів сайтів за певних умов може стати навіть корисним з точки зору позиціонування в пошукових системах.

Основна ідея використання AJAX в такому разі наступна – технологія повинна використовуватися для вторинних допоміжних функцій, призначення яких – допомагати користувачу та забезпечувати зручний інтерфейс.
Так, наприклад, на інтернет-форумах AJAX може використовуватися для службових сторінок відповідей на повідомлення, налаштування опцій та профілю користувача, пошуку, приватних повідомлень тощо. Такі сторінки на сучасних форумах можуть складати більше половини загальної кількості сторінок, проте не містити жодної корисної інформації, і в результаті приносити шкоду власнику сайту. Адже вони перешкоджають нормальній індексації сайту пошуковою машиною, засмічують її базу даних, у той же час змістовні сторінки можуть до пошуківця і не потрапити (через квоти допустимої кількості сторінок зі сайту) або ж належним чином не рангуватися (через “розмазування” PageRank між сторінками).
Крім форумів, такі неінформативні сервісні сторінки характерні для сайтів електронної комерції, деяких каталожних систем та інших сайтів з високим ступенем інтерактивності.
Традиційним методом боротьби з таким “шумом” є формування веб-майстрами файлу robots.txt . Проте такий підхід не завжди забезпечує належний результат в силу обмежень синтаксису цього файлу.
Крім того, robots.txt жодним чином не захищає від “чорних” роботів, мета яких не надання сервісу користувачам та підтримка пошукових систем, а збір приватних даних користувача та спам сайтів. Вони просто ігнорують цей файл. А саме сервісні сторінки є найцікавішими для таких роботів (сторінки пошуку та профілю користувачів для збирачів мейлів, сторінки відповідей – для спам-ботів).
Якраз тут і може згодитися AJAX. Використання AJAX може дозволити уникнути небажаного доступу роботів до спеціальних сторінок (фактично спеціальні сторінки можуть уже в принципі не існувати, а їхні функції забезпечуватимуться фрагментами AJAX коду).
Такий підхід, з одного боку є зручним для користувача – уникається зайві перевантаження сторінок, покращується оперативність роботи зі сайтом, а з другого – усуває небезпечну активність роботів.
Отже, AJAX – не безнадійна технологія для сайтів, що орієнтуються на трафік з пошукових систем, просто нею потрібно користуватися обережно та для вирішення окремих спеціальних задач, напряму не пов’язаних з відображенням основного контенту сайту.