1 of 37

SEO-инсайты из логов сервера:

от WP-блога

до международного проекта

​

2 of 37

Всем привет :)

  • SEO-team lead ЛУН & Flatfy
  • Куратор курса Product SEO в PRJCTR
  • SEO-консультант

Это я

3 of 37

Логи сервера

Section

1

4 of 37

Логи

Файл с записями о запросах (hit`ах), которые получил сервер

5 of 37

Как это работает?

http://flatfy.com/example-page.html

  1. Protocol
  2. Server name -> ip:80
  3. File name -> HTTP GET request

​

​

6 of 37

Структура

  1. Server IP
  2. Timestamp (date & time)
  3. Method (GET / POST)
  4. Request URI (aka: URI stem + URI query)
  5. HTTP status code
  6. User-agent

Доп.:

  1. Host name
  2. Request/Client IP
  3. Bytes downloaded
  4. Time taken

Зависит от конфигурации веб-сервера

7 of 37

Пример

192.168.1.11 - [03/Sep/2019:00:00:00 -0400] - "GET /calendar/next HTTP/1.1" 200 - "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

​

8 of 37

Примеры

  • Apache - bit.ly/2QnpB5s
  • NGINX - bit.ly/2x75pf5
  • IIS - bit.ly/2O64QcJ

9 of 37

Важно

  • User Agent Googlebot (bit.ly/2x2Jire)
  • Google IP Validate

10 of 37

Зачем?

  • Разработка и quality assurance (QA)
  • Проблемы с сетью
  • Customer service
  • Проблемы с безопасностью
  • Compliance matters (запросы от …)
  • Техническое SEO

11 of 37

Какие данные?

Section

2

12 of 37

Crawl volume

Bot crawl volume - number of requests

13 of 37

Вопросы

  1. Эффективно ли расходуется краулинговый бюджет?
    1. Где идет утечка краулингового бюджета? (дубли, параметры и т.п.)
    2. Были ли ошибки во время краулинга?
    3. Какие есть области с недостатком краулинга?
  2. Дата последнего краулинга?

14 of 37

Важно

Сколько прокрауленых страниц “non-compliant“? (не подлежат попаданию в поиск)

15 of 37

Важно

  1. Определить частоту сканирования страниц
  2. Какие страницы не обходились ни разу за месяц?
  3. Когда страницы прокраулены впервые после создания?
  4. За какое время сканируются все страницы?
  5. Какой тип файлов? %
  6. Редиректы цепочки, ошибочные редиректы + кол-во
  7. Количество заходов на не канонические страницы
  8. Заходы на закрытые страницы в meta robots
  9. Дублированный контент? (например, по тайтлам)
  10. Сканирование нового контента
  11. Миграция на HTTPS и работа с AMP

16 of 37

Дополнить данными

  1. Google Analytics
  2. Данные с сайта (canonical, robots, кол-во слов ...)
  3. Google Search Console
  4. и другие

17 of 37

Excel, etc

Section

3

18 of 37

Как использовать?

  • Переименовать .log -> .csv
  • Открывать файлы до 120к строк
  • Разбить по столбцам
  • Убрать лишние колонки
  • Использовать сводные таблицы и графики

19 of 37

Частота и user agent

20 of 37

Что больше краулят

21 of 37

GoAccess

bit.ly/2HtAi4p

22 of 37

GoAccess

  • UNIQUE VISITORS PER DAY - INCLUDING SPIDERS
  • REQUESTED FILES (URLS)
  • STATIC REQUESTS
  • NOT FOUND URLS (404S)
  • VISITOR HOSTNAMES AND IPS
  • OPERATING SYSTEMS
  • BROWSERS
  • TIME DISTRIBUTION
  • VIRTUAL HOSTS
  • REFERRERS URLS
  • REFERRING SITES
  • KEYPHRASES FROM GOOGLE'S SEARCH ENGINE
  • HTTP STATUS CODES
  • GEO LOCATION

23 of 37

ELK

Section

4

24 of 37

ELK stack

25 of 37

Digitalocean Install

Заказать дроплет: m.do.co/c/de8a01e96450

(Docker -> ELK)

​

Мануал:

do.co/2x8stub

​

26 of 37

Logz

bit.ly/2TP3HfK

27 of 37

Примеры

Section

5

28 of 37

Общий вид

29 of 37

SC

30 of 37

SC

31 of 37

Kibana

32 of 37

SC

33 of 37

Сканирование закрытых страниц

34 of 37

Различные боты

35 of 37

Dashboards

36 of 37

​

Спасибо

за внимание!

37 of 37

Владислав Моргун

SEO Team-lead ЛУН & Flatfy

​

facebook.com/vladislav.morgun.3

t.me/m0r9un

vlad.morgun@lun.ua

instagram.com/m0r9un

slideshare.net/ssuser12bc85

О нас: team.lun.ua