1. Ссылки покупок

    Бесплатный траффик только ЧК

    Jonn22: Технология создания дорвеев. Бесплатный трафик!

    Инструкция как получить внешний HDD

    Прибыльная схема с доходом 40-60 тыс в месяц

    [Валерий Морозов] - Секреты сторителлинга (2017)

    [Wordpress] Сборка WP-MFC +WP-MFC LINKATOR +WP-MFC GOOGLE (АКЦИОННЫЙ ПАК 2) 2017

    Узнавать больше, учиться меньше(Скот Янг) - Часть 3

    LPACK: создаём лендинги западного уровня при помощи шаблонов + как на этом заработать + 550 шаблонов

    Как заработать на youtube

    "Mувep" - модуль для ускopeния индeксaции сайтов

    Александр Корнилов (kote) : Тизерная кухня 2.0 - интенсив 2017

    Цифровые Ноотропы (Digital Energy Mandala)

    Первый курс по Telegram (2017)

    Продвижение в Инстаграмм (2017) Топовый автор.

    Facebook - подписчики десятками в день на ваши страницы

    SEO Марафон 2.0 по продвижению сайтов от WPNEW (2017)

    от 100$ в месяц на дорвеях Вконтакте

    Заработок на Алиекспресс и ВК

    Сайт по продаже покупке видеоигр

    Арбитраж трафика для тех, кто хочет результата! 2017

    Курс по личному продвижению в социальных сетях

    [WP] Обучающий видеокурс по Visual Composer

    [Дмитрий Воронов] Оформление групп и пабликов в соцсетях, каналов на ютубе.

    Две стратегии, субботний коучинг по баскетболу

    Две стратегии, субботний коучинг по волейболу

    Методика слива трафика. Арбитраж (Бурж и Ру)

    Трафик из ВК v.3

    Как создать и упаковать инфопродукт, который будет пользоваться спросом

    [Мультовод] - Заработок на мульти аккаунтах 2017

    Схема пассивного заработка на накрутке топовых партнерок

    Два скрипта для создания трафиковых сайтов на автомате

    Бинарные опционы. Стратегия (система) "СКВОЗНОЙ КАНАЛ"

    Instagram + буржунет. Тотальное палево фишек, софт и кейсы (видеокурс)

    Белая схема заработка. 8-10к в неделю не напрягаясь

    [РФ_Мир] Вывод 1 к 1: WebMoney, YandexMoney, Qiwi —> Безнал по Миру 0% Наличные рубли от 2%

    Два скрипта для создания трафиковых сайтов на автомате

    Тренинг "Профессиональная Настройка РСЯ"(2016)

    Зарабатывай на сайтах. Мануал по созданию cайтов на копипасте без блокировок (201

    Скрипт. Холодные звонки в BtoB с высокой конверсией [Авторская]

    Обучение дропшиппингу на Amazon – Ваш официальный бизнес за рубежом (2016)

    Видеотренинг CPA 2.0

    [Udemy.com] Alibaba - Ваш посредник в деле получения огромной прибыли (Новинка, 2016)

    Бизнес на налогах

    Стратегия "Звезда бинарных опционов" позволяет зарабатывать от 10 000 рублей ежедневно!

    [Courson] Холодные звонки. Как продать идею за 100 секунд?

    SalesHub - Мастер-группа: Запуск бизнеса на Amazon за 90 дней (2016)

    ОКтрафик - краткий курс по Одноклассникам для новичков и не только!

    Прибыльный VisitWeb (Юрий Минаев)

    Турбо-запуск товарного бизнеса за 1 день (Пакет GOLD, 2016) Осень

    Photoshop. магия внутри

    Тизерный трафик. Масштабирование с нуля до результата

    Гребём лопатой Adult трафик - белая схема заработка 50$ в день без вложений (2016)

    Клуб Миллионеров - Стратегия Триллион для форекс и бинарных опционов

    Способ продвижения в топ Youtube за 1 день (2016)

    Схемы заработка без вложений

    Wordpress помогатор 3.1

    Стратегия Ставок на Футбол от Густаво Доньжи

    Стратегия на турбо опционы

    Обучение по Бинарным Опционам.

    Бизнес по рецепту. продажа женских товаров

    Мануал по добыче бесплатного трафика с поисковика Bing (2016)

    От 6к уникальных посетителей на страницу ВК

    Facebook

    Стратегия Лайв Профит - ставки на футбол

    [Ирина Шмидт] - Церебро Таргет 2016

    Новый дорген.

    Стратегия на спорт.

    Двойной арбитражник по бесплатному трафику (2016)

    Подробная инструкция по Созданию интернет магазина чая с нуля (2016)

    Чертежи солнечного био-вегетария площадью 1200 кв.м. (СБВ-Профи)

    Адский стрим по копирайтингу: то чувство, когда подглядывать - хорошо!

    Видео-Курс - Tехнология быстрого старта в email рассылках (2016)

    Продвижение партнерских программ в одноклассниках (2016)

    Научу грести трафик. Только успевай сервера покупать!

    Трафик из ВК (Схема + Кейсы)

    Пассивный доход со стабильными выплатами.Схема добычи трафика.

    Секрет создания аккаунта яндекс директ без НДС

    Система ставок от проверенного каппера

    Государственный и банковский конфискат +VIP блок (2016)

    Как работать и зарабатывать деньги на продвижении своих проектов (2016)

    Секреты бесплатной рекламы от бывшего сотрудника Вконтакте

    Mobile Арбитраж - Арбитраж мобильного трафика (2016)

    BUSINESS MANUAL - Безопасные схемы заработка

    Как получать 1000-и заказов из CPA сетей (Дм.Ковпак)

    Как зарабатывать удаленно 100 тыс. руб на продвижении в Инстаграме без вложений и жить в Тайланде

    Самонаполняемые Видео-сайты!

    Прибыльная стратегия для бинарных опционов, первый доход через считанные дни + бонус!

    Траф с Вк за копейки

    Профит на онлайн теме от 30к до Неизвестно в месяц

    Легальный высокодоходный бизнес в реале

    Скрыть объявление
  2. Новое в Копилке

    PHP и MySQL с Нуля до Гуру 2.0

    Измени свой мозг: новые инструменты критического мышления

    Мастер РСЯ (2017)

    8 фишек копирайтинга, которые в разы увеличат конверсию

    Как повысить доверие к тексту на лендинге?

    Хуперт. Модуль - Личный магнетизм (2017) Тренинг

    Стратегия на виртуальный футбол

    Что ждать от арбитража.Для новичков

    КЕЙС: 120 800 руб. из тизерок без опыта в арбитраже на новой похудалке НЕЙРОСЛИМ

    Xelius Group(Павел Пахомов) - Опционы на миллион

    Стратегии ставок Холова на настольный теннис

    Ковалевский Антон - Прикосновение к своему Пути. Начало путешествия.

    12-ти недельный курс mba или лучшие стратегии роста и прорыва для бизнеса

    Кириллов. Гений жизни - Эффективное управление деньгами.

    [Олег Луканов] Ortega Project Insider. Харизма в соблазнении

    Smart Payment - Секреты Инфомаркетинга 2017

    [Шива] Об абсолютной необходимости любви к себе (2016)

    Еленин Сергей - Состояния в знакомствах (2015)

    19 УБОЙНЫХ ХАКОВ ДЛЯ LANDING PAGE

    Плагин ускорения для сайта WP Rocket v2.9.1.1 - на русском

    Черников - Видео для подписных

    Крючок. Как я зарабатываю по 79$ каждый день на автомате, просто раздавая книги (Ксения Шокина)

    Киселев - Новая система ставок

    [AST Production] Закрытое сердце

    Гейдж Дэвид - Партнерское соглашение: Как построить совместный бизнес на надежной основе

    Питер Скотт. Динамичная Торговля на Теннисе

    [Сухоруких] Анатомия СЕО - "SEO актив"

    Обучение составлению семантического ядра Key Collector (28 поток) [февраль 2017]

    Целевая Аудитория в Инстаграм

    Статьи с pokerstrategy по покеру

    [Биней, Udemy] Как создавать первоклассные рекламные объявления для Instagram

    Авторская стратегия (тоталы)

    Схема заработка 90 к за 2 месяца в Вк

    [Россоловски]-Программа снижения высокого артериального давления

    [Россоловски]-Программа подготовки организма к восстановлению во сне

    Виктор Орлов - Продактивити 2

    Тема Shopier. Последняя версия.

    Торговый робот FORTA Forex

    Анализ доходности ПАММ-счетов от Артема Звездина

    Анимированный экшен - Gif Animated

    Башкирова - Менеджер по продажам. Строим карьеру с нуля (2016)

    Сегментация как способ найти клиента - [profileschool]

Devaka | Эксперимент с meta-тегом robots

  1. [Devaka]
    В начале ноября Игорь Бакалов провел интересный эксперимент для проверки, как поисковые системы учитывают meta-robots, а именно инструкции index/noindex, follow/nofollow. Результаты оказались такие, что Google интерпретирует всё, как описано в документации для вебмастеров, а Яндекс не переходит по ссылкам и не индексирует документы, находящиеся в разделах с мета-тегом “noindex,follow”.

    Этот результат оказался странным, так как в документации Яндекса имеется явный пример с использованием мета-тега robots “noindex, follow”. Возможно, прошло мало времени, прежде чем делать выводы, либо где-то в эксперименте была допущена ошибка, а может быть Яндекс, действительно, учитывает всё не так, как рекомендует использовать.

    В связи с этим было решено повторить эксперимент, при этом уменьшить различные возражения:
    — Использовать больше страниц, чтобы сделать выборку репрезентативней.
    — Дождаться более полной индексации страниц экспериментального сайта. Поставить дополнительные ссылки для ускорения индексации, при необходимости.
    — Проверить маршрут поисковых ботов по серверным логам access_log.

    Гипотеза эксперимента:
    Google и Яндекс следуют по ссылкам в документе с мета-тегом robots content=“index,follow” или content=“noindex,follow”, в независимости, разрешена ли индексация этого документа тегом или нет. И не следуют по ссылкам, если имеется инструкция “nofollow”.

    Проведение эксперимента


    Для проведения эксперимента 28 ноября был создан поддомен exp.devaka.ru, на главной странице размещены ссылки на 4 основных раздела. Структура разделов имеет следующий вид:

    [​IMG]

    В разделы, имеющие бОльшую неопределенность в индексации, было добавлено больше тестовых страниц. Всего сайт содержал 14 (и 2 дополнительные) уникальные страницы. Для поддомена настроено журналирование запросов.

    Сайт был добавлен в адурилки Гугла и Яндекса. Через несколько дней Google проиндексировал основные страницы, в Яндексе появилась главная и страница page5.html. Картина не менялась до 6 декабря, после этого было решено поставить сквозняк с блога devaka.ru для ускорения индексации. Только сегодня, 18 декабря основная часть страниц проиндексировалась Яндексом и можно делать выводы.

    Результаты


    Google, как и ожидалось, проиндексировал страницы “/index/nofollow/”, “/index/follow/”, а также все из раздела follow (3, 4, 5 и 9). Страницы из разделов nofollow не попали за это время в индекс.

    Если посмотреть логи и отобрать из них лишь запросы гугла к разделу nofollow, то мы увидим, что он чётко следует правилам мета-тега robots:


    66.249.78.213 - - [08/Nov/2014:01:32:48 +0300] "GET /noindex/nofollow/ HTTP/1.0" 200 1910 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.227 - - [08/Nov/2014:01:34:32 +0300] "GET /index/nofollow/ HTTP/1.0" 200 2280 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.227 - - [08/Nov/2014:11:13:05 +0300] "GET /index/nofollow/ HTTP/1.0" 200 2280 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.220 - - [08/Nov/2014:11:30:32 +0300] "GET /noindex/nofollow/ HTTP/1.0" 200 1910 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

    По сути, Google сразу же в первый день пробежался по всем разрешенным страницам.


    66.249.78.213 - - [08/Nov/2014:00:48:39 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.213 - - [08/Nov/2014:01:32:48 +0300] "GET /noindex/nofollow/ HTTP/1.0" 200 1910 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.64.169 - - [08/Nov/2014:01:33:52 +0300] "GET /index/follow/ HTTP/1.0" 200 1781 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.227 - - [08/Nov/2014:01:34:32 +0300] "GET /index/nofollow/ HTTP/1.0" 200 2280 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.220 - - [08/Nov/2014:01:35:12 +0300] "GET /noindex/follow/ HTTP/1.0" 200 2122 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.220 - - [08/Nov/2014:01:35:35 +0300] "GET /index/follow/page9.html HTTP/1.0" 200 1703 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.227 - - [08/Nov/2014:01:40:34 +0300] "GET /noindex/follow/page3.html HTTP/1.0" 200 2024 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.220 - - [08/Nov/2014:01:40:35 +0300] "GET /noindex/follow/page5.html HTTP/1.0" 200 2005 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.220 - - [08/Nov/2014:01:40:35 +0300] "GET /noindex/follow/page4.html HTTP/1.0" 200 1875 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.213 - - [08/Nov/2014:10:31:06 +0300] "GET /index/follow/ HTTP/1.0" 200 1781 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.227 - - [08/Nov/2014:11:13:05 +0300] "GET /index/nofollow/ HTTP/1.0" 200 2280 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.227 - - [08/Nov/2014:11:16:07 +0300] "GET /noindex/follow/ HTTP/1.0" 200 2122 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    66.249.78.220 - - [08/Nov/2014:11:30:32 +0300] "GET /noindex/nofollow/ HTTP/1.0" 200 1910 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

    В индекс Яндекса попали страницы 1, 2, 3, 4 и 5 из разделов noindex-follow и noindex-nofollow. При этом, не попали страницы из раздела index (скорей всего просто не успели проиндексироваться, как минимум документ в index-follow в эксперименте Игоря индексировался).

    Если посмотреть серверные логи, то в них видно, что в первый день Яндекс просканировал основные разделы, находящиеся в на 2м уровне вложенности. Но на следующий день он просканировал почти все документы в этих разделах, игнорируя лишь страницы 6, 7 и 8 (из раздела “index, nofollow”).


    178.154.243.107 - - [08/Nov/2014:00:48:55 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:00:56:57 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:01:57:12 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:04:58:01 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:13:00:18 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:23:13:26 +0300] "GET /noindex/follow/ HTTP/1.0" 200 2122 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:23:15:08 +0300] "GET /index/follow/ HTTP/1.0" 200 1781 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:23:20:26 +0300] "GET /noindex/nofollow/ HTTP/1.0" 200 1910 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Nov/2014:23:24:55 +0300] "GET /index/nofollow/ HTTP/1.0" 200 2280 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:00:59:40 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:10:43:41 +0300] "GET /noindex/follow/page5.html HTTP/1.0" 200 2005 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:10:46:09 +0300] "GET /index/follow/page9.html HTTP/1.0" 200 1703 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:10:51:35 +0300] "GET /noindex/nofollow/page2.html HTTP/1.0" 200 1767 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:10:51:38 +0300] "GET /noindex/follow/page4.html HTTP/1.0" 200 1875 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:10:51:58 +0300] "GET /noindex/follow/page3.html HTTP/1.0" 200 2024 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [09/Nov/2014:10:57:00 +0300] "GET /noindex/nofollow/page1.html HTTP/1.0" 200 1687 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [10/Nov/2014:00:57:39 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    95.108.158.145 - - [10/Nov/2014:14:06:25 +0300] "GET / HTTP/1.0" 200 1738 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [10/Nov/2014:17:10:40 +0300] "GET /noindex/follow/page5.html HTTP/1.0" 200 2005 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

    После простановки сквозняка ситуация повторилась, Яндекс просканировал все страницы, за исключением 6, 7 и 8. То же самое повторилось и 10-го декабря.


    5.255.253.152 - - [08/Dec/2014:02:47:24 +0300] "GET /noindex/nofollow/ HTTP/1.0" 200 1910 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:47:26 +0300] "GET /index/follow/ HTTP/1.0" 200 1781 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:47:28 +0300] "GET /index/nofollow/ HTTP/1.0" 200 2280 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:47:33 +0300] "GET /noindex/follow/ HTTP/1.0" 200 2122 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:47:35 +0300] "GET /index/follow/page9.html HTTP/1.0" 200 1703 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:47:43 +0300] "GET /noindex/follow/page3.html HTTP/1.0" 200 2024 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:47:45 +0300] "GET /noindex/follow/page4.html HTTP/1.0" 200 1875 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:48:20 +0300] "GET /noindex/nofollow/page2.html HTTP/1.0" 200 1767 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:02:48:22 +0300] "GET /noindex/nofollow/page1.html HTTP/1.0" 200 1687 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:07:29:32 +0300] "GET /noindex/follow/page5.html HTTP/1.0" 200 2005 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
    5.255.253.152 - - [08/Dec/2014:11:55:42 +0300] "GET / HTTP/1.0" 304 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

    Таким образом, можно сделать вывод, что Яндекс воспринимает инструкции в meta-robots следующим образом:

    noindex, follow (стр 3-5) — эта страница куда-то ссылается, отлично, посмотрю куда :)
    noindex, nofollow (стр 1-2) — не важно, что здесь nofollow, я должен посмотреть, куда ссылается эта страница.
    index, nofollow (стр 6-8) — хм… мне разрешили индексировать документ, но здесь стоит nofollow, не буду палиться и идти дальше по ссылкам.
    index, follow (стр 9) — ну это стандартная ситуация, всё разрешено.

    Начальная гипотеза подтвердилась не полностью. Если Google воспринимает правила корректно, то в Яндексе остается вопрос с разделом “noindex,nofollow”, в котором иногда закрывают линкопомойки. Что касается “noindex,follow”, то в отличие от эксперимента Игоря, здесь Яндекс все интерпретировал корректно и проиндексировал документы.

    [​IMG]
    [​IMG] [​IMG]
     

Поделиться этой страницей