1. Ссылки покупок

    Создание сайта под бурж для ЧК

    Белая схема - Заработок полностью на автомате!

    Доступ в приватный форум

    Timon&Pumba - 2 скрипта для сoздания трaфикoвых сайтов

    =прибыльная схема=

    «facebook 2.0» — с 0 до 100$ в сутки за 30 дней — второй набор на обучение к дмитрию сидашу

    Бесплатный уникальный контент (тексты) для сайта

    FАS - прoдвинутый cкpипт для быстрoй индeксaции. Нa бaзе Мувeр-2

    Уникальная методика слива трафика из Facebook

    Кровавая неделя партнёрского маркетинга. Акуле плевать

    БаблоРуб. Практический онлайн-курс Дмитрия Шахова - Профессиональное продвижение любых сайтов (2016)

    Бесплатный траффик только ЧК

    Jonn22: Технология создания дорвеев. Бесплатный трафик!

    Инструкция как получить внешний HDD

    Прибыльная схема с доходом 40-60 тыс в месяц

    [Валерий Морозов] - Секреты сторителлинга (2017)

    [Wordpress] Сборка WP-MFC +WP-MFC LINKATOR +WP-MFC GOOGLE (АКЦИОННЫЙ ПАК 2) 2017

    Узнавать больше, учиться меньше(Скот Янг) - Часть 3

    LPACK: создаём лендинги западного уровня при помощи шаблонов + как на этом заработать + 550 шаблонов

    Как заработать на youtube

    "Mувep" - модуль для ускopeния индeксaции сайтов

    Александр Корнилов (kote) : Тизерная кухня 2.0 - интенсив 2017

    Цифровые Ноотропы (Digital Energy Mandala)

    Первый курс по Telegram (2017)

    Продвижение в Инстаграмм (2017) Топовый автор.

    Facebook - подписчики десятками в день на ваши страницы

    SEO Марафон 2.0 по продвижению сайтов от WPNEW (2017)

    от 100$ в месяц на дорвеях Вконтакте

    Заработок на Алиекспресс и ВК

    Сайт по продаже покупке видеоигр

    Арбитраж трафика для тех, кто хочет результата! 2017

    Курс по личному продвижению в социальных сетях

    [WP] Обучающий видеокурс по Visual Composer

    [Дмитрий Воронов] Оформление групп и пабликов в соцсетях, каналов на ютубе.

    Две стратегии, субботний коучинг по баскетболу

    Две стратегии, субботний коучинг по волейболу

    Методика слива трафика. Арбитраж (Бурж и Ру)

    Трафик из ВК v.3

    Как создать и упаковать инфопродукт, который будет пользоваться спросом

    [Мультовод] - Заработок на мульти аккаунтах 2017

    Схема пассивного заработка на накрутке топовых партнерок

    Два скрипта для создания трафиковых сайтов на автомате

    Бинарные опционы. Стратегия (система) "СКВОЗНОЙ КАНАЛ"

    Instagram + буржунет. Тотальное палево фишек, софт и кейсы (видеокурс)

    Белая схема заработка. 8-10к в неделю не напрягаясь

    [РФ_Мир] Вывод 1 к 1: WebMoney, YandexMoney, Qiwi —> Безнал по Миру 0% Наличные рубли от 2%

    Два скрипта для создания трафиковых сайтов на автомате

    Тренинг "Профессиональная Настройка РСЯ"(2016)

    Зарабатывай на сайтах. Мануал по созданию cайтов на копипасте без блокировок (201

    Скрипт. Холодные звонки в BtoB с высокой конверсией [Авторская]

    Обучение дропшиппингу на Amazon – Ваш официальный бизнес за рубежом (2016)

    Видеотренинг CPA 2.0

    [Udemy.com] Alibaba - Ваш посредник в деле получения огромной прибыли (Новинка, 2016)

    Бизнес на налогах

    Стратегия "Звезда бинарных опционов" позволяет зарабатывать от 10 000 рублей ежедневно!

    [Courson] Холодные звонки. Как продать идею за 100 секунд?

    SalesHub - Мастер-группа: Запуск бизнеса на Amazon за 90 дней (2016)

    ОКтрафик - краткий курс по Одноклассникам для новичков и не только!

    Прибыльный VisitWeb (Юрий Минаев)

    Турбо-запуск товарного бизнеса за 1 день (Пакет GOLD, 2016) Осень

    Photoshop. магия внутри

    Тизерный трафик. Масштабирование с нуля до результата

    Гребём лопатой Adult трафик - белая схема заработка 50$ в день без вложений (2016)

    Клуб Миллионеров - Стратегия Триллион для форекс и бинарных опционов

    Способ продвижения в топ Youtube за 1 день (2016)

    Схемы заработка без вложений

    Wordpress помогатор 3.1

    Стратегия Ставок на Футбол от Густаво Доньжи

    Стратегия на турбо опционы

    Обучение по Бинарным Опционам.

    Бизнес по рецепту. продажа женских товаров

    Мануал по добыче бесплатного трафика с поисковика Bing (2016)

    От 6к уникальных посетителей на страницу ВК

    Facebook

    Стратегия Лайв Профит - ставки на футбол

    [Ирина Шмидт] - Церебро Таргет 2016

    Новый дорген.

    Стратегия на спорт.

    Двойной арбитражник по бесплатному трафику (2016)

    Подробная инструкция по Созданию интернет магазина чая с нуля (2016)

    Чертежи солнечного био-вегетария площадью 1200 кв.м. (СБВ-Профи)

    Адский стрим по копирайтингу: то чувство, когда подглядывать - хорошо!

    Видео-Курс - Tехнология быстрого старта в email рассылках (2016)

    Продвижение партнерских программ в одноклассниках (2016)

    Научу грести трафик. Только успевай сервера покупать!

    Трафик из ВК (Схема + Кейсы)

    Пассивный доход со стабильными выплатами.Схема добычи трафика.

    Секрет создания аккаунта яндекс директ без НДС

    Система ставок от проверенного каппера

    Государственный и банковский конфискат +VIP блок (2016)

    Как работать и зарабатывать деньги на продвижении своих проектов (2016)

    Секреты бесплатной рекламы от бывшего сотрудника Вконтакте

    Mobile Арбитраж - Арбитраж мобильного трафика (2016)

    BUSINESS MANUAL - Безопасные схемы заработка

    Как получать 1000-и заказов из CPA сетей (Дм.Ковпак)

    Как зарабатывать удаленно 100 тыс. руб на продвижении в Инстаграме без вложений и жить в Тайланде

    Самонаполняемые Видео-сайты!

    Прибыльная стратегия для бинарных опционов, первый доход через считанные дни + бонус!

    Траф с Вк за копейки

    Профит на онлайн теме от 30к до Неизвестно в месяц

    Легальный высокодоходный бизнес в реале

    Скрыть объявление
  2. Новое в Копилке

    Виртуозный трейдинг с Доктором Богатовым

    Автонаполняемый сайт [[REDDS]]

    Герман Стерлигов - Как безошибочно создать своё крестьянское хозяйство с нуля

    Финансы для нефинансистов [FULL PACK]

    Автонаполняемый Женский портал

    Коучинг Управление репутацией в сети - Дмитрий Сидорин

    Вращение руками - Наталья Королева

    Онлайн-марафон Огород от А до Я Лучшее за сезон 2016

    Интенсив Внедрение CRM-системы в отделе продаж - Университет продаж amoCRM

    Что ждать от арбитража.Для новичков

    КЕЙС: 120 800 руб. из тизерок без опыта в арбитраже на новой похудалке НЕЙРОСЛИМ

    Xelius Group(Павел Пахомов) - Опционы на миллион

    Стратегии ставок Холова на настольный теннис

    Ковалевский Антон - Прикосновение к своему Пути. Начало путешествия.

    12-ти недельный курс mba или лучшие стратегии роста и прорыва для бизнеса

    Кириллов. Гений жизни - Эффективное управление деньгами.

    [Олег Луканов] Ortega Project Insider. Харизма в соблазнении

    Smart Payment - Секреты Инфомаркетинга 2017

    [Шива] Об абсолютной необходимости любви к себе (2016)

    Еленин Сергей - Состояния в знакомствах (2015)

    19 УБОЙНЫХ ХАКОВ ДЛЯ LANDING PAGE

    Плагин ускорения для сайта WP Rocket v2.9.1.1 - на русском

    Черников - Видео для подписных

    Крючок. Как я зарабатываю по 79$ каждый день на автомате, просто раздавая книги (Ксения Шокина)

    Киселев - Новая система ставок

    [AST Production] Закрытое сердце

    Гейдж Дэвид - Партнерское соглашение: Как построить совместный бизнес на надежной основе

    Питер Скотт. Динамичная Торговля на Теннисе

    [Сухоруких] Анатомия СЕО - "SEO актив"

    Обучение составлению семантического ядра Key Collector (28 поток) [февраль 2017]

    Целевая Аудитория в Инстаграм

    Статьи с pokerstrategy по покеру

    [Биней, Udemy] Как создавать первоклассные рекламные объявления для Instagram

    Авторская стратегия (тоталы)

    Схема заработка 90 к за 2 месяца в Вк

    [Россоловски]-Программа снижения высокого артериального давления

    [Россоловски]-Программа подготовки организма к восстановлению во сне

    Виктор Орлов - Продактивити 2

    Тема Shopier. Последняя версия.

    Торговый робот FORTA Forex

    Анализ доходности ПАММ-счетов от Артема Звездина

    Анимированный экшен - Gif Animated

    Башкирова - Менеджер по продажам. Строим карьеру с нуля (2016)

    Сегментация как способ найти клиента - [profileschool]

alexeytrudov.com | Как проходит индексация нового сайта: наблюдаем за поведением роботов

  1. [alexeytrudov.com]
    Одна из приоритетных задач при запуске сайта размером от пары тысяч страниц — обеспечить быструю и полную индексацию. Я уже писал об основных способах ее добиться, здесь же более глубоко затронем только один аспект — закономерности привлечения на молодой сайт поисковых роботов.

    У меня неплохой опыт запуска новых сайтов; практически всегда я как минимум поверхностно проводил анализ acess.log, чтобы уловить общие принципы и использовать их в дальнейшем. Однако провести систематические наблюдения, строго проконтролировать все выводы руки как-то не доходили. Только чуть больше месяца назад я наконец собрал наблюдения в кучку и выделил из них те, что можно без особых затруднений проверить.

    Как раз кстати подвернулся проект на SEO-консалтинг, который хорошо подходил для роли «лабораторной крысы». В наличии — пара миллиона страниц, созданная под моим чутким руководством структура и заточенная под индексацию перелинковка, корректные заголовки Last-Modified и If-Modified-Since.

    Я написал пару простеньких скриптов для анализа логов, настроил запись результатов в БД а также отправку их на e-mail для надежности. После открытия сайта к индексации все действия, направленные на привлечение поисковых пауков тщательно протоколировались.

    Гипотезы


    Вот какие наблюдения я хотел проверить в этом кейсе:

    1. Робот Яндекса практически мгновенно реагирует на ссылки в твиттах, однако глубина сканирования после первого захода невелика.
    2. Активность робота Яндекса хорошо стимулируется притоком трафика по ссылкам из Вконтакте.
    3. Активность робота Яндекса на новом сайте в случае применения методов ускорения индексации мало уступает активности робота Google, а зачастую YandexBot посещает за то же время больше страниц, чем Googlebot
    4. Активность Googlebot плохо стимулируется ссылками из твиттов.
    5. Активность Googlebot хорошо стимулируется ссылками из популярных блогов.
    6. Активность Googlebot отлично стимулируется добавлением ссылки в https://www.google.com/webmasters/tools/submit-url

    Влияние трафика из ВК на активность Googlbot не оценивалось, так как на сайте в качестве системы статистики установлена только Яндекс.Метрика, соответственно у Google было меньше возможностей отследить активность на сайте.

    Первый этап индексации


    Сразу после открытия к индексации сайт был добавлен в Яндекс.Метрику, Яндекс.Вебмастер, главная страница была добавлена в форму Google «Сообщить о новом сайте». Также была проведена небольшая рекламная кампания в Twitter (согласно этим правилам). Analytics и Google Search Console не использовались по мотивам заказчика, не связанным с SEO.

    В логах сразу были замечены роботы Яндекса, заходившие на:

    • главную страницу
    • robots.txt (несколько раз)
    • хабовые страницы, на которые были ссылки из Twitter

    В первые несколько часов заходы были разовыми. Обратите внимание на график (по оси X — часы, по Y — число визитов робота; при наведении на линию — появляется число визитов).


    Спустя несколько часов активность Яндекса выросла до нескольких десятков запросов в час без каких-либо дополнительных действий.

    Первый заметный пик Яндекса — 1108 визитов близко коррелирует по времени с публикацией рекламного поста ВКонтакте, который привел порядка 150 человек трафика. Как видим, во второй половине графика в порядке вещей и по 8000 заходов Yandex.Bot. Я связываю нарастание активности с дополнительной рекламной публикацией в более популярном сообществе ВКонтакте, принесшем более 500 посетителей и некоторое количество естественных откликов. Время выхода поста близко к пику с 6368 визитами.

    Впрочем, о влиянии рекламы в ВК на дальнейший ход индексации можно уже с гораздо большими оговорками, так как в это же время шла и более масштабная рекламная кампания в Twtitter, а также было размещено некоторое количество ссылок на форумах.

    Что с Google?


    Как видите, GoogleBot на первом графике проявляет куда меньшую активность. Все 6 локальных пиков посещаемости достоверно связаны с добавлением хабовых страниц в форму «Сообщить о новом сайте». Почему «достоверно»? Потому что во всех 6 случаях:

    • Первой страницей, на которую был заход является именно страница, добавленная в форму.
    • Очень короткий промежуток между addurl и визитом робота (в пределах 15 минут).
    • Появление в выдаче страниц кластера, хабом которого служит добавленный url.

    На первом этапе заходам робота Google способствовали только добавления ссылок в https://www.google.com/webmasters/tools/submit-url. Реклама в Twitter, ВК, ссылки с форумов оказывали минимальное воздействие на Googlebot.

    Второй этап


    4 марта вышел рекламный пост в «жирном» блоге со ссылкой на одну из важных хабовых страниц. Сразу после этого начался масштабный рост активности Google (первый маленький пик совпал по времени с публикацией):


    Однако в целом на этом этапе оценить вклад различных факторов в привлечение роботов становится уже невозможно. Оба поисковика интенсивно используют sitemap.xml.

    Интересно, что к апдейту 6 марта результаты индексации были примерно равными (проверка через оператор site там и там):

    • Яндекс: 5000 ответов
    • Google: 4,610 results

    Сейчас, разумеется, Google ушел далеко в отрыв как по числу страниц в индексе, так и по активности роботов. Обратите внимание на последнюю четверть графика: похоже, что Google увеличил краулинговый бюджет сайта.

    Выводы


    Большинство гипотез подтвердились, но есть и некоторые поправки.

    Во-первых, гипотезу номер 3 («Yandex.Bot не уступает в активности Googlebot») нужно уточнить. Робот Яндекса может проявлять большую активность не просто на молодом сайте, а на молодом сайте в течение первой недели. Почему было сделано неточное допущение, понять просто. Большинство сайтов имеют недостаточно страниц, чтобы период их начальной индексации так сильно затягивался. Ведь за время, которое отражает первый график YandexBot успел посетить 492000 страниц, а GoogleBot — 4500. Проще говоря, большинство сайтов будет практически полностью просканировано Яндексом за первую неделю существования.

    Разумеется, все это справедливо для сайтов, в отношении которых предпринимаются специальные усилия по ускорению индексации.

    Во-вторых, гипотезу номер 6 нужно переформулировать так «Активность Googlebot отлично стимулируется добавлением ранее не посещенной ссылки в https://www.google.com/webmasters/tools/submit-url».

    При попытке добавить уже знакомую роботу страницу всплеска активности не происходило. Это важное замечание. Ведь обычно, сообщая о новом сайте, мы скармливаем поисковику главную страницу. А он о ней может знать и так, даже если сайт был закрыт от индексации. Думаю, именно по этой причине на первом графике Googlebot демонстрирует нули в самом начале.

    (Вот и еще одна причина вести разработку на тестовом сервере с HTTP-авторизацией, а не просто закрывать сайт в robots.txt. Увы, почему-то это одна из наиболее часто игнорируемых рекомендаций.)

    Как все это использовать на практике?


    Если вы дочитали до этого места и не умерли со скуки, то скорее всего, знаете как.

    Но хочу еще раз подчеркнуть важность плотной работы с Google. Как показывает этот кейс, несмотря на впечатляющие возможности по сканированию сайта, Гугл не всегда спешит их применять. А это означает, что сайт в первые недели жизни получит меньше трафика. Что в свою очередь, может сказаться на индексации и ранжировании в Яндексе. Время — имеет значение!

    Читать статью Как проходит индексация нового сайта: наблюдаем за поведением роботов полностью на alexeytrudov.com.
     

Поделиться этой страницей