Всем привет! Как известно, уникальность контента положительно влияет на положение сайта в поисковых системах. На одном клиентском проекте в течение нескольких месяцев был проведен эксперимент, задачей которого было определить влияние замены неуникального контента на позиции в поисковиках. В посте я расскажу про особенности данного исследования, а также о полученных результатах.

На анализируемом ресурсе всегда публиковался уникальный контент, но спустя время текст с некоторых из продвигаемых страниц был скопирован на другие сайты. При поиске по куску текста в кавычках в Яндексе и Google некоторые документы с копированным материалом были ниже оригинала, некоторые - выше. Была поставлена задача провести эксперимент, который смог бы помочь определить, как относятся поисковые системы к замене неуникального контента на уникальный с учетом того, что анализируемые тексты являются первоисточниками.

Изначально, в рамках одного из разделов были найдены страницы, у которых были копии в Яндексе. Эта поисковая система приносит посетителей в 4 раза больше, чем Google, поэтому именно она была выбрана в качестве приоритетной. Анализ на копии выявил 24 страницы, которые продвигались по 239 запросам. На всех них был заменен неуникальный контент. Документы, имеющие копии, но занимающие хорошие позиции в отечественном поисковике (преимущественно в ТОП 5-10), не изменялись.

Первые результаты можно было замерять после переиндексации страниц и текстового апдейта в Яндексе. Я не стану публиковать динамику позиций по каждому запросу, так как это сильно растянет пост. Зато затрону общие показатели по временному периоду.

• "+" - количество запросов, по которым был рост в позициях;
• "-" - количество запросов, по которым было падение;
• "Разница между + и -" - это абсолютная разница между общим количеством позиций "вверх" и общим количеством позиций "вниз". Например, запрос 1 поднялся с 30 место до 11 (19 мест вверх), а запрос 2 упал с 25 места до 31 (6 позиций вниз). "Разница между + и -" будет равна +13. Этот параметр дает дополнительную информацию для измерения эффективности изменений.
• "Среднее на запрос" - это "Разница между + и -" разделенная на общее количество запросов. Насколько поднялись или опустились позиции в среднем на одно ключевое слово.

Итак, после переиндексации страниц в Яндексе заметен общий положительный рост. В Google, наоборот, отрицательный эффект (причем, сильнее положительного).

Через 3 недели

Результаты по тем же параметрам только через 3 недели.

Положительный эффект в Яндексе немного ослаб, в Google - увеличился отрицательный.

Через 3 месяца после переиндексации

Результаты через 3 месяца после того, как периндексировался контент (конец ноября текущего года).

В Яндексе разница стала практически не видна, в гугле отрицательный эффект немного ослаб. Некоторые нюансы :

1. Последние данные я опубликовал для общей картины, но считаю, что какие-то выводы конкретно об этом эксперимент можно делать исходя из первых двух таблиц. 3 месяца достаточно большой период, чтобы серьезно могли вмешаться другие факторы ранжирования.
2. Чистота эксперимента не может быть 100%. В современных поисковых алгоритмах множество факторов, которые постоянно оказывают влияние на положение сайта в поиске. Расценивайте полученные результаты не за абсолютную истину, а за возможный вариант исхода событий.
3. Для оценки эффективности полученных изменений можно также использовать дополнительные количественные данные по запросам (например, точное вхождение по wordstat - "!").

Вывод

В Яндексе эксперимент показал положительную динамику, но относительно небольшую. В Google был зафиксирован отрицательный эффект. В связи с этим можно сделать вывод, что если заменять контент, который имеет копии на других сайтах, на уникальный, то делать это на тех страницах, которые ранжируются ниже ресурсов с копированным материалов (по запросам, либо по поиску отдельных кусков текста в кавычках). Остальные документы не трогать, так как поисковые системы итак считают их первоисточником. Анализ проводить в приоритетном поисковике, который дает больше всего посетителей.

Какие выводы можете сделать вы? Проводили ли вы подобные эксперименты, и какие результаты у вас получались? Свои отзывы и комментарии публикуйте ниже .

Для эффективного продвижения сайта необходимо, чтобы его текстовое содержимое было уникальным для поисковых машин, т.е. не встречалось на других ресурсах в сети. В обратном случае происходит снижение позиций сайта в выдаче по поисковым запросам.

Создание контента

Происхождение уникального контента подразделяется на три вида:

• копирайтинг — самостоятельное написание статей сотрудниками продвигаемой организации или заказ текстов у копирайтеров. В текстах должны содержаться ключевые слова, выбранные для поисковой оптимизации сайта .
• рерайтинг - переписывание статьи-источника другими словами с сохранением ее смысла и структуры.
• скан - сканирование оффлайн материалов (при профессиональной раскрутке сайтов не допускается, так как нарушает авторские права создателей).

Проверка уникальности

Перед добавлением новых текстов на сайт их необходимо проверить на уникальность. Для этого разработан ряд программных методов. Их классифицируют на 2 группы: on-line сервисы и утилиты, устанавливаемые на компьютер.

On-line сервисы

В данную группу входят такие ресурсы, как copyscape, miratools, антиплагиат и др.

• Copyscape. Проект создан компанией Indigo Stream и работает по принципу поисковых машин. Позволяет проверять тексты, размещенные на сайте (URL необходимо вводить в поле поиска). В качестве платных услуг доступен периодический мониторинг страниц для выявления плагиата, пакетное исполнение проверок (одновременно до 10 тысяч страниц), анализ оффлайновых материалов.
• Miratools. Отечественный сервис от биржи статей Miralinks. В бесплатной версии позволяет проверять не более 10 текстов в сутки размером до 3 тысяч символов. После анализа неуникальные фрагменты статьи выделяются красным цветом, при наведении на них курсора всплывает окно со ссылками, по которым найдены похожие фразы. В платном модуле доступна проверка URL, пакетный режим, планировщик, отправление результатов на e-mail. Анализ текста занимает не более 10 минут.
• Антиплагиат. Для статей размером до 5 тысяч символов используется быстрая проверка, для объемных документов до 20 Мб в форматах DOC, TXT, HTML, RTF, PDF - подробная (доступна зарегистрированным пользователям).

Устанавливаемые на компьютер

• Double Content Finder (DC Finder). Продукт биржи копирайтеров TextBroker. Текст для проверки можно загрузить из txt-файла, добавить из буфера обмена или указать ссылку. После поиска (занимает 3-10 минут) утилита сообщает, что текст уникален, или показывает перечень ссылок (до 50), где встречаются дубли. Программа запускается из файла exe и работает автономно (без настроек, параметров уточнения запросов и т.д.).
• Advego Plagiatus. Продукт текстовой биржи Advego. Показывает уникальность текста (до 10 000 символов), источники и процент совпадения. Etxt. Утилита разработана биржей контента Etxt. Позволяет искать совпадения по копиям, сохраненным поисковыми системами, в пакетном режиме, определять процент уникальности, редактировать дублированные фрагменты, настраивать число выборок, слов в шингле и другие параметры поиска, вести историю проверок.

Уникальность текста от 95%. Все вебмастера предъявляют копирайтерам такое требование. Последние два года уникальность контента – самая обсуждаемая тема в сообществе seo-оптимизаторов.

Попадание под фильтр, бан, падение посещаемости – любую беду, которая случается с сайтом, вебмастера связывают с использованием неуникального контента. Так ли это? Разберемся, чего так боятся вебмастера и стоит ли.

Что такое уникальность текста и как ее проверить

Когда говорят об уникальности контента сайта, чаще всего имеют в виду текст. Чтобы понять, что такое уникальность и как она проверяется, познакомимся с термином шингл.

Шингл – это часть текста, последовательность слов (не предложение), которую программы используют для проверки уникальности.

Уникальный текст – набор шинглов, которые не встречаются в тексте других документов в сети. Для эффективной проверки используются шинглы из 5 слов.

Как происходит проверка

На первом этапе программа разбивает текст на шинглы и проверяет каждый из них на наличие совпадений в сети.

Разумеется, она находит множество совпадений, ведь документов в интернете миллионы. В этом тексте 75% шинглов уже кто-то использовал. Но это не значит, что текст – плагиат.

На втором этапе программа сравнивает группы шинглов проверяемого текста с шинглами текста документов в сети. Если текст имеет хотя бы 10 одинаковых шинглов, то он попадает под подозрение.

Тогда подозреваемый текст проходит доскональную проверку – сравниваются предложения, порядок слов в них, отыскиваются синонимы.

Все заимствованные части текста выделяются в отдельную группу. Программа подсчитывает их процент от всего текста, вычитает из 100% и выдает результат.

Чем грозит сайту использование неуникального контента

Высокий процент неуникального контента на сайте приводит к печальным последствиям.

Поисковые системы накладывают на сайты фильтры и санкции. За копипаст или высокий процент неуникального контента на ресурсе можно схлопотать следующие фильтры:

• АГС от Яндекса. В выдаче останется только главная страница. В основном этим фильтром ПС наказывает только сайты с откровенным копипастом или синонимайзом.
• Фильтр «Ты последний». ПС накладывает его на одну конкретную страницу с низким процентом уникальности и понижает ее в выдаче.

Зачастую страница с копипастом, размещенная на многолетнем ресурсе, не только спокойно индексируется и попадает в выдачу, но и оказывает в ТОП. Но на сайтах-новичках контент с уникальностью ниже 80% плохо ранжируется. Продвинуть страницу с неуникальным текстом в ТОП невозможно. Поэтому вебмастера новых сайтов весьма щепетильны в вопросе подбора контента.

Чего еще стоит опасаться вебмастерам сайтов-новичков?

Поисковая система может просто проигнорировать неуникальный контент сайта и не добавлять его страницы в выдачу. Если же у вас нет сайта и вы только планируете его создание, то рекомендую обратиться к sitemania.com.ua . У них вы сможете заказать сайт любой сложности.

Происходит это так. Робот приходит в первый раз к вам на сайт, чтобы познакомиться с его содержимым. Он проверяет несколько страниц, определяет, что текст на них неуникальный, делает вывод, что весь сайт такой – просто уходит.

Поэтому до тех пор, пока робот не проиндексирует сайт, добавляйте только уникальный контент.

Значение уникального контента для сайта

Поисковые системы стали больше внимания уделять уникальности контента. Пять лет назад оптимизатор мог ссылками продвинуть страницу даже без текстового содержания. Сегодня оптимизированный текст – важнейший инструмент для продвижения.

Стоит ли добиваться максимальной уникальности текста? Оказывает ли он существенное влияние на продвижение?

Уникальный текст:

• не приближает страницу к ТОПу выдачи (для этого текст надо оптимизировать);
• не упрощает работу по внешнему продвижению;
• не улучшает поведенческие факторы. Люди не могут на глаз отличить копипаст от авторской статьи.

Уникальный контент на сайте – это доверие поисковых систем, уверенность в том, что они проиндексируют все страницы сайта, не наложат фильтры АГС и «Ты последний».

Неуникальный контент на сайте – это высокая вероятность того, что проект умрет, даже не родившись.

Эта статья посвящена факторам, которые влияют на рейтинг сайта в поисковых системах. Таких как Yahoo!, MSN, Google и AskJeeves. Ни кому не известны досконально эти факторы, тем более степень влияния каждого из них. Несмотря на это автор статьи решился выставить оценки (степень важности) каждому фактору.
– исключительная важность (5 баллов)
Эти факторы имеют первичное влияние на занимаемые сайтами позиции в результатах поиска.
– высокая важность (4 балла)
Эти факторы оказывают серьезное значение на результаты поиска и выдачу в серпе.
– умеренная важность (3 балла)
Эти факторы влияют не столь значительно, как первые два, но забывать про них не стоит.
– небольшая важность (2 балла)
Эти факторы стоит учитывать в узкоконкурентной области.
– несущественная важность (1 балл)
Эти факторы минимально влияют на результаты поиска.
10 самых важных факторов.
1. Title – 4.57
2. Текст ссылок – 4.46
3. Использование ключевого слова в тексте документа – 4.38
4. Работоспособность документа – 4.3
5. Внутренние ссылки – 4.15
6. Соответствие тематике всего сайта – 4.00
7. Внешние ссылки – 3.92
8. Ссылочная популярность в тематическом кругу – 3.77
9. Мировая ссылочная популярность – 3.69
10. Спам ключевых слов -3.69

Внутренние факторы документа

1. Title (4.57) – этот тег отображается вверху браузера и имеет самое большое влияние на ранжирование сайтов.
2. Использование ключевых слов (4.3 – безусловно, в тексте документа должны определенным образом использоваться ключевые слова.
3. Внутренние ссылки сайта (4.15) – важной особенностью является внутренние ссылки сайта. Связность документа и количество ссылающихся внутренних страниц говорит о важности документа.
4. Уникальность контента (3.3 – на каждой странице контент должен быть уникальным. Если поисковая система найдет страницу с таким же контентом, но более ранним выпуском, то рейтинг вашей страницы может быть значительно понижен.
5. Связанные термины (3.31) – поисковые машины внимательно отслеживают тематику сайта. Т.е. тексты сайта должны быть связаны между собой (быть одной тематики), а термины тесно переплитаться.
6. Внешние ссылки (3.0 – ссылки с других сайтов и страниц оказывают значительное влияние на рейтинг в поисковых системах. Но они могут оказать как положительное влияние, так и отрицательно. Очень важно, чтобы ссылки были с тематических сайтов.
7. Возраст документа (2.77) – “старые” документы являются, соответственно более авторитетными. Поисковые системы предпочитают сайты, давно зарекомендовавшие себя. Поэтому, новым сайтам трудно конкурировать с ними в первое время своего существования.
8. Цитирование источников (2.77) – цитирование, в смысле сносок и ссылок в книгах и журналах на источники информации (цитат), может положительно сказываться при поиске научной или учебной информации.
9. Морфология документа (2.39) – некоторые поисковые системы учитывают морфологию слов. Т.е. если слово используется в разных морфологических формах, то это может повысить релевантность документа. Хотя, стоит заметить, что все-таки нет много поисковиков учитывающих морфологию.
10. Мета тег описания (description) (2.39) – тег описания все больше теряет свою значимость. Однако это не значит, что про него пора забыть. Многие поисковые системы по-прежнему уделяют ему много внимания. Да в некоторых поисковиков этот мета тег выводится в результатах поиска. Так что уделяйте этому тегу должное внимание, и обязательно используйте в нем ключевые слова.
11. Авторские пометки (2.3 – важность страницы могут повысить авторские пометки. В случае их присутствия поисковик понимает это как авторский документ, значение которого может быть очень важно.
12. Структура документа (2.31) – для поисковиков имеет значение организация структуры документа, порядок следования фраз. Особенно это важно для страниц с большим контентом.
13. Время ссылок (2.31) – если одна и та же ссылка стоит долгое время, то это повышает важность страницы, на которую она ссылается. В то же время постоянное удаление новых ссылок может понизить рейтинг страницы.
14. Доменная зона (2.31) – доменные зоны.com, .biz, .net, и другие доступны любому. А зоны.gov, .mil или.edu получить не так просто. Поэтому они пользуются приоритетом, так сказать заслуживают большего внимания.
15. Текст в alt и img title (2.23). Эти показатели по-прежнему оказывают влияние на релевантность страницы. Хотя стоит заметить, что правильное их написание важно, прежде всего для поиска картинок.
16. Заголовки (2.23) – важно использование тегов H1-H6. Манипулирование этими тегами может повысить релевантность отдельных слов на странице. Эти теги позволяют выделить самые важные (ключевые) слова и фразы.
17. Обновление контента (2.23) – поисковые системы следят за изменение и обновлением контената. Если страницы была однажды создана и с тех пор не меняется (не текст, ни картинки, не шрифты), то значимость ее постепенно падает.
18. Язык документа (2.15) – естественно для китайского поисковика важно, чтобы страница было на китайском языке. Поэтому желательно, однозначно определяйте язык документа.
19. Ключевые слова в url документа (2.15) – использование ключевых слов в url документа может значительно повысить релевантность сайта.
20. Мета тег keywords (2.0 – использование ключевых слов в мета теге keywords по-прежнему имеет значение. Хотя значимость этого тега непреклонно падает и многие поисковики практически не используют его.
21. Глубина документа (1.92) – количество кликов, за которые можно добраться до любой страницы сайта важно для поисковиков. Чем их меньше тем лучше. Обычно рекомендуется не более 3-4 кликов.
22. Теги H1, bold и другие (1.91) – использование тегов заголовка, жирного шрифта, курсива и других при форматировании текста оказывают некоторое влияние на ранжирование страницы. Выделение различными тегами форматирования ключевых слов может повысить их релевантность.
23. Присутствие сайта в серпе (1.92) – если страница сайта когда-то находилась на первой странице в результатах поиска, то это увеличит ее релевантность в дальнейшем.
24. Дефисы в доменном имени (1.92) – 2 и более дефиса в доменном имени ухудшает позиции сайта.
25. Карта сайта (1.92) – наличие карты сайта улучшает индексацию сайта и ранжирование страниц.
26. Google Sitemaps или Yahoo! Paid (1.77) – присутствие в подобных программах, может повлиять на индексацию сайта.
27. Тескты ссылок (1.85) – использование ключевых слов в текстах ссылок оказывает влияние на релевантность этих слов.
28. Соответствие стандартам W3C (1.67) – учёт поисковыми системами этого фактора под вопросом, но забывать о нём не стоит.
29. Редирект (1.66) – использование редиректа может отрицательно повлиять на позицию сайта в поисковых системах.
30. Длина документа (1.55) – вес страница может сказываться как положительно так отрицательно. Вообще, как правило, поисковые системы любят страницы в пределах 100-200Кб.
31. Правописание (1.34) – правописание всех слов документа может служить мерой качества этого документа для поисковых систем.
32. Читабельность текста (1.25) – читабельность текста - это мера основанная, на частоте использования общеупотребительных, слов из словарного запаса школьников того или иного года обучения, а также редких, специализированных слов в тексте документа. Эта мера может учитываться исходя из запроса, а также если есть информации о том, кто ищет, - если ищет школьник, то ему не осилить статьи из академических журналов.
33. Тип документа (1.22) – тип документа, например.pdf, .doc, .txt т.п. может учитываться при ранжировании, по-разному в зависимости от того или иного запроса.

Технические факторы
1. Доступность документа (4.31) – недоступность документа может быть вызвана ошибкой 404, ошибками в работе сервера, необходимостью установки плагина для просмотра и прочими техническими вопросами. Подобные проблемы не принесут вам дивидендов.
2. Идентификаторы сессий (3.62) – идентификаторы сессий в URL могут непредсказуемо повлиять на рейтинг, т.к. дубликаты одного и того же документа могут индексироваться десятки и сотни раз под различными URL.
3. Использование NOARCHIVE/NOINDEX (3.31) – директивы noindex и noarchive в META ROBOTS указывают поисковому роботу, чтобы эта страница не индексировалась и не сохранялась копия. Соответственно контент этих страниц не может повлиять на рейтинг в поисковых машинах.
4. Динамические URL (3.23) – большое число динамических параметров в URL зачастует гарантирует, что этот URL будет пропущен роботом поисковика. Представители различных поисковиков давно советуют ограничиться двумя, а лучше одним динамическим параметром в URL.
5. Использование фреймов (3.15) – использование фреймов не повысит рейтинг сайта. Фреймы считаются умирающей технологией, и сайты построенные на фреймах считаются устаревшими.
6. Хостер (3.00) – ненадёжный хостинг может повлечь некоторые проблемы. Часто неработающий сайт может привести к понижению сайта в рейтинге, а также к тому, что отдельные страницы не будут проиндексированы.
7. Клоакинг по IP (2.0. Хотя такой клоакинг сложно определить, поисковые машины изыскивают способы его определения, и тут же штрафуют сайт.
8. Информация о регистрации домена (1.69) – информация о регистрации домена может быть использована поисковыми системами как источник информации о владельце ресурса, тем самым отбирая спамеров из общей массы.
9. Время регистрации домена (1.62) – время, на которое был зарегистрирован домен, может говорить о серьёзности намерений. Если домен зарегистрирован на длительное время, то отношение к сайту у поисковых систем более предпочтительное.
10. Длина URL (1.46) – длина URL имеет значение. Не рекомендуются длинные URL.
11. Robot.txt (1.31) – наличие файла robot.txt говорит о том, что страница не будет индексироваться поисковой системой.

Факторы ценность ссылок
1. Текст ссылок (4.46) – использование ключевых фраз, слов, терминов в тексте ссылок значительно увеличивает релевантность страницы.
2. Внешние ссылки (3.92) – ссылки с популярных и тематических ресурсов могут серьезно повлиять на рейтинг вашего сайта.
3. Общая популярность сайта (3.85) – популярность отдельных страниц, сервисов, документов сказывается на общей популярности ресурса в поисковых страницах. И наоборот, непривлекательные элементы сайта могут снизить популярность ресурса.
4. Тематическое сообщество (3.77) – присутствие сайта в тематическом сообществе может положительно повлиять на рейтинг сайта.
5. text derictly
6. Тексты ссылок сайта (3.46) – тексты ссылок, указывающих на документы могут повышать релевантность этих самых документов.
7. Ссылочная структура (3.31) – глубина сайта важна для оценки релевантности страницы. Страница до которой можно добраться за 4-5 кликов менее релевантна, чем страница, достижимая за 2 клика.
8. Признак Rel=Nofollow (3.00) – этот тег указывает, что ссылка была создана не администрацией сайта, и они за нее ответственности не несут.
9. Семантика ссылок
10. Форматирование ссылок (1.69) – использование тегов заголовка, жирного шрифта и др. в тексте ссылок могут положительным образом повлиять на релевантность страницы.
11. Title ссылок (1.54) – значение имеет суть текста ссылки. Ссылка “жмите здесь” не способствует повышению релевантности страницы.

Отрицательные факторы
1. Спам ключевых слов (3.69) – чрезмерное увлечение ключевыми словами может отрицательно повлиять на рейтинг сайта в поисковых системах.
2. Клоакинг (3.54) – одна из самых сторогонаказуемых технологий. Если ваш сайт будет замечен в использовании клоакинга, то наверняка, сразу же будет забанен (удален из списка индексации поисковой машины).
3. Дублирование контента (3.3 – дублирование контента (воровство) жестко наказывается поисковыми машинами.
4. Кононические проблемы (3.31) – широко распространённая проблема, в особенности для крупных сайтов. Этот фактор вытекает из фактора дублируемого контента, когда, например, для адресов url.com, www.url.com и www.url.com/index.html выдаётся один и тот же контент и на каждый их этих адресов приходит множество ссылок с других сайтов и все эти адреса использовались при регистрации в различных каталогах и других списках ресурсов Сети, может негативно сказаться на рейтинге, независимо от того, что фактически это одна и та же страница.
5. Ссылочный спам (3.23) – все ссылки созданные не ручным способом, использование различных способов для искусственного увеличения индекса цитирования может серьезно повлиять на позиции сайта в поисковике.
6. Ссылки с “плохих” сайтов (3.0 – ссылки с сайтов с плохим контеном или участие в ссылочнообменных схемах может привести к удалению сайта из индекса.
7. Незаконный контент (3.00) – контент нарушающий местные, региональные законы и морально-этические принципы. Это использование порнографии, материалов террористического характера и т.д. Подобные сайты будут исключаться поисковыми системами из индекса.
8. Битый код (2.85) – неправильный замусоренный код, создающий сложности на пути поискового бота не позволит странице оказаться наверху в результатах выдачи.
9. Угон URL (2.69) – использование кода ответа 302 для присваивания позиций выдачи страниц с высоким рейтингом. Негативно сказывается на рейтинге как “угоняемого” сайта, так и “угоняющего”.
10. Неэтичные методы (2.62) – довольно размытое понятие. Включает в себя способы завлечения пользователей в незаконные сделки, обман и другие способы незаконного отъема денег у посетителей.
11. “Мертвые” ссылки (1.2 – наличие ссылок ведущих на несуществующие страницы (ошибка 404) негативно сказывается на позициях сайта в поисковых системах.
12. Небезопасный контент (1.15) – контент, сочтённый небезопасным для детской и подростковой аудитории может отрицательно повлиять на рейтинг сайта в поисковых машинах.