Новый поиск по имени Королёв

В последнее время Яндекс достаточно часто радует нововведениями. К примеру, прошлый поисковый алгоритм, который получил веселое название Баден-Баден, вышел чуть менее полугода назад. Алгоритм, кстати, не сильно порадовал многих владельцев сайтов, поскольку направлено его действие было на то, чтобы очистить поисковую выдачу от страниц с некачественными текстами.

Читайте такжеБаден-Баден

Очень многие владельцы интернет-магазинов и просто коммерческих сайтов, которые создавались и оптимизировались еще в «добаденбаденовскую» эпоху, были неприятно удивлены, обнаружив серьёзное падение позиций по важным, коммерческим запросам. В общем-то ничего удивительного, на каждой конференции, проводимой компанией Яндекс, всегда озвучивается мысль о том, что поисковик будет продолжать бороться против переоптимизированных текстов.

Те, кто находится в теме продвижения сайтов хотя бы 4-5 лет, наверняка заметили, как постепенно переставали работать различные испытанные способы оптимизации, вроде размещения большого количества прямых вхождений ключевых запросов и т.д. Плавно, но очень уверенно Яндекс идет к тому, что в ТОПе выдачи останутся только сайты, на которых есть не только то, что можно посмотреть, но и то, что можно почитать с интересом и пользой.

Правда, в этот раз, судя по всему, изменения грядут поистине грандиозные или, если хотите, революционные. Итак, начнем.

Королёв будет разбираться в смыслах текстов на сайте

Звучит странно и даже несколько пугающе, в духе знаменитых фильмов-антиутопий, повествующих о восстаниях машин и искусственного интеллекта. На деле все, однако, далеко не так страшно. Просто объем аккумулированных данных на сегодняшний день позволяет научить поисковую машину не просто определять страницы с наиболее релевантным контентом, но и разбираться в написанном, используя опыт анализа, скажем так, удовлетворяющих именно человеческому, пользовательскому интересу страниц.

Рассказ о настоящем и будущем Королёва стоит начать с его прошлого. Сама идея поисковых систем была реализована еще в 90-е годы, когда интернет как массовое явление только начинал развиваться. Количество сайтов тогда было по сегодняшним меркам просто смехотворным и насчитывало всего несколько тысяч. Но даже в таком объеме страниц нужно было как-то ориентироваться, поэтому первые алгоритмы поиска умели делать самую простую вещь – находить на страницах встречающиеся в запросе пользователя слова.

Само по себе ранжирование, то есть приоритет при отображении результатов поиска, выглядело до безобразия просто – чем чаще встречается запрос, тем выше будет страница. По темпам роста интернет тогда серьезно обгонял развитие поисковых алгоритмов. Количество сайтов росло такими бешеными темпами, что упрощенные алгоритмы устаревали сразу же после своего появления. Так поисковики постепенно учились находить в контенте полезные ссылки, привязывать часть запросов к регионам и т.д. Количество факторов, под влиянием которых робот должен был выбирать место для сайта в поисковой выдаче, также увеличилось настолько, что упорядочивать их и записывать в виде простой и понятной инструкции для робота стало очень проблематично.

Тогда появилась новая идея – научить машину самостоятельно принимать решение об учете тех или иных факторов, комбинировать их и вычислять степень влияния каждого из них на позиции конкретного типа сайтов. Одним словом, главной задачей было – создать самообучающуюся систему, которая сможет пусть и под надзором, но самостоятельно адаптироваться под изменяющийся интернет. В Яндексе это получилось сделать, и система обучения алгоритма стала называться Матрикснет. Именно она сегодня отвечает за то, как будут ранжироваться сайты в выдаче.

Конечно, говорить о том, что поисковые запросы стали не важны, преждевременно. Алгоритмы по-прежнему опираются на слова как на базисный фактор ранжирования, однако сама процедура стала поэтапной. На основании наличия вхождений тех или иных ключевых запросов робот подбирает лишь так называемые «предварительно подходящие» веб-страницы, то есть страницы, в которых машина видит нужные вхождения.

Сейчас уже запущен новый метод машинного обучения, который получил название CatBoost. Как заявляют сотрудники Яндекса, новый метод выдает более точные результаты в задачах ранжирования, регрессии и классификации, а также учитывает данные в нечисловой форме.

Люди хорошо владеют своим языком, а главное, способны логически мыслить, поэтому одни и те же мысли могут выражать разными словами. То, есть к примеру, на странице может быть отличный, информативный и полезный для пользователя текст, к примеру, о приготовлении пиццы, однако самого сочетания слов «Приготовление пиццы» в нем может и не быть. Тем не менее текст отличный и чисто по смыслу превосходно отвечает ключевому запросу, введенному пользователем. Раньше менее качественные тексты, но имеющие нужные вхождения, получали бы приоритет перед хорошим, но не оптимизированным материалом. Как объяснить роботу, какой текст будет полезнее для пользователя?

«Палех» как первопроходец «смыслового» поиска

Еще в прошлом году компания Яндекс начала ставить эксперименты с использованием для поискового ранжирования нейронных сетей. Именно нейронная сеть легла в основу нового поискового алгоритма.

Нейронные сети – это относительно новая цифровая технология, которая призвана выполнять задачи, с которыми раньше мог справиться только человек. Ставились весьма интересные эксперименты по распознаванию речи, сравнению изображений и т.д. На удивление, сети показали весьма и весьма достойные результаты.

В сути работы Палеха лежало разложение поисковых запросов и заголовков страниц на числовые значения, представляющие собой семантические векторы. Именно эти векторы и сравнивались - если степень соответствия была достаточно высока, алгоритм принимал решение ранжировать страницу выше.

Что будет нового в алгоритме «Королёв»?

Использованная в «Палехе» технология сравнения семантических векторов получила свое развитие в Королёве. Вот только теперь разложению на семантические векторы подвергаются не только заголовки страниц, а весь текстовый контент полностью. Переоценить возможности, которые откроются с началом использования «Королёва», нельзя. Приведем простой пример. Роман Толстого «Война и Мир» - конечно, заголовок раскрывает общую суть всех четырех томов. Именно так ее и видел бы «Палех». А «Королёв» будет иметь представление обо всем, что великий прозаик описал в своем эпохальном романе, разберется в тончайших нюансах написанного и при необходимости сможет отыскать в нем нужное пользователю место, даже если пользователь сам не помнит точной формулировки какой-либо фразы. Преобразование запросов в семантические векторы – это достаточно сложная задача, которая требует больших вычислительных мощностей.

Возвращаясь к примеру с «Войной и Миром», название книги вы прочтете меньше чем за секунду, а вот на чтение всего романа и осмысление написанного уйдут долгие часы. Именно поэтому разложение текстов по семантике производится «Королёвым» не в реальном времени, а предварительно, еще на этапе индексирования. Таким образом, когда страница вашего сайта попадает в индекс, у алгоритма уже есть все необходимое, чтобы сравнивать ее содержимое с запросами пользователей, что значительно облегчает и ускоряет работу системы.

Особенности работы «Королёва»

Почему Яндекс так долго и обстоятельно готовил новый алгоритм? Все дело в том, что для поисковика буквально в последние несколько лет чрезвычайно важно стало умение робота обрабатывать нестандартные запросы. Одной из основных причин этого, кстати, смело можно назвать смещение акцентов поиска в сторону мобильных девайсов, использующих голосовой поиск. Специфика запросов, набранных голосом и руками, достаточно сильно разнится, что накладывает определенные требования на поисковик.

К примеру, если со стационарной машины человеку проще набрать «Доставка пиццы в омске цены», то, используя голосовой набор, он, скорее всего, скажет: «Где заказать пиццу в омске по выгодным ценам». Поиск по словам в данном случае будет не очень эффективен, поскольку далеко не все качественные сайты служб доставки еды на дом имеют в своем контенте искомое сочетание или что-то максимально к нему приближенное. Либо же, например, человек хочет найти фильм, названия которого не помнит, допустим, «Кино про космос с Мэттью Макконахи». Новый алгоритм, в отличие от старого, обладая необходимыми сведениями о семантике данной фразы, быстро сообразит, что пользователь просто не в состоянии запомнить слово «Интерстеллар» и почем зря гоняет Яндекс туда-сюда. Получается, что с «Королёвым» гонять Яндекс станет намного проще.

Стоит упомянуть и о масштабах смыслового анализа. К примеру, «Палех» допускал к анализу семантики не более 150 документов из списка «примерно подходящих страниц». «Королёв» же будет как минимум в тысячу раз более внимательным и будет прогонять через каждый запрос более 200 000 документов. Согласитесь, это впечатляет. Дополнительным плюсом алгоритма выступает также и то, что при ранжировании «Королёв» будет анализировать другие запросы, по которым ранее посещали страницу, и сравнивать их семантику с запросом пользователя. Дополнительные смысловые связи, которые робот отныне будет видеть и принимать в расчет, помогут куда более эффективно выстраивать выдачу под интересы конкретного пользователя.

Система будет учиться

Нейронные сети открыли поистине безграничные возможности для обучения машины. Многие энтузиасты и вовсе уверены, что пройдет совсем немного лет, прежде чем сети научатся справляться со смысловыми задачами не хуже, чем это делает человек, а вычислительные мощности современных компьютеров ускорят выполнение этих задач многократно.

Однако, как и любое самообучение, обучение алгоритма построено на использовании приобретенного опыта. Именно поэтому для того, чтобы система работала эффективно, ей будет необходимо показать массу различных вариантов примеров, притом как положительных, так и отрицательных.

Королёв» планирует учиться на поведении пользователей. Для того чтобы алгоритм развивался, ему будет доступна обезличенная статистика, содержащая данные о поведении пользователей на страницах сайтов. Одно из главных значений будет иметь временной фактор – если пользователь надолго остался на странице, значит, скорее всего, его интерес удовлетворен в полной мере. Правило, конечно же, будет работать и в обратном направлении – если пользователь не доволен, он покинет эту страницу, а его визит не останется незамеченным для робота.

Матрикснет, отвечающий за построение формулы ранжирования, также будет нуждаться в помощи пользователей. Для того чтобы поисковая система постепенно развивалась и становилась лучше, пользователи должны будут постоянно давать оценку ее работе. Ранее в формировании правил ранжирования с помощью выставления оценок участвовали только специально уполномоченные сотрудники компании Яндекс, т.н. асессоры. Однако после выхода «Королёва» Яндекс обещает дать простым пользователям возможность принять участие в работе над новым поиском. Чтобы помогать учить поисковую машину, вам нужно будет воспользоваться новым сервисом Яндекс.Толока. Более того, за выполнение заданий вы даже будете получать небольшое денежное вознаграждение – для каждого «квеста» будет проставлена сумма. Сервис существует всего 2 года, но пользователи уже поставили более двух миллиардов оценок.

Поиск будет неминуемо развиваться, и в основе работы системы будут лежать все более и более сложные алгоритмы, которые будут придумываться сотрудниками поисковых служб, а обучаться силами всех пользователей сети Интернет. Наверное, момент, когда машина сможет на сто процентов понимать человека, еще все-таки очень далек, но первые шаги в этом направлении уже сделаны точно.

Что «Королёв» грядущий нам готовит?

Да, собственно говоря, уже и не грядущий, а вполне себе нагрянувший. Яндекс в своем блоге весьма доходчиво описал все плюсы в работе нового алгоритма для обычных пользователей. Мы же, как интернет-маркетологи, преследуем в работе с поисковыми службами свои определенные цели, поэтому просто обязаны быть накоротке с принципами их действия.

Совершенно очевидно, что «Королёв» наложит определенный отпечаток на работу тех, кто продвигает свои сайты. В целом, тем, кто не прибегает к сомнительным методикам продвижения, как и в случае с другими нововведениями, бояться особо нечего. Если вы изначально ставите качество вашего сайта на первое место, «Королёв» не только не помешает вам получать с сайта прибыль, но и преподнесет подарок в виде трафика с запросов, под которые вы изначально свой ресурс не оптимизировали.

Мы лишь попытаемся предугадать, как «Королёв» повлияет на тренды, сложившиеся и укоренившиеся в сфере веб-продвижения.

• Сео-тексты станут работать еще хуже. Да, с каждым новым обновлением в выдаче становится все меньше и меньше сайтов, на которых можно найти «шедевры» вроде «Наш интернет-магазин – это лучший способ купить недорого от производителя по выгодным ценам чугун в Комсомольске-на-Амуре». И это не может не радовать, потому что очень часто люди действительно ищут полезную информацию, а находят «портянку», заточенную под то, чтобы накормить робота ключами.
• Поведенческие и коммерческие факторы приобретут еще большее влияние. Конечно, на время, которое пользователь проведет на вашем сайте, влияет не только текстовый контент. Однако с возможностями по получению низкочастотного трафика в результате работы нового алгоритма вы сможете еще более эффективно работать с естественным поведенческим фактором. Развивайте функционал вашего сайта, изучайте данные интернет-счетчиков о поведении пользователей, а Королёв будет ранжировать ваш сайт все лучше и лучше.
• На контент придется тратить больше. Последние пару лет дешевые и некачественные тексты, которыми торгуют на биржах, работают все хуже и хуже. Причиной тому нередко становится переспам ключевиками, банальное неграмотное построение фраз и предложений, плохая работа с заголовками. Просто копирайтеры-фрилансеры, генерирующие по 25-30 тысяч символов дешевого контента в день, чтобы зарабатывать, физически не способны писать на узкоспециальные темы качественные тексты. Так что тем, кто хочет и впредь оставаться в ТОПе, придется задуматься о том, чтобы искать более квалифицированных специалистов, отказываться от копирайтеров-«универсалов», а может быть, даже и брать такого человека в штат или, на худой конец, на постоянной основе сотрудничать с одним и тем же человеком, который будет грамотно и поэтапно развивать ваш сайт.

Читайте такжеНакрутка поведенческих факторов

Вот лишь некоторые из последствий, которые повлечет за собой «Королёв». Очевидно, что услуги по продвижению сайтов станут дороже, для этого нужно будет прикладывать больше усилий, однако, если все будет сделано правильно, достигаемые результаты будут намного стабильнее, а трафик станет намного качественнее. Главное – не доверять продвижение своего сайта дилетантам, поскольку цена ошибки с каждым нововведением Яндекса становится все более серьезной.

Презентация Яндекса