Сервис научился искать изображения формата jpeg, gif или png по введенному в поиск слову. Так можно найти картинку, в которой содержится слово, встречающееся на графическом изображении.
Еще в результатах поиска будут выдаваться файлы и папки, в названиях и описаниях которых присутствует искомое слово, и документы, в тексте которых оно содержится.
В основу поиска текстов на изображениях положена технология оптического распознавания символов. «Яндекс» не стал пользоваться ни одним из уже существующих решений, а разработал собственную систему, которая умеет распознавать текст на разных по содержанию и качеству картинках.
Она состоит из двух частей: классификатора картинок и модуля распознавания. Классификатор отбирает из всех изображений содержащие текст, а модуль распознавания разбивает линии текста на отдельные символы, для каждого из которых выбирает несколько наиболее вероятных варинтов, пишет Tjournal.
После этого алгоритм языковой модели принимает решение, какой из выбранных символов подходит больше, чем остальные. Например, если из нескольких вероятных символов получается слово, уже известное системе, она может принять решение, что на картинке изображено именно оно.