Специалисты Института вычислительных технологий СО РАН создают систему, которая умеет сравнивать и классифицировать тексты. Такая разработка поможет литературоведам. Часто для анализа текста филологи считают слова, строки, слоги и повторы выражений. Новая программа сможет самостоятельно распознавать слова и предложения, определять ударения и стихотворные размеры, и благодаря этому — находить закономерности, которые не всегда видны человеку.
Учёные загрузили в компьютер стилистические и жанровые особенности произведений, их структуру, научили систему группировать тексты по множеству параметров, понимать образы и смыслы, и определять верное ударение. Программа даже умеет отличать омографы — слова, которые одинаково пишутся, но имеют разное значение. Система ориентируется на контекст и понимает правильный смысл слова.
«Для исследователя интересная задача — сравнивать стихотворную технику разных авторов или её изменения в творчестве одного и того же поэта. В настоящее время нами реализован интерфейс филолога, воспринимающий определённый круг запросов для поиска и сравнения текстов, и затем выдающий достаточно точный результат. Мы обучали нашу систему на наследии пушкинской Болдинской осени. Теперь же машина может оперировать всеми произведениями этого или другого поэта за долгие годы», — объяснила кандидат филологических наук Ольга Кожемякина.
Программа может анализировать не только поэтические тексты. Система сможет работать с документами или контентом социальных сетей. Кроме того, разработка новосибирских учёных может оказаться полезной для сервисов машинного перевода текста.