О нейронных сетях последнее время говорят довольно много. Это модный инструмент, с помощью которого решают разные задачи, в первую очередь, конечно, связанные с распознаванием образов, обработкой каких-то картинок или видеопотока сразу. Но есть и такая разновидность нейронных сетей, которые работают с текстом. Прежде всего, это так называемые рекуррентные нейронные сети, смысл которых, если не погружаться в детали, в том, что они умеют запоминать последовательности. То есть обычная нейронная сеть, которая чаще всего используется, видит картинку сразу целиком и что-то с ней делает. Для того чтобы запоминать, что было вначале, а что потом, нужна другая, особенная нейронная сеть. И именно так выглядят обычно тексты, потому что текст — это последовательность: последовательность слов, последовательность символов и так далее. И поэтому нейронные сети умеют взаимодействовать и с текстовым материалом.

      И обычно, когда говорят о нейронных сетях, говорят о технической стороне дела: как они устроены, какие есть ограничения, какие есть плюсы от их использования. Мне хотелось бы сосредоточиться на другом — на том, что получает гуманитарий, а конкретно даже литературовед, специалист по истории поэзии, когда он видит текст, сгенерированный нейронной сетью, например поэтический текст.

      Штука это, в общем, не самая необычная, потому что если мы посмотрим, например, на то, на чем упражняются ради своего удовольствия программисты, то мы, как ни странно, увидим, что они чаще всего пытаются наладить такие системы генерации текста именно на поэтических текстах, — вероятно, потому, что они доступны. Наверное, они их помнят с какого-то школьного времени. Кроме того, они достаточно короткие, все с ними понятно.

      Но в то же время не очень понятно, зачем вообще обращать внимания на такие тексты. Действительно, если мы посмотрим, например, на то, что делают психологи или нейропсихологи, то мы увидим, что был такой интересный эксперимент. Испытуемым показывали картинки и записывали их реакцию — записывали теми способами, которые доступны нейропсихологам сейчас. Чаще всего среди картин, которые показывали испытуемым, были просто репродукции каких-то художников. Все они были настоящими, но про некоторые из этих картин специально говорили, что это не настоящие произведения искусства, а сгенерированные компьютером. И по реакции людей мы точно знаем, что если так сказать про картину, которую мы покажем человеку, то он, скорее всего, не обратит на нее внимания. Он не будет в нее внимательно вглядываться. И наоборот, если мы скажем, что эту картину нарисовал человек, то тогда внимание будет предельным, а человек будет пытаться рассмотреть детали и отнестись к этому изображению, которое он видит, со всей серьезностью.

      Ту же самую аналогию мы можем применить к текстам, которые генерирует нейронная сеть. А зачем они вообще нужны? У нас действительно великая, высокая поэзия, которую пишут люди, и, наверное, интерес должен быть сосредоточен на ней. Но тем не менее в этом все равно есть свои особенности. Если мы возьмем, например, тексты поэтические, написанные одним размером — четырехстопным ямбом или, скажем, особенным поэтическим размером — гекзаметром, которым обычно переводят античные произведения на русский язык, — то мы увидим, что нейронная сеть очень неожиданно для гуманитария вдруг воспроизводит метрические особенности исходника. То есть четырехстопный ямб там будет воспроизведен. Мы увидим, что текст, конечно, чаще всего бессмысленный, но написанный четырехстопным ямбом. И даже сложный гекзаметр, несмотря на то что мы не будем никак специально указывать нейронной сети на то, где стоят в словах ударения или что-то еще, тоже будет воспроизведен. Это любопытно.

      В этом кроется самый главный эвристический потенциал. Он заключается в том, что, оказывается, нейронная сеть, если ее натренировать, обучить на каких-то текстах, умеет уловить стиль — такую трудноуловимую и довольно важную для словесности категорию.

     Если мы, например, возьмем произведения Высоцкого и попробуем обучить на них нейронную сеть, то получится некоторый текст, который будет выглядеть как стихотворный и в котором будут явно узнаваемые для людей стилистические черты. Я проводил такой эксперимент. Действительно, так получается: сеть, натренированная, например, на текстах песен Высоцкого, воспроизводит что-то довольно странное, с одной стороны. Но с другой стороны, если в аудитории, в которой мне приходилось читать лекции, показать такой текст на экране, то второй или третьей версией у аудитории среди попыток угадать, что это такое, будет именно Высоцкий. При этом не было никаких подсказок, конечно. Я никак не пытался подтолкнуть аудиторию к этому ответу. И это любопытно, потому что получается, что то, что мы пытаемся описать аналитически, нейронная сеть может воспринять напрямую.

      В тех же самых текстах, которые были порождены нейронной сетью, натренированной на русских гекзаметрах, воспроизводится не только метр, но и другие особенности. Одним из примеров, который мне попался на глаза среди прочего, среди других больших объемов, которые эта сеть породила, было выражение «Гиоклей благородный». Что такое Гиоклей? Такого имени нет в греческих текстах. Но оно очень похоже. Например, бывает Диоклей — другое имя. Это во-первых. А во-вторых, «Гиоклей благородный» — это не просто сочетание слов, а это странное сочетание, в котором прилагательное идет после существительного. Обычно так это и происходит в текстах, которые стилизуют античных авторов — Гомера, Вергилия или кого-то еще.

     Компьютерная поэзия, надо сказать, существовала довольно давно, но тексты, которые получались изнутри компьютера, выглядели иначе. Почему? Потому что не нейронная сеть тренировалась на чем-то, а человек, чаще всего какой-то эксперт, собирал, например, слова, объяснял компьютеру с помощью алгоритмов, как эти слова должны сочетаться между собой, какая там должна быть рифма, какие слова рифмуются между собой, а какие не рифмуются. Все это делалось вручную. Обычно это предоставляло не очень большие возможности, потому что таким образом сложно организовать словарь и заложить его в машину вручную: это занимает массу времени. И потом просто использовался генератор случайных чисел, который вытягивал случайные слова и расставлял их в тексте, как будто бы это стихи.

      Это порождало довольно маленькую вариативность. То есть тексты получались одинаковыми. И главное, что они состояли из настоящих слов. А в нейронной сети механизмы порождения текста устроены иначе, и поэтому, например, генерируются слова, которых не было. Для поэзии это обычное дело. Вообще говоря, поэты часто изобретают такие слова, которых не бывает вокруг. Поэтому нейронная сеть мало того, что порождает текст в новом качестве, в новом виде, так она еще и умеет придать этому тексту какой-то определенный стилистический оттенок, зачастую узнаваемый. Мы можем это увидеть на разных уровнях.

       У Высоцкого, например, это будут какие-то резкие отрывочные фразы с какими-то экспрессивными словами, что довольно характерно для его напористой поэтики. Если мы возьмем, например, переводы античных авторов, то там будут какие-то соответствующие слова: там много будет про каких-нибудь быков, корабли и все остальное, что упоминается у Гомера.

      Но еще один важный момент заключается в том, что нейронная сеть таким образом дает нам возможность увидеть в концентрированном виде тот стиль, который как бы размазан по творчеству всего периода, если мы взяли период для тренировки сети, или по всему корпусу текстов одного автора. То есть, грубо говоря, мы можем сделать такой небольшой семпл — небольшой отрывок или пробник, иначе говоря. Например, натренировать нейронную сеть на текстах Пушкина или Мандельштама и попросить породить нам четыре строчки, и в этих четырех строчках для нас будет в свернутом виде представлена стилистика. Конечно, не содержание, но стилистика текстов одного автора. И на этом небольшом кусочке мы можем что-то попробовать заключить о том, в чем же выражается стиль автора. Скорее всего, этот кусочек все равно будет узнаваемым по стилю, и все равно мы сможем его связать с конкретной личностью.

     Но при этом нейронная сеть порождает тексты бессмысленные. И надо сказать, что за компьютером, конечно, не стоит какого-то автора, который стремится сообщить нам что-то. Мы, скорее всего, не увидим никакой связи между первой строкой и второй строкой или между первой строфой и второй строфой. Это, конечно, с одной стороны, некоторая проблема, потому что такие тексты читать гораздо сложнее, не все любители поэзии к этому готовы. С другой стороны, современная поэзия, особенно неофутуристы, которые в последнее время довольно активно себя проявляют в медийном пространстве, — это авторы, порождающие стихи, у которых этой видимой связности не так много. В этом смысле нейронная сеть вполне себе современные тексты порождает.

      Кроме того, мы можем благодаря нейронной сети отвлечься от довольно пагубного вопроса, который прививается нам еще со школы: что хотел сказать автор? Ведь на самом деле специалисты знают, что неважно, что автор хотел сказать, — важно, что у него получилось. Вся красота результирующего текста зачастую теряется в попытках проникнуть в содержание. А благодаря текстам нейронной сети, про которые мы точно можем сказать, что там автор ничего не хотел сказать, мы можем попробовать увидеть собственно уровень текста и отвлечься от каких-то содержательных, морально-этических, политических, социальных аспектов и всего того, что обычно мешает восприятию литературы. То есть происходит определенная пересборка отношений между автором, текстом и читателем. И нейронная сеть способна поставить нам такие тексты, на которых мы сможем увидеть, что на самом деле происходит в литературе.

(с) Борис Орехов, 2018

Оригинал текста и видео здесь