Идентификация это простыми словами: Идентификация — что это такое и как подтверждается идентичность

Правильные слова — это уважение и точность, — говорит Родриго Хенг-Лехтинен, заместитель исполнительного директора Национального центра трансгендерного равенства.

Как правильно узнать местоимения человека?

Начните с вашего собственного — например, «Мои местоимения — она ​​/ она».

«Если бы я представился кому-то, я бы сказал:« Я Родриго. Я использую его местоимения. А ты? » — говорит Родриго Хенг-Лехтинен, заместитель исполнительного директора Национального центра трансгендерного равенства.

О’Хара говорит: «Поначалу это может показаться неловким, но в конце концов это просто становится еще одним из тех вопросов для ознакомления.»

Должны ли люди спрашивать у всех их местоимения? Или это зависит от настройки?

Знание местоимений друг друга помогает быть уверенным, что у вас есть точная информация о другом человеке.

Как человек выглядит с точки зрения гендерного выражения «ничего не говорит об их гендерной идентичности», — говорит Шмидер из GLAAD. Делясь местоимениями, «вы узнаете кого-то немного лучше».

И хотя поначалу это может быть неудобно, это может быстро стать рутиной.

Хенг-Лехтинен отмечает, что практика указания местоимений в конце электронного письма или во время представления на встрече также может облегчить некоторые головные боли для людей, чьи имена менее распространены или пол неоднозначен.

«Иногда американцы смотрят на имя и думают:« Я понятия не имею, должен ли я произносить его или ее вместо этого имени »- не потому, что этот человек трансгендер, а просто потому, что это имя принадлежит культуре, которую вы не узнаете, и вы искренне не знаете.Поэтому наличие перечисленных местоимений избавляет всех от головной боли, — говорит Хенг-Лехтинен. — Это может быть очень, очень быстро, если вы сделаете это привычкой. И я думаю, что это избавит всех от стыда ».

Может быть, некоторым людям будет неудобно делиться своими местоимениями в общественных местах? признать, что у них есть местоимения, и они знают, что они собой представляют. Другим может быть труднее использовать свои местоимения в местах, где они не знают людей.

Но, по его словам, в обмене местоимениями есть свои преимущества. «Это показатель того, что они понимают, что гендерное самовыражение не равно гендерной идентичности, что вы не судите людей только по тому, как они выглядят, и делаете предположения об их гендере помимо того, что вы на самом деле знаете о них».

Как «они» употребляются в качестве местоимения единственного числа?

«Они» уже обычно используется как местоимение единственного числа, когда мы говорим о ком-то, и мы не знаем, кто они, отмечает О’Хара.Использование местоимений они / их для кого-то, кого вы знаете, просто означает «небольшую перемену».

«Вы просто просите кого-то не вести себя так, как будто он вас не знает, а убрать гендерный язык из своего словаря, когда он говорит о вас», — говорит О’Хара.

«Я сам себя идентифицирую как небинарный, и я выгляжу женским. Люди часто предполагают, что мои местоимения — это она / она. Поэтому они будут использовать их. Я просто осторожно исправлю их и скажу: эй, знаешь что, мои местоимения они / они просто FYI, для справки в будущем или что-то в этом роде », — говорят они.

О’Хара говорит, что их семья и друзья все еще не могут правильно использовать местоимения — и иногда О’Хара изо всех сил пытается вспомнить местоимения других.

«В моем сообществе, в квир-сообществе, где много транс- и небинарных людей, мы все часто напоминаем друг другу или напоминаем себе. Это своего рода постоянная внимательность, когда вы всегда немного догоняете», — говорят они. .

«Вы можете знать кого-то 10 лет, а потом они сообщат вам, что их местоимения изменились.Вам понадобится немного времени, чтобы приспособиться, и это нормально. Это нормально — делать эти ошибки и исправлять себя, и нормально — мягко исправлять кого-то другого ».

Что делать, если я совершу ошибку и неверно введу кого-то или использую неправильные слова?

Просто извинитесь и двигайтесь дальше.

«Я считаю совершенно естественным сначала не знать правильных слов. Мы всего лишь люди. Каждому из нас требуется время, чтобы познакомиться с новой концепцией, — говорит Хенг-Лехтинен.«Важно просто быть заинтересованным в продолжении обучения. Поэтому, если вы испортили какой-то язык, вы просто скажете:« О, мне очень жаль », исправьте себя и двигайтесь вперед. Не нужно усложнять задачу. чем это. Выполнение этого действительно простого жеста быстрого извинения и движения вперед показывает другому человеку, что вы заботитесь. И это действительно имеет большое значение «.

Почему местоимения обычно даются в формате «она / она» или «они / они», а не просто «она» или «они»?

Различные итерации отражают изменение местоимений в зависимости от того, как они используются в предложении.И формат «он / он» на самом деле короче, чем ранее распространенный формат «он / он / его».

«Раньше люди говорили все три, а потом осталось два», — смеется Хенг-Лехтинен. Он говорит, что сотрудники его организации недавно задавались вопросом, сократится ли обычай до одного местоимения. «В этом нет никаких правил. Это просто привычка», — говорит он.

Но он отмечает преимущество использования он / он и она / она: он и она рифмуются.«Если кто-то просто говорит, что он или она, я могу очень легко не расслышать это, а потом все равно ошибиться».

Что означает употребление человеком местоимений «он / они» или «она / они»?

«Это означает, что человек использует оба местоимения, и вы можете чередовать их, обращаясь к ним. Таким образом, любое местоимение подойдет — и в идеале смешайте его, используйте оба. Это просто означает, что они используют оба местоимения, которые они внесены в листинг «, — говорит Хенг-Лехтинен.

Шмидер говорит, что это зависит от человека: «Некоторые люди не возражают, чтобы эти местоимения меняли местами.А некоторые люди используют одно конкретное местоимение в одном контексте и другой набор местоимений в другом, в зависимости, возможно, от безопасности или удобства ».

По словам Шмидера, лучший подход — это прислушиваться к тому, как люди относятся к себе.

Почему чье-то имя может отличаться от того, что указано в его удостоверении личности?

Хенг-Лехтинен отмечает, что есть ощущение, что когда человек выступает как трансгендер, он меняет свое имя и все. Но в реальности все намного сложнее и дорого, когда дело доходит до обновления вашего имени в правительственных документах.

«Это не тот же процесс, что и изменение фамилии при вступлении в брак. Существует странный набор правил, когда вы меняете свою фамилию в браке по сравнению с изменением имени по любой другой причине. последнее «, — говорит он.

«Если вы трансгендер, вы не сможете обновить все свои государственные удостоверения личности, даже если захотите», — говорит он. «Я отсутствовал более десяти лет. Я до сих пор не могу обновить все свои документы, потому что правила очень обременительны.Мне удалось обновить свои водительские права, карту социального страхования и паспорт, но я не могу обновить свое свидетельство о рождении. «

» Тот факт, что трансгендер не указал свое настоящее имя в удостоверении личности, не означает, что это не так. имя, которое они действительно используют каждый день, — советует он.

Многоязычный поиск с использованием идентификации языка в Elasticsearchf

Мы рады сообщить, что вместе с выпуском обработчика логических выводов машинного обучения мы выпускаем идентификацию языка в Elasticsearch 7.6. В этом выпуске мы хотели воспользоваться возможностью, чтобы описать некоторые варианты использования и стратегии поиска в многоязычных корпусах, а также то, какую роль играет идентификация языка. Мы уже обсуждали некоторые из этих тем в прошлом, и мы будем использовать их в некоторых из следующих ниже примеров.

Мотивация

В сегодняшнем сильно взаимосвязанном мире мы обнаруживаем, что документы и другие источники информации доступны на разных языках. Это создает проблему для многих поисковых приложений.Нам необходимо понимать язык этих документов как можно лучше, чтобы правильно их проанализировать и обеспечить наилучший возможный поиск. Введите идентификацию языка.

Идентификация языка используется для повышения общей релевантности поиска для этих многоязычных корпусов. Учитывая набор документов, на которых мы еще не знаем, на каком языке (ах) они содержатся, мы хотим эффективно выполнять поиск по ним. Документы могут быть написаны на одном или нескольких языках. Первый распространен в таких областях, как информатика, где английский является преобладающим языком общения, в то время как последний обычно встречается в биологических и медицинских текстах, где латинская терминология часто перемежается с английской.

Применяя специфичный для языка анализ, мы можем улучшить релевантность (как точность, так и отзывчивость), гарантируя, что термины документа понятны, проиндексированы и найдены соответствующим образом. Используя набор языковых анализаторов в Elasticsearch (как встроенных, так и с помощью дополнительных плагинов), мы можем улучшить токенизацию, фильтрацию токенов и фильтрацию терминов:

По схожим причинам мы находим идентификацию языка в конвейерах более общей обработки естественного языка (NLP) как один из первых шагов обработки, использующих высокоточные алгоритмы и модели, специфичные для языка.Например, предварительно обученные модели НЛП, такие как Google BERT и ALBERT или OpenAI GPT-2, обычно обучаются на языковых корпусах или корпусах с преобладающим языком и точно настраиваются для таких задач, как классификация документов, анализ настроений, распознавание именованных сущностей. (NER) и т. Д.

Для следующих примеров и стратегий, если не указано иное, мы будем предполагать, что документы содержат либо единственный, либо преобладающий язык.

Преимущества языкового анализа

Чтобы еще больше мотивировать это, давайте кратко рассмотрим несколько преимуществ языковых анализаторов.

Decompounding: В немецком языке существительные часто образуются путем соединения других существительных вместе, чтобы создать красивые длинные и трудные для чтения составные слова. Простым примером является объединение «Яр» («год») с другими словами, такими как «Jahrhunderts» («век»), «Jahreskalender» («годовой календарь») или «Schuljahr» («учебный год»). Без специального анализатора, который может разложить эти слова, мы не смогли бы найти «jahr» и получить обратно документы о школьных годах, «Schuljahr».Кроме того, в немецком языке существуют другие правила, чем в других латинских языках для форм множественного и дательного падежа, а это означает, что поиск «jahr» также должен соответствовать «Jahre» (множественное число) и «Jahren» (множественное число дательного падежа).

Общий термин: В некоторых языках также используется общая или предметно-ориентированная терминология. Например, «компьютер» — это слово, которое часто используется в других языках как есть. Если мы хотим выполнить поиск по слову «компьютер», нас могут также заинтересовать неанглоязычные документы. Возможность выполнять поиск по известному набору языков и при этом находить общие термины может быть интересным вариантом использования.Снова используя немецкий в качестве примера, у нас могут быть документы о компьютерной безопасности на нескольких языках. На немецком языке это «Computersicherheit» («sicherheit», что означает «безопасность» или «безопасность»), и только с помощью немецкого анализатора поиск совпадения «компьютер» выполняется на английском и немецком языках.

Нелатинские шрифты: Стандартный анализатор неплохо работает с большинством языков с латинским алфавитом (западноевропейские языки). Однако он начинает быстро разрушаться с нелатинскими шрифтами, такими как кириллица или CJK (китайский / японский / корейский).В предыдущей серии блогов мы увидели, как формируются языки CJK, и узнали о необходимости иметь анализаторы, специфичные для языка. Например, в корейском языке есть послелоги — суффиксы, добавляемые к существительным и местоимениям, которые изменяют их значение. Иногда при использовании стандартного анализатора анализатор соответствует поисковым запросам, но не дает точных результатов. Это означает, что вы можете хорошо запомнить документы, но страдает ваша точность. В других случаях стандартный анализатор не соответствует ни одному термину, и страдают как точность, так и отзывчивость.

Давайте посмотрим на рабочий пример для «Зимних Олимпийских игр». По-корейски это «동계 올림픽 대회 는», которое состоит из «동계», означающего «зимний сезон», «올림픽 대회», означающего «Олимпийские игры» или «Олимпийские соревнования», и, наконец, «는», которое является послелогом темы с добавленным суффиксом. к слову, обозначающему тему. Поиск этой точной строки с помощью стандартного анализатора дает идеальное совпадение, но поиск «올림픽 대회», означающего просто «Олимпийские игры», не дает результатов. Однако при использовании корейского анализатора nori мы получаем совпадение, потому что «동계 올림픽 대회 는» / «Зимние Олимпийские игры» были правильно токенизированы во время индексирования.

Начало работы с идентификацией языка

Демо-проект

Чтобы помочь проиллюстрировать варианты использования и стратегии идентификации языка в поиске, мы создали небольшой демонстрационный проект. Он содержит все примеры из этого сообщения в блоге, а также некоторые инструменты для индексации и поиска по многоязычному корпусу WiLI-2018, который вы можете использовать в качестве справочного и рабочего примера для экспериментов с многоязычным поиском. Чтобы следовать примерам, полезно (но не обязательно) запустить и запустить демонстрационный проект с проиндексированными документами на случай, если вы захотите продолжить.

Для этих экспериментов вы можете установить Elasticsearch 7.6 локально или запустить бесплатную пробную версию Elasticsearch Service.

Первые эксперименты

Идентификация языка — это предварительно обученная модель, которая поставляется в дистрибутиве Elasticsearch по умолчанию. Он используется вместе с процессором ввода логического вывода путем указания lang_ident_model_1 как model_id при настройке процессора вывода в конвейере приема.

 {
  "вывод": {
    "model_id": "lang_ident_model_1",
    "inference_config": {},
    "field_mappings": {}
  }
}
 

Остальная часть конфигурации такая же, как и в других моделях, что позволяет вам указать такие параметры, как количество высших классов для вывода, поле вывода, которое будет содержать прогноз, и, что наиболее важно для наших случаев использования, поле ввода использовать.По умолчанию модель ожидает, что поле с именем текст будет содержать ввод. В следующем примере мы используем API конвейера _simulate с некоторыми документами с одним полем. Он сопоставляет поле входного содержимого с текстовым полем для вывода — это сопоставление не влияет на другие процессоры в конвейере. Затем он выводит для проверки три верхних класса.

 # имитировать базовую настройку вывода
POST _ingest / pipeline / _simulate
{
  "трубопровод": {
    "процессоры": [
      {
        "вывод": {
          "model_id": "lang_ident_model_1",
          "inference_config": {
            "классификация": {
              «num_top_classes»: 3
            }
          },
          "field_mappings": {
            "содержимое": "текст"
          },
          "target_field": "_ml.lang_ident "
        }
      }
    ]
  },
  "документы": [
    {
      "_источник": {
        "contents": "Das Leben ist kein Ponyhof"
      }
    },
    {
      "_источник": {
        "contents": "Дождь в Испании идет в основном на равнинах"
      }
    },
    {
      "_источник": {
        "contents": "Это в основном английский, но с легким оттенком латыни, поскольку мы часто говорим просто Carpe diem"
      }
    }
  ]
}
 

Вывод показывает нам каждый документ, а также некоторую дополнительную информацию в поле _ml.lang_ident .Это включает вероятность каждого из трех основных языков и основного языка, который хранится в _ml.lang_ident.predicted_value .

 {
  "документы": [
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": "Das leben ist kein Ponyhof",
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "де",
                  "class_probability": 0.9996006023972855
                },
                {
                  "имя_класса": "эль-Латн",
                  "class_probability": 2.625873919853074E-4
                },
                {
                  "class_name": "ru-Latn",
                  "class_probability": 1.130237050226503E-4
                }
              ],
              "predicted_value": "de",
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "timestamp": "2020-01-21T14: 38: 13.810179Z "
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": "Дождь в Испании идет преимущественно на равнинах",
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ru",
                  "class_probability": 0.9988809847231199
                },
                {
                  "имя_класса": "га",
                  "class_probability": 7.764148026288316E-4
                },
                {
                  "имя_класса": "gd",
                  "class_probability": 7.968926766495827E-5
                }
              ],
              "predicted_value": "ru",
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 38: 13.810185Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": "Это в основном английский, но с легким оттенком латыни, поскольку мы часто говорим просто Carpe diem",
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ru",
                  "class_probability": 0.99978317939
                },
                {
                  "имя_класса": "я",
                  "class_probability": 8.756250766054857E-5
                },
                {
                  "имя_класса": "фил",
                  "class_probability": 1.6980752372837307E-5
                }
              ],
              "predicted_value": "ru",
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "timestamp": "2020-01-21T14: 38: 13.810189Z "
        }
      }
    }
  ]
}
 

Выглядит хорошо! Мы определили немецкий язык для первого документа и английский для второго и третьего документов, даже с легким оттенком латыни в третьем документе.

Стратегии определения языка в поиске

Теперь, когда мы рассмотрели базовый пример языковой идентификации, пора начать использовать его в стратегии индексации и поиска.

Мы будем использовать две основные стратегии индексирования: язык по полю и язык по индексу.В стратегии для каждого поля языка мы создадим единый индекс с набором специфичных для языка полей и будем использовать анализатор, адаптированный для каждого языка. Во время поиска мы можем выбрать либо поиск по полю известного языка, либо поиск по всем языковым полям и выбор наиболее подходящего поля. В стратегии для каждого индекса мы создадим набор индексов для конкретного языка с различными сопоставлениями, где в индексируемом поле есть анализатор для этого языка. Во время поиска мы можем применить аналогичный подход к языку для каждого поля и выбрать поиск по одному языковому индексу или по нескольким индексам с шаблоном индекса в поисковом запросе.

Сравните эти две стратегии с тем, что вам нужно было бы сделать сегодня — проиндексировать одну и ту же строку несколько раз, каждую по полю или по индексу с помощью анализатора для конкретного языка. Хотя этот подход может работать, он вызывает очень много дублирования, вызывая более медленные запросы и используя значительно больше места для хранения, чем необходимо.

Индексирование

Давайте разберемся с этим и рассмотрим каждую из двух стратегий индексирования, поскольку они определяют стратегии поиска, которые мы можем использовать.

По полю

В стратегии «язык по полю» мы будем использовать вывод идентификации языка и ряд процессоров в конвейере приема для сохранения поля ввода в поле, зависящем от языка. Мы будем поддерживать только ограниченный набор языков (немецкий, английский, корейский, японский и китайский), так как нам нужно настроить отдельный анализатор для каждого языка. Любые документы, написанные не на одном из поддерживаемых нами языков, будут проиндексированы в поле по умолчанию стандартным анализатором.

Полное определение конвейера можно найти в демонстрационном проекте: config / pipelines / lang-per-field.json

Сопоставление для поддержки этой стратегии индексирования будет выглядеть так:

 {
  "настройки": {
    "показатель": {
      "number_of_shards": 1,
      "number_of_replicas": 0
    }
  },
  "mappings": {
    "динамический": "строгий",
    "характеристики": {
      "contents": {
        "характеристики": {
          "язык": {
            "тип": "ключевое слово"
          },
          "поддерживается": {
            "тип": "логическое"
          },
          "дефолт": {
            "тип": "текст",
            "анализатор": "по умолчанию",
            "fields": {
              "icu": {
                "тип": "текст",
                "анализатор": "icu_analyzer"
              }
            }
          },
          "en": {
            "тип": "текст",
            "анализатор": "английский"
          },
          "de": {
            "тип": "текст",
            "analyzer": "german_custom"
          },
          "ja": {
            "тип": "текст",
            "анализатор": "куромодзи"
          },
          "ko": {
            "тип": "текст",
            "анализатор": "нори"
          },
          "zh": {
            "тип": "текст",
            "анализатор": "smartcn"
          }
        }
      }
    }
  }
}
 

(Обратите внимание, что конфигурация анализатора для Германии была исключена из приведенного выше примера для краткости и может быть найдена в: config / mappings / de_analyzer.json)

Как и в предыдущем примере, мы будем использовать API конвейера _simulate , чтобы исследовать:

 # смоделировать язык для каждого поля и вывести 3 лучших языковых класса для проверки
POST _ingest / pipeline / _simulate
{
  "трубопровод": {
    "процессоры": [
      {
        "вывод": {
          "model_id": "lang_ident_model_1",
          "inference_config": {
            "классификация": {
              «num_top_classes»: 3
            }
          },
          "field_mappings": {
            "содержимое": "текст"
          },
          "target_field": "_ml.lang_ident "
        }
      },
      {
        "переименовать": {
          "поле": "содержимое",
          "target_field": "contents.default"
        }
      },
      {
        "переименовать": {
          "field": "_ml.lang_ident.predicted_value",
          "target_field": "contents.language"
        }
      },
      {
        "script": {
          "lang": "безболезненно",
          "источник": "ctx.contents.supported = (['de', 'en', 'ja', 'ko', 'zh']. contains (ctx.contents.language))»
        }
      },
      {
        "установленный": {
          «если»: «ctx.content.supported ",
          "поле": "содержимое. {{contents.language}}",
          "значение": "{{contents.default}}",
          "переопределить": ложь
        }
      }
    ]
  },
  "документы": [
    {
      "_источник": {
        "contents": "Das leben ist kein Ponyhof"
      }
    },
    {
      "_источник": {
        "contents": "Дождь в Испании идет в основном на равнинах"
      }
    },
    {
      "_источник": {
        "contents": "オ リ ン ピ ッ ク 大会"
      }
    },
    {
      "_источник": {
        "contents": "로마 는 하루 아침 에 이루어진 것이 아니다"
      }
    },
    {
      "_источник": {
        "contents": "授 人 以 鱼 不如 授 人 以 渔"
      }
    },
    {
      "_источник": {
        "contents": "Qui court deux lievres a la fois, n’en prend aucun"
      }
    },
    {
      "_источник": {
        "contents": "Lupus non timet canem latrantem"
      }
    },
    {
      "_источник": {
        "contents": "Это в основном английский, но с легким оттенком латыни, поскольку мы часто говорим просто Carpe diem"
      }
    }
  ]
}
 

А вот результат с языком для каждого поля:

 {
  "документы": [
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "de": "Das leben ist kein Ponyhof",
            "default": "Das leben ist kein Ponyhof",
            "язык": "де",
            "поддерживается": правда
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "де",
                  "class_probability": 0.9996006023972855
                },
                {
                  "имя_класса": "эль-Латн",
                  "class_probability": 2.625873919853074E-4
                },
                {
                  "class_name": "ru-Latn",
                  "class_probability": 1.130237050226503E-4
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218641Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "ru": "Дождь в Испании идет в основном на равнинах",
            "default": "Дождь в Испании идет преимущественно на равнинах",
            "language": "en",
            "поддерживается": правда
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ru",
                  "class_probability": 0.9988809847231199
                },
                {
                  "имя_класса": "га",
                  "class_probability": 7.764148026288316E-4
                },
                {
                  "имя_класса": "gd",
                  "class_probability": 7.968926766495827E-5
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218646Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "default": "オ リ ン ピ ッ ク 大会",
            "язык": "я",
            "ja": "オ リ ン ピ ッ ク 大会",
            "поддерживается": правда
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "я",
                  "class_probability": 0.9993823252841599
                },
                {
                  "имя_класса": "эль",
                  "class_probability": 2.6448654791599055E-4
                },
                {
                  "имя_класса": "SD",
                  "class_probability": 1.4846805271384584E-4
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218648Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "default": "로마 는 하루 아침 에 이루어진 것이 아니다",
            "язык": "ко",
            «ко»: «로마 는 하루 아침 에 이루어진 것이 아니다»,
            "поддерживается": правда
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ко",
                  "class_probability": 0.9999939196272863
                },
                {
                  "имя_класса": "ка",
                  "class_probability": 3.0431805047662344E-6
                },
                {
                  "имя_класса": "я",
                  "class_probability": 1.710514725818281E-6
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218649Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "default": "授 人 以 鱼 不如 授 人 以 渔",
            "язык": "ж",
            «ж»: «授 人 以 鱼 不如 授 人 以 渔»,
            "поддерживается": правда
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ж",
                  "class_probability": 0.9999810103320087
                },
                {
                  "имя_класса": "я",
                  "class_probability": 1.03
083183788E-5
                },
                {
                  "имя_класса": "ка",
                  "class_probability": 2.6302271562335787E-6
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.21865Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "default": "Qui court deux lievres a la fois, n’en prend aucun",
            "язык": "фр",
            "поддерживается": ложь
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "фр",
                  "class_probability": 0.9999669852240882
                },
                {
                  "имя_класса": "gd",
                  "class_probability": 2.3485226102079597E-5
                },
                {
                  "имя_класса": "ht",
                  "class_probability": 3.536708810360631E-6
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218652Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "default": "Lupus non timet canem latrantem",
            "язык": "ля",
            "поддерживается": ложь
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ля",
                  "class_probability": 0.614050940088811
                },
                {
                  "имя_класса": "фр",
                  "class_probability": 0.32530021315840363
                },
                {
                  "имя_класса": "sq",
                  "class_probability": 0,03353817054854559
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218653Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "en": "Это в основном английский, но с латынью, потому что мы часто говорим просто Carpe diem",
            "default": "Это в основном английский, но с легким оттенком латыни, поскольку мы часто говорим просто Carpe diem",
            "language": "en",
            "поддерживается": правда
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ru",
                  "class_probability": 0.99978317939
                },
                {
                  "имя_класса": "я",
                  "class_probability": 8.756250766054857E-5
                },
                {
                  "имя_класса": "фил",
                  "class_probability": 1.6980752372837307E-5
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-22T12: 40: 03.218654Z"
        }
      }
    }
  ]
}
 

Как и ожидалось, мы получаем немецкие поля, хранящиеся в содержимом .de , английский — contents.en , корейский — contents.ko и т. д. Обратите внимание, что мы также смешали несколько примеров неподдерживаемых языков — французский и латынь. Мы видим, что у них нет флага поддержки, и они доступны для поиска только в поле по умолчанию. Посмотрите также на лучшие предсказуемые классы на примере латинского языка. Похоже, модель считает, что это латынь, и это правильно, но модель сомнительна и предсказывает сильное второе место французскому языку.

Это всего лишь базовый пример конвейера загрузки с идентификацией языка, но, надеюсь, он дает вам представление о том, что возможно.Благодаря гибкости конвейеров приема мы можем реализовать множество различных сценариев. В конце поста мы рассмотрим несколько альтернатив. Некоторые из шагов в этом примере могут быть объединены или опущены в производственном конвейере, но помните, что хороший конвейер обработки данных — это тот, который можно легко прочитать и понять, а не тот, который имеет наименьшее возможное количество строк.

Per-Index

Наша стратегия «язык для каждого индекса» использует те же базовые строительные блоки, что и конвейер для языка для каждого поля.Большая разница в том, что вместо сохранения в поле, зависящее от языка, мы используем другой индекс. Это возможно, потому что во время загрузки мы можем установить поле _index документа, что позволяет нам переопределить значение по умолчанию и установить для него имя индекса, зависящее от языка. Если мы не поддерживаем язык, мы пропускаем этот шаг, и документ будет проиндексирован в индексе по умолчанию. Простой!

Полное определение конвейера можно найти в демонстрационном проекте: config / pipelines / lang-per-index.json

Отображение для поддержки этой стратегии индексирования будет выглядеть следующим образом.

 {
  "настройки": {
    "показатель": {
      "number_of_shards": 1,
      "number_of_replicas": 0
    }
  },
  "mappings": {
    "динамический": "строгий",
    "характеристики": {
      "contents": {
        "характеристики": {
          "язык": {
            "тип": "ключевое слово"
          },
          "text": {
            "тип": "текст",
            "анализатор": "по умолчанию"
          }
        }
      }
    }
  }
}
 

Обратите внимание, что в этом сопоставлении мы не указали пользовательский анализатор, а вместо этого используем этот файл в качестве шаблона.Когда мы создаем каждый индекс для конкретного языка, мы устанавливаем анализатор для этого языка.

Моделирование этого трубопровода:

 # смоделировать язык по индексу и вывести 3 лучших языковых класса для проверки
POST _ingest / pipeline / _simulate
{
  "трубопровод": {
    "процессоры": [
      {
        "вывод": {
          "model_id": "lang_ident_model_1",
          "inference_config": {
            "классификация": {
              «num_top_classes»: 3
            }
          },
          "field_mappings": {
            "содержимое": "текст"
          },
          "target_field": "_ml.lang_ident "
        }
      },
      {
        "переименовать": {
          "поле": "содержимое",
          "target_field": "contents.text"
        }
      },
      {
        "переименовать": {
          "field": "_ml.lang_ident.predicted_value",
          "target_field": "contents.language"
        }
      },
      {
        "установленный": {
          "if": "['de', 'en', 'ja', 'ko', 'zh']. contains (ctx.contents.language)",
          "поле": "_index",
          "значение": "{{_index}} _ {{contents.language}}",
          "переопределить": истина
        }
      }
    ]
  },
  "документы": [
    {
      "_источник": {
        "contents": "Das leben ist kein Ponyhof"
      }
    },
    {
      "_источник": {
        "contents": "Дождь в Испании идет в основном на равнинах"
      }
    },
    {
      "_источник": {
        "contents": "オ リ ン ピ ッ ク 大会"
      }
    },
    {
      "_источник": {
        "contents": "로마 는 하루 아침 에 이루어진 것이 아니다"
      }
    },
    {
      "_источник": {
        "contents": "授 人 以 鱼 不如 授 人 以 渔"
      }
    },
    {
      "_источник": {
        "contents": "Qui court deux lievres a la fois, n’en prend aucun"
      }
    },
    {
      "_источник": {
        "contents": "Lupus non timet canem latrantem"
      }
    },
    {
      "_источник": {
        "contents": "Это в основном английский, но с легким оттенком латыни, поскольку мы часто говорим просто Carpe diem"
      }
    }
  ]
}
 

А вот результат с языковым индексом:

 {
  "документы": [
    {
      "doc": {
        "_index": "_index_de",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "язык": "де",
            "text": "Das leben ist kein Ponyhof"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "де",
                  "class_probability": 0.9996006023972855
                },
                {
                  "имя_класса": "эль-Латн",
                  "class_probability": 2.625873919853074E-4
                },
                {
                  "class_name": "ru-Latn",
                  "class_probability": 1.130237050226503E-4
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486009Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index_en",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "language": "en",
            "text": "Дождь в Испании идет в основном на равнинах"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ru",
                  "class_probability": 0.9988809847231199
                },
                {
                  "имя_класса": "га",
                  "class_probability": 7.764148026288316E-4
                },
                {
                  "имя_класса": "gd",
                  "class_probability": 7.968926766495827E-5
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486037Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index_ja",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "язык": "я",
            "текст": "オ リ ン ピ ッ ク 大会"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "я",
                  "class_probability": 0.9993823252841599
                },
                {
                  "имя_класса": "эль",
                  "class_probability": 2.6448654791599055E-4
                },
                {
                  "имя_класса": "SD",
                  "class_probability": 1.4846805271384584E-4
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486039Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index_ko",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "язык": "ко",
            "текст": "로마 는 하루 아침 에 이루어진 것이 아니다"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ко",
                  "class_probability": 0.9999939196272863
                },
                {
                  "имя_класса": "ка",
                  "class_probability": 3.0431805047662344E-6
                },
                {
                  "имя_класса": "я",
                  "class_probability": 1.710514725818281E-6
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486041Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index_zh",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "язык": "ж",
            "текст": "授 人 以 鱼 不如 授 人 以 渔"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ж",
                  "class_probability": 0.9999810103320087
                },
                {
                  "имя_класса": "я",
                  "class_probability": 1.03
083183788E-5
                },
                {
                  "имя_класса": "ка",
                  "class_probability": 2.6302271562335787E-6
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486043Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "язык": "фр",
            "text": "Qui court deux lievres a la fois, n’en prend aucun"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "фр",
                  "class_probability": 0.9999669852240882
                },
                {
                  "имя_класса": "gd",
                  "class_probability": 2.3485226102079597E-5
                },
                {
                  "имя_класса": "ht",
                  "class_probability": 3.536708810360631E-6
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486044Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "язык": "ля",
            "text": "Lupus non timet canem latrantem"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ля",
                  "class_probability": 0.614050940088811
                },
                {
                  "имя_класса": "фр",
                  "class_probability": 0.32530021315840363
                },
                {
                  "имя_класса": "sq",
                  "class_probability": 0,03353817054854559
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.486046Z"
        }
      }
    },
    {
      "doc": {
        "_index": "_index_en",
        "_type": "_doc",
        "_я сделал",
        "_источник" : {
          "contents": {
            "language": "en",
            "text": "Это в основном английский, но с легким оттенком латыни, поскольку мы часто говорим просто Carpe diem"
          },
          "_ml": {
            "lang_ident": {
              "top_classes": [
                {
                  "имя_класса": "ru",
                  "class_probability": 0.99978317939
                },
                {
                  "имя_класса": "я",
                  "class_probability": 8.756250766054857E-5
                },
                {
                  "имя_класса": "фил",
                  "class_probability": 1.6980752372837307E-5
                }
              ],
              "model_id": "lang_ident_model_1"
            }
          }
        },
        "_ingest": {
          "отметка времени": "2020-01-21T14: 41: 48.48605Z"
        }
      }
    }
  ]
}
 

Как и следовало ожидать, результаты идентификации языка такие же, как и в случае стратегии для отдельных полей, с той лишь разницей, что мы используем эту информацию в конвейере для направления документа по правильному индексу.

Поиск

Каков наилучший способ поиска с учетом двух стратегий индексации? Как упоминалось выше, у нас есть несколько вариантов для каждой стратегии индексации. Один из распространенных вопросов: как указать анализатор, зависящий от языка, для строки запроса, чтобы он соответствовал индексированному полю? Не волнуйтесь, вам не нужно указывать специальный анализатор во время поиска. Если вы не укажете search_analyzer в DSL запроса, строка запроса будет проанализирована тем же анализатором, что и поле, для которого выполняется сопоставление.Как и в примерах языка для каждого поля, если у вас есть поля en и de, строка запроса будет проанализирована анализатором английского языка при сопоставлении в поле en и анализатором german_custom при сопоставлении в поле de.

Язык запроса

Прежде чем мы углубимся в поисковые стратегии, важно сначала установить некоторый контекст идентификации языка в самой строке запроса пользователя. Вы можете подумать: «Хорошо, теперь, когда мы знаем (преобладающий) язык проиндексированных документов, почему бы просто не выполнить идентификацию языка в строке запроса и не выполнить обычный поиск в соответствующем поле или индексе?».К сожалению, поисковые запросы обычно короткие. Типа, очень коротко! Еще в 2001 году исследование [1] старой доброй поисковой системы Excite показало, что средний пользовательский запрос содержал только 2,4 термина! Это было некоторое время назад, и хотя многое изменилось с разговорным поиском и запросами на естественном языке (например, «как мне использовать Elasticsearch для поиска в многоязычных корпусах»), поисковые запросы, как правило, все еще слишком короткие, чтобы их можно было использовать для определения языка. Многие алгоритмы языковой идентификации лучше всего работают с более чем 50 символами [2].Чтобы усугубить эту проблему, у нас часто есть поисковые запросы, которые являются именами собственными, именами сущностей или научными названиями, такими как «Джастин Трюдо», «Foo Fighters» или «подошвенный фасциит» соответственно. Пользователь может захотеть документы на произвольном языке, но невозможно узнать это, просто проанализировав такие строки запроса.

Таким образом, мы не рекомендуем использовать идентификацию языка (любого вида) только для строк запроса. Если вы с по хотите использовать язык запросов пользователя для выбора поля поиска или индекса, лучше всего рассмотреть другие подходы, которые используют неявную или явную информацию о пользователе.Например, неявный контекст может использовать домен веб-сайта (например, .com или .de) или языковой стандарт магазина приложений, из которого было загружено ваше приложение (например, магазин в США или магазин в Германии). Однако в большинстве случаев лучше всего просто спросить своего пользователя! Многие сайты имеют возможность выбора языкового стандарта при первом посещении сайта новым пользователем. Вы также можете рассмотреть возможность использования фасетирования (с агрегированием терминов) по языкам документа, чтобы помочь пользователю направить вас к интересующим его языкам.

По полю

В стратегии по полю у нас есть подполя на нескольких языках, поэтому нам нужно искать по всем из них одновременно и выбирать поле с наивысшей оценкой.Это относительно просто, поскольку в конвейере индексации мы устанавливаем только одно языковое поле. Итак, пока мы ищем по нескольким полям, фактически заполнено только одно из них. Для этого мы будем использовать запрос multi_match с типом best_fields (по умолчанию). Эта комбинация выполняется как запрос dis_max, и мы используем эту комбинацию, поскольку нас интересуют совпадения всех терминов в одном поле, а не в нескольких полях.

 GET язык на поле / _search
{
  "запрос": {
    "multi_match": {
      "query": "jahr",
      "тип": "лучшие_поля",
      "поля": [
        "содержимое.де ",
        "contents.en",
        "contents.ja",
        "content.ko",
        "content.zh"
      ]
    }
  }
}
 

Если мы хотим выполнить поиск по всем языкам, мы также можем добавить в поле content.default в запрос multi_match . Одним из преимуществ стратегии для отдельных полей является также возможность использовать указанный язык для повышения качества документов, например, тех, которые соответствуют языку или языку пользователя, как обсуждалось выше. Это может улучшить как точность, так и отзывчивость, поскольку может напрямую влиять на релевантность.Точно так же, если мы хотим выполнить поиск на одном языке, например, когда мы знаем язык запроса пользователя, мы можем просто использовать запрос на сопоставление в языковом поле для этого языка, например contents.de .

По индексу

При использовании стратегии по индексу у нас есть несколько языковых индексов, но каждый индекс имеет одинаковые имена полей. Это означает, что мы можем использовать один простой запрос и просто указать шаблон индекса при выполнении поискового запроса:

 ПОЛУЧИТЬ язык по индексу _ * / _ поиск
{
  "запрос": {
    "соответствие": {
      "содержимое.text ":" jahr "
    }
  }
}
 

Если мы хотим искать по всем языкам, мы используем шаблон индекса, который также соответствует индексу по умолчанию: lang-per-index * (обратите внимание на отсутствие подчеркивания). Если мы хотим выполнить поиск на одном языке, мы можем просто использовать индекс для этого языка, например lang-per-index_de .

Примеры

Используя те же примеры, которые мы описали в разделе «Мотивация», мы можем попробовать выполнить поиск в нашем корпусе WiLI-2018. Попробуйте эти команды с демонстрационным проектом и посмотрите, что произойдет.

Разложение:

 # только точное совпадение по термину "jahr"
bin / search - стратегия по умолчанию jahr
 

 # соответствует: jahr, jahre, jahren, jahrhunderts и т. Д.
bin / search - стратегия для каждого поля jahr
 

Общий термин:

 # точное совпадение только с термином "компьютер", в результатах есть несколько языков
bin / search - стратегия компьютера по умолчанию
 

 # также соответствует составным немецким словам: "Computersicherheit" (компьютерная безопасность).
bin / search - стратегия для каждого поля компьютера
 

Нелатинские шрифты:

 # стандартный анализатор получает низкую точность и возвращает нерелевантные / несоответствующие результаты с "сеть" / "Интернет": "网络"
bin / search - стратегия по умолчанию 网络
 

 # Анализ интенсивной терапии и языковой анализ дает правильные ответы, но обратите внимание на разные оценки
bin / search - стратегия icu 网络
bin / search - стратегия для каждого поля 网络
 

Сравнение

Основываясь на двух стратегиях, какую из них вам следует использовать? Смотря как.Вот несколько плюсов и минусов каждого подхода, которые помогут вам принять решение.

Если вы все еще не можете решить, мы рекомендуем попробовать оба варианта и посмотреть, как каждая стратегия выглядит с вашим набором данных.Если у вас есть набор данных меток релевантности, вы также можете использовать API оценки ранжирования, чтобы увидеть, есть ли различия в релевантности между различными стратегиями.

Дополнительные подходы

Мы рассмотрели две основные стратегии использования языковой идентификации и индексации и поиска в многоязычном корпусе. Благодаря мощности конвейеров приема мы можем реализовать множество дополнительных подходов и модификаций. Вот несколько примеров для изучения:

• Отображение общих языков сценария в одно поле, e.грамм. сопоставление китайского, японского и корейского языков с полем cjk и использование анализатора cjk , а также сопоставление en и fr в поле latin с помощью стандартного анализатора (см .: examples / olympics.txt ).
• Сопоставьте неизвестные языки или нелатинские сценарии с полем icu и используйте анализатор icu (см .: config / mappings / lang-per-field.json).
• Используя условный процессор или обработчик сценариев, установите несколько основных языков выше порогового значения в поле (для фасетирования / фильтрации).
• Объедините несколько полей документа в одно поле, чтобы идентифицировать язык, и при необходимости использовать его для поиска (например, в поле all_contents ) или просто продолжайте следовать стратегии «язык для каждого поля» после идентификации язык (см .: examples / simulate-concatenation.txt и examples / simulate-concatenation.out.json).
• Используя процессор сценариев, выберите преобладающий язык только в том случае, если верхний класс превышает пороговое значение (например, 60% или 50%) или значительно превышает прогнозируемый второй класс (например.грамм. выше 50% и более чем на 10% выше второго класса).

Завершение

Надеюсь, этот пост в блоге даст вам отправную точку и некоторые идеи о том, как успешно использовать языковую идентификацию для многоязычного поиска! Мы будем рады услышать от вас, поэтому, пожалуйста, не стесняйтесь и присоединяйтесь к нашему дискуссионному форуму.