robogeek.ru

все о роботах и робототехнике

edu.robogeek.ru

все об обучении робототехнике

04.09.2017

Интеллектуальная обработка текста с помощью сервиса Парафразер для цели загрузки нормативной базы знаний в чатбот

Довольно часто к нам обращаются клиенты, которым необходимо обработать внутреннюю нормативную базу и сделать так, чтобы по ней чатбот мог находить ответы на вопросы.

Сегодня мы рассмотрим lifehack, каким образом из обычного текста делается интеллектуальный.

Рассмотрим 1 страницу регламента: начинается он так:

"1. Порядок проведения операций

1.1. Общие положения

1.1.1. Продолжительность операционного дня по обслуживанию Клиентов устанавливается приказом по Филиалу.

1.1.2. Денежные средства на банковские счета, во вклады до востребования, срочные и сберегательные вклады принимаются Банком от Клиентов в валюте РФ и в иностранной валюте. Перечень операций по банковскому счету/счету по вкладу соответствующего вида (режим счета) регулируется законодательством РФ и Договором. Банк имеет право отказать в проведении операции по банковскому счету/счету по вкладу, если она не соответствует режиму счета, установленному Договором. Операции по банковскому счету/счету по вкладу производятся как Клиентом, так и его Представителем в порядке, установленном законодательством РФ и Договором.

1.1.3. В соответствии с п. 5 статьи 7 Федерального закона № 115-ФЗ кредитным организациям запрещается открывать банковские счета/счета по вкладам физическим лицам без личного присутствия лица, открывающего банковский счет/счет по вкладу, либо его Представителя.

1.1.4. Открытие и ведение банковских счетов и счетов по вкладам, проведение операций по счетам и без открытия счета производится Банком при условии наличия у Клиента гражданской правоспособности (дееспособности)."

После обработки текста мы будем загружать полученный результат в чатбота созданного на Botlibre, по-этому используем синтаксис, предложенный Botlibre.

Считаем, что обрабатывать текст можно следующим образом:

1. Порядок, а именно, нумерацию саму по себе можно игнорировать, т.е. для интеллектуального поиска не важно, ищет ли пользователь п.1.3 или сразу 1.4.5.

2. Создается тема, которая подписывается под каждой парой вопросов и ответов, пока не будет найдена следующая тема.

результат - topic: Общие положения (этот topic нужно будет прописывать под каждой парой вопросов ответов далее)

3. Далее создается пара вопрос – ответ, в качестве вопроса можно использовать первые 3-8 слов из ответа для простоты.

Продолжительность операционного дня по обслуживанию Клиентов

Продолжительность операционного дня по обслуживанию Клиентов устанавливается приказом по Филиалу.

topic: Общие положения

4. Прописываем ключевые слова (существительные, глаголы, наречия) без предлогов местоимений прилагательных, на выходе имеем

Продолжительность операционного дня по обслуживанию Клиентов

Продолжительность операционного дня по обслуживанию Клиентов устанавливается приказом по Филиалу.

topic: Общие положения

keywords: продолжительность длительность день дня обслуживание операции операционный

5. Добавляем к ключевым словам понятия и смыслы, далее получаем вот такой текст

Продолжительность операционного дня по обслуживанию Клиентов

Продолжительность операционного дня по обслуживанию Клиентов устанавливается приказом по Филиалу.

topic: Общие положения

keywords: продолжительность длительность день дня обслуживание операции операционный перевод обслуживание клиентов совершение операций

6. Главное потом удалить дубли. Удаляем дубли и добавляем нужные вероятные словоформы

Продолжительность операционного дня по обслуживанию Клиентов

Продолжительность операционного дня по обслуживанию Клиентов устанавливается приказом по Филиалу.

topic: Общие положения

keywords: продолжительность длительность день дня операции операционный перевод обслуживание клиентов клиент клиента совершение операций операция

7. первая пара вопросов и ответов – готова!

8. Создаем вторую пару вопросов и ответов, в том случае если нумерация продолжается или имеются буллеты (которые необходимо будет заменить на цифры с той же иерархичностью) повторяем пункты 2-6 и получаем на выходе следующее

Денежные средства на банковские счета

Денежные средства на банковские счета, во вклады до востребования, срочные и сберегательные вклады принимаются Банком от Клиентов в валюте РФ и в иностранной валюте. Перечень операций по банковскому счету/счету по вкладу соответствующего вида (режим счета) регулируется законодательством РФ и Договором. Банк имеет право отказать в проведении операции по банковскому счету/счету по вкладу, если она не соответствует режиму счета, установленному Договором. Операции по банковскому счету/счету по вкладу производятся как Клиентом, так и его Представителем в порядке, установленном законодательством РФ и Договором.

topic: Общие положения

keywords: деньги денежные средства банковские счет счета востребование востребования и тд.

9. Необходимо добавить еще одно свойство для пары вопрос – ответ – это свойство previous. Оно включает полный предыдущий ответ чатбота, получаем.

Денежные средства на банковские счета

Денежные средства на банковские счета, во вклады до востребования, срочные и сберегательные вклады принимаются Банком от Клиентов в валюте РФ и в иностранной валюте. Перечень операций по банковскому счету/счету по вкладу соответствующего вида (режим счета) регулируется законодательством РФ и Договором. Банк имеет право отказать в проведении операции по банковскому счету/счету по вкладу, если она не соответствует режиму счета, установленному Договором. Операции по банковскому счету/счету по вкладу производятся как Клиентом, так и его Представителем в порядке, установленном законодательством РФ и Договором.

topic: Общие положения

keywords: деньги денежные средства банковские счет счета востребование востребования и тд.

previous: Денежные средства на банковские счета, во вклады до востребования, срочные и сберегательные вклады принимаются Банком от Клиентов в валюте РФ и в иностранной валюте. Перечень операций по банковскому счету/счету по вкладу соответствующего вида (режим счета) регулируется законодательством РФ и Договором. Банк имеет право отказать в проведении операции по банковскому счету/счету по вкладу, если она не соответствует режиму счета, установленному Договором. Операции по банковскому счету/счету по вкладу производятся как Клиентом, так и его Представителем в порядке, установленном законодательством РФ и Договором.

Таким образом, будет удерживаться контекст и пользователь сможет переходить из пункта в пункт.

Однако, поскольку имеет место эвристическая память и пользователь может точно не знать содержимое следующего или предыдущего ответа бота, то предлагается реализовать числовую подсказку местонахождения пользователя в регламенте, таким образом добавляем дублирующую пару вопросов и ответов и прописываем текущий ответ в регламенте, удаляя точки.

10. Добавляем дубликаты вопросов и ответов, связанных с четкой нумерацией. Добавляем нумерацию в ответ

[112]

Денежные средства на банковские счета, во вклады до востребования, срочные и сберегательные вклады принимаются Банком от Клиентов в валюте РФ и в иностранной валюте. Перечень операций по банковскому счету/счету по вкладу соответствующего вида (режим счета) регулируется законодательством РФ и Договором. Банк имеет право отказать в проведении операции по банковскому счету/счету по вкладу, если она не соответствует режиму счета, установленному Договором. Операции по банковскому счету/счету по вкладу производятся как Клиентом, так и его Представителем в порядке, установленном законодательством РФ и Договором.[112]

topic: Общие положения

keywords: деньги денежные средства банковские счет счета востребование востребования и тд.

previous: Денежные средства на банковские счета, во вклады до востребования, срочные и сберегательные вклады принимаются Банком от Клиентов в валюте РФ и в иностранной валюте. Перечень операций по банковскому счету/счету по вкладу соответствующего вида (режим счета) регулируется законодательством РФ и Договором. Банк имеет право отказать в проведении операции по банковскому счету/счету по вкладу, если она не соответствует режиму счета, установленному Договором. Операции по банковскому счету/счету по вкладу производятся как Клиентом, так и его Представителем в порядке, установленном законодательством РФ и Договором.

Заключение

Таким образом кроме эвристической структуры вопросов и ответов создается еще и логическая, когда пользователь сможет переходить из одной части регламента в другую. И так далее создаются все пары вопросов и ответов.

В финале создается команда help где полностью описано содержание всех пунктов, чтобы при необходимости пользователь мог посмотреть оглавление.

Для решения данной задачи мы использовали бесплатный сервис Парафразер, в котором доступна более сложная и коммерческая версия, где требуется более сложная обработка.

По всем дополнительным вопросам или комментариям можно звонить или писать gf@EnduranceRobots.com

+7 916 225 4302

Skype: George.fomitchev

Комментарии

(0) Добавить комментарий

Новые комментарии

Пять занятий, которые оставят людям роботы, когда они заполонят мир
Гость
16.11.2017
12:01:40
Еще нужно специальное министерство которое будет следить чтобы роботы не захватили мир
10 основных навыков, необходимых для робототехников
Гость
15.11.2017
04:03:27
Довольно полезная информация для таких как я 😃