Open source платформа для создания своего собственного робота-компаньона (робота-собеседника)

Создайте своего личного помощника, который отвечал бы на письма и с которым вы могли бы разговаривать. Создайте помощника, который помогал бы вам учить иностранный язык и был бы незаменимым дополнением в обыденной жизни.

SelfieBot Endurance Chatbot

Endurance предлагает open source платформу для создания робота-собеседника (робота-компаньона) под Android и Windows 7 / 8 / 10.

SelfieBot Endurance Chatbot состоит из следующих модулей:

• Механической конструкции DIY SelfieBot (управляемая подставка под телефон или планшет) .
• Программного комплекса Endurance Chatbot Platform ver. 4.0, включающего.
• Распознавание речи от Ok Google.
• Распознавание образов (лиц) на базе OpenCV.
• Синтез речи Microsoft SAPI (Елена).
• Движок Botlibre (платформу для создания и настройки чатбота).

Основные настройки Botlibre

Users - Configure who can access, and administer your bot.
Avatar - Configure your bot's appearance. Choose an animated avatar, or create your own.
Voice - Configure your bot's language and voice.
Learning & Settings - Configure your bot's learning ability and other settings.
Training & Chat Logs - Train your bot's responses, greetings, and default responses. View and your bot's conversations. Import and export chat logs to text or AIML files.
Twitter - Allow your bot to manage a Twitter account and interact with other Twitter users.
Facebook - Allow your bot to manage a Facebook account or page and interact with other Facebook users.
Telegram - Allow bot to manage a Telegram channel or chat on Telegram.
Slack - Allow your bot to send, receive, and reply to Slack messages.
Email - Allow your bot to manage an email account and answer emails.
SMS - Allow your bot to send, receive, and reply to SMS messages.
Google - Allow your bot to connect to Google services such as Google Calendar.
IRC - Allow your bot to chat with others on an IRC chat channel.
Web - Import data from the Freebase, Wiktionary, or other websites.
Knowledge - Browse your bot's knowledge database.
Scripts - Add, create, edit, import, and export Self or AIML scripting programs.
Log - View the bot's log for errors and debugging info.

Подробнее о конструкции DIY SelfieBot

Механическая конструкция DIY SelfieBot – это подставка под телефон или планшет, способная поворачиваться вслед за собеседником.

Конструкция DIY SelfieBot является полностью open source решением под Windows и Android.

Это значит, что каждый желающий может изготовить ее самостоятельно либо заказать у нас комплект электроники для сборки устройства или уже готовый SelfieBot.

DIY SelfieBot снабжен функцией поворота вслед за собеседником, что обеспечивает пользователю ощущение взаимодействия с собеседником.

Преимущества платформы SelfieBot Endurance Chatbot

Преимущество предлагаемого решения SelfieBot Endurance Chatbot заключается в том, что созданный на его основе робот-собеседник способен существовать не только внутри мировой паутины, но и offline. Общаться с ним можно в любых условиях при наличии интернет-соединение 3G/4G/WiFi.

Решение SelfieBot Endurance Chatbot включает встроенный модуль по распознаванию лиц и образов, т.е. чатбот видит, с кем разговаривает, и может идентифицировать собеседника по лицу. SelfieBot Endurance Chatbot можно настроить таким образом, что у каждого члена семьи будет свой индивидуальный чатбот со своим собственным внешним видом и характером.

Как это работает?

• Регистрируете и создаете своего чатбота в системе Botlibre.
• Устанавливаете нашу программу на планшет или смартфон.
• Устанавливаете телефон/планшет на платформу SelfieBot Endurance Chatbot.
• Запускаете программу (приложение).
• Программа распознает (первичный запуск) пользователя и просит его ввести свое имя или узнает (вторичный запуск) собеседника по лицу.
• Запускается распознавание речи от Ok Google. В зависимости от настроек сказанная собеседником фраза либо целиком прослушивается и анализируется в течение 30 секунд, либо прослушивается и анализируется по частям.
• Происходит распознавание речи.
• Распознанная фраза пересылается чатботу на Botlibre.
• Botlibre возвращает ответ в программу.
• Программа синтезирует голос с помощью Microsoft SAPI.
• Далее, если беседа продолжается, процесс повторяется, и беседа может длиться бесконечное время.
• На SelfieBot Endurance Chatbot можно загрузить свой аватар.
• Обучать чатбот можно как вам угодно.

Так выглядит программа в версии разработчика.

В финальной версии пользователя на экране отображается только аватар вашего чатбота.

Установить и настроить своего робота-собеседника можно менее чем за 2 часа.

SelfieBot Endurance Chatbot поддерживает пока 2 языка: русский и английский.

Например, вот так:

Вы можете общаться со своим SelfieBot Endurance Chatbot на любые темы. Только учтите, что чем больше вы с ним разговариваете, тем больше сведений он приобретает, поэтому старайтесь не засорять его знания плохой и некачественной информацией.

Кому и для чего это нужно?

В первую очередь данное решение может быть использовано для обучения всех тех, кто мечтает создать своего реального робота-компаньона, в том числе школьников и студентов. Платформа полностью open source, поэтому не стесняйтесь делиться результатами своей работы с друзьями и коллегами.

Главное, что созданного робота можно использовать в повседневной жизни.

Создание своего робота-собеседника позволяет приобрести знания и опыт разработки embedded решений под Android 4 / 5 / 6, а также Windows 7 / 8 / 10, а также опыт работы с:

• Java,
• С++,
• языком разметки AIML,
• OpenCV,
• JSON запросами.

В дополнение можно отдельно настроить SelfieBot. Для этого потребуется знание Arduino, электроники и основ 3D-моделирования и 3D-печати.

Каждый желающий может создать своего робота-собеседника для дома и для бизнеса.

Готового робота-собеседника можно использовать для научных и практических целей.

Например, в качестве:

• Платформы для интеграции с физическим (например, колесным) роботом, типа робота – официанта, one mile delivery, робота-телеприсутствия и т.д.
• Робота - учителя иностранного языка.
• Робота - администратора на стойке регистрации.
• Робота – собеседника для пожилых людей

Что мы предлагаем?

SelfieBot Endurance Chatbot, как «as is open source» проект, для создания которого потребуется наше приложение и набор электроники.
Поддержку.
Обучение.
Создание готового чатбота под конкретный заказ или бизнес кейс.
Базовую версию электроники для создания SelfieBot Endurance Chatbot или напечатанного на 3D-принтере робота.

Для создания своего робота-собеседника Вам потребуется 3D-принтер и знания электроники и схемотехники.

Поскольку проект является open source, то описание по сборке и настройке можно найти на сайте.

Либо заказать уже готовый DIY SelfieBot всего за 195 долларов + доставка.

Комплект электроники за 95$

Готовый продукт, отпечатанный на 3D-принтере - 195$

Минимальный набор (только электроника)

Набор электроники включает: Aduino Nano (ATMega), 2 DC/DC преобразователя, модуль Bluetooth, 2 сервопривода MG996, a PCB, a макетную плату, адаптер питания, предохранители, джамперы, провода и пр.
Руководство по сборке и эксплуатации PDF

Готовый продукт

Отпечатанный на 3D-принтере, готовый к эксплуатации СелфиБот.
Руководство по эксплуатации

Базовые настройки Endurance Chatbot Platform ver. 4.0, используемые в нашей платформе

В исходной программе есть несколько открытых настроек:

bot_app_id=1156124978941390219 // название чатбота для подключения
bot_instance_id=14142865 // название профайла
bot_address=www.Botlibre.com // адрес подключения к серверу Botlibre
recogn_lang=en-US // язык синтеза речи
speech_lang=409 // язык распознавания речи
google_key=AIzaSyBT3lf4Z3mM5vyEEGJTWSM_T77sKpdDrUk // ключ к подключения Ok Google для распознавания речи
sound_record_level=10000 // относительный уровень звукового сигнала для автоматического начала распознавания речи
pause_record_msec=2000 // продолжительность последней паузы перед тем, как фраза отправляется на распознавание в Ok Google
speech_speed=0 // относительная скорость синтеза речи

Дополнительно могут быть сделаны и другие настройки.

О разработках

Разработка платформы ведется по открытой лицензии Creative common license Attribution-NonCommercial-ShareAlike 3.0

Платформа предоставляется «as is», и разработчики не несут ответственности за нарушения работы тех или иных функций, которые предоставляются сторонними вендорами, а именно: Google, OpenCV, Microsoft, Botlibre.

О команде создателей

Фомичев Георгий – Основатель Endurance

Спикер на конференциях MoNage в г. Бостон 21 Sep, 2016.
Финалист конкурсов по роботам Pitchfire Robobusiness в г. Сан Хосе. 28-29 Sep, 2016.
Спикер на ежегодной конференции IEEE Connecticut Conference on Industrial Electronics, Technology & Automation (CT-IETA 2016) в г. Бриджпорт 14 - 15, 2016

Aндрей Азовский – Разработчик с более 15-ти летним опытом работы. C / C++ / JSON

Александр Шаст – Электронщик с 15ти летним опытом. Автор электроники SelfieBot.

Анатолий Преображенский – Разработчик чатбота внутри среды Botlibre.

Сергей Миронов – Партнер с более чем 5-ти летним опытом в коммерческих продажах

Филипп Хохлов – Дизайнер и главный тестировщик.

Приглашаем в проект

Проект является полностью open – source. Мы приглашаем в проект университетские команды разработчиков, а также (индивидуальных разработчиков) всех желающих.

Проект открывает большие возможности по освоению технологии создания чатботов и опыта работы с данной технологией.

Ближайшие задачи проекта:

1. Разработать приложение под iOS.
2. Создать готовое решение робота - администратора (регистрация посетителей).
3. Разработать более удобный интерфейс (UX/UI).
4. Создать машинное обучение. Обеспечить преобразование неструктурированных текстов в структурированные, пригодные для чатботов.
5. Создать универсального робота-собеседника для пожилых людей.

Как работает версия робота-собеседника

Робот-собеседник слышит обращенную к нему речь и отвечает собеседнику, исходя из запрограммированных вариантов ответа, а при их отсутствии пользуется сторонним поиском, например, Google. Когда ответ найден, сообщает его собеседнику.

Сторонний поиск может быть легко настроен и включается, когда собеседник задает вопросы, на которые ответы не запрограммированы. А также, когда собеседник спрашивает: найди, узнай и т.д.

Обзор о SelfieBot Endurance Chatbot

Как настраивается

Система обучения чатбота довольно простая:

Загружаются шаблоны: вопрос / ответ.
Загружаются неструктурированные тексты в формате freebase для самостоятельного обучения чатбота.
При несоответствии ответа вопросу: администратор, пользователь могут предложить скорректированную версию ответа (в зависимости от настроек обучения).
Использование XML / JSON запросов для получения тех или иных данных для отображения в чатботе.

Как работает

1. Создание чатбота на Botlibre.
2. Обучение чатбота.
3. Регистрация своего google ключа для использования распознавания «Ok Google».
4. Установка программы на планшет Windows / Android.
5. Установка планшета на DIY SelfieBot.
6. Внесение необходимых изменений в конфиг файл *.cfg.
7. Запуск программы

Пользуйтесь роботом-собеседником и получайте удовольствие.