Плагин Voice Control - Голосовое управление

Программная платформа для систем автоматизации.
Диспетчеризация, Умный дом.
intrahouse
Сообщения: 563
Зарегистрирован: 12 дек 2016, 20:22

Плагин Voice Control - Голосовое управление

Сообщение intrahouse » 06 сен 2019, 13:50

Опубликован плагин Voice Control
Для работы плагина необходимо обновить систему до версии не ниже 4.6.12
Плагин позволяет голосом управлять устройствами и сценариями из мобильного приложения.

Подробнее в описании плагина https://ih-systems.com/ru/product/plugin-voice-control/

amgstone
Сообщения: 65
Зарегистрирован: 29 янв 2019, 21:19

Re: Плагин Voice Control - Голосовое управление

Сообщение amgstone » 06 сен 2019, 16:11

amgstone писал(а):
06 сен 2019, 16:06
Изображение
проблемы
1. автоматическое формирование фраз сокращает слова.
2. не поддерживает украинского языка в приложении андроид.
3. нету возможности добавить свои фразы.
4. добавить возможность скрывать id устройства в списке устройств в мобильном приложении.

intrahouse
Сообщения: 563
Зарегистрирован: 12 дек 2016, 20:22

Re: Плагин Voice Control - Голосовое управление

Сообщение intrahouse » 07 сен 2019, 06:41

amgstone писал(а):
06 сен 2019, 16:11
1. автоматическое формирование фраз сокращает слова.
Все правильно. Система обрабатывает ключевые слова. Поэтому нет необходимости в фиксированном формате фразы.
Можно, например, говорить "включи свет на кухне" или "кухня включить свет". В результате свет на кухне будет включен.
Распознавание текстов реализовано несколько умнее, чем просто распознавание слов в фразе ;)
Подробнее по механизму распознавания текстовых команд читайте https://ih-systems.com/ru/product/plugin-voice-control/
amgstone писал(а):
06 сен 2019, 16:11
2. не поддерживает украинского языка в приложении андроид.
Пока это так. Добавим.
amgstone писал(а):
06 сен 2019, 16:11
3. нету возможности добавить свои фразы.
Можно добавить любые фразы и запускать по ним любые сценарии.
amgstone писал(а):
06 сен 2019, 16:11
4. добавить возможность скрывать id устройства в списке устройств в мобильном приложении.
Эту уже есть. Мобильное приложение/Настройки/Дисплей/Показывать идентификатор

Erik
Сообщения: 356
Зарегистрирован: 23 окт 2018, 13:09

Re: Плагин Voice Control - Голосовое управление

Сообщение Erik » 07 сен 2019, 08:26

intrahouse писал(а):
07 сен 2019, 06:41
Все правильно. Система обрабатывает ключевые слова. Поэтому нет необходимости в фиксированном формате фразы.
Можно, например, говорить "включи свет на кухне" или "кухня включить свет". В результате свет на кухне будет включен.
Распознавание текстов реализовано несколько умнее, чем просто распознавание слов в фразе ;)
Подробнее по механизму распознавания текстовых команд читайте https://ih-systems.com/ru/product/plugin-voice-control/
Подробнее расскажите, пожалуйста.

Что должно быть в названиях устройств.
Лампа должна быть названа "лампа на кухне", или просто "лампа", а добавка "на кухне" во фразе определит ее местонахождение?

Должно быть в системе много устройств с одинаковым названием "лампа", и голосовой командой "включи лампу в ххх" будет выбираться нужная из них?

ПОэксперементировал. Круто. У меня в команды попало все, включая название объекта.
Включи свет в бане в комнате - работает. Включи свет в комнате - не работает, хотя больше пока другого "света в комнате" в систему не заведено.

Больше всего нравится своя фраза для сценария. Сделал мультисценарий toggle на все, что можно toggle. Сижу, развлекаюсь. А домашние надо мной хихикают.

amgstone
Сообщения: 65
Зарегистрирован: 29 янв 2019, 21:19

Re: Плагин Voice Control - Голосовое управление

Сообщение amgstone » 07 сен 2019, 09:19

В сценариях (расширениях) прописываю свою фразу и все работает, в списке каналов нету возможности в ручную прописать фразу.
В списке каналов перетаскиваю столбец фраза в начало, опять захожу и столбец появляется в предыдущем месте а не там где я его перетащил.

intrapro
Сообщения: 458
Зарегистрирован: 13 дек 2016, 09:14

Re: Плагин Voice Control - Голосовое управление

Сообщение intrapro » 07 сен 2019, 09:28

Erik писал(а):
07 сен 2019, 08:26
Подробнее расскажите, пожалуйста.

Что должно быть в названиях устройств.
Лампа должна быть названа "лампа на кухне", или просто "лампа", а добавка "на кухне" во фразе определит ее местонахождение?

Должно быть в системе много устройств с одинаковым названием "лампа", и голосовой командой "включи лампу в ххх" будет выбираться нужная из них?
Нет, в название устройства помещение включать не нужно.
Автоматическое формирование фраз работает так:

- Если название устройства уникально (например, у вас одна Люстра в проекте), то ключевым набором будет просто "включи люстру"
- Если название устройства не уникально (все названы "лампа"), то в ключевой набор добавляется помещение или уровень: "включи лампу в гостиной", "включи лампу на кухне"
- Если название устройства дублируется внутри помещения - например, несколько "ламп" в одной комнате, то такие команды плагин не формирует, показывает их в отладчике на старте плагина как дублирование команд с указанием, какие произошли наложения. Если не хочется фантазировать, можно их назвать "лампа 1","лампа 2",...и говорить "включи первую лампу на кухне", "включи вторую лампу на кухне"

Если есть одинаковые названия помещений на разных уровнях, то в набор включается и помещение, и уровень: "включи лампу в спальне на первом этаже"
Но всегда можно указывать полный "путь", хуже не будет :) .
Erik писал(а):
07 сен 2019, 08:26
ПОэксперементировал. Круто. У меня в команды попало все, включая название объекта.
Включи свет в бане в комнате - работает. Включи свет в комнате - не работает, хотя больше пока другого "света в комнате" в систему не заведено.
Слово "свет" сейчас зарезервирован для групповых команд "Включить/выключить освещение" в конкретном помещении или уровне:
включи свет на кухне — будет включен весь свет в помещении Кухня (устройства с типом Светильник, Диммер, RGB)
выключи свет в цоколе —будет выключен весь свет уровня Цоколь

Если у вас нет помещения с названием Комната, то "Включи свет в комнате" работать не будет. А баня видимо есть :)
Erik писал(а):
07 сен 2019, 08:26
Больше всего нравится своя фраза для сценария. Сделал мультисценарий toggle на все, что можно toggle. Сижу, развлекаюсь. А домашние надо мной хихикают.
Специально для наших креативных пользователей :) сейчас расширяем возможности настройки фраз.

Подход будет как в расписании - можно настроить свои фразы не только для сценариев, но и на включение устройств + групповые команды.
А для автоматического формирования можно будет выбрать только некоторые подсистемы (Свет, но не Безопасность, например)

Также планируется доработать мобильное, чтобы был виден диалог. Сейчас процедуру распознавания можно наблюдать в отладчике.

artem521
Сообщения: 139
Зарегистрирован: 18 ноя 2017, 08:39

Re: Плагин Voice Control - Голосовое управление

Сообщение artem521 » 07 сен 2019, 18:08

А подскажите пожалуйста, есть или будет возможность диммером управлять? Сегодня пробовал, непонимает :) А так ребята очень круто! Чувствуется сразу что система сделала большой рывок вперед;)

Erik
Сообщения: 356
Зарегистрирован: 23 окт 2018, 13:09

Re: Плагин Voice Control - Голосовое управление

Сообщение Erik » 08 сен 2019, 05:30

intrapro писал(а):
07 сен 2019, 09:28

Нет, в название устройства помещение включать не нужно.
Автоматическое формирование фраз работает так:

- Если название устройства уникально (например, у вас одна Люстра в проекте), то ключевым набором будет просто "включи люстру"
- Если название устройства не уникально (все названы "лампа"), то в ключевой набор добавляется помещение или уровень: "включи лампу в гостиной", "включи лампу на кухне"
- Если название устройства дублируется внутри помещения - например, несколько "ламп" в одной комнате, то такие команды плагин не формирует, показывает их в отладчике на старте плагина как дублирование команд с указанием, какие произошли наложения. Если не хочется фантазировать, можно их назвать "лампа 1","лампа 2",...и говорить "включи первую лампу на кухне", "включи вторую лампу на кухне"

Если есть одинаковые названия помещений на разных уровнях, то в набор включается и помещение, и уровень: "включи лампу в спальне на первом этаже"
Но всегда можно указывать полный "путь", хуже не будет :) .
У меня в 1 проекте 2 объекта - баня и дом.
Но в структуре проекта "объекты" не используются. Уровни и зоны не привязаны к объектам. Устройства тоже. Поэтому в название уровня приходится включать название объекта. Иначе путаница.
intrapro писал(а):
07 сен 2019, 09:28
Слово "свет" сейчас зарезервирован для групповых команд "Включить/выключить освещение" в конкретном помещении или уровне:
включи свет на кухне — будет включен весь свет в помещении Кухня (устройства с типом Светильник, Диммер, RGB)
выключи свет в цоколе —будет выключен весь свет уровня Цоколь

Если у вас нет помещения с названием Комната, то "Включи свет в комнате" работать не будет. А баня видимо есть :)
Пока не сработало таким образом. Есть и на кухне и в комнате верхний свет и по нескольку светильников, включить все одной "зарезервированной" командой не получилось.
Может быть потому, что устройства названы "верхний свет", "средний свет", и т.д. ?
intrapro писал(а):
07 сен 2019, 09:28
Специально для наших креативных пользователей :) сейчас расширяем возможности настройки фраз.

Подход будет как в расписании - можно настроить свои фразы не только для сценариев, но и на включение устройств + групповые команды.
А для автоматического формирования можно будет выбрать только некоторые подсистемы (Свет, но не Безопасность, например)

Также планируется доработать мобильное, чтобы был виден диалог. Сейчас процедуру распознавания можно наблюдать в отладчике.
В мобильном не очень комфортно пока. Наживаешь микрофон - запускается бесконечный процесс с громким пиканьем.
Получается, что нужно нажать микрофон, сказать команду, еще раз куда нибудь нажать, чтобы это прекратилось.

Для нажатия в интерфейсе на светильник нужно столько же действий. В чем преимущество?

amgstone
Сообщения: 65
Зарегистрирован: 29 янв 2019, 21:19

Re: Плагин Voice Control - Голосовое управление

Сообщение amgstone » 09 сен 2019, 07:26

еще заметил нюанс: когда в мобильном приложении нажимаем на микрофон, произносим фразу и разпознает действие то дальше она пилимкает и предлагает дальше говорить команды, даже если блокируеш телефон программа дальше пилимкает.

Alex_Jet
Сообщения: 649
Зарегистрирован: 21 дек 2016, 05:43

Re: Плагин Voice Control - Голосовое управление

Сообщение Alex_Jet » 09 сен 2019, 10:18

У меня ничего с приложением не получается. Говорю, а толку нет (не хватает обратной связи при неудаче)...в отладчике отображается только "undefined". При запуске плагина:

Код: Выделить всё

09.09 17:16:50.878 IH: Run /var/lib/intrahouse-c/plugins/voicecontrol/index.js voicecontrol
09.09 17:16:51.090 voicecontrol: Verbal Commander has started
09.09 17:16:51.096 voicecontrol: Received PARAMS {"gendevcmd":true,"gengroupcmd":true,"debug":"on","loglevel":"2","lang":"ru"}
09.09 17:16:51.099 voicecontrol: Загрузка сценариев: 0
09.09 17:16:51.116 voicecontrol: Формировать команды управления устройствами - Да 
09.09 17:16:51.117 voicecontrol: Формировать команды управления группами устройств - Да 
09.09 17:16:51.436 voicecontrol: Уникальные команды: 246
09.09 17:16:51.436 voicecontrol: Не уникальные (не включены в словарь): 14
09.09 17:16:51.441 voicecontrol: [ { scen: 'LAMP4_03.off',
    dn: 'LAMP4_03',
    keywords: 'выключ свет крыльц крыльц',
    devname: 'свет крыльц',
    reply: 'Парадная зона Крыльцо. Свет у крыльца выключен',
    dupscen: 'LAMP4_02.off' },
  { scen: 'LAMP4_03.on',
    dn: 'LAMP4_03',
    keywords: 'включ свет крыльц крыльц',
    devname: 'свет крыльц',
    reply: 'Парадная зона Крыльцо. Свет у крыльца включен',
    dupscen: 'LAMP4_02.on' },
  { scen: 'LAMP2_08.off',
    dn: 'LAMP2_08',
    keywords: 'выключ свет коридор ',
    devname: 'свет коридор',
    reply: '2 этаж Коридор. Свет в коридоре выключен',
    dupscen: 'ALL.off' },
  { scen: 'LAMP2_08.on',
    dn: 'LAMP2_08',
    keywords: 'включ свет коридор ',
    devname: 'свет коридор',
    reply: '2 этаж Коридор. Свет в коридоре включен',
    dupscen: 'ALL.on' },
  { scen: 'LAMP1_06.off',
    dn: 'LAMP1_06',
    keywords: 'выключ свет санузл ',
    devname: 'свет санузл',
    reply: '1 этаж Санузел. Свет в санузле выключен',
    dupscen: 'ALL.off' },
  { scen: 'LAMP1_06.on',
    dn: 'LAMP1_06',
    keywords: 'включ свет санузл ',
    devname: 'свет санузл',
    reply: '1 этаж Санузел. Свет в санузле включен',
    dupscen: 'ALL.on' },
  { scen: 'LAMP0_01.off',
    dn: 'LAMP0_01',
    keywords: 'выключ свет погреб ',
    devname: 'свет погреб',
    reply: 'Погреб Погреб. Свет в погребе выключен',
    dupscen: 'ALL.off' },
  { scen: 'LAMP0_01.on',
    dn: 'LAMP0_01',
    keywords: 'включ свет погреб ',
    devname: 'свет погреб',
    reply: 'Погреб Погреб. Свет в погребе включен',
    dupscen: 'ALL.on' },
  { scen: 'ALL.off',
    filter: { room: '25', type: '510,520,530' },
    keywords: 'выключ свет чердак',
    reply: 'Чердак Чердак. Свет выключен',
    dupscen: 'ALL.off' },
  { scen: 'ALL.on',
    filter: { room: '25', type: '510,520,530' },
    keywords: 'включ свет чердак',
    reply: 'Чердак Чердак. Свет включен',
    dupscen: 'ALL.on' },
  { scen: 'ALL.off',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'выключ свет погрб ',
    reply: 'Погреб Погреб. Свет выключен',
    dupscen: 'ALL.off' },
  { scen: 'ALL.on',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'включ свет погрб ',
    reply: 'Погреб Погреб. Свет включен',
    dupscen: 'ALL.on' },
  { scen: 'ALL.off',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'выключ свет погреб ',
    reply: 'Погреб Погреб. Свет выключен',
    dupscen: 'ALL.off' },
  { scen: 'ALL.on',
    filter: { room: '24', type: '510,520,530' },
    keywords: 'включ свет погреб ',
    reply: 'Погреб Погреб. Свет включен',
    dupscen: 'ALL.on' } ]
09.09 17:16:51.452 IH: Received channels: 184
PS: подключение через P2P.

Ответить