Bangalore, S. Robust Understanding in Multimodal Interfaces [Робастне розуміння у мультимодальних інтерфейсах] / Srinivas Bangalore, Michael Johnston // Computational linguistics. – 2009. – Vol. 35. – No. 3. – Pages 345–397. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/coli.08-022-R2-06-26#.WIKJm33sSGA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/coli.08-022-R2-06-26
Мультимодальні граматики є ефективним механізмом для швидкої інтеграції і з’ясування можливостей інтерактивних систем, які підтримують одночасне використання методів багатоканального входу. Проте, як і інші підходи на основі створених вручну граматик, мультимодальні граматики можуть не впоратися з неочікуваним, неправильним або непослідовним введенням. У статті показано, як можна застосувати мультимодальну обробку мови за допомогою методу кінцевих станів для підтримки мультимодальних додатків, які об’єднують усне мовлення зi складним письмовим уведенням у вільній формі. Вказаний підхід оцінено за допомогою мультимодальної діалогової системи (MATCH). Досліджено декілька різних прийомів підвищення робастності мультимодальної інтеграції і розуміння, які включають прийоми створення ефективних мовних моделей для розпізнавання мови в умовах нестачі або відсутності мультимодальних тренувальних даних і прийоми робастного мультимодального розуміння на основі методів класифікації, машинного перекладу і редагування послідовностей. Також досліджено використання методів на основі редагування для подолання розбіжностей між потоком жестів і потоком мовлення.
Мультимодальні граматики є ефективним механізмом для швидкої інтеграції і з’ясування можливостей інтерактивних систем, які підтримують одночасне використання методів багатоканального входу. Проте, як і інші підходи на основі створених вручну граматик, мультимодальні граматики можуть не впоратися з неочікуваним, неправильним або непослідовним введенням. У статті показано, як можна застосувати мультимодальну обробку мови за допомогою методу кінцевих станів для підтримки мультимодальних додатків, які об’єднують усне мовлення зi складним письмовим уведенням у вільній формі. Вказаний підхід оцінено за допомогою мультимодальної діалогової системи (MATCH). Досліджено декілька різних прийомів підвищення робастності мультимодальної інтеграції і розуміння, які включають прийоми створення ефективних мовних моделей для розпізнавання мови в умовах нестачі або відсутності мультимодальних тренувальних даних і прийоми робастного мультимодального розуміння на основі методів класифікації, машинного перекладу і редагування послідовностей. Також досліджено використання методів на основі редагування для подолання розбіжностей між потоком жестів і потоком мовлення.
Переклад В. Коломієць
Demir, S. Summarizing Information Graphics Textually [Реферування інформаційної графіки у вигляді тексту] / Seniz Demir, Sandra Carberry, Kathleen F. McCoy // Computational linguistics. – 2012. – Vol. 38. – No. 3. – Pages 527–574. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/COLI_a_00091#.WITFO33sSGA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00091
Інформаційна графіка (наприклад гістограми і діаграми) грає важливу роль у багатьох багатомодальних документах. Інформаційна графіка, яка з’являється у загальнодоступних засобах масової інформації, використовується здебільшого для передачі повідомлення, і дизайнер графіки використовує ретельно відібрані комунікативні сигнали, такі як виділення кольором певних аспектів графіки, щоб виділити це повідомлення. Графіка, комунікативна мета (заплановане повідомлення) якої часто не згадується у супроводжуючому документ тексті, сприяє досягненню загальної мети документа і не може ігноруватися. У статті описано наш метод передачі основного змісту ненаукової інформаційної графіки у вигляді коротких текстових рефератів, які містять заплановане повідомлення і важливі характеристики графіки. У статті зібрано ідеї, запозичені з емпіричних досліджень, щоб визначити, що повинні включати такі реферати нетекстових вихідних даних і як можна видобути із візуального зображення і текстових компонентів графіки інформацію, потрібну для реалізації відібраного змісту. У статті також описано новий висхідний метод генерації для одночасного створення дискурсу і синтаксичних структур тестових рефератів шляхом використання різних характеристик дискурсу, таких як синтаксична складність створених речень і підпорядковані конструкції. Ефективність проведеного дослідження була підтверджена різними оціночними дослідженнями.
Інформаційна графіка (наприклад гістограми і діаграми) грає важливу роль у багатьох багатомодальних документах. Інформаційна графіка, яка з’являється у загальнодоступних засобах масової інформації, використовується здебільшого для передачі повідомлення, і дизайнер графіки використовує ретельно відібрані комунікативні сигнали, такі як виділення кольором певних аспектів графіки, щоб виділити це повідомлення. Графіка, комунікативна мета (заплановане повідомлення) якої часто не згадується у супроводжуючому документ тексті, сприяє досягненню загальної мети документа і не може ігноруватися. У статті описано наш метод передачі основного змісту ненаукової інформаційної графіки у вигляді коротких текстових рефератів, які містять заплановане повідомлення і важливі характеристики графіки. У статті зібрано ідеї, запозичені з емпіричних досліджень, щоб визначити, що повинні включати такі реферати нетекстових вихідних даних і як можна видобути із візуального зображення і текстових компонентів графіки інформацію, потрібну для реалізації відібраного змісту. У статті також описано новий висхідний метод генерації для одночасного створення дискурсу і синтаксичних структур тестових рефератів шляхом використання різних характеристик дискурсу, таких як синтаксична складність створених речень і підпорядковані конструкції. Ефективність проведеного дослідження була підтверджена різними оціночними дослідженнями.
Переклад В. Коломієць