Radev, R. D. Introduction to the Special Issue on Summarization [Вступ до спеціального випуску, присвяченого реферуванню] / Dragomir R. Radev, Eduard Hovy, Kathleen McKeown // Computational linguistics. – 2002. – Vol. 28. – No. 4. – Pages 399–408. – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120102762671927
У статті подається короткий огляд сучасного стану мистецтва реферування, який описує загальні напрями досліджень, зокрема однодокументне реферування на основі екстракції, перші спроби однодокументного реферування шляхом укладання анотацій і різноманітні підходи до багатодокументного реферування.
У статті подається короткий огляд сучасного стану мистецтва реферування, який описує загальні напрями досліджень, зокрема однодокументне реферування на основі екстракції, перші спроби однодокументного реферування шляхом укладання анотацій і різноманітні підходи до багатодокументного реферування.
Переклад В. Коломієць
Teufel, S. Summarizing Scientific Articles: Experiments with Relevance and Rhetorical Status [Реферування наукових статей: експерименти з релевантністю і риторичним статусом] / Simone Teufel, Marc Moens // Computational linguistics. – 2002. – Vol. 28. – No. 4. – Pages 409–445. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120102762671936#.VREqUdyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120102762671936
У статті запропоновано метод реферування наукових статей на основі риторичного статусу речень у статті. Матеріал для рефератів відбирається таким чином, щоб реферати висвітлювали наукову новизну вихідної статті і визначали її значимість у контексті попередніх досліджень.
Для рефератів даного типу створено золотий стандарт, який складається з великого корпусу доповідей на конференціях з комп’ютерної лінгвістики, кожне речення яких вручну марковане висновками про його риторичний статус та релевантність. У статті описано декілька експериментів для визначення узгодженості висновків експертів стосовно цих маркувань.
У статті також представлено алгоритм, який на основі анотованого тренувального матеріалу відбирає контент з нових статей і класифікує його згідно заданого набору з семи риторичних категорій. Вихідні дані цієї системи пошуку і класифікації можуть розглядатися як самостійний реферат у вигляді єдиного документу або ж можуть використовуватися для генерації задачноорієнтованих, модифікованих відповідно вимог замовника рефератів для загального ознайомлення з науковою галуззю.
У статті запропоновано метод реферування наукових статей на основі риторичного статусу речень у статті. Матеріал для рефератів відбирається таким чином, щоб реферати висвітлювали наукову новизну вихідної статті і визначали її значимість у контексті попередніх досліджень.
Для рефератів даного типу створено золотий стандарт, який складається з великого корпусу доповідей на конференціях з комп’ютерної лінгвістики, кожне речення яких вручну марковане висновками про його риторичний статус та релевантність. У статті описано декілька експериментів для визначення узгодженості висновків експертів стосовно цих маркувань.
У статті також представлено алгоритм, який на основі анотованого тренувального матеріалу відбирає контент з нових статей і класифікує його згідно заданого набору з семи риторичних категорій. Вихідні дані цієї системи пошуку і класифікації можуть розглядатися як самостійний реферат у вигляді єдиного документу або ж можуть використовуватися для генерації задачноорієнтованих, модифікованих відповідно вимог замовника рефератів для загального ознайомлення з науковою галуззю.
Переклад І. Снєгурова, М. Погребної
Zechner, K. Automatic Summarization of Open-Domain Multiparty Dialogues in Diverse Genres [Автоматичне реферування багатосторонніх діалогів різних жанрів із відкритою тематикою] / Klaus Zechner // Computational linguistics. – 2002. – Vol. 28. – No. 4. – Pages 447–485. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120102762671945#.VRHomdyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120102762671945
Автоматичне реферування усних діалогів із відкритою тематикою є відносно новим напрямом досліджень. Стаття знайомить із цим завданням та труднощами його виконання, а також містить обґрунтування та опис системи автоматичної екстракції конспектів протоколів багатосторонніх діалогів чотирьох різних жанрів без жодних тематичних обмежень.
Розглядаються наступні питання, які є невід’ємною складовою реферування усних діалогів, але зазвичай можуть бути проігноровані при реферуванні письмового тексту, наприклад повідомлень інформаційних агентств: (1) виявлення та видалення мовленнєвих збоїв; (2) знаходження та позначення меж речень; і (3) виявлення та об’єднання діалогічних єдностей (пар питання-відповідь).
Оцінка системи здійснюється за допомогою корпусу з 23 уривків діалогів середньою тривалістю близько 10 хвилин, що складається з 80 тематичних сегментів і близько 47 000 слів. Маркування відповідних сегментів тексту здійснили вручну шість анотаторів. Глобальна оцінка свідчить, що для двох жанрів більш розмовного стилю наша система реферування з опорою на притаманні діалогам компоненти значно перевершує два вихідні показники: (1) алгоритм ранжування за максимальною граничною відповідністю за допомогою зважування термінів за алгоритмом TF*IDF, та (2) вихідний показник LEAD, який відбирає перші n слів із тексту.
Автоматичне реферування усних діалогів із відкритою тематикою є відносно новим напрямом досліджень. Стаття знайомить із цим завданням та труднощами його виконання, а також містить обґрунтування та опис системи автоматичної екстракції конспектів протоколів багатосторонніх діалогів чотирьох різних жанрів без жодних тематичних обмежень.
Розглядаються наступні питання, які є невід’ємною складовою реферування усних діалогів, але зазвичай можуть бути проігноровані при реферуванні письмового тексту, наприклад повідомлень інформаційних агентств: (1) виявлення та видалення мовленнєвих збоїв; (2) знаходження та позначення меж речень; і (3) виявлення та об’єднання діалогічних єдностей (пар питання-відповідь).
Оцінка системи здійснюється за допомогою корпусу з 23 уривків діалогів середньою тривалістю близько 10 хвилин, що складається з 80 тематичних сегментів і близько 47 000 слів. Маркування відповідних сегментів тексту здійснили вручну шість анотаторів. Глобальна оцінка свідчить, що для двох жанрів більш розмовного стилю наша система реферування з опорою на притаманні діалогам компоненти значно перевершує два вихідні показники: (1) алгоритм ранжування за максимальною граничною відповідністю за допомогою зважування термінів за алгоритмом TF*IDF, та (2) вихідний показник LEAD, який відбирає перші n слів із тексту.
Переклад Т. Павлущенкo
Silber, G. H. Efficiently Computed Lexical Chains as an Intermediate Representation for Automatic Text Summarization [Ефективно обчислені лексичні ланцюжки як проміжний етап автоматичного реферування тексту] / H. Gregory Silber, Kathleen F. McCoy // Computational linguistics. – 2002. – Vol. 28. – No. 4. – Pages 487–496. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120102762671954#.VRHqBNyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120102762671954
Не дивлячись не те, що автоматичне реферування тексту є галуззю, якій у сучасних дослідженнях приділяється багато уваги, питання про його ефективність піднімається рідко. Коли розглядається обсяг і кількість документів, доступних в Інтернеті та з інших джерел, стає очевидною потреба у високоефективному інструменті для створення прийнятних рефератів. У статті описано лінійний алгоритм для обчислення лексичних ланцюжків. На проміжному етапі автоматичного реферування тексту алгоритм розраховує, які лексичні ланцюжки є ймовірним кандидатом. Також представлено та реалізовано метод оцінювання лексичних ланцюжків на проміжному етапі процесу реферування. Така оцінка була досі неможливою через складність обчислень лексичних ланцюжків попередніми алгоритмами.
Не дивлячись не те, що автоматичне реферування тексту є галуззю, якій у сучасних дослідженнях приділяється багато уваги, питання про його ефективність піднімається рідко. Коли розглядається обсяг і кількість документів, доступних в Інтернеті та з інших джерел, стає очевидною потреба у високоефективному інструменті для створення прийнятних рефератів. У статті описано лінійний алгоритм для обчислення лексичних ланцюжків. На проміжному етапі автоматичного реферування тексту алгоритм розраховує, які лексичні ланцюжки є ймовірним кандидатом. Також представлено та реалізовано метод оцінювання лексичних ланцюжків на проміжному етапі процесу реферування. Така оцінка була досі неможливою через складність обчислень лексичних ланцюжків попередніми алгоритмами.
Переклад Т. Павлущенко
Saggion, H. Generating Indicative-Informative Summaries with SumUM [Створення індикативно-інформативних оглядів за допомогою системи SumUM] / Horacio Saggion, Guy Lapalme // Computational linguistics. – 2002. – Vol. 28. – No. 4. – Pages 497–526. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120102762671963#.VRHrI9yhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120102762671963
В статті описується й оцінюється система реферування текстів SumUM, яка використовує непідготовлений технічний текст в якості вхідних даних і створює індикативний інформативний реферат. У індикативній частині реферату визначаються теми документу, а інформативна частина містить розширену інформацію про ті теми, які цікавлять читача. Система SumUM обгрунтовує теми, описує елементи предметної області і визначає поняття. Вона є першим кроком до дослідження питань динамічного реферування, яке здійснюється шляхом поверхневого синтаксичного і семантичного аналізу, ідентифікації понять та переписування тексту. Запропонований метод було розробено за допомогою аналізу корпусу анотацій, створених спеціалістами з написання анотацій. Скориставшись судженнями експертів, ми оцінили індикативність, інформативність та прийнятність текстів автоматично створених рефератів. Отримані результати свідчать про хорошу ефективність системи в порівнянні з іншими технологіями реферування.
В статті описується й оцінюється система реферування текстів SumUM, яка використовує непідготовлений технічний текст в якості вхідних даних і створює індикативний інформативний реферат. У індикативній частині реферату визначаються теми документу, а інформативна частина містить розширену інформацію про ті теми, які цікавлять читача. Система SumUM обгрунтовує теми, описує елементи предметної області і визначає поняття. Вона є першим кроком до дослідження питань динамічного реферування, яке здійснюється шляхом поверхневого синтаксичного і семантичного аналізу, ідентифікації понять та переписування тексту. Запропонований метод було розробено за допомогою аналізу корпусу анотацій, створених спеціалістами з написання анотацій. Скориставшись судженнями експертів, ми оцінили індикативність, інформативність та прийнятність текстів автоматично створених рефератів. Отримані результати свідчать про хорошу ефективність системи в порівнянні з іншими технологіями реферування.
Переклад О. Мартинюк
Jing, H. Using Hidden Markov Modeling to Decompose Human-Written Summaries [Використання прихованої марківської моделі для розбиття речень рефератів, написаних людиною] / Hongyan Jing // Computational linguistics. – 2002. – Vol. 28. – No. 4. – Pages 527–543. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120102762671972#.VRHr4tyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120102762671972
Люди, які професійно займаються реферуванням, часто використовують вихідні документи для генерування рефератів. Мета розбиття речень реферату полягає в тому, щоб встановити, чи було використано первинний текст при побудові речення реферату та визначити використані словосполучення. Точніше, програма, що виконує розбиття речень, має відповісти на три питання стосовно певного речення реферату: 1) Чи використано текст вихідного документу при побудові цього речення реферату? 2) Якщо так, то які словосполучення у складі цього речення запозичені з вихідного документу? і 3) В якій частині вихідного документу вжито ці словосполучення? Вирішення проблеми розбиття речень сприятиме появі кращих способів генерування рефератів. Також, завдяки розбиттю речень можна створити великі корпуси для тренування і тестування систем реферування на основі екстракції. Для розбиття речень ми використовуємо приховану марківську модель. Оцінка запропонованого алгоритму свідчить про його ефективність.
Люди, які професійно займаються реферуванням, часто використовують вихідні документи для генерування рефератів. Мета розбиття речень реферату полягає в тому, щоб встановити, чи було використано первинний текст при побудові речення реферату та визначити використані словосполучення. Точніше, програма, що виконує розбиття речень, має відповісти на три питання стосовно певного речення реферату: 1) Чи використано текст вихідного документу при побудові цього речення реферату? 2) Якщо так, то які словосполучення у складі цього речення запозичені з вихідного документу? і 3) В якій частині вихідного документу вжито ці словосполучення? Вирішення проблеми розбиття речень сприятиме появі кращих способів генерування рефератів. Також, завдяки розбиттю речень можна створити великі корпуси для тренування і тестування систем реферування на основі екстракції. Для розбиття речень ми використовуємо приховану марківську модель. Оцінка запропонованого алгоритму свідчить про його ефективність.
Переклад І. Снєгурова
Barzilay, R. Sentence Fusion for Multidocument News Summarization [Злиття речень у процесі реферування декількох новинних повідомлень] / Regina Barzilay, Kathleen R. McKeown // Computational linguistics. – 2005. – Vol. 31. – No. 3. – Pages 297–328. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120105774321091#.VRHsxNyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120105774321091
Система, яка здатна створювати інформативні реферати, висвітлюючи інформацію, яка повторюється у великій кількості документів у Всесвітній Мережі, допоможе користувачам Всесвітньої Мережі швидко знаходити потрібну їм інформацію. У цій статті ми представляємо новітній метод генерування “текст-до-тексту” для синтезу загальної інформації, спільної для ряду документів. Злиття речень передбачає висхідне часткове паралельне вирівнювання для визначення словосполучень, які передають одну й ту саму інформацію, та статистичне генерування для об’єднання повторюваних словосполучень у речення. Завдяки методу злиття речень у галузі реферування здійснено перехід від використання виключно методів екстракції до генерування анотацій, що містять речення, яких немає в жодному з вихідних документів. Метод також дозволяє синтезувати інформацію з різних джерел.
Система, яка здатна створювати інформативні реферати, висвітлюючи інформацію, яка повторюється у великій кількості документів у Всесвітній Мережі, допоможе користувачам Всесвітньої Мережі швидко знаходити потрібну їм інформацію. У цій статті ми представляємо новітній метод генерування “текст-до-тексту” для синтезу загальної інформації, спільної для ряду документів. Злиття речень передбачає висхідне часткове паралельне вирівнювання для визначення словосполучень, які передають одну й ту саму інформацію, та статистичне генерування для об’єднання повторюваних словосполучень у речення. Завдяки методу злиття речень у галузі реферування здійснено перехід від використання виключно методів екстракції до генерування анотацій, що містять речення, яких немає в жодному з вихідних документів. Метод також дозволяє синтезувати інформацію з різних джерел.
Переклад І. Снєгурова
Daumé, H. III. Induction of Word and Phrase Alignments for Automatic Document Summarization [Використання вирівнювання слів і речень у автоматичному реферуванні документів] / Hal Daumé III, Daniel Marcu // Computational linguistics. – 2005. – Vol. 31. – No. 4. – Pages 505–530. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/089120105775299140#.VRHuRdyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/089120105775299140
У сучасних дослідженнях автоматичного реферування окремого документа домінують два ефективні, але прості методи: реферування на основі екстракції речень і генерація заголовка на основі моделі «мішка слів». Хоча ці моделі дозволяють успішно вирішувати деякі завдання, жодна з них не здатна адекватно відтворити великий набір лінгвістичних засобів, які використовують при реферуванні люди. Однією з можливих причин широкого використання цих моделей є наявність ефективних методів екстракції підходящої інформації для їх тренування із існуючих корпусів документів/анотацій та документів/заголовків. Ми уважаємо, що подальший прогрес в автоматичному реферуванні буде пов’язаний як із створенням складніших, лінгвістично налаштованих моделей, так і з ефективнішим використанням корпусів документів/анотацій. Для одночасного досягнення обох цілей ми розробили методи автоматичного створення пар слів та фраз із документів та їх анотацій, написаних людиною. Ці пари виявляють відповідності, які існують між такими парами документів і анотацій, і створюють потенційно багату базу даних, яку можна використовувати для тренування складних алгоритмів реферування. У статті описано експерименти, які ми провели, щоб проаналізувати здатність людей робити таке вирівнювання. На основі результатів здійсненого аналізу ми описуємо експерименти для створення системи автоматичного вирівнювання. Наша модель вирівнювання базується на розширенні класичної прихованої моделі Маркова і вчиться створювати вирівнювання без учителя. Ми детально описуємо нашу модель та повідомляємо результати експериментів, які свідчать, що наша модель здатна навчитися надійно ідентифікувати вирівнювання на рівні слова та фрази у корпусі пар «документ, анотація».
У сучасних дослідженнях автоматичного реферування окремого документа домінують два ефективні, але прості методи: реферування на основі екстракції речень і генерація заголовка на основі моделі «мішка слів». Хоча ці моделі дозволяють успішно вирішувати деякі завдання, жодна з них не здатна адекватно відтворити великий набір лінгвістичних засобів, які використовують при реферуванні люди. Однією з можливих причин широкого використання цих моделей є наявність ефективних методів екстракції підходящої інформації для їх тренування із існуючих корпусів документів/анотацій та документів/заголовків. Ми уважаємо, що подальший прогрес в автоматичному реферуванні буде пов’язаний як із створенням складніших, лінгвістично налаштованих моделей, так і з ефективнішим використанням корпусів документів/анотацій. Для одночасного досягнення обох цілей ми розробили методи автоматичного створення пар слів та фраз із документів та їх анотацій, написаних людиною. Ці пари виявляють відповідності, які існують між такими парами документів і анотацій, і створюють потенційно багату базу даних, яку можна використовувати для тренування складних алгоритмів реферування. У статті описано експерименти, які ми провели, щоб проаналізувати здатність людей робити таке вирівнювання. На основі результатів здійсненого аналізу ми описуємо експерименти для створення системи автоматичного вирівнювання. Наша модель вирівнювання базується на розширенні класичної прихованої моделі Маркова і вчиться створювати вирівнювання без учителя. Ми детально описуємо нашу модель та повідомляємо результати експериментів, які свідчать, що наша модель здатна навчитися надійно ідентифікувати вирівнювання на рівні слова та фрази у корпусі пар «документ, анотація».
Переклад Д. Попової
Kazantseva, A. Summarizing Short Stories [Реферування новел] / Anna Kazantseva, Stan Szpakowicz // Computational linguistics. – 2010. – Vol. 36. – No. 1. – Pages 71–109. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/coli.2010.36.1.36102#.VRHvttyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/coli.2010.36.1.36102
У статті представлено метод автоматичної генерації рефератів-екстрактів новел. Реферування здійснюється з конкретною метою: допомогти читачеві вирішити, чи хоче він прочитати всю новелу. З цією метою реферати дають читачеві необхідне уявлення про час і місце дії, не розкриваючи сюжету новели. У системі використувуються різні поверхневі показники предикативних одиниць у новелі, найважливішими з яких є ті, що пов’язані з аспектуальними характеристиками предикативних структур і з головними дійовими особами у новелі. Реферати були оцінені п'ятнадцятьма експертами за допомогою низки зовнішніх та внутрішніх показників. Результати оцінювання дають підстави уважати, що отримані реферати відповідають поставленій меті.
У статті представлено метод автоматичної генерації рефератів-екстрактів новел. Реферування здійснюється з конкретною метою: допомогти читачеві вирішити, чи хоче він прочитати всю новелу. З цією метою реферати дають читачеві необхідне уявлення про час і місце дії, не розкриваючи сюжету новели. У системі використувуються різні поверхневі показники предикативних одиниць у новелі, найважливішими з яких є ті, що пов’язані з аспектуальними характеристиками предикативних структур і з головними дійовими особами у новелі. Реферати були оцінені п'ятнадцятьма експертами за допомогою низки зовнішніх та внутрішніх показників. Результати оцінювання дають підстави уважати, що отримані реферати відповідають поставленій меті.
Переклад Д. Попової
Clarke, J. Discourse Constraints for Document Compression [Дискурсна модель компресії тексту] / James Clarke, Mirella Lapata // Computational linguistics. – 2010. – Vol. 36. – No. 3. – Pages 411–441. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/coli_a_00004#.WITBzn3sSGA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/coli_a_00004
Компресія речень відкриває перспективи для багатьох прикладних програм: від автоматичного реферування до генерації підзаголовків. Вона звичайно виконується для ізольованих речень без урахування контексту, незважаючи на те, що більшість прикладних програм обробляють увесь текст. У статті представлено дискурсну модель, яка може створювати зв’язні і інформативні анотації текстів. Модель спирається на теорії локальної когерентності і формулюється в рамках цілочислового лінійного програмування. Експериментальні результати свідчать, що вона значно перевершує сучасний підхід, який не бере дискурс до уваги.
Компресія речень відкриває перспективи для багатьох прикладних програм: від автоматичного реферування до генерації підзаголовків. Вона звичайно виконується для ізольованих речень без урахування контексту, незважаючи на те, що більшість прикладних програм обробляють увесь текст. У статті представлено дискурсну модель, яка може створювати зв’язні і інформативні анотації текстів. Модель спирається на теорії локальної когерентності і формулюється в рамках цілочислового лінійного програмування. Експериментальні результати свідчать, що вона значно перевершує сучасний підхід, який не бере дискурс до уваги.
Переклад В. Коломієць
Conroy, J. M. Nouveau-ROUGE: A Novelty Metric for Update Summarization [Nouveau-ROUGE: нова метрика для генерації дайджесту оновлень] / John M. Conroy, Judith D. Schlesinger, Dianne P. O'Leary // Computational linguistics. – 2011. – Vol. 37. – No. 1. – Pages 1–8. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/coli_a_00033#.VRHwmdyhGCA – Режим доступу до повнотекстової статті: http://www.mitpressjournals.org/doi/pdf/10.1162/coli_a_00033
Якщо читач уже переглянув попередні документи чи реферати, дайджест оновлень повинен містити стислий виклад нової інформації на тему, яка обговорюється протягом тривалого часу. У 2007 та 2008 роках щорічні змагання систем автоматичного реферування передбачали генерацію дайджесту оновлень. Оцінка за допомогою критерія ROUGE показала, що декілька систем-учасників генерували дайджести оновлень, які неможливо відрізнити від дайджестів, створених вручну. Проте жодна автоматична система не змогла зрівнятися з людиною у ручних оцінках, таких як пірамідальний показник та коефіцієнт загальної сили відгуку.
Ми представляємо метрику Nouveau-ROUGE, яка краще співвідноситься з показниками ручної оцінки і може бути використана для визначення як пірамідального показника, так і коефіцієнта загальної сили відгуку для дайджестів оновлень. Nouveau-ROUGE може стати дешевшою заміною ручних оцінок при порівнянні існуючих систем і розробці нових.
Якщо читач уже переглянув попередні документи чи реферати, дайджест оновлень повинен містити стислий виклад нової інформації на тему, яка обговорюється протягом тривалого часу. У 2007 та 2008 роках щорічні змагання систем автоматичного реферування передбачали генерацію дайджесту оновлень. Оцінка за допомогою критерія ROUGE показала, що декілька систем-учасників генерували дайджести оновлень, які неможливо відрізнити від дайджестів, створених вручну. Проте жодна автоматична система не змогла зрівнятися з людиною у ручних оцінках, таких як пірамідальний показник та коефіцієнт загальної сили відгуку.
Ми представляємо метрику Nouveau-ROUGE, яка краще співвідноситься з показниками ручної оцінки і може бути використана для визначення як пірамідального показника, так і коефіцієнта загальної сили відгуку для дайджестів оновлень. Nouveau-ROUGE може стати дешевшою заміною ручних оцінок при порівнянні існуючих систем і розробці нових.
Переклад В. Туз, М. Погребної
Louis, A. Automatically Assessing Machine Summary Content Without a Gold Standard [Автоматична оцінка змісту автоматично сформованих рефератів без золотого стандарту] / Annie Louis, Ani Nenkova // Computational linguistics. – 2013. – Vol. 39. – No. 2. – Pages 267–300. – Режим доступу до анотації: http://www.mitpressjournals.org/doi/abs/10.1162/COLI_a_00123#.WH3wp33sSGA – Режим доступу до повнотекстової статті:
http://www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00123
Найпопулярніші методи оцінки змісту рефератів використовують процедуру порівняння реферату з золотим стандартом (рефератами, створеними експертами), який традиційно називають еталонними рефератами. Така модель оцінювання не може бути застосована при відсутності еталонних рефератів і дає менш точні результати при наявності лише одного еталонного реферату. У статті запропоновано три нових методи оцінки. Два з них не використовують моделей і не потребують золотого стандарту для оцінювання. Третій метод удосконалює стандартні автоматичні оцінки шляхом додавання до набору наявних еталонних рефератів відібрані автоматично сформовані реферати.
У статті показано, що квантифікація схожості вихідного тексту і його реферату за допомогою правильно підібраних оцінок дозволяє отримати оцінку реферата в балах, яка точно відтворює експертну оцінку. Також досліджено шляхи підвищення якості оцінювання при наявності лише одного створеного експертом зразкового реферата, який використовується як золотий стандарт. Описано псевдомоделі, які є автоматично створеними рефератами, що отримали високі оцінки за зміст при автоматичному оцінюванні. Комбінування псевдомоделей із єдиним створеним експертом зразком для створення золотого стандарту дозволяє підвищити кореляцію з експертними оцінками у порівнянні з використанням лише однієї наявної моделі. Нарешті, досліджено пригодність ще однієї оцінки – схожості між автоматично створеним рефератом і фондом усіх інших автоматично створених рефератів на однакову тематику. Такий метод порівняння із консенсусом систем дає вражаюче точні оцінки автоматичних рефератів, досягаючи кореляції з експертними оцінками понад 0,9.
http://www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00123
Найпопулярніші методи оцінки змісту рефератів використовують процедуру порівняння реферату з золотим стандартом (рефератами, створеними експертами), який традиційно називають еталонними рефератами. Така модель оцінювання не може бути застосована при відсутності еталонних рефератів і дає менш точні результати при наявності лише одного еталонного реферату. У статті запропоновано три нових методи оцінки. Два з них не використовують моделей і не потребують золотого стандарту для оцінювання. Третій метод удосконалює стандартні автоматичні оцінки шляхом додавання до набору наявних еталонних рефератів відібрані автоматично сформовані реферати.
У статті показано, що квантифікація схожості вихідного тексту і його реферату за допомогою правильно підібраних оцінок дозволяє отримати оцінку реферата в балах, яка точно відтворює експертну оцінку. Також досліджено шляхи підвищення якості оцінювання при наявності лише одного створеного експертом зразкового реферата, який використовується як золотий стандарт. Описано псевдомоделі, які є автоматично створеними рефератами, що отримали високі оцінки за зміст при автоматичному оцінюванні. Комбінування псевдомоделей із єдиним створеним експертом зразком для створення золотого стандарту дозволяє підвищити кореляцію з експертними оцінками у порівнянні з використанням лише однієї наявної моделі. Нарешті, досліджено пригодність ще однієї оцінки – схожості між автоматично створеним рефератом і фондом усіх інших автоматично створених рефератів на однакову тематику. Такий метод порівняння із консенсусом систем дає вражаюче точні оцінки автоматичних рефератів, досягаючи кореляції з експертними оцінками понад 0,9.
Переклад В. Коломієць