Стадії аналізу мови

Конкретна структура програм розуміння природної мови варіюється залежно від ідеології, що використовується, та цілей прикладання. Проблема розуміння мови може виникати при реалізації інтерфейсу з базою даних, системи автоматичного перекладу, програми інтерактивного навчання та ін. У всіх цих системах вихідне речення необхідно привести до внутрішнього представлення, що відбиває його значення. Основні стадії розв’язання задачі розуміння природної мови показані на рис. 1.

Перша стадія – це семантична інтерпретація (parsing), тобто аналіз синтаксичної структури. У процесі синтаксичного розбору перевіряється, чи коректно сформоване речення, та визначається його лінгвістична структура. За рахунок ідентифікації таких основних лінгвістичних відношень, як підмет-присудок, присудок-доповнення, у процесі синтаксичного розбору будується базис для семантичної інтерпретації. Результати аналізу найчастіше представляються у вигляді дерева розбору (parse tree). У синтаксичному аналізаторі використовуються знання синтаксису мови, морфології та, частково, семантики.

Друга стадія – це семантична інтерпретація (semantic interpretation), в результаті якої формується представлення змісту тексту. На рис. 1 цей процес показаний у вигляді концептуального графа. До інших найбільш часто використовуваних представлень відносяться концептуальні залежності, фрейми та логічні представлення. У процесі семантичної інтерпретації використовуються знання про значення слів та лінгвістичну структуру, у тому числі синоніми іменників або дієслів. На рис. 1 показано, що в програмі використовується знання значення слова kiss (цілувати) для додавання в якості використовуваного за умовчуванням інструмента значення lips (губи). На цій стадії також виконується перевірка семантичної погодженості. Наприклад, визначення дієслова kiss може включати обмеження, пов'язані з тим, що людина може цілувати тільки людину, тобто Тарзан цілує Джейн і (звичайно) не цілує мавпу Читу.

На третій стадії структури з бази знань додаються до внутрішнього представлення речення для формування розширеного представлення значення речення. Для повного розуміння речення потрібні знання про реальний світ, у тому числі знання того факту, що Тарзан любить Джейн, Джейн і Тарзан живуть у джунглях і мавпа Чита – це друг Тарзана. Ця остаточна структура представляє значення тексту та використовується системою для подальшої його обробки.

Наприклад, в інтерфейсі з базою даних ця розширена структура використовується для формування представлення запиту з урахуванням організації бази даних. Потім цей запит може бути перетворений у відповідний запит мовою управління базами даних. У навчальних програмах ця розширена структура може представляти вміст матеріалу та використовуватися для відповідей на питання по заданій темі.

Ці стадії присутні у всіх системах, хоча можуть бути по-різному реалізовані у вигляді програмних модулів. Наприклад, у багатьох програмах дерево розбору не будується в явному виді. Замість цього прямо генерується внутрішнє семантичне представлення. Проте воно неявно бере участь у розборі речення. Інкрементальний синтаксичний розбір (incremental parsing) – це типовий прийом, у рамках якого фрагмент внутрішнього представлення формується при розборі кожної істотної частини речення. Об'єднання таких фрагментів становить повну структуру речення, що найчастіше використовується для усунення двозначностей і загального управління діями синтаксичного аналізатора.

Рисунок 10.3 – Стадії створення внутрішнього представлення речення