Введение

В этой статье описываются три подхода к разбору предложений по тексту; три подхода показаны в качестве средства описания плюсов и минусов для выполнения этой задачи с использованием каждого другого подхода. Демонстрационное приложение также описывает подход к генерации количества предложений, количества слов и статистики количества символов в тексте.

Рисунок 1. Тестовое приложение работает.

Три подхода к разбору предложений из основной части текста включают в себя:

• Разбор Разумный: подход, основанный на разделении текста с использованием типичных окончаний предложения, где прекращение предложения сохраняется.
• Parse Best: подход, основанный на использовании разделения текста, основанный на использовании регулярного выражения и сохранении окончания предложения, и
• Parse Without Endings: подход к разбиению текста с использованием обычно завершений предложения, где прекращения не сохраняются как часть предложения.

Демонстрационное приложение содержит текст по умолчанию в текстовом поле , элемент управления ; три кнопки, используемые для синтаксического анализа текста с использованием одного из трех упомянутых подходов, и три элемента управления метками, используемые для отображения сводной статистики, сгенерированной в основной части текста. После запуска приложения нажатие любой из трех кнопок приведет к отображению каждого из проанализированных предложений в элементе управления listbox в нижней части формы и к отображению сводной статистики с использованием трех метки в верхней правой части формы.

Начало работы

Чтобы начать работу, разархивируйте включенный проект и откройте решение в среде Visual Studio 2008. В обозревателе решений вы должны отметить эти файлы (рисунок 2):

Рисунок 2. Обозреватель решений.

Как видно из рисунка 2, существует один проект WinForms, содержащий одну форму. Весь код, необходимый для этого приложения, включен в код этой формы.

Основная форма (Form1.vb)

Основная форма заявки, Form1 , содержит весь необходимый код.Форма содержит текст по умолчанию в текстовом поле , элемент управления ; три кнопки используются для выполнения каждой из трех функций, используемых для синтаксического анализа текста в совокупности строк; по одному в предложении. Вы можете заменить, удалить или добавить к тексту, содержащемуся в элементе управления «Текстовое поле », пункт , чтобы запустить методы для своего собственного текста. Три элемента управления метками используются для отображения сводной статистики (количество предложений, слов и символов) в тексте, содержащемся в элементе управления текстовое поле .Эта сводная статистика обновляется каждый раз, когда текст разбивается на предложения.

Если вы захотите открыть представление кода в IDE, вы увидите, что файл кода начинается со следующей библиотеки , импортирует :

 Система импорта
Imports System.Collections
Импортирует System.ComponentModel
Импортирует System.Data
Импортирует System.Drawing
Импортирует System.Text
Импортирует System.Windows.Forms
Импортирует System.Text.RegularExpressions 

Обратите внимание, что значения по умолчанию были изменены и теперь включают ссылку на библиотеку регулярных выражений.

После импорта и класс и конструктор определены:

 Public Class Form1

    Public Sub New ()

        
        InitializeComponent ()

        

    End Sub 

Следующий регион — «Лучший анализатор предложений»; эта область содержит функцию под названием SplitSentences , которая принимает строку в качестве аргумента. Этот метод имеет тенденцию давать лучшие результаты с точки зрения разбора предложений, но может выдавать неточные значения, если текст содержит ошибки.Регион также содержит обработчик события нажатия кнопки, используемый для вызова функции SplitSentences .

Код аннотирован, и чтение заметок объяснит, что происходит внутри функции.

 # Регион "Лучший Парсер Приговора"
 
                                            Закрытая функция SplitSentences (ByVal sSourceText As String) как ArrayList

        
        
        Dim sTemp As String = sSourceText

        
        
        Dim Al As New ArrayList ()

        
        Dim RegexSentenceParse As String () = _
            Regex.Split (sTemp, "(? <= ['" "A-Za-z0-9] [\. \! \?]) \ S + (? = [A-Z])")

        
        Dim i As Integer = 0
        Для я = 0 до RegexSentenceParse.Length - 1
            
            
            Dim sSingleSentence As String = _
            RegexSentenceParse (i) .Replace (Environment.NewLine, String.Empty)
            al.Add (sSingleSentence.Trim ())
        следующий

        
        
        lblCharCount.Text = "Количество символов:" & _
        GenerateCharacterCount (STEMP) .ToString ()

        
        lblSentenceCount.Text = "Количество предложений:" & _
        GenerateSentenceCount (RegexSentenceParse) .ToString ()

        
        lblWordCount.Text = "Количество слов:" & _
        GenerateWordCount (аль) .ToString ()

        
        
        Вернуть все

    Конечная функция

                                    Private Sub btnParseNoEnding_Click (отправитель ByVal как System.Object, ByVal e
    As System.EventArgs) Обрабатывает btnParseNoEnding.Click.

        lstSentences.Items.Clear ()

        Dim Al As New ArrayList ()
        al = SplitSentences (txtParagraphs.Текст)
        Дим я как целое
        Для i = 0 Для al.Count - 1
            
            lstSentences.Items.Add (ал (я) .ToString ())
        следующий
    End Sub

# Конечная область 

Далее следует регион под названием «Разумный анализатор предложений»; эта область содержит функцию под названием ReasonableParser , которая принимает строку в качестве аргумента. Этот метод имеет тенденцию давать справедливые результаты с точки зрения разбора предложений, но не применяет надлежащие окончания предложений, если входная строка содержит повторяющееся предложение с различными окончаниями.Эта проблема может быть решена путем использования рекурсивной функции для продолжения перемещения по каждому экземпляру повторяющегося предложения, однако использование метода, указанного в предыдущей области кода, требует меньше усилий. Регион также содержит обработчик события нажатия кнопки, используемый для вызова функции ReasonableParser .

Код аннотирован, и чтение заметок объяснит, что происходит внутри функции.

 # Регион "Разумный Парсер Приговора"
 
                                        Закрытая функция ReasonableParser (ByVal sTextToParse As String) как
    ArrayList

        Dim Al As New ArrayList ()

        
        Dim sTemp As String = sTextToParse
        sTemp = sTemp.Заменить (Environment.NewLine, "")

        
        Dim arrSplitChars As Char () = {".", "?", "!"}
        приговор

        
        Dim splitSentences As String () = sTemp.Split (arrSplitChars,
        StringSplitOptions.RemoveEmptyEntries)

        
        Дим я как целое
        Для i = 0 Для splitSentences.Length - 1

            
            
            Dim pos As Integer = sTemp.IndexOf (splitSentences (i) .ToString ())
            Dim arrChars As Char () = sTemp.Trim (). ToCharArray ()
            Dim c As Char = arrChars (pos + splitSentences (i).Длина)

            
            
            
            
            
            
            

            
            al.Add (splitSentences (i) .ToString (). Trim () & c.ToString ())
        следующий

        
        lblCharCount.Text = "Количество символов:" & _
        GenerateCharacterCount (STEMP) .ToString ()

        lblSentenceCount.Text = "Количество предложений:" & _
        GenerateSentenceCount (splitSentences) .ToString ()

        lblWordCount.Text = "Количество слов:" & _
        GenerateWordCount (аль).Нанизывать()

        Вернуть все

    Конечная функция

                                Private Sub btnParseReasonable_Click (отправитель ByVal как System.Object, ByVal
    e как System.EventArgs) Обрабатывает btnParseReasonable.Click.

        lstSentences.Items.Clear ()

        Dim al = ReasonableParser (txtParagraphs.Text)
        Дим я как целое
        Для i = 0 Для al.Count - 1
            lstSentences.Items.Add (ал (я) .ToString ())
        следующий

    End Sub

# Конечная область 

Далее следует регион под названием «Разбор без прекращения наказания»; эта область содержит функцию под названием IDontCareHowItEndsParser , которая принимает строку в качестве аргумента.Этот метод имеет тенденцию давать хорошие результаты с точки зрения разбора предложений, но не добавляет завершение к анализируемым предложениям; Это хороший подход, если вам все равно, какое завершение используется в конце предложения. Регион также содержит обработчик события нажатия кнопки, используемый для вызова функции IDontCareHowItEndsParser .

Код аннотирован, и чтение заметок объяснит, что происходит внутри функции.

 # Регион "Разбор без прекращения наказания"
 
    
    
    
    
    
    
    
    
    

    Закрытая функция IDontCareHowItEndsParser (ByVal sTextToParse As String)
    Как ArrayList

        Dim sTemp As String = sTextToParse
        sTemp = sTemp.Заменить (Environment.NewLine, "")

        
        Dim arrSplitChars As Char () = {".", "?", "!"}
        приговор

        
        Dim splitSentences As String () = sTemp.Split (arrSplitChars,
        StringSplitOptions.RemoveEmptyEntries)

        Dim Al As New ArrayList ()
        Дим я как целое
        Для i = 0 Для splitSentences.Length - 1
            splitSentences (i) = splitSentences (i) .ToString (). Trim ()
            al.Add (splitSentences (я) .ToString ())
        следующий

        
        lblCharCount.Text = "Количество символов:" +
        GenerateCharacterCount (STEMP) .ToString ()
        
        lblSentenceCount.Text = "Количество предложений:" +
        GenerateSentenceCount (splitSentences) .ToString ()
        
        lblWordCount.Text = "Количество слов:" + GenerateWordCount (al) .ToString ()

        Вернуть все

    Конечная функция

                            Private Sub btnParseBest_Click (ByVal отправитель как System.Object, ByVal e As
    System.EventArgs) Обрабатывает btnParseBest.Click.

        lstSentences.Items.Очистить()
        Dim al = IDontCareHowItEndsParser (txtParagraphs.Text)
        Дим я как целое

        Для i = 0 Для al.Count - 1
            lstSentences.Items.Add (ал (я) .ToString ())
        следующий

    End Sub

# Конечная область 

Последний регион называется «Создать статистику». Эта область содержит три функции, которые возвращают количество символов, количество слов и количество предложений для текста. Опять же, этот раздел аннотирован; Прочитайте аннотацию, чтобы получить описание того, как работает каждая функция.

 # Регион "Генерация статистики"
 
                                    Открытая функция GenerateCharacterCount (ByVal allText As String) как
    целое число

        Dim RTN As Integer = 0

        
        
        
        Dim sTemp As String = allText
        sTemp = sTemp.Replace (Environment.NewLine, String.Empty)
        sTemp = sTemp.Trim ()

        
        
        Dim splitSentences As String () = _
            Regex.Split (sTemp, _
                "(? <= [ ' "" A-Za-z0-9] [\. \! \?]) \ S + (? = [A-Z])")

        
        Dim cnt As Integer

        Для cnt = 0 Разделить предложения.Длина - 1

            
            Dim sSentence As String = splitSentences (cnt) .ToString ()

            
            sSentence = sSentence.Trim ()

            
            Димовое предложение как Char () = sSentence.ToCharArray ()

            
            
            
            Дим я как целое

            Для я = 0 до предложения. Длина - 1

                
                
                
                Если Char.IsLetterOrDigit (предложение (i)) или _
                    Char.IsPunctuation (предложение (i)) или _
                    Char.IsWhiteSpace (предложение (i)) затем

                    ртн + = 1

                End If
            следующий

        следующий

        
        Возврат ртн
    Конечная функция

                                            Открытая функция GenerateWordCount (ByVal allSentences As ArrayList) Как
    целое число

        
        Dim RTN As Integer = 0

        
        
        Dim sSentence As String

        Для каждого предложения во всех предложениях

            
            
            Dim arrSplitChars As Char () = New Char () {""}

            
            
            
            
            
            Dim arrWords As String () = sSentence.Split (arrSplitChars,
            StringSplitOptions.RemoveEmptyEntries)
            
            rtn + = arrWords.Length

        следующий

        
        Возврат ртн

    Конечная функция

                                        Открытая функция GenerateSentenceCount (ByVal allSentences As String ()) Как
    целое число

        
        Dim RTN As Integer = 0

        
        
        rtn = allSentences.Length

        
        Возврат ртн

    Конечная функция

# Конечная область 

Резюме

Эта статья предназначена для описания нескольких подходов к разбору предложений из основной части текста.Кроме того, статья описывает три функции, которые можно использовать для генерации сводной статистики по тексту. Есть, конечно, другие способы, которые могут быть использованы для выполнения каждой из этих вещей. В целом, лучший подход к разбору предложений заключается в использовании регулярного выражения. Изменения в регулярном выражении могут давать разные результаты, которые могут лучше работать с тем типом текста, с которым вы работаете; однако я обнаружил, что этот подход хорошо работает даже со сложными текстовыми текстами, если текст правильно отформатирован в правильные предложения.

История

• 3 ^, , июнь 2008 г .: начальная версия

8. Анализ структуры предложения

1.1 Лингвистические данные и неограниченные возможности

В предыдущих главах было показано, как обрабатывать и анализировать текст Корпорация, и мы подчеркнули проблемы для НЛП в решении огромное количество данных электронного языка, который растет ежедневно. Давайте рассмотрим эти данные более внимательно, и сделаем мысль эксперимент, что у нас есть гигантский корпус, состоящий из всего это было произнесено или написано на английском языке, скажем, в последний раз 50 летБудет ли оправданным называть этот корпус "языком современного английского языка?? Есть ряд причин, по которым мы могли бы ответить Напомним, что в 3 мы просили вас искать сеть для примеров шаблона. Хотя это легко найти примеры в Интернете, содержащие эту последовательность слов, такие как Новый человек на IMG (Http://www.telegraph.co.uk/sport/2387900/New-man-at-the-of-IMG.html), говорящие на английском языке скажут, что большинство таких примеров являются ошибками, и поэтому не часть английского в конце концов.

Соответственно можно поспорить что «современный английский» не эквивалентен очень большой набор последовательностей слов в нашем воображаемом корпусе. Динамики английского может выносить суждения об этих последовательностях и будет отклонять некоторые из них неграмотны.

Точно так же легко составить новое предложение, и ораторы согласны с тем, что оно идеально хороший английский. Например, предложения имеют интересное свойство что они могут быть встроены в большие предложения. Рассмотрим следующие предложения:

Если бы мы заменили целые предложения символом S, мы бы увидели такие шаблоны, как Андре сказал S, и я думаю, что S.Это шаблоны для принятия предложения и построение большего предложения. Есть и другие шаблоны, которые мы можем использовать, например S, но S, и S, когда S. С небольшим количеством изобретательности мы можем построить несколько действительно длинных предложений, используя эти шаблоны. Вот впечатляющий пример из рассказа А.А. Винни-Пуха. Милн, , в котором Пятачок полностью окружен водой :

[Вы можете себе представить радость Пятачка, когда, наконец, корабль появился в поле зрения его.] В последующие годы ему нравилось думать, что он был в очень Большая опасность во время страшного потопа, но единственная опасность, которую он имел действительно был в последние полчаса его заключения, когда Сова, которая только что взлетела, сидела на ветке своего дерева, чтобы успокоить он, и рассказал ему очень длинную историю о тете, которая когда-то лежала яйцо чайки по ошибке, и история продолжалась и продолжается, скорее как это предложение, пока Пятачок, который слушал его окно без особой надежды, легли спать спокойно и естественно, медленно скользит