Przedmowa

Dla kogo przeznaczona jest ta książka?

Analiza języka naturalnego jest dziedziną istotną ze względów naukowych, ekonomicznych, społecznych oraz kulturowych. NLP przeżywa aktualnie gwałtowny rozwój — powiązane teorie i metody znajdują zastosowanie w ramach różnorodnych technologii językowych. Z tego względu praktyczna znajomość podstaw NLP ma zasadnicze znaczenie dla szerokiego spektrum odbiorców. W sektorze komercyjnym wiedza ta przyda się osobom zaangażowanym w projektowanie systemów interakcji człowiek-maszyna, analizę informacji biznesowych, oraz rozwój oprogramowania i technologii internetowych. Natomiast w środowisku akademickim krąg odbiorców będzie obejmował osoby zajmujące się naukami humanistycznymi w kontekście informatycznym (ang. humanities computing) i językoznawstwem korpusowym, jak również informatyków i badaczy sztucznej inteligencji. Dla wielu osób z kręgów akademickich, NLP funkcjonuje jako lingwistyka informatyczna (ang. „computational linguistics”).

Podręcznik skierowany jest do szerokiego grona osób, które chcą nauczyć się pisać programy analizujące język pisany, bez wględu na ich wcześniejsze doświadczenie związane z programowaniem.

Cel książki

Niniejszy podręcznik stanowi przede wszystkim praktyczne wprowadzenie do tematyki NLP. Nauka następuje poprzez prezentację przykładów i pisanie praktycznych programów, dzięki czemu użytkownik uczy się, jak przetestować pomysł poprzez jego implementację. Jeżeli wcześniej dostatecznie tego nie podkreślono, zadaniem książki jest nauka programowania. Jednakże w przeciwieństwie do innych podręczników przedstawione przykłady ilustrujące oraz ćwiczenia skupiają się na zadaniach związanych z NLP. Książka przedstawia teorie zasadnicze dla omawianej partii materiału, nie unikając szczegółowych analiz lingwistycznych czy informatycznych poszczególnych kwestii. Autorzy starali się zachować praktyczny charakter podręcznika, utrzymując równowagę pomiędzy wiedzą teoretyczną a jej zastosowaniem, przedstawiając istniejące zbieżności i problemy. Co jednak najważniejsze, trudno byłoby przebrnąć przez cały materiał, gdyby nie był on dostatecznie atrakcyjny, dlatego też w treści przedstawiono wiele zastosowań i przykładów, które są interesujące, zabawne, czasem wręcz dziwaczne.

Warto podkreślić, iż opracowanie nie ma charakteru encyklopedycznego. Zarówno omówienie programowania w Pythonie, jak i tematyki związanej z NLP jest wybiórcze i przedstawione w formie podręcznika do samodzielnej nauki. Szczegółową dokumentację można odnaleźć przeszukując materiały dostępne odpowiednio na http://python.org/ oraz http://www.nltk.org/.

Książka nie stanowi też zaawansowanego podręcznika z zakresu informatyki. Poziom prezentowanego materiału waha się pomiędzy etapem początkującym a średniozaawansowanym, z racji iż jest on skierowany do czytelników pragnących nauczyć się, jak analizować tekst przy użyciu języka programowania Python oraz pakietu Natural Language Toolkit. Zainteresowanym bardziej zaawansowanym poznaniem algorytmów wykorzystanych w NLTK, proponujemy przestudiowanie sekcji dotyczącej kodu na stronie http://www.nltk.org/. Warto również zapoznać się z pozostałym materiałami i źródłami cytowanymi w podręczniku.

Czego można się nauczyć

Studiując przedstawiony materiał, czytelnik dowiaduje się:

• w jaki sposób proste programy pomagają w manipulacji i analizie danych językowych oraz, co najważniejsze, jak samodzielnie pisać takie aplikacje;
• jak koncepcje lingwistyczne oraz związane z dziedziną NLP mogą posłużyć w opisie i badaniu języka;
• jak korzystać z algorytmów i struktur danych w zadaniach związanych z NLP;
• w jaki sposób zapisywać informacje językowe w standardowych formatach oraz jak wykorzystać dane do oszacowania skuteczności technik NLP.

W zależności od wcześniejszych doświadczeń, charakteru nabytego wykształcenia oraz rodzaju motywacji związanej z poznaniem dziedziny, jaką jest NLP, czytelnik może z pomocą tej książki rozwinąć różne umiejętności oraz zyskać adekwatną wiedzę teoretyczną, co przedstawiono szczegółowo w Tabela I.1.

Table I.1:

Umiejętności i wiedza, które czytelnik nabywa wraz lekturą książki zależą od wyznaczonych celów i kierunku kształcenia.

Struktura książki

Wczesne rozdziały uporządkowano według skali trudności wprowadzanych pojęć, zaczynając od praktycznego wprowadzenia do NLP, w ramach którego przedstawiono jak za pomocą niewielkich programów napisanych Pythonie łatwo wykonać proste zadania analityczne oparte na ciekawych materiałach tekstowych (rozdziały 1-3). Rozdział czwarty omawia podstawy programowania strukturalnego, co ma na celu zebranie tematów i pojęć związanych z programowaniem rozproszonych w trzech poprzedzających rozdziałach. W dalszej części podręcznika ilość wprowadzanego materiału wzrasta, a kolejne rozdziały poświęcone są omówieniu zasadniczych kwestii związanych z przetwarzaniem danych językowych: oznaczaniu części mowy (tagowaniu), klasyfikacji tekstu oraz ekstrakcji informacji (rozdziały 5-7). Kolejne trzy rozdziały przedstawiają techniki parsowania (rozbioru gramatycznego) zdań, rozpoznawania ich budowy składniowej oraz konstruowania reprezentacji semantycznych (znaczeniowych)(rozdziały 8-10). Ostatni rozdział skupia się na efektywnym zarządzaniu danymi językowymi (rozdział 11). Podręcznik zawiera również posłowie rozważające rozwój historyczny oraz przyszłość NLP.

W treści poszczególnych rozdziałów na przemian występują dwa style prezentacji. W pierwszym z nich centrum stanowi język naturalny. Jest on poddawany analizie; badane są różne koncepcje lingwistyczne, a przykładowe programy funkcjonują jako narzędzia pomocne w dyskusji. Pojawiają się elementy Pythona, które nie zostały uprzednio wprowadzone w sposób systematyczny, aby czytelnik mógł zrozumieć cel ich zastosowania, zanim zagłębi się w szczegóły techniczne. Przypomina to naukę formułek w języku obcym — można np. skutecznie spytać obcokrajowca o drogę, nie znając teoretycznych zasad rządzących tworzeniem zdań pytających. Drugi styl prezentacji skupia się na zasadach rządzących językiem programowania. Analizujemy programy, badamy algorytmy, natomiast przykłady językowe odgrywają rolę pomocniczą.

Każdy rozdział zawiera zestaw ćwiczeń o zróżnicowanym poziomie zaawansowania, które służą jako podsumowanie materiału. Zastosowano następujący podział zadań ze względu na ich poziom trudności: ☼ łatwe ćwiczenia wymagające drobnych modyfikacji przedstawionych przykładów lub inne proste zadania; ◑ ćwiczenia o średnim stopniu trudności, w których materiał jest badany dokładniej — wymagają one uważnej analizy i przemyślanych rozwiązań; ★ ćwiczenia zaawansowane o charakterze otwartym, stanowiące wyzwanie dla czytelnika, weryfikują pełne zrozumienie przedstawianej treści oraz wymagają nieszablonowego myślenia. (niezalecane dla rozpoczynających przygodę z programowaniem).

Ponadto każdy z rozdziałów zawiera listę polecanych publikacji oraz internetową sekcję „materiały uzupełniające”, dostępną na stronie http://www.nltk.org/, przedstawiającą bardziej zaawansowane źródła wiedzy oraz powiązane witryny internetowe. W witrynie można również znaleźć wszystkie fragmenty kodu przedstawione w danym rozdziale.

Dlaczego Python?

Python jest prostym w nauce, potężnym językiem programowania, oferującym duże możliwości w zakresie przetwarzania danych językowych. Jest on dostępny bezpłatnie na stronie internetowej http://www.python.org/. Wersje instalacyjne są dostępne dla wszystkich popularnych systemów operacyjnych.

Poniżej przedstawiono kilkuwierszowy program w Pythonie, który przetwarza plik file.txt, a następnie wypisuje wszystkie słowa zakończone końcówką ing:

>>> for line in open("file.txt"):
...     for word in line.split():
...         if word.endswith('ing'):
...             print word

Powyższy przykład ilustruje kilka podstawowych elementów programowania w Pythonie. Odstępy służą zagnieżdżaniu fragmentów kodu, dlatego wiersz rozpoczynający się od if znajduje się w obszarze działania instrukcji wyrażonej w poprzedniej linii zaczynającej się od for. W tym wypadku gwarantuje to, iż test na obecność końcówki ing zostanie wykonany dla każdego słowa. Po drugie Python jest językiem zorientowanym obiektowo — każda zmienna stanowi obiekt posiadający określone atrybuty (właśności) i metody. Przykładowo wartość zmiennej line jest czymś więcej niż tylko sekwencją znaków. W istocie reprezentuje ona obiekt typu string (łańcuch), który posiada m.in. metodę (operację) split(), która wyodrębnia słowa z linii tekstu. Chcąc zastosować metodę dla danego obiektu, należy wpisać nazwę obiektu, a następnie nazwę metody poprzedzoną kropką, np. line.split(). Po trzecie metody mogą posiadać argumenty wyrażane w nawiasach. Na przykład w przedstawionym programie metoda endswith zawiera argument 'ing' wskazujący, że poszukiwane są tylko słowa zakończone na ing. Co jednak najważniejsze, Python jest językiem o czytelnym zapisie, w związku z czym nietrudno domyślić się, jakie zadanie pełni dany ciąg instrukcji, nawet bez doświadczenia w programowaniu.

Wybraliśmy język programowania Python ze względu na łatwość przyswajania obowiązujących w nim zasad, nieskomplikowaną składnię i semantykę, jak również szerokie możliwości przetwarzania łańcuchów tekstowych. Jako język interpretowany, Python ułatwia interaktywne eksperymentowanie. Będąc językiem zorientowanym obiektowo, pozwala on na prostą hermetyzację i wielokrotne wykorzystanie danych i metod. Python jest również dynamiczny — umożliwia dodawanie właściwości do obiektów na bieżąco, natomiast typy zmiennych są przydzielane dynamicznie, ułatwiając szybki rozwój aplikacji. Warto także nadmienić, że język ten zawiera obszerny zestaw bibliotek standardowych, w tym komponenty umożliwiające programowanie elementów graficznych, przetwarzanie danych numerycznych oraz łączność z siecią internet.

Python jest szeroko wykorzystywany w sektorze komercyjnym i badaniach naukowych, a w edukacji jego popularność ma skalę międzynarodową. Programiści często chwalą go jako środek do osiągnięcia zwiększonej produktywności, jakości oraz obsługiwalności projektowanego oprogramowania. O historiach udanych projektów opartych na Pythonie można poczytać na stronie internetowej http://www.python.org/about/success/.

Pakiet NLTK stanowi infrastrukturę, która może posłużyć do konstruowania programów związanych z NLP w Pythonie. Zawiera on podstawowe klasy dla reprezentacji danych związanych z przetwarzaniem języka naturalnego; standardowe interfejsy umożliwiające wykonywanie zadań, takich jak: oznaczanie części mowy (ang. part-of-speech tagging), parsowanie (rozbiór) składniowe, czy klasyfikację tekstu; a także standardowe implementacje dla każdego typu zadań. Łącząc wymienione elementy, można efektywnie rozwiązać nawet bardzo złożone problemy.

NLTK zawiera obszerną dokumentację. Poza niniejszym podręcznikiem można skorzystać ze strony internetowej http://www.nltk.org/, na której dostępna jest dokumentacja API szczegółowo opisująca każdy moduł, klasę oraz funkję stanowiące elementy pakietu, wyszczególniając odpowiednie parametry oraz przedstawiając przykłady ich użycia. W witrynie można również odnaleźć wiele samouczków popartych licznymi przykładami i zadaniami przeznaczonymi dla użytkowników, programistów i instruktorów.

Wymagane oprogramowanie

Chcąc w pełni korzystać z możliwości opisanych w podręczniku, należy zainstalować kilka bezpłatnych pakietów oprogramowania. Aktualne odnośniki do plików instalacyjnych oraz odpowiednie instrukcje znajdują się na stronie http://www.nltk.org/.

Natural Language Toolkit (NLTK)

NLTK powstał w 2001 roku jako element zajęć z lingwistyki informatycznej na wydziale informatyki Uniwersytetu Pensylwanii. Od tego czasu jest on stale rozwijany i wzbogacany przy współpracy kilkudziesięciu osób. Pakiet został wdrożony w programach ćwiczeń na wielu uczelniach wyższych i stanowi podstawę wielu projektów badawczych. W Tabeli I.2 zawarto listę najważniejszych modułów wchodzących w skład pakietu NLTK.

Tabela I.2:

Zadania związane z przetwarzaniem języka, odpowiadające im moduły pakietu NLTK oraz przykładowe funkcje

Pakiet NLTK zaprojektowano pod kątem realizacji czterech podstawowych założeń:

Powyższe cele są w opozycji do trzech potencjalnie użytecznych cech, których celowo starano się unikać podczas projektowania i rozwoju elementów NLTK. Po pierwsze pomimo, iż pakiet oferuje szeroki zakres funkcji, nie ma on natury encyklopedycznej — NLTK jest pakietem narzędzi, a nie systemem; jego dalszy rozwój będzie zależał od ewolucji dziedziny, jaką jest NLP. Po drugie, pakiet jest wystarczająco wydajny, aby radzić sobie z autentycznymi zadaniami, jednakże nie został on zoptymalizowany pod kątem szybkości działania, co wymagałoby zastosowania dużo bardziej złożonych algorytmów lub implementacji w językach programowania niskiego poziomu, np. C czy C++. W efekcie kod stałby się mniej czytelny, a oprogramowanie trudniejsze w instalacji. Po trzecie, autorzy starali się unikać wyszukanych sztuczek programistycznych, kierując się przekonaniem, że jasne implementacje mają przewagę nad tymi bardziej efektywnymi lecz trudnymi do odszyfrowania.

Dla nauczycieli

Analiza języka naturalnego stanowi najczęściej przedmiot zajęć prowadzonych w ramach jednego semestru studiów licencjackich, inżynierskich lub uzupełniających magisterskich. Wielu wykładowców zauważa, iż trudno jest omówić zarówno teoretyczne, jak i praktyczne elementy związane z tematem w tak krótkim czasie. Niektóre zajęcia skupiają się na teorii, wykluczając tym samym elementy praktyczne i pozbawiając studentów wyzwań płynących z samodzielnego pisania programów służących do przetwarzania języka. W innych przypadkach, program nauczania ma na celu jedynie przedstawienie elementów programowania dla lingwistów, bez przykładania uwagi do treści związanych z NLP. Pakiet NLTK powstał, aby zaradzić tego typu problemom i umożliwić omówienie znacznej ilości teorii oraz materiału praktycznego w ramach jednosemestralnego kursu, nawet jeśli studenci nie posiadają doświadczenia w programowaniu.

Znaczna część dowolnego programu nauczania związanego z NLP przedstawia zwykle różne algorytmy i struktury danych. Same w sobie stanowią nieatrakcyjną teorię, natomiast z pomocą pakietu NLTK „nabierają życia” dzięki interaktywnym interfejsom użytkownika, umożliwiającym podgląd działania algorytmów krok po kroku. Większość komponentów NLTK zawiera demonstracje przedstawiające wykonanie interesującego zadania bez potrzeby wprowadzania danych przez użytkownika. Interaktywna prezentacja oparta na przykładach z podręcznika stanowi efektowny sposób prezentacji materiału. Demonstracje można uruchomić w środowisku Pythona, zaobserwować czym się one zajmują, a następnie zmodyfikować je, aby dogłębniej zbadać dany temat praktyczny lub teoretyczny.

Podręcznik zawiera setki ćwiczeń, które mogą posłużyć jako podstawa oceny pracy studentów. Najprostsze z nich wymagają jedynie zmodyfikowania przedstawionego w części teoretycznej programu, aby móc odpowiedzieć na zadane pytanie. Z drugiej strony pakiet NLTK może posłużyć jako elastyczna platforma programistyczna dla wielu projektów dyplomowych, dzięki przygotowanym, standardowym implementacjom wszystkich podstawowych struktur danych i algorytmów, interfejsom dla kilkudziesięciu popularnych zbiorów danych (korpusów), a także elastycznej architekturze umożliwiającej wprowadzanie dalszych rozszerzeń. Dodatkowe informacje dla nauczycieli posługujących się NLTK są dostępne na stronie internetowej pakietu.

Autorzy wyrażają przekonanie, iż wyjątkowość książki przejawia się w tym, iż umożliwia ona studentom pozyskanie spójnej architektury do nauki przetwarzania języka naturalnego w kontekście programistycznym. To co wyróżnia przedstawiony materiał, to silne zespolenie treści i ćwiczeń z elementami pakietu NLTK, zapewniające studentom — nawet tym bez doświadczenia w programowaniu — praktyczny wstęp do dziedziny, jaką jest NLP. Po ukończeniu całego kursu studenci będą przygotowani, aby przejść do bardziej zaawansowanych podręczników, np. Speech and Language Processing autorstwa Jurafsky'ego i Martina (wydawn. Prentice Hall, 2008).

Niniejsza książka przedstawia koncepcje związane z programowaniem w dość nietypowej kolejności, zaczynając od nietrywialnego typu danych, jakim są listy łańcuchów, a następnie wprowadzając nietrywialne struktury sterujące wykonaniem programu, takie jak wyrażenia listowe oraz instrukcje warunkowe. Dzięki znajomości tych wyrażeń można od razu zająć się praktycznym przetwarzaniem języka. Dopiero kiedy jest to konieczne, powracamy do systematycznej prezentacji podstawowych pojęć, jak łańcuchy, pętle, pliki itd. W ten sposób omawiamy taką samą porcję materiału jak ma to miejsce w bardziej konwencjonalnych podręcznikach, nie stawiając jednak wymogu, aby czytelnicy byli przede wszystkim zainteresowani nauką języka programowania Python.

Poniższa tabela przedstawia dwa przykładowe, możliwe rozkłady zajęć dydaktycznych. Pierwszy z nich skonstruowano pod kątem studentów kierunków humanistycznych, natomiast drugi pasuje bardziej do kierunków ścisłych i technicznych. Można przygotować własny plan, omawiający pierwszych pięć tematów, a następnie poświęcić pozostały, dostępny czas na omówienie wybranej tematyki, np. klasyfikacji tekstu (rozdziały 6-7), składni (rozdziału 8-9), semantyki (rozdział 10) czy zarządzania danymi językowymi (rozdział 11).

Tabela I.3:

Sugerowany rozkład zajęć dydaktycznych; szacunkowa liczba godzin przypadająca na rozdział

Konwencje użyte w podręczniku

W podręczniku obowiązują następujące konwencje związane z prezentacją materiału:

Pogrubienie -- oznacza nowy termin.