Text Mining: metody, narzędzia i zastosowania - ebook

Wykaz oznaczeń

------------------------ -----------------------------------------------------------------------------------------------------------------------------------------------------
a_(ij) – częstość wystąpienia i-tego terminu w j-tym dokumencie macierzy częstości
a_(i-klaster_j) – częstość wystąpienia i-tego terminu w j-tym klastrze
a_(i-korpus) – liczba wystąpień i-tego terminu w całym korpusie
â_(ij) – funkcja ważąca i-tego terminu w j-tym dokumencie macierzy częstości
atrbut₁,…, atrbut_(n) – atrybuty wybranego obiektu
A – macierz częstości
C – zmienna kategoryzująca celu
cecha₁, …, cecha_(n) – cechy wybranego obiektu
C₁, C₂, …, C_(k) – k poziomów zmiennej kategoryzującej celu
d – całkowita liczba dokumentów w korpusie
d_(i) – liczba dokumentów w korpusie, w których występuje i-ty termin
d_(klaster_j) – liczba dokumentów w j-tym klastrze
dys_(W) – dystans między grupami według metody Warda
dys_(cos) – odległość kosinusowa między dokumentami
D_(i) – macierz kowariancji dla i-tej grupy klasteryzacji
Dok_(k) – wektor reprezentujący dokument w postaci formalnej o indeksie k
Dok_(k)^(j) – j-ta cecha wektora reprezentującego k-ty dokument
E_(i) – miara entropii dla i-tego terminu w macierzy częstości
F_(dw) – dwumianowa skumulowana funkcja gęstości prawdopodobieństwa
g_(i) – liczba wystąpień i-tego terminu w całym korpusie dokumentów
IDF_(i) – miara odwrotnej częstości dokumentu dla i-tego terminu w macierzy częstości
L_(ij) – waga częstości dla elementu o indeksach i, j w macierzy częstości
MI_(i) – miara informacji wzajemnej dla i-tego terminu w macierzy częstości
m – liczba wierszy macierzy częstości, odpowiada liczbie terminów zawartych w macierzy częstości
met_(Jacc)(Dok₁, Dok₂) – metryka Jaccarda określająca stopień podobieństwa dwóch dokumentów
n – liczba kolumn w macierzy częstości, odpowiada liczbie dokumentów tekstowych korpusu
n₁, n₂ – liczba elementów w grupach
pr(C_(k)) – procent dokumentów w korpusie, którym przypisany jest k-ty poziom zmiennej kategoryzującej celu
pr(t_(i), C_(k)) – procent dokumentów w korpusie zawierających i-ty termin, którym jednocześnie jest przypisany k-ty poziom zmiennej kategoryzującej celu
pr(t_(i)) – procent dokumentów w korpusie zawierających i-ty termin
pr_(i) – procent danych należących do i-tego klastra
p_(dw)(t_(i)) – prawdopodobieństwo w rozkładzie dwumianowym przypisane terminowi t_(i) przez algorytm wyboru terminów opisowych klastra węzła Klastrowanie tekstu
p(x) – prawdopodobieństwo, że zmienna losowa X przyjmie wartość x
sim_(Jacc)(Dok₁, Dok₂) – współczynnik Jaccarda dla dwóch dokumentów
term(Dok_(i)) – zbiór terminów występujących w i-tym dokumencie
µ₁, µ₂ – wartość średnia grupy
t_(i) – i-ty termin zawarty w macierzy częstości
W_(i) – waga wyrażenia dla i-tego terminu w macierzy częstości
X, Y – zmienne losowe
x – wartość zmiennej losowej X
------------------------ -----------------------------------------------------------------------------------------------------------------------------------------------------Wykaz skrótów

------- --------------------------------------------------
CCS – Content Categorization Studio
CL – computational Linguistics
DICOM – Digital Imaging and Communications in Medicine
EM – Enterprise Miner
FA – Factor Analysis
HIS – Hospital Information System
HL7 – Health Level 7
HLT – Human Language Technology
HTML – Hyper Text Markup Language
ID – Unique Identification Field
IDF – Inverse Document Frequency
IE – Information Extraction
IHE – Integrating the Healthcare Enterprise
IO – Information Organization
ISO – International Standard Organization
KO – Knowledge Organization
LSA – Latent Semantic Analysis
LSI – Latent Semantic Indexing
NLE – Natural Language Engineering
NLG – Natural Language Generation
NLP – Natural Language Processing
NLU – Natural Language Understanding
OLAP – OnLine Analytical Processing
PACS – Picture Archiving and Communication Systems
PCA – Principal Component Analysis
PDF – Portable Document Format
PLS – Partial Least Squares
RSS – Rich Site Summary
SOFM – self-organizing feature map
SOM – Self-Organizing Map
SVD – Singular Value Decomposition
SVM – Support Vector Machines
TM – Text Miner
URL – Uniform Resource Locator
xHTML – Extensible Hyper Text Markup Language
XML – Extensible Markup Language
4GL – Four Generation Language
------- --------------------------------------------------Wprowadzenie

The secret of getting ahead is getting started.

Mark Twain

Celem książki jest efektywne i płynne wprowadzenie Czytelnika w metody eksploracji danych tekstowych dokonywanej w szczególności z wykorzystaniem narzędzi pakietu Text Analytics firmy SAS Institute. Podano zarys podstaw teoretycznych niezbędnych do skutecznego stosowania dostępnych narzędzi w aplikacjach biznesowych, w tym między innymi opis reprezentacji informacji zawartej w dokumencie tekstowym, metody przekształcania tej informacji, metody wykorzystywane do grupowania i klasyfikacji dokumentów tekstowych. Zamieszczono odniesienia do istniejącego aktualnego piśmiennictwa zarówno w języku angielskim, jak i polskim.

Przedstawiono architekturę rozwiązania firmy SAS Institiute Text Analytics wspomagającą zaspokajanie potrzeb informacyjnych w organizacji do wydobywania i zarządzania informacją dostępną w różnego rodzaju dokumentach tekstowych. Omówiono najważniejsze elementy istniejącego rozwiązania: SAS Text Miner, SAS Information Retrival Studio, SAS Content Categorization Studio oraz SAS Sentiment Analysis Studio.

Podano przykłady użycia wymienionych narzędzi w aplikacjach biznesowych: wydobywanie informacji w organizacji, zarządzanie zawartością dokumentów, analizę sentymentu, grupowanie i klasyfikację dokumentów.

Możliwości omówionych narzędzi i zaimplementowanych algorytmów zostały zilustrowane na przykładach zbiorów danych z różnych dziedzin: zbioru krótkich wypowiedzi dotyczących sportu, pogody i zwierząt, zbioru opisów radiologicznych badań diagnostycznych jamy brzusznej, zbioru opinii użytkowników na temat telefonów z forów użytkowników.

Praca składa się z czterech części. W części I – zatytułowanej Wprowadzenie do eksploracji danych tekstowych, zawarto trzy rozdziały, które mają za zadanie wprowadzić Czytelnika w zagadnienia eksploracji dokumentów tekstowych, podając niezbędną interdyscyplinarną wiedzę oraz klasyfikując używane metody na tle innych dziedzin zajmujących się przetwarzaniem danych oraz prezentując architekturę oprogramowania. Rozdział 1 to ogólne wprowadzenie do przetwarzania danych tekstowych, w którym zaprezentowano trendy w rozwoju systemów informatycznych zajmujących się przetwarzaniem danych, a w szczególności danych niestrukturalnych, jakimi są dane tekstowe.

W rozdziale 2 przedstawiono ogólną metodykę pozwalającą uporządkować etapy przetwarzania danych tekstowych, krótki przegląd metod reprezentacji informacji zawartej w dokumentach tekstowych oraz zarys stosowanych technik obliczeniowych.

W rozdziale 3 zaprezentowano architekturę oprogramowania SAS Text Analytics, metodykę firmową SEMMA, właściwości najważniejszych komponentów narzędzia Text Miner oraz informacje niezbędne do uruchomienia pierwszego projektu.

W części II – zatytułowanej Przetwarzanie informacji zawartej w dokumencie tekstowym, zawarto rozdziały od czwartego do ósmego, w których przedstawiono kolejne etapy analizy dokumentu tekstowego.

W rozdziale 4 omówiono sposoby przekształcania macierzy częstości występowania terminów w korpusie dokumentów, podając definicje funkcji wagującej oraz najczęściej stosowanych wariantów jej komponentów: wagi częstości i wagi wyrażenia.

W rozdziale 5 zawarto opis metody analizy semantycznej zmiennych ukrytych, która wykorzystując rozkład wartości osobliwych, pozwala na redukcję rozmiarów macierzy częstości występowania terminów.

W rozdziale 6 – zatytułowanym Wybór algorytmu klastrowania dokumentów tekstowych, zaprezentowano hierarchiczne i probabilistyczne algorytmy grupowania oraz ich zastosowanie z użyciem węzłów Text Minera Klastrowanie tekstu oraz Temat tekstu.

W rozdziale 7 omówiono zarys metodyki tworzenia modeli predykcyjnych oraz porównywania zdolności predykcyjnych modeli za pomocą krzywych ROC oraz wykresów wzrostu. Znajduje się tu przykład zastosowania węzła Text Minera Import tekstu.

W rozdziale 8, który zamyka część II, rozszerzono możliwości klastrowania tekstów przez opis podejścia nadzorowanego przez użytkownika z wykorzystaniem węzła Text Minera Generator reguł tekstu.

W części III – zatytułowanej Wydobywanie i organizacja wiedzy z dokumentów tekstowych w organizacji, zawarto rozdziały od dziewiątego do jedenastego, w których przedstawiono zagadnienia dotyczące zarządzania informacją w organizacji.

W rozdziale 9 zaprezentowano zarys zagadnień, podstawowe słownictwo stosowane w zakresie zarządzania informacją w organizacji oraz architekturę i komponenty SAS Information Retrieval Studio – narzędzia zarządzającego automatycznym przetwarzaniem dokumentów w organizacji.

W rozdziale 10 – zatytułowanym Klasyfikacja dokumentów, przedstawiono wykorzystywane techniki statystyczne oraz bazujące na regułach lingwistycznych i boole’owskich, kryteria oceny jakości klasyfikacji oraz metodykę projektowania i tworzenia taksonomii płaskich i hierarchicznych za pomocą SAS Content Categorization Studio.

W rozdziale 11 zawarto opis zagadnień dotyczących analizy sentymentu, wykorzystywane techniki statystyczne bazujące na regułach oraz hybrydowe, sposób wyznaczania sentymentu dla dokumentu. Zaprezentowano tu metodykę budowania modeli oceny sentymentu z wykorzystaniem SAS Sentiment Analysis Studio.

W części IV – zatytułowanej Inne zagadnienia przetwarzania dokumentów tekstowych, omówiono dodatkowe aspekty przetwarzania dokumentów tekstowych.

W rozdziale 12 zawarto inne informacje przydatne w procesie przetwarzania dokumentów, a mianowicie bezpośrednie porównywanie treści dokumentów za pomocą miar odległości kosinusowej i metryki Jaccarda oraz zagadnienia wydobywania z dokumentów niezależnych fragmentów informacji skategoryzowanych w ramach predefiniowanych tzw. jednostek specjalnych.

Następnie zamieszczono polsko-angielski słownik pojęć z dziedziny Text Miningu oraz zbiór trzech dodatków mających ułatwić użytkownikowi posługiwanie się technikami i narzędziami zawartymi w książce.

Dodatek A zawiera syntetyczne wprowadzenie do obsługi systemu SAS, prezentując podstawowe koncepcje interfejsu graficznego użytkownika, strukturę i podział wykorzystywanych typów zbiorów danych oraz najważniejsze elementy interfejsu programistycznego – dedykowanego języka 4GL.

Dodatek B zawiera syntetyczny opis języka makr służący głównie do parametryzacji języków 4GL i SQL, co umożliwia automatyzację wielu czynności w środowisku SAS oraz budowanie złożonych potoków przetwarzania.

Dodatek C prezentuje temat przetwarzania danych tekstowych z punktu widzenia wizualizacji danych. Przedstawiono główne założenia paradygmatu wizualnej analizy zbiorów danych oraz scharakteryzowano wykorzystywane w praktyce rodzaje graficznej prezentacji informacji tekstowej.

Książka jest wydana w wersji czarno-białej i aby jej treść była zgodna z oficjalną dokumentacją systemu, w opisach rysunków zostawiono odwołania do kolorów (widocznych po ich uruchomieniu).

Nawigację po strukturze pracy ułatwi szczegółowy spis treści oraz indeks pojęć. Na końcu zamieszczono bibliografię, która zawiera alfabetyczny wykaz cytowanych pozycji. Mamy nadzieje, że to wszystko sprawi, że książka stanie się cenioną pomocą w codziennej pracy analityka, a po lekturze i samodzielnym przerobieniu podanych zagadnień Czytelnik zyska wgląd w istniejące wyzwania w zakresie eksploracji dokumentów tekstowych, pozna architekturę systemu SAS Text Analytics, będzie posiadał szczegółową wiedzę na temat wyboru narzędzia, algorytmu oraz jego konfiguracji pozwalającą na zaspokajanie potrzeb w zakresie swojej działalności biznesowej i naukowej.Rozdział 1 Trendy w rozwoju systemów informatycznych eksploracji danych

Informacja zawarta w danych jest użyteczna w procesie podejmowania decyzji. Ze względu na różnorodność przechowywanej informacji historycznie można wyróżnić kilka klas systemów informatycznych wspierających ten proces.

Informacje niezbędne do bieżącego funkcjonowania organizacji przechowuje się w systemach transakcyjnych. W celu wspomagania procesu podejmowania decyzji dane transakcyjne są agregowane i gromadzone w tematycznych repozytoriach i wykorzystywane w procesie podejmowania decyzji biznesowych (Business Intelligence systems). Ze względu na rozmiar dane te są organizowane w tzw. hurtowniach danych (data warehouses), które wykorzystują silniki relacyjnych baz danych w schemacie gwiazdy lub płatka śniegu. Historycznie do przetwarzania tak zorganizowanych danych pogrupowanych w zaprojektowanych wymiarach wykorzystuje się technologię wielowymiarowych kostek (OnLine Analytical Processing – OLAP) umożliwiającą analizę w zaprojektowanych wymiarach na różnych poziomach szczegółowości.

Obecnie wraz z rozwojem technologii elektronicznego formatu zapisu dużych danych (Apache Hadoop), sieci Internet (skrót od ang. inter-network), który minimalizuje koszt powielania informacji i stanowi kanał błyskawicznej wymiany i dystrybucji informacji, obserwuje się rozwój technologii wspomagającej przetwarzanie dużych danych (Big Data).

Metody OLAP służą głównie do agregacji danych i raportowania, ale równolegle rozwijają się metody eksploracji danych (data mining methods), których celem jest odkrywanie wiedzy. Metody eksploracji danych najczęściej są klasyfikowane pod kątem dziedziny i celu analizy. Stosując to kryterium, można wyróżnić metody (Lasek, Pęczkowski 2013):

• klasyfikacji – polegające na przypisaniu do każdego analizowanego obiektu etykiety ze zbioru zdefiniowanych klas;

• grupowania – polegające na analizie skupień występujących w danych;

• odkrywania asocjacji – polegające na odkrywaniu związków między obiektami danych;

• odkrywania sekwencji – polegające na wykrywaniu sekwencji zdarzeń;

• regresji – polegające na odkrywaniu wpływu jednej lub większej liczby cech na wybraną cechę;

• odkrywania charakterystyk – polegające na znajdowaniu opisu grup obiektów za pomocą skończonej, możliwie małej grupy cech;

• wykrywanie zmian i odchyleń – polegające na odkrywaniu obserwacji odstających, a także systematycznych błędów pomiaru.

Miejsce technologii OLAP i metod eksploracji danych w procesie wspomagania podejmowania decyzji przedstawiono na rysunku 1.1.

Rysunek 1.1. Miejsce technologii OLAP i metod eksploracji danych w procesie podejmowania decyzji

Zdecydowana większość danych transakcyjnych przechowywana jest w relacyjnych bazach danych. Ze względu jednak na konieczność przechowywania danych niestrukturalizowanych, między innymi danych tekstowych, obserwuje się rozwój standardu XML (Extensible Markup Language) do przechowywania tychże danych. Systemy zarządzania relacyjnymi bazami danych (data base management system), które jako pierwsze zdominowały rynek, zostały przystosowane do nowej sytuacji przez wprowadzenie typu XML jako typu atrybutu relacji. Standard ten umożliwia walidację poprawności danych przez zastosowanie schematu dokumentów (XML schema) oraz przeszukiwanie dokumentów w odpowiednim języku zapytań (XQuery). Początkowo strony internetowe (Web Sites) tworzono w języku HTML (Hyper Text Markup Language), obecnie powstają w języku xHTML (Extensible Hyper Text Markup Language) zgodnym z regułami XML oraz HTML 5.

Podobnie jak w przypadku pozostałych danych, również dla danych tekstowych następuje rozwój metod eksploracji. W języku polskim angielski termin text mining methods tłumaczy się jako metody eksploracji danych tekstowych. W praktyce najczęściej występuje termin text mining. Termin data mining methods zaś jest tłumaczony jako metody eksploracji danych, jednak najczęściej spotyka się krótszy termin data mining.

Metody eksploracji danych tekstowych można sklasyfikować, stosując różne kryteria. Generalnie wywodzą się z wcześniej istniejących metod eksploracji danych nieustrukturyzowanych. Jednym z najobszerniejszych źródeł danych tekstowych jest język mówiony, który zaspokaja naturalną potrzebę komunikacji między ludźmi. Charakteryzuje się jednak wielością wariantów, złożoną składnią oraz wieloznacznością. Język naturalny podlega ciągłym zmianom, a jego rozumienie wymaga pojmowania zmieniającego się świata. Wymienione wyzwania stały się podstawą dziedziny naukowej, której celem jest przetwarzanie informacji zawartej w języku naturalnym NLP (Natural Language Processing). Czytelnik może się spotkać również z innym nazwami angielskimi odnoszącymi się do zagadnień przetwarzania informacji zawartej w języku naturalnym: CL (Computational Linguistics), HLT (Human Language Technology), NLE (Natural Language Engineering), NLU (Natural Language Understanding) oraz NLG (Natural Language Generation).

Pod względem zastosowań text mining można podzielić na następujące metody (Lula 2005; Sołdacki 2006):

• pozyskiwanie informacji z dokumentów (Concept clustering) – polega na dopasowaniu predefiniowanych wzorców do fragmentów tekstu; potencjalne dziedziny zastosowania to automatyczna analiza literatury naukowej z danej dziedziny czy określenie profilu klienta;

• identyfikacja wiadomości zawierającej określone treści (Information Extraction) – polega na stworzeniu systemu monitorującego wychwytującego automatycznie dokumenty pod kątem określonych wiadomości, następnie wskazane dokumenty są analizowane przez człowieka; potencjalne zastosowania: przechwytywanie dokumentów w tekstowych hurtowniach danych;

• generowanie streszczeń (Summarization) – polega na identyfikacji za pomocą metod statystycznych słów kluczowych bądź zdań kluczowych; potencjalne zastosowanie: analiza streszczeń obszernych zbiorów dokumentów;

• klasyfikacja wzorcowa (Document classification lub Document categorization) – polega na przypisaniu każdego z dokumentów do jednej z wcześniej zdefiniowanych klas; potencjalne zastosowanie: kategoryzacja wiadomości czy dokumentów;

• klasyfikacja bezwzorcowa (Document clustering) – polega na zdefiniowaniu miary liczbowej podobieństwa dokumentów i zastosowaniu dobrze znanych metod klasyfikacji; potencjalne zastosowania: wydzielenie grup podobnych dokumentów, znalezienie cech charakterystycznych dla elementów grup i zależności między nimi;

• identyfikacja powiązań (Association) – polega na wykryciu związków między informacjami pozyskanymi z dokumentów bądź na skojarzeniu danego dokumentu z innymi; potencjalne zastosowanie to połączenie wcześniej nieznanych faktów;

• walidacja i nawigacja (Validation and Navigation) – polega na zapewnieniu użytkownikowi prostej metody interpretacji wyników oraz poruszania się w dużym zbiorze dokumentów, co zazwyczaj stanowi znaczącą pomoc w rozwiązaniu innego problemu.