factograf
PL

koncept teorii informacji

Perpleksja

Perpleksja, nieokreśloność – miara niepewności wartości próbki z dyskretnego rozkładu prawdopodobieństwa. Im większa perpleksja, tym mniejsze prawdopodobieństwo, że obserwator odgadnie wartość, jaka zostanie wyciągnięta z rozkładu. Pojęcie perpleksji zostało pierwotnie wprowadzone w 1977 roku w teorii informacji w kontekście rozpoznawania mowy.

Perpleksja tokena

W przetwarzaniu języka naturalnego korpus to ustrukturyzowany zbiór tekstów lub dokumentów, a model języka to rozkład prawdopodobieństwa obejmujący całe teksty lub dokumenty. Dlatego w przetwarzaniu języka naturalnego powszechniej stosowaną miarą jest perpleksja PP na token (słowo lub podsłowo), definiowana jako średnia geometryczna odwrotności prawdopodobieństwa każdego tokena w testowym korpusie q: {\displaystyle PP:=\left(\prod _{i=1}^{n}q(s_{i})\right)^{-1/N}} Gdzie {\displaystyle s_{1},...,s_{n}} są {\displaystyle n} dokumentami w korpusie i {\displaystyle N} jest liczbą tokenów w korpusie.

Nieformalnie, PP oznacza ilość możliwości szacowania następnego słowa w testowym korpusie.

Użycie w dużych modelach językowych

Perpleksję zastosowano w celu porównania różnych modeli w tym samym zestawie danych i w celu optymalizacji hiperparametrów, chociaż stwierdzono, że jest ona wrażliwa na takie czynniki, jak cechy językowe i długość zdania.

Pomimo kluczowej roli, jaką odgrywa perpleksja w rozwoju modelu języka, wykazała ona swoje ograniczenia, zwłaszcza jako niewystarczający wyznacznik wydajności rozpoznawania mowy, nadmiernego dopasowania i uogólnienia.

Czytaj dalej

W 15 językach

Tekst z Wikipedii, CC BY-SA 4.0 · Artykuł źródłowy