Macierz podobieństwa, czyli jak ujawniam "powielanie myśli"

Problemy powielania i  zniekształcania informacji to temat kilku moich ostatnich blogów.

W BLOG1  "Excel, SQL, ORB, czyli wielka niemoc w odwzorowaniu rzeczywistości" koncentrowałem się się na obiektowym odwzorowaniu rzeczywistości. Odwzorowanie  obiektowe wymaga całkowitej zmiany myślenia o rzeczywistości  i jest wyzwaniem na dziesięciolecia, stąd trudno oczekiwać szybkich wyników. Inną  łatwiejszą opcją ograniczenia zniekształcania  informacji (choć zdecydowanie mniej  skuteczną)   jest "osadzenie" tej informacji w danych liczbowych.  Takiej metodologi porządkowania danych poświęcony jest  BLOG2 „Niebezpieczne zabawy z tekstem”  w którym naszkicowane trzy scenariusze przetwarzania tekstu: od czystego potoku słów, przez prosty model liczbowy, aż po pełne powiązanie tekstu z tabelą zdarzeń. W blogu 2 starałem się wykazać, że tylko tekst spleciony z ustrukturyzowanymi danymi może zachować wierność faktom.

Niezależnie od stopnia powiązania tekstu z danymi, pogłębia się jednak inna współczesna choroba przekazu informacji   – nadmiarowość informacji. Taką nadmiarowość, nawet w ramach jednego tekstu, trudno jest ocenić obiektywnie „na oko”; niezbędne są do tego dedykowane narzędzia.
Od dłuższego czasu szukam sposobów na uporządkowanie informacji i usuwanie z komunikacji tego, co nie wnosi nic nowego. W tym artykule pokazuję własne narzędzie, które pomaga zmierzyć „powielanie myśli” w tekście – nie na wyczucie, lecz w sposób liczbowy i obiektywny.

Metoda analizy 

Do oceny liczbowej nadmiarowości tekstu wykorzystuję  biblioteki Python i narzędzia  ekosystemu Hugging Face.
Etap 1 Podział  tekstu na zdania

with open("polish.pickle", "rb") as f:
    tokenizer = pickle.load(f)
sentences = tokenizer.tokenize(text1)    #  w drugiej iteracji  text2  

Etap 2 Wektoryzacja semantyczna  (narzędzia ekosystemu Hugging Face)
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
embeddings = model.encode(sentences, normalize_embeddings=True)

Etap 3 Macierz podobieństwa pomiędzy zdaniami
sim_matrix = cosine_similarity(embeddings)

Etap 4 Obliczanie średniego podobieństwa dla każdego zdania 

threshold = 0.31  # przykładowy próg uznania zdania za redundantne
redundant_count = 0
for i in range(len(sentences)):
    avg_sim = (np.sum(sim_matrix[i]) - 1) / (len(sentences) - 1) 
    if avg_sim > threshold:
        redundant_count += 1

Etap 5 Prezentacja graficzna macierzy podobieństwa pomiędzy zdaniami (mapa ciepła, heatmap)

plt.figure(figsize=(8, 6))
sns.heatmap(sim_matrix, annot=True, fmt=".2f", cmap="YlGnBu")
plt.title("Macierz podobieństwa między zdaniami")
plt.xlabel("Zdania")
plt.ylabel("Zdania")
plt.tight_layout()
plt.savefig("heatmap.png")  # zapis do pliku

Przykład 1 - Analiza tekstu obietnic wyborczych(19 zdań)

0- Drodzy Rodacy, nasz rząd nie ustaje w wysiłkach, aby konsekwentnie realizować ambitny program, który obiecaliśmy w kampanii.
1- Podwyższenie kwoty wolnej od podatku do 60 tys. zł to priorytet, który wkrótce stanie się faktem, bo Polacy zasługują na więcej w swoich portfelach.
2- Likwidacja podatku Belki już jest procedowana – dzięki temu każda złotówka oszczędności i inwestycji będzie pracowała tylko dla Was, a nie dla fiskusa.
3- Rozpoczynamy także proces wygaszania Funduszu Kościelnego, co uczyni finanse publiczne bardziej przejrzystymi niż kiedykolwiek wcześniej.
4- W zakresie reformy sądownictwa przygotowaliśmy rozwiązania, które przywrócą pełną praworządność i zaufanie obywateli do instytucji państwa.
5- Mamy świadomość, że Polacy nie chcą czekać ani chwili dłużej – dlatego z podwojoną energią przyspieszamy prace legislacyjne.
6- To są zmiany, które zbliżają nas do nowoczesnej, europejskiej Polski.
7- Naszym celem jest Polska silna, sprawiedliwa i nowoczesna.
8- Gwarantujemy, że obietnice wyborcze to nie puste słowa, lecz konkretne działania, które przynoszą efekty.
9- Nigdy wcześniej Polska nie miała rządu, który tak skutecznie i odważnie zmierzał do spełnienia społecznych oczekiwań.Kwota wolna od podatku 60 tys. zł to symbol sprawiedliwości podatkowej, który wdrażamy z determinacją.
10- Podatek Belki odchodzi do historii, aby Polacy mogli wreszcie cieszyć się owocami własnej pracy i przedsiębiorczości.
11- Fundusz Kościelny odchodzi w przeszłość – rząd Tuska dotrzymuje słowa i wprowadza przełomową przejrzystość w finansach publicznych.
12- Reforma sądownictwa to nie tylko projekt – to wielka zmiana cywilizacyjna, która przywróci wiarę w prawo i sprawiedliwość społeczną.
13- Nikt nie zrobił dla praworządności tyle w tak krótkim czasie.
14- Nasze tempo jest bezprecedensowe, a konsekwencja w działaniu budzi szacunek nawet w Europie.
15- Dziś możemy z dumą powiedzieć: zmieniamy Polskę na lepsze, krok po kroku, dzień po dniu.
16- Polacy mogą być spokojni – obietnice nie są tylko spełniane, one stają się częścią fundamentów silnego państwa.
17 Każda decyzja, każdy projekt ustawowy to dowód naszej wiarygodności i odpowiedzialności za przyszłość Polski.
18- Idziemy do przodu i nie zatrzymamy się, aż wszystkie deklaracje staną się rzeczywistością.

Co pokazuje mapa podobieństw zdań (heatmap)?.  Każde zdanie z tekstu porównane jest ze wszystkimi innymi zdaniami. Kolor pola oznacza poziom podobieństwa – im ciemniejszy, tym bardziej zdania się powtarzają. Jeśli widzimy dużo ciemnych pól poza przekątną, to znaczy, że tekst jest przegadany i powiela te same myśli.

W tekście nr 1 występuje bardzo  dużo powtórzeń. Obietnice wyborcze są więc 'bardzo  mętne'.

Dla przykładu zdania 15 i 6  pokrywają się informacyjnie w  80% (na przecięciu  kolumn 16 i 6 wyświetlana jest cyfra 0.80)

zdanie 15- Dziś możemy z dumą powiedzieć: zmieniamy Polskę na lepsze, krok po kroku, dzień po dniu.

zdanie 6- To są zmiany, które zbliżają nas do nowoczesnej, europejskiej Polski.

Przykład 2 - Krótka relacja sportowa (4 zdania)

0- Wczoraj odbył się mecz piłki nożnej Polska Niemcy, wynik 5 do 3.

1- Polska strzeliła 5 goli.

2 - Niemcy wpuścili 3 gole.

3 - Tak więc polska wygrała z Niemcami dwoma bramkami.

W tekście nr 2 występują same  powtórzenia. Do zrelacjonowania wydarzenia wystarczyłoby tylko jedno zdanie zamiast 4 zdań.

Wnioski końcowe

1/ Analiza macierzy podobieństwa zdań ujawnia powszechny defekt komunikacyjny: znaczna część tekstów tworzonych w działalności naukowej, politycznej i edukacyjnej cechuje się nadmierną redundancją i wtórnością treści.

2/ Średni współczynnik podobieństwa zdań, przekraczający wartość progową X, można uznać za miernik pustosłowia i brak klarowności myśli. Dokumenty takie są nawet w przypadku kiedy posiadają jakąś wartość merytoryczną, są szkodliwe dla procesów decyzyjnych i poznawczych.

3/ Wnioski grantowe, plany rozwojowe, opisy projektów i sprawozdania polityczne, których średni współczynnik podobieństwa przekracza określony próg X, powinny być automatycznie odrzucane przez algorytmy weryfikujące, jako teksty przegadane i bezwartościowe.

4/ Oczyszczenie procesów z tekstów wtórnych i zniekształcających informację pozwoli przywrócić przejrzystość komunikacji, usprawnić procesy decyzyjne, zaoszczędzić środki publiczne i ograniczyć chaos informacyjny.

5/ Macierz podobieństwa zdań powinna stać się podstawową miarą jakości treści tekstowych – jako obiektywne i możliwe do zautomatyzowania  narzędzie oceny klarowności przekazu, a nie zatruwania przestrzeni informacyjnej nadmiarową treścią.