Istnieje powszechnie znana, sprawdzona w wielu zastosowaniach i wygodna miara ilości informacji wprowadzona przez Claude Shannona. Ilość informacji określona została przez niego jako ujemny logarytm z prawdopodobieństwa (komunikatu), jeżeli liczymy binarnie to podstawa logarytmu równa jest dwa a wynik otrzymujemy w bitach. Zatem w przypadku np. zbioru wszystkich łańcuchów binarnych n-długich mamy I=-lg(2^-n) czyli n. Oczywiście przy założeniu że prawdopodobieństwo wystąpienia każdego łańcucha jest takie samo co bynajmniej nie musi być prawdą. Zgoła inaczej sprawa ma się z jakościowymi określeniami informacji. Propozycji jest mnóstwo niektóre ciekawe np. Eigen [1971] czy Mazur [1970] a inne mniej. Teraz zaproponuję pewną definicję informacji ale wypada poprzedzić ją kilkoma uwagami. Po pierwsze nie zamierzam formułować defnicji odpowiadającej na pytanie "czym informacja jest w istocie swojej" i pretendującej do wyłączności czy kompletności (cokolwiek miałoby to znaczyć). Po drugie definicje wprowadzamy zwykle po coś, ze względu na ich użyteczność. Definicja ditlenku krzemu inna będzie dla chemika inna dla fizyka a jeszcze inna dla przedstawiciela szlachetnej sztuki szklarskiej. Chodzi zatem o definicję, która byłaby przydatna, dzięki której można coś zobaczyć, policzyć, zrobić. Ustalam więc, że informacja to sekwencja znaków łańcucha. Sekwencja natomiast to po prostu kolejność znaków. Definicja ta oddaje pewne podstawowe intuicje związane ze znaczeniem terminu "informacja" chociaż bynajmniej nie wszystkie takie intuicje. Pierwszą własnością na jaką można zwrócić uwagę jest nielokalność: dwa lub więcej łańcuchów może mieć tą samą sekwencję czyli "reprezentować" tą samą informację. Nie ma w tym nic magicznego. Sekwencja jest abstrakcyjna podobnie jak np. "czerwień" czyli niezależna od szczegółowych (innych) własności obiektów którym przysługuje. Pojawia się jednocześnie interesujące zagadnienie mierzalności ilościowej informacji rozumianej jako sekwencja. Możemy oczywiście z powodzeniem stosować miarę Shannona ale nie mierzy ona sekwencji jako takiej ale jej prawdopodobieństwo (zlogarytmowane), w szczęśliwym przypadku będzie to miara długości sekwencji ale nie rozmieszczenia znaków czyli nie sekwencji jako takiej. Zastosujemy kryterium pomiaru ilościowego Gaussa: ilościowo mierzona może być taka istność, która daje się podzielić na co najmniej dwie istności równe tego samego rodzaju co istność dzielona. Wynika z niego, że np. drut (traktowany jako walec jednorodny) jest mierzalny ilościowo ponieważ daje się podzielić na połowy dalej będące kawałkami drutu. Inaczej rzecz ma się powiedzmy z królikiem. Jakbyśmy go ne cięli nie otrzymamy dwu równej wielkości króliczków. Dlatego drut kupujemy na metry a króliki na sztuki. Kiedy potocznie mówimy "zmierzyć królika" mamy zazwyczaj na myśli "zmierzyć jego długość" a długość oczywiście jest mierzalna. Zatem w króliku jest sporo do zmierzenia ale także coś niemierzalnego. Jak sprawa wygląda w przypadku informacji? Weźmy następujący łańcuch bnarny: 101010101010. Jest to sekwencja podzielna na sześć identycznych 10, które możemy policzyć jednak sekwencja 10 już nie jest mierzalna jako taka. Zachodzi wyraźny związek między mierzalnością ilościową a kompresowalnością łańcuchów, im mniejsza kompresowalność tym mniejsza mierzalność ilościowa informacji. Wiąże to się także z obliczeniami wykonywanymi np. na liczbach rzeczywistych. Liczby nieobliczalne rekurencyjne możemy obliczać opisując/generując je pozycja po pozycji, chociaż nie bardzo kojarzy się to z matematyką w sensie potocznym to jednak nią jest. W dziedzinach nauk przyrodniczych, takich jak biologia czy geologia bardzo często "liczymy nieobliczalne" opisując (często liczbowo np. na mapach cyfrowych) powiedzmy line brzegowe kontynentów.
Zagadnienie: czy dla każdego łańcucha obliczalnego w sposób systematyczny można podać ogólny wzór na n-te miejsce. W szczególności, czy można podać wzór na n-te miejsce rozwinięcia dziesiętnego liczby pi (bez obliczania wszystkich poprzedzających).
Zauważmy: od niemierzalnej ilościowo informacji może zależeć prawdopodobieństwo zdarzeń na przykład prawdopodobieństwo określonej trajektorii ewolucji układu w przestrzeni stanów. Chcąc obliczać prawdopodobieństwa musimy niekiedy wiedzieć co wypadło a to może być "nieobliczalne". Wyobraźmy sobie reaktor chemiczny, w którym przebiega synteza łańcuchów polimerów z dwu rodzajów cząsteczek. Niech trwałość i inne własności zależą od sekwencji monomerów. Jednak nie wiemy o tym i wszystkie możliwości traktujemy jako równoprawne. Jeżeli w naszym reaktorze pojawi się cząsteczka polimeru o dużej trwałości i zdolnościach autokatalitycznych to możemy być zaskoczeni wyraźnie kierunkowym charakterem i nieodwracalnością reakcji. Trop zdaje się zaczynać prowadzić w stronę termodynamiki ale tu go na razie porzucimy.
