Интересная мысль: сами состояния, такие как символы, битовые строки и т. д., не содержат информации. Информация существует только в контексте, например, декодера Шеннона или машины интерпретации. Обе из которых обязательно содержат состояние кодовой книги, которое "информировано" состоянием.

Мы думаем о битах, первичных состояниях единицы и нуля, которые несут информацию, и в некотором смысле они действительно это делают — потому что у вас всегда есть контекст вашего собственного сознания. Но в абстрактном виде биты никогда не содержат никакой информации.