루치아노 플로리디: 정보-엔트로피와 무작위성

엔트로피와 무작위성

Entropy and randomness

섀넌의 의미에서 정보는 엔트로피로도 알려져 있다. 이 혼란스러운 표식은 20세기의 가장 뛰어난 과학자들 가운데 한 사람인 존 폰 노이만(John von Neumann, 1903-1957)에서 기인된 듯 보이는데, 그는 섀넌에게 다음과 같이 그것을 추천했다.

두 가지 이유에서 그것을 엔트로피라고 불러야 합니다. 첫째, 그 함수는 이미 동일한 이름으로 열역학에서 사용되고 있습니다. 둘째 그리고 더 중요하게도, 대부분의 사람들이 엔트로피가 정말 무엇인지 알지 못하고, 그래서 어떤 논증에서 엔트로피라는 낱말을 사용한다면 매번 승리할 것입니다.

불행하게도 두 가지 점 모두에서 폰 노이만이 옳은 것으로 판명되었다. 무소음 통신 채널이라는 이상적인 경우를 가정할 때 엔트로피는 세 가지 등가적인 양들의 척도이다.

(a) 정보 제공자에 의해 산출되는 기호당 평균 정보량, 또는

(b) 정보 제공자의 출력을 검사하기 전에 정보 수신자가 갖고 있는 상응하는 데이터 부족(섀넌 불확정성)의 평균량, 또는

(c) 동일한 원천의 상응하는 정보적 잠재성, 즉 정보적 엔트로피(informational entropy).

어떤 특수한 알파벳을 선택함으로써 자동적으로 정보 제공자가 정보 전달자에 의해 다양한 정도로 충족(해소)될 수 있는 정보 수신자의 데이터 부족(불확정성)을 만들어내기 때문에 엔트로피는 동등하게 (a) 또는 (b)를 가리킬 수 있다. 스무 고개 게임을 떠올리자. 단일한 공평한 동전을 사용하면, 나는 즉시 일 비트의 데이터 부족 상태에 처하게 되는데, 나는 동전이 앞면인지 뒷면인지 알지 못하고, 그래서 알아내기 위해 하나의 질문이 필요하다. 두 개의 공평한 동전을 사용하면 최소한 두 개의 질문이 필요하기 때문에 내 데이터 부족은 두 배가 되지만, 까마귀를 사용하면 내 데이터 부족은 영이 된다. 나의 빈 유리잔(위의 (b))은 그것을 채울 수 있는 여러분의 역량에 대한 정확한 척도(위의 (a))이다. 물론, 확률 분포를 특정할 수 있을 경우에만 정보를 엔트로피에 의해 수량화된 것으로 말하는 것이 의미가 있다.

(c)에 대해서 MTC는 정보를 질량이나 에너지 같은 하나의 물리적 양으로 간주하고, MTC에 의한 정보 분석과 엔트로피 개념에 대한 통계 역학의 형식적 표현 사이의 유사성은 이미 섀넌에 의해 논의되었다. 엔트로피에 관한 정보적 개념과 열역학적 개념은 확률과 무작위성이라는 개념들을 통해 서로 관련된다. '무작위성'이 '무질서(disorder)'보다 더 나은데, 전자는 구문론적 개념인 반면에 후자는 강한 의미론적 가치를 지니고 있기 때문이다. 다시 말해서, 십 대일 때 내가 양친에게 설명하려고 노력하곤 했던 것처럼, 무질서라는 개념은 쉽게 해석들과 관련된다. 엔트로피는 에너지 또는 정보를 품고 있는 과정과 체계들에 있어서 '뒤섞임'의 정도에 대한 척도이다. 또한 그것은 가역성의 표식으로 간주될 수 있는데, 엔트로피의 변화가 전혀 없다면 그 과정은 가역적이다. 고도로 구조화된, 완전히 조직된 메시지는 더 낮은 정도의 엔트로피 또는 무작위성, 섀넌의 의미에서 더 낮은 정보를 포함하고, 그래서 그것은 영에 접근할 수 있는(까마귀를 떠올리자) 더 낮은 데이터 부족을 초래한다. 이와는 대조적으로, 알파벳 기호들의 잠재적 무작위성이 더 높을수록, 장치에 의해 더욱 더 많은 비트의 정보가 산출될 수 있다. 엔트로피는 균일한 분포를 갖는 극단적인 경우에 최대값을 나타내는데, 말하자면, 얼음 한 덩이가 들어 있는 한 잔의 물이 얼음이 녹아버린 한 잔의 물보다 더 낮은 엔트로피를 포함하고, 편향된 동전이 공평한 동전보다 더 낮은 엔트로피를 갖는다. 열역학에서, 엔트로피가 더 클수록 가용 에너지는 더욱 더 작아진다. 이것은, 높은 엔트로피가 높은 에너지 부족에 대응하지만, MTC에서 엔트로피는 다음과 같다는 것을 의미한다. 엔트로피의 높은 값은 더 큰 양의 데이터 부족에 대응한다. 결국 폰 노이만이 옳았을 것이다.

정보에 관한 정량적 개념들에 대한 탐색은 끝났다. MTC는 잘 구성된 데이터의 통신과 처리에 대한 수학적 접근 방식의 토대를 제공한다. 데이터가 유의미할 때, 그것들은 의미론적 내용을 구성한다. 의미론적 내용이 참이기도 할 때, 그것은 의미론적 정보로서의 자격을 갖게 된다. 이것이 이 책에서 논의되는 모든 개념들의 여왕이며 다음 장에서 그것에 전념한다.

―― 루치아노 플로리디(Luciano Floridi), <<정보: 매우 짧은 입문(Information: A Very Short Introduction)>>(2010), pp. 45-7.