재미있는 수학이야기-수학의 약점

바그너의 가곡 '리벨룽겐의 가락지'는 불멸의 영웅 지그프리드 대왕의 용기와 사랑을 그리고 있다.

네덜란드의 왕자 지그프리드는 일찌기 니벨룽겐이라고 하는 난장이족을 정복하고 많은 보물을 손에 넣는다.

이 때 그는 보물을 지키고 있던 용을 칼로 쳐 죽이고 그 피가 고여 이루어진 조그만 웅덩이에 몸을 적셔 몸에 칼, 창이 들어가지 않는 불사신이 된다.

그러나 그가 용의 피에 몸을 잠글 때 등에 하나의 보리수 잎이 떨어진다.

이 나뭇잎 때문에 용의 피가 묻지 않은 부분이 생겨 지그프리드의 유일한 약점으로 남는다.

불멸의 영웅들에게도 치명적인 약점이 있듯이 오직 신화 속의 영웅처럼 완전하고 무결하게만 보이는 수학에도 약점이 있다.

수학이 그 약점을 드러내게 된 계기는 집합론의 출현이다.

집합론은 독일의 수학자 칸토르에 의하여 창시되었는데 그는 집합을'확정적이고 명확히 구별되는 직관이나 사고의 대상의 모임'으로 정의했다.

집합론의 출현 이후 수학 전반에 관한 집합론적 안목으로써의 재조명이 시작됐다.

그러나 이 집합개념 출현에 바로 잇따라 집합의 정의 자체에 관한 결함이 발견됐다.

집합의 정의 자체에 관한 모순을 지적한 것으로서 유명한 럿셀의 역설이 있다.

자기 자신을 원소로 가지지 않는 집합 전체의 모임을 S라고 할 때, 칸토르의 정의에 의하면 S는 하나의 집합이다.

우리는 여기서 S가 S의 원소가 아니면 S는 S의 원소가 이어야 하고, S가 S의 원소이면 S는 S의 원소가 아니어야 하는 기이한 모순을 만나게 된다.

이것이 럿셀의 역설이다.

"전능의 하나님은 자신이 들 수 없을 정도로 무거운 바위를 창조할 수 있다"와 같은 주장은 럿셀의 역설의 변형으로, 시중에 나오는 중고등학생을 위한 이야기꺼리 책에서도 이와같은 역설은 다수 발견 된다.

수학의 많은 부분이 집합론에 바탕을 두고 있으므로 이 역설은 총체적 수학구조의 진실성에 회의를 던져 주었다.

20세기 초에 이같은 집합론의 모순을 피하고 수학의 본질을 정립하기 위해 등장한 여러 가지 사조가 있었으나 가장 많은 사람들의 기대와 지지를 받은 것으로 형식주의란 것이 있다.

형식주의자들은 수학이란 공리계에 입각한 형식적인 연역체계라고 보고 수학을 이 관점에서 재정립하려고 노력했다.

그러나 형식주의자들의 노력도 불운의 천재 괴델의 이른바 불완전성의 정리로 여지없이 물거품이 되고 만다.

괴델의 정리는 쉽게 말해서 어떠한 형식적인 연역체계도 그체계 안에 있는 언어와 방법으로 그 체계를 설명하다는 것은 불가능하다는 것이다.

괴델로 인하여 이제 우리는 수학의 언어로 수학을 설명하는 것이 불가능하다는 것을 알게 됐다.

불멸의 영웅들이 나뭇잎이나 발 뒤꿈치를 쥔 손에 의한 약점을 가지는 것과 같이 완벽의 수학도 이렇듯 기막힌 약점을 가지고 있다.

그러나 영웅의 신화가 그러한 약점으로 인하여 인간적이고 재미있는 이야기가 되듯이 수학 또한 이러한 약점 때문에 인간적이고 흥미로운 면모를 함께 가지고 있는 것이다.

그런데 수학의 이 약점은 약점이 아니라 영원성이다.

장자 외편 천도편에 이런 말이 있다.

'세인이 귀하게 여기는 것은 책이다.

그러나 책은 말에 지나지 않는다.

하지만 말도 그 자체가 어떻다는 것이 아니고 중요한 것은 말 속에 깃든 뜻이다.

그런데 뜻이 따르는 바는 바는 말로써 전할 수는 없다'. 그렇다.

진정한 의미의 진리란 인간의 언어로 설명할 수 있는 성질의 문제가 아니다.

인간의 지혜와 능력으로 신의 세계를 논할 수 없듯이 수학의 어떤 시스템으로도 수학을 설명할 수 없다는 것은 실로 얼마나 수학이 종교와 같이 궁극적인 진리의 학문인가를 말해주고 있다.

황석근(경북대 수학교육학과 교수)