서문: AI가 너무 똑똑해지면 블랙박스는 더 이상 안심할 수 없습니다.

2024년 이후, AI 도구는 우리 삶의 모든 구석구석에 침투했습니다. LINE 메시지에 자동으로 답장하는 작은 로봇부터 회사에서 보고서를 작성하고 프로그램을 작성하는 데 사용되는 스마트 비서까지, AI는 우리의 일과 삶에 자리 잡은 듯합니다. 매일 최소 5가지 이상의 다양한 AI 도구를 사용하는 사람으로서, 저는 그 도구들의 유창함과 지능에 종종 놀랍니다. 어떤 순간은 그들이 나 자신보다 나를 더 잘 이해한다는 걸 느낄 때도 있어요!

하지만 이 때문에 불안감이 생기기 시작했습니다. 우리는 정말로 AI가 어떻게 결론에 도달하는지 이해하고 있는 걸까요? AI가 거의 완벽한 보고서를 작성하는 것을 볼 때마다, 저는 항상 이런 의문을 품습니다. AI가 정말로 이 결과를 이해하고 있는 걸까요, 아니면 그저 우연의 일치일까요?

오늘날의 AI를 그림으로 표현한다면 아마도 이렇게 말할 것입니다. 스스로 자랄 수 있는 이상한 식물과 같다고. 우리는 식물이 아름다운 꽃을 피우고 매력적인 열매를 맺는 것을 보지만, 돋보기로 자세히 들여다보면 뿌리, 줄기, 잎이 서로 어떻게 상호 작용하는지 전혀 알 수 없습니다.

Anthropic에서 최근 발표한 연구, 이 검은 상자를 열려고 합니다. 그들은 Claude 3.5와 같은 대규모 언어 모델의 내부 작동 메커니즘을 분석하기 위해 거의 생물학자와 같은 접근 방식을 사용했습니다. 단순히 입력과 출력만 보는 것이 아니라, 세포를 관찰하고 신경 세포를 추적하여 "이 이상한 식물의 각 세포는 무슨 역할을 하는가?"라는 질문에 답해 볼 수 있습니다.

앞으로 AI가 의학, 법률, 금융 등 민감한 분야에 진출하게 된다면, 단순히 성과만 볼 것이 아니라 AI의 추론 과정이 신뢰할 수 있고, 안전하며, 제어 가능한지 여부를 진정으로 파악해야 합니다. 오늘은 Anthropic의 연구를 통해 AI의 두뇌가 어떻게 작동하는지 알아보겠습니다!

AI 모델의 "생물학적 구조": 왜 생물학을 은유로 사용하는가?

Claude 3.5와 같은 대규모 언어 모델(LLM)의 내부를 이해하기 위해 Anthropic 팀은 상쾌한 비유를 선택했습니다. 모델을 살아있는 유기체로 생각해 보세요.

이 아이디어는 처음에는 조금 이상하게 들릴 수도 있습니다. 결국 LLM은 실제 살아있는 유기체가 아닌 인간이 설계한 신경망 아키텍처입니다. 하지만 이 모델이 내부적으로 어떻게 작동하는지 자세히 살펴보면, 이는 살아있는 유기체에서 진화한 구조와 놀라울 정도로 유사하다는 것을 알 수 있습니다.

생물은 DNA 복제와 돌연변이를 통해 번식하지만, 각 개체 내에서 세포는 심장, 폐, 뇌와 같이 서로 다른 기능을 담당하는 복잡한 시스템을 자체 조직화합니다. LLM은 엄청난 양의 데이터를 조정하여 수천 개의 기능을 형성하고, 이러한 기능은 서로 연결되어 회로 시스템이라고 볼 수 있는 고수준 구조를 형성합니다.

즉, 특징은 세포와 같고 회로는 기관계와 같습니다. 모델이 거대해지면 내부 자기 조직의 복잡성이 인간의 단순한 설계로 완전히 제어할 수 있는 범위를 넘어섭니다.

Attribution Graphs: AI를 현미경으로 보는 기술

LLM의 내부 구조를 실제로 파악하기 위해 Anthropic은 Attribution Graphs라는 새로운 기술을 개발했습니다. 이는 AI 두뇌에 현미경을 설치하는 것과 같아서 각 기능이 최종 출력 형성에 어떻게 참여하는지 추적할 수 있습니다.

모델을 이해하는 전통적인 방법은 대부분 입력과 출력 간의 관계를 관찰하는 데 초점을 맞춥니다. 하지만 Attribution Graph는 그 이상의 기능을 수행합니다. 생물학자가 형광 표지 기술을 사용하여 살아있는 세포를 표시하고 세포가 어떻게 분화되고 움직이는지 추적하는 것처럼, 컴퓨팅 과정에서 각 기능의 "출력"을 정확하게 표시할 수 있습니다.

한 걸음 더 나아가 Anthropic은 회로 추적(Circuit Tracing)이라는 방법을 통합했습니다. 이는 뇌에 커넥톰 지도를 그리는 것과 같습니다. 즉, 각 특징이 다른 특징에 어떻게 영향을 미치는지에 대한 완전한 경로 지도를 그리려는 것입니다.

저는 AI를 많이 사용하는 사람으로서 과거 다양한 LLM을 사용할 때 순간적인 영감이 번쩍이는 느낌을 받은 적이 있지만, 이러한 추론의 도약이 어디서 왔는지 설명할 수 없습니다. Attribution Graph의 등장은 우리에게 이러한 "사고의 플래시 포인트"가 형성되는 메커니즘을 내부에서 이해할 수 있는 최초의 기회를 제공합니다.

사례 분석: 클로드 3.5의 "뇌 속 작은 드라마" 뒤에 숨은 진실

2단계 추론: "댈러스는 어디에 있는가"에서 "텍사스 → 오스틴"으로

이 모델에 "댈러스는 어느 주에 있나요?"라는 질문을 했을 때, 모델은 답을 바로 기억하지 않고 적어도 두 단계의 추론을 거쳤습니다. 첫째, 댈러스가 텍사스에 있다는 것을 인식했고, 둘째, 텍사스의 수도는 오스틴이라고 추론했습니다.

이러한 추론 사슬의 존재는 Attribution Graph를 통해 명확하게 시각화됩니다. 각 중간 추론 단계에는 해당 기능 활성화 및 상호 작용이 있습니다.

마치 고등학생들이 객관식 문제에 답할 때, 먼저 마음속으로 '텍사스'의 지리적 정보를 빠르게 걸러낸 다음, '오스틴'을 텍사스와 연관시키고, 마지막으로 답을 생각해내는 것과 같습니다.

이는 실제로 대만의 교육 시스템에서 학생들이 어린 시절부터 개발하도록 훈련받은 답변 기술에 내재된 암묵적인 추론 체계와 비교될 수 있습니다. AI도 이와 유사한 연쇄 추론 능력을 개발할 수 있다면, 앞으로 교육과 시험 지원 분야에서 큰 잠재력을 갖게 될 것입니다. 하지만 추론 과정이 건전한지 여부에도 주의를 기울여야 합니다. 그렇지 않으면 "정답은 맞지만 생각은 틀릴" 위험이 있습니다.

시 쓰기: 운율을 미리 계획하는 비결

클로드 3.5는 시를 지을 때 즉흥적으로 각 문장을 적어내지 않습니다. 그 대신, 실제로 글을 쓰기 시작하기 전에 그의 내부 시스템은 이미 운율이 맞는 단어 목록을 나열해 놓았습니다.

이러한 현상은 Attribution Graph를 통해 직관적으로 시각화됩니다. 시인이 시를 쓸 때, 먼저 마음속으로 어떤 단어가 운율을 이룰 수 있을지 빠르게 살펴본 다음, 상황에 가장 적합한 단어를 선택해 계속해서 글을 쓰는 것과 마찬가지입니다. 이러한 구조적 사전 계획을 통해 AI는 무작위로 화려한 단어를 배열하는 것이 아니라 언어의 유창성과 아름다움 사이에서 더 나은 균형을 찾을 수 있습니다.

이는 또한 많은 콘텐츠 제작자가 AI 글쓰기에 대해 우려하는 바에 대한 답이기도 합니다. AI는 단순히 아름다운 문장을 쌓는 것이 아니라 "사전 디자인"할 수 있는 능력을 갖추기 시작했는데, 이는 미래에 카피라이터, 브랜드 내러티브, 심지어 대중 문화 생성에 응용할 수 있는 잠재력이 더 크다는 것을 의미합니다.

다국어 패턴: 언어별 회로 대 언어 간 일반 회로

또한 Anthropic은 Claude 3.5의 뇌가 다양한 언어(예: 영어, 프랑스어, 스페인어)에 최적화된 전용 회로와 여러 언어에서 보편적으로 사용되는 고수준 논리 시스템을 포함하고 있다는 사실을 발견했습니다.

이는 인간의 학습 방식에도 적용될 수 있습니다. 우리가 어린 시절에 중국어를 배울 때, 우리의 뇌는 중국어 음절과 문법을 연습하는 데 특화되어 있습니다. 하지만 우리는 성장하면서 다양한 언어로 된 문제를 해결하기 위해 추상적 논리를 사용하는 법도 배웁니다.

저는 중국어 화자로서 한 가지 사실을 깊이 깨달았습니다. 앞으로 중국 LLM이 세계적인 수준에 도달하려면 번역에만 의존할 수 없고, 중국 맥락에 고유한 "모국어 특징" 회로도 개발해야 합니다. 그렇지 않으면 섬세한 표현과 암묵적 의미에 대한 이해 측면에서 결코 원어민을 따라잡을 수 없을 것입니다.

진단 추론: AI가 가능한 질병을 '사전 설정하는' 방법

클로드 3.5는 의학적 질문에 직면했을 때 임상의의 사고 패턴의 특징을 보여주었습니다. 증상에 따라 강제로 답을 내리지 않고, 대신 뇌 속에 '후보 진단 목록'을 개발합니다.

예를 들어, "인후통 + 발열"이라는 설명을 접하면 "감기", "독감", "연쇄상구균 감염" 등 여러 가능성을 동시에 활성화하고 세부 정보를 기반으로 필터링합니다. 사고 과정의 시각화는 AI 의료 응용 시장에도 적용될 수 있습니다. 앞으로 AI 지원 진단이 지역화되려면 AI가 단순히 교과서를 낭송하는 데 그치지 않고 실제로 "후보 가설을 형성하고 선별하는 능력"을 갖춰야 합니다.

거부 및 잘못된 판단: 모델이 무엇에 답할지, 무엇을 거부할지 결정하는 방법

마지막으로 Anthropic은 Claude 3.5에서 "유해한 요청 감지" 기능을 어떻게 구축했는지도 공개했습니다. 예를 들어, 민감한 질문을 받으면 거부 논리가 자동으로 활성화되어 안전한 어조로 응답합니다.

하지만 이 시스템은 완벽하지 않습니다. 때로는 지나치게 조심스러워서 무해한 문제를 잘못 분류하기도 합니다. 때로는 실수를 저지르고 해로운 문제가 발생하기도 합니다!

한계와 풀리지 않은 미스터리: AI가 가지고 있는 다른 "블랙박스 사각지대"는 무엇일까?

Attribution Graphs 기술을 통해 LLM의 세부 사항을 처음으로 엿볼 수 있게 되었지만, 이는 아직 빙산의 일각일 뿐입니다. Anthropic 역시 논문에서 현재 도구로는 모든 기능 간의 세부적인 상호작용을 완벽하게 재구성할 수 없다는 사실을 인정했습니다. 일부 암묵적 추론과 맥락적 통합 메커니즘은 마치 심해 생물처럼 우리 시야에 여전히 숨겨져 있습니다.

현대 신경과학자들이 인간의 뇌 연결체를 해독하려고 노력하는 것처럼 AI를 진정으로 이해하려면 더욱 자세한 설명, 더 많은 데이터, 그리고 더 지속적인 투자가 필요할 것입니다.

기술을 적극적으로 수용하는 대만과 같은 사회의 경우, 지금이 우리가 다시 생각해야 할 좋은 시기라고 생각합니다.
미래에는 우리는 AI 도구를 단지 사용하는 소비자가 될까요? 아니면 AI 시스템을 분석하고 이해하고 심지어 적극적으로 설계할 수 있는 전문가가 될까요?

이러한 선택은 차세대 기술에서 우리의 역할도 결정할 것입니다.

결론: AI를 이해하는 것은 자신의 뇌를 이해하는 것과 같습니다.

이 인류학적 연구는 의심할 여지 없이 AI의 내면 세계를 엿볼 수 있는 기회를 제공했습니다. 우리는 AI가 더 이상 순수한 블랙박스가 아니라는 사실을 깨닫기 시작했습니다. 자체의 "세포", "기관 체계", "추론 네트워크", 심지어 원시적인 "작은 극장"까지 갖추고 있습니다. 하지만 동시에, 이는 진정한 이해가 이제 막 시작되었을 뿐이며, 아직 밝혀지지 않은 부분이 많고, 완전히 익히지 못한 메커니즘이 많다는 것을 일깨워줍니다.

매일 AI와 함께 살면서 업무 효율성을 높이기 위해 AI에 의존하는 사람으로서, AI 개발에 대한 저의 견해는 모순적입니다. 한편으로는 경이로움과 희망이 있고, 다른 한편으로는 조심스럽고 성찰하는 마음이 있습니다.

아마도 미래에 AI를 이해하는 것은 우리 자신의 뇌를 이해하는 것과 같을 것입니다. 시간과 에너지가 필요한 긴 여정입니다.
또한 대만이 앞으로 이 길의 이용자일 뿐만 아니라, 창조자이자 가이드가 되기를 바랍니다!

AI 뇌의 비밀 정원을 열어라: 클로드 3.5를 앤트로픽으로 분석하고 AI가 어떻게 생각하는지 살펴보자