서론

현대의 웹 브라우저는 수천만 줄의 C++와 JavaScript 코드로 구성된 거대한 소프트웨어 시스템입니다. Firefox와 같은 브라우저는 단순한 텍스트 렌더링을 넘어, 복잡한 멀티미디어 처리, WebGL 가속화, 그리고 수많은 웹 표준 API를 실시간으로 처리하는 운영 체제와도 같습니다. 보안 연구자들에게 이러한 복잡성은 ‘공격 표면(A attack surface)‘의 확대를 의미합니다. 전통적인 퍼징(Fuzzing) 기술은 무작위 입력을 생성하여 버그를 유발하려 시도하지만, 브라우저 내부의 복잡한 상태 기계(State Machine)나 제약 조건을 이해하지 못해 잠재적인 취약점을 놓치는 경우가 많았습니다.

이러한 한계를 극복하기 위해 등장한 것이 바로 LLM(대규모 언어 모델) 기반의 테스팅 기법입니다. 최근 SecurityWeek를 통해 보도된 ‘Claude Mythos’는 Anthropic의 Claude 모델의 고차원적 추론 능력을 퍼징 프레임워크에 통합하여, Firefox 코드베이스에서 단 한 번의 테스트 캠페인에서 무려 271개의 취약점을 발견해냈습니다. 이는 LLM이 단순히 텍스트를 생성하는 도구를 넘어, 소프트웨어의 논리적 결함을 찾아내는 강력한 분석 도구로 진화했음을 시사합니다. 본 글에서는 Claude Mythos가 어떻게 LLM의 의미 이해 능력과 동적 분석을 결합하여 기존 보안 감사 방식의 패러다임을 shift했는지 그 기술적 메커니즘을 심층적으로 분석합니다.

본론

기술적 배경: 뉴로-심볼릭 퍼징(Neuro-Symbolic Fuzzing)

전통적인 퍼징, 특히 커버리지 가이드 퍼징(Coverage-guided Fuzzing)은 실행 경로를 탐색하며 입력을 변이(Mutation)시킵니다. 하지만 이 방식은 문법적 제약이 복잡한 입력(예: 특정 순서로 호출되어야 하는 JavaScript API)을 생성하는 데 비효율적입니다. 반면, LLM은 방대한 코드베이스와 문서를 학습했기 때문에 목표 소프트웨어의 API 사용 패턴, 논리적 전제 조건, 그리고 예상되는 동작을 ‘의미적으로’ 이해할 수 있습니다.

Claude Mythos는 이러한 LLM의 능력을 ‘Neuro-Symbolic Fuzzing’ 아키텍처에 적용합니다. 신경망(Neuro)인 LLM이 의미 있는 입력 시드(Seed)를 생성하면, 기호적(Symbolic) 퍼징 엔진이 이를 바탕으로 고속으로 변이를 수행하는 하이브리드 구조입니다. 이를 통해 LLM은 ‘무엇을 공격할지’를 전략적으로 결정하고, 퍼저는 ‘어떻게 공격할지’를 효율적으로 수행하는 역할 분담이 이루어집니다.

Claude Mythos 아키텍처

Claude Mythos의 핵심은 피드백 루프(Feedback Loop)에 LLM을 통합한 것입니다. 퍼징 과정에서 발생한 크래시 로그나 실행 경로 정보를 다시 LLM에게 제공하여, 다음번 공격 시도를 더욱 정교하게 만드는 과정을 반복합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

graph LR
    A[Source Code] --> B[LLM Agent]
    B --> C[Initial Seed Generation]
    C --> D[Fuzzing Engine]
    D --> E[Firefox Target]
    E --> F[Monitor]
    F --> G{Crash?}
    G -->|Yes| H[Vulnerability Report]
    G -->|No| I[Coverage Feedback]
    I --> B

위 다이어그램에서 볼 수 있듯이, LLM Agent는 단순히 초기 시드만 생성하는 것이 아닙니다. 퍼징 엔진으로부터 피드백(Coverage Data)을 받아 코드의 덜 탐색된 영역을 식별하고, 해당 영역을 트리거할 수 있는 새로운 입력을 추론하여 생성합니다. 이 과정은 소프트웨어의 깊숙한 숨겨진 로직(Deep Logic)까지 탐색하는 데 결정적인 역할을 합니다.

실무 구현: Python을 이용한 LLM 기반 시드 생성 시뮬레이션

Claude Mythos와 같은 시스템을 구축하기 위해서는 LLM API를 퍼징 워크플로우에 통합해야 합니다. 아래는 개념적인 구현을 위해 Python과 가상의 LLM 클라이언트를 사용하여, 브라우저의 특정 DOM API를 타겟으로 하는 퍼징 시드를 생성하는 예시 코드입니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

import openai  # 가상의 LLM 클라이언트
import json

class MythosSeedGenerator:
    def __init__(self, model_name="claude-3-opus"):
        self.model = model_name
        self.client = openai.OpenAI()

    def generate_fuzz_input(self, target_api, context):
        """
        LLM을 사용하여 타겟 API의 취약점을 유발할 수 있는
        의미적 자바스크립트 입력을 생성합니다.
        """
        prompt = f"""
        You are a security expert testing a browser engine.
        Target API: {target_api}
        Context: {context}
        
        Task: Generate a JavaScript code snippet that attempts to 
        trigger a memory corruption or use-after-free in the API.
        Focus on edge cases like null arguments, extreme values, 
        or rapid state changes.
        Output only the JS code.
        """
        
        response = self.client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
            temperature=0.7  # 창의적인 변이를 위해 적절한 온도 설정
        )
        
        return response.choices[0].message.content

# 사용 예시
generator = MythosSeedGenerator()

# Firefox의 DOMParser API를 타겟팅 시나리오
target = "DOMParser.parseFromString"
context = "Parsing malformed SVG images in a loop."

fuzz_seed = generator.generate_fuzz_input(target, context)
print(f"Generated Fuzz Seed:
{fuzz_seed}")

이 코드는 실제 운영 환경에서는 훨씬 더 복잡한 프롬프트 엔지니어링과 래핑(Wrapping) 과정을 거치게 됩니다. 특히 temperature와 같은 파라미터는 탐색(Exploration)과 이용(Exploitation) 사이의 균형을 맞추는 중요한 하이퍼파라미터로 작용합니다.

성능 비교 및 분석

Claude Mythos와 같은 LLM 기반 퍼징 도구가 기존 도구 대비 어느 정도의 성능 향상을 보이는지는 뚜렷한 데이터로 증명됩니다. 271개의 취약점 발견이라는 수치는 단순한 노이즈가 아니며, 특정 유형의 버그에 대한 탐지율을 획기적으로 높였음을 의미합니다.

| 비교 항목 | 전통적인 퍼징 (AFL/LibFuzzer) | LLM 기반 퍼징 (Claude Mythos) | | :— | :— | :— | | 시드 생성 방식 | 랜덤 비트 플리핑, 바이트 변이 | 의미적 이해 기반 코드 생성 | | 복잡한 구조 처리 | 낮음 (문법 위배 가능성 높음) | 높음 (API 스펙 준수율 우수) | | 상태 기계 이해 | 불가능 (블랙박스 접근) | 가능 (소스 코드 컨텍스트 참조) | | 초기 탐색 속도 | 빠름 (처리 비용 적음) | 느림 (LLM 추론 시간 소요) | | 심층 버그 발견율 | 낮음 (얕은 버그에 편중) | 매우 높음 (논리적 결함 발견) |

이 표에서 알 수 있듯, LLM 기반 접근법은 초기 속도에서는 불리할 수 있으나, 복잡한 조건의 버그(Logic Bug)를 찾아내는 데 있어서는 압도적인 우위를 점합니다. 실제로 Mythos가 발견한 271개의 취약점 상당수는 기존 퍼저들이 접근조차 하지 못했던 코드 경로에 존재하는 것이었습니다.

단계별 가이드: Mythos 워크플로우 적용하기

조직에서 이러한 LLM 기반 보안 감사를 도입하기 위해 고려해야 할 단계별 프로세스는 다음과 같습니다.

1. **대상 선정

출처: https://news.google.com/rss/articles/CBMigwFBVV95cUxOU0tsMkZfNkVXODExMlRLZ29pcjh1RERlWFhFVUJsM0FFWkNUSFA5Qkg0SE9JYk12dmxnTXRoNkNEWU1HdW04ZGU4Y1Fvdm9zWE5Db3VtMThTMTdnUU5YdTFSeE1kMlRodWdtS004cThOUmc0YllMQjVyOXZlOHU1WHRtTdIBiAFBVV95cUxPUVNaNHBIY1NJZ1Utcmo1YXg0TldYYXRjbFk0SmlORk1XTENpY0hzcWtvUExaZGFoTENWQUpPZFlBVDNLMWUwcVJpMGNCazlBOVRkeFYwVEFTdDIxQ0hiZGFueVFjYnF6VmxOdFg5bjdVb2h5aUdYWHU3Z09QZmZTVVA1alJaUDZq?oc=5