Linus Torvalds는 Claude Code를 사용하여 Linux 커널을 최적화합니다. 멀티스레드 파일 읽기 성능이 크게 향상될 것으로 예상됩니다.

요약:

Linux 커널 창립자인 Linus Torvalds는 인공지능 프로그래밍 도구인 Claude Code의 도움을 받아 Linux 커널 성능 최적화 솔루션을 개발하고 있습니다.

이 작업은 Linux 커널 메모리 관리 메커니즘의 성능 병목 현상을 대상으로 합니다. 목표는 여러 스레드가 동시에 동일한 파일을 읽을 때 메모리 페이지 참조 카운팅으로 인한 경쟁을 줄여 파일 읽기 효율성을 높이는 것입니다.

Linux 7.3-rc7의 출시를 기다리는 동안 Torvalds는 최근 Linux 커널 Git 코드 저장소를 새로 고치고 저장소에 특이한 새 분기가 나타나는 것을 발견했습니다. 메인 브랜치를 유지하는 그의 평소 관행과 달리 "noref-filemap-read-with-llm"이라는 이름의 이 브랜치는 일련의 커널 개선 패치를 개발하는 데 전념하고 있습니다. 지점 이름의 LLM에서 알 수 있듯이 이 작업은 대규모 언어 모델 지원 프로그래밍과 관련이 있습니다.

Torvalds는 나중에 관련 패치 노트에서 이 작업이 그의 지도와 Claude Code의 도움으로 완료되었음을 분명히 밝혔습니다. AI는 코드 구현에만 참여한 것이 아니라 테스트 프로그램 작성, 코드 검토 수행, 패치 시리즈 문서의 초기 버전 초안 작성에도 도움을 주었습니다. 관련 성능 측정은 Torvalds의 자체 컴퓨터에서 수행되었습니다.

이 최적화는 주로 Linux 커널 파일 읽기 경로의 특정 문제를 대상으로 합니다. 여러 스레드가 동시에 동일한 파일에서 작은 데이터 청크를 읽으면 파일 페이지 캐시에 있는 메모리 페이지의 참조 수를 놓고 경쟁할 수 있으며, 이로 인해 스레드가 관련 데이터 구조를 두고 서로 경쟁하게 되어 읽기 성능이 제한될 수 있습니다.

이 문제를 이해하려면 먼저 Linux 커널이 파일 읽기를 처리하는 방법을 이해해야 합니다.

Linux는 저장 장치에서 읽은 파일 데이터를 저장하기 위해 페이지 캐시(Page Cache)를 사용합니다. 프로그램이 메모리에 캐시된 파일의 내용에 다시 액세스하면 커널은 매번 디스크나 다른 저장 장치를 다시 방문할 필요 없이 메모리에서 직접 데이터를 제공할 수 있는 경우가 많습니다. 따라서 페이지 캐싱은 Linux가 파일 액세스 효율성을 향상시키는 중요한 메커니즘입니다.

캐시된 데이터를 관리하기 위해 커널은 관련 메모리 개체의 수명 주기를 추적해야 합니다. 기존 구현의 참조 계산 메커니즘은 커널이 메모리 개체가 아직 사용 중인지 여부와 관련 리소스를 안전하게 해제할 수 있는 시기를 결정하는 데 도움이 될 수 있습니다.

그러나 다수의 스레드가 동일한 파일에 자주 액세스하는 경우, 스레드가 읽는 데이터가 이미 메모리에 있더라도 관련 참조 계산 작업으로 인해 추가 동기화 오버헤드가 발생할 수 있습니다. 멀티 코어 프로세서 시스템에서는 여러 스레드가 동일한 공유 카운트 값을 지속적으로 업데이트할 경우 캐시 일관성 트래픽이 증가하고 프로세서 코어가 서로 대기하는 등의 문제가 발생할 수 있습니다.

단일 스레드 또는 낮은 동시성 시나리오의 경우 이 오버헤드가 눈에 띄지 않을 수 있습니다. 그러나 동시에 많은 수의 파일 읽기 요청을 처리해야 하는 동시 서버, 데이터베이스, 빌드 시스템 및 기타 워크로드에서는 반복되는 동기화 작업이 점차 성능 병목 현상을 일으킬 수 있습니다.

Torvalds가 개발 중인 일련의 패치는 불필요한 참조 계산 작업을 줄이기 위해 설계되었습니다. 핵심 아이디어는 커널이 각 관련 액세스에 대해 기존의 Folio 참조 관리 작업을 수행할 필요 없이 특정 조건에서 페이지 캐시에서 직접 데이터를 읽을 수 있도록 파일 읽기 경로를 조정하는 것입니다.

여기서 Folio는 일련의 연속 또는 연관된 메모리 페이지를 관리하기 위해 Linux 커널에서 사용하는 기본 추상화 중 하나입니다. 최근 몇 년 동안 Linux 커널은 메모리 관리 작업을 보다 효율적으로 처리하기 위해 점차적으로 Folio 메커니즘을 사용하여 기존 단일 페이지 관리 방법 중 일부를 대체해 왔습니다. 따라서 Folio 참조 카운팅으로 인한 오버헤드를 줄이는 방법은 커널 성능 최적화에서 중요한 작업이 되었습니다.

기술적인 관점에서 이러한 유형의 최적화는 단순히 참조 카운팅을 제거하는 것이 아닙니다. 커널은 메모리 객체가 액세스되는 동안 조기에 해제되지 않도록 해야 하며, 동기화 작업을 줄여 데이터 손상이나 메모리 안전 문제를 야기해서는 안 됩니다. 따라서 패치는 정확성, 동시 액세스 안전성 및 성능 간의 균형을 유지해야 합니다.

이러한 최적화로 인해 대상 작업 부하에서 상당한 성능 변화가 발생했습니다. 테스트는 주로 여러 스레드가 동일한 파일에서 작은 데이터 조각을 동시에 읽는 시나리오를 목표로 하며, 이는 패치가 해결하려는 경쟁 문제에 해당합니다.

그러나 이러한 결과는 특정 테스트 조건에서의 성능으로 이해되어야 하며 Linux의 모든 파일 작업이 동일한 개선을 받게 되는 것은 아닙니다. 실제 이점은 애플리케이션의 액세스 패턴, 스레드 수, 파일 크기, 저장 장치, 메모리 구성 및 기타 시스템 요소에 따라 달라집니다. 동일한 경합 문제가 포함되지 않은 워크로드의 경우 최적화 효과가 제한될 수 있습니다.

현재 이러한 패치는 여전히 Torvalds의 개인 Git 브랜치에 저장되어 있으며 공식적으로 Linux 메인라인 커널에 진입했다고 결론 내릴 수 없습니다. 향후 병합 여부, 최종적으로 어떤 구현 방식이 채택될지는 좀 더 지켜볼 필요가 있다.

현재 개발 속도에 따르면 이 패치 시리즈는 다음 Linux 7.4 병합 기간 동안 추가 논의 또는 검토 단계에 들어갈 수 있지만 궁극적으로 병합 가능 여부는 여전히 코드 검토, 테스트 결과 및 관리자의 판단에 달려 있습니다.

Torvalds가 Claude Code를 사용한 것이 Linux 관련 개발 작업을 처리하기 위해 인공 지능을 사용하려는 첫 번째 시도가 아니라는 점은 주목할 가치가 있습니다.

이전에 그는 AI 지원 커널 디버깅 사용에 관해 이야기하고 Linux 커널 외부에서 Google Antigravity와 같은 AI 프로그래밍 도구를 사용해 보았습니다. Torvalds에게 AI는 개발자를 독립적인 의사 결정자로 대체하는 것이 아니라 명확한 목표와 인간 감독을 통해 사용할 수 있는 개발 도구입니다.

올해부터 인공지능 프로그래밍 도구가 점차 오픈소스 소프트웨어 개발 프로세스에 진입하고 있습니다. 점점 더 많은 개발자가 대규모 언어 모델을 활용하여 코드를 분석하고, 버그를 찾고, 테스트를 작성하고, 초기 패치를 생성하고 있습니다. Linux 커널 커뮤니티에서도 AI 지원 코드 및 버그 보고서 수가 증가하고 있습니다.

이러한 추세는 기회와 도전을 동시에 가져옵니다. 한편으로 AI는 숙련된 개발자가 복잡한 코드 경로를 더 빠르게 탐색하고, 최적화 아이디어를 제시하며, 반복적인 코드 작성에 필요한 시간을 줄이는 데 도움이 될 수 있습니다. 반면, 자동으로 생성되는 패치와 버그 리포트가 많아지면 관리자의 검토 부담도 가중되며, 일부 제출물은 품질이 낮거나 중복 제출되거나 실제 가치가 부족한 문제가 있을 수 있습니다.

Torvalds는 이전에 AI가 유용한 도구라고 생각한다고 공개적으로 밝혔지만, 커널 커뮤니티는 AI 생성 콘텐츠의 급격한 증가로 인한 업무 압박을 처리해야 합니다. 그는 단순히 AI를 사용한다는 이유로 코드 거부를 옹호하는 것이 아니라 최종 코드의 품질, 정확성 및 실제 효과에 더 많은 관심을 기울입니다.

이번 클로드 코드가 참여한 커널 최적화 프로젝트는 AI 지원 개발의 보다 구체적인 적용 방식을 반영합니다. 즉, 커널의 내부 메커니즘에 익숙한 개발자가 문제를 식별하고 최적화 방향을 제안하며 구현을 감독한 후 테스트와 코드 검토를 통해 결과를 검증합니다.

전체 소프트웨어 프로젝트를 자동으로 생성하기 위해 AI에만 의존하는 것과 달리 Linux 커널 개발에는 복잡한 동시성 메커니즘, 메모리 안전 요구 사항 및 하드웨어 동작이 포함됩니다. 겉으로는 간단해 보이는 수정이라도 수많은 애플리케이션과 다양한 하드웨어 플랫폼에 영향을 미칠 수 있습니다. 따라서 AI가 코드 생성을 도울 수 있더라도 개발자는 여전히 코드의 작동 방식을 이해하고 최종 구현에 대한 책임을 져야 합니다.

이 패치 세트가 최종적으로 검토를 통과하고 Linux 메인라인에 진입한다면 기본 시스템 소프트웨어 최적화에 참여하는 또 다른 AI 지원 개발 사례가 될 것입니다. 그 가치는 특정 시나리오에서 얻을 수 있는 성능 향상뿐만 아니라 숙련된 엔지니어가 복잡한 시스템을 분석하고 개선하는 데 대규모 언어 모델이 얼마나 도움이 될 수 있는지 보여주는 데에도 있습니다.

AI 프로그래밍 도구가 계속 개발됨에 따라 향후 Linux 커널 및 기타 대규모 오픈소스 프로젝트에 더 유사한 작업이 나타날 수 있습니다. 그러나 이러한 성과가 실제로 구현될 수 있는지 여부를 결정하는 것은 여전히 ​​엄격한 기술 검증, 커뮤니티 검토 및 시스템 안정성에 대한 장기적인 요구 사항입니다.