CERN은 인류 역사상 가장 야심찬 공학 및 과학 사업 중 하나입니다. LHC(Large Hadron Collider)는 세계에서 가장 크고 가장 활동적인 입자 가속기이며, 과학자들은 이를 사용하여 아원자 세계의 구조에 대한 증거를 분석합니다. 이 과정에서 LHC는 매년 수십 페타바이트의 데이터를 생성할 수 있습니다.
CERN은 최근 LHC의 새로운 실험 단계(LHC Operation 3)를 준비하기 위해 백엔드 IT 시스템을 업그레이드해야 했습니다. 2025년 말까지 이 단계에서는 매일 1PB의 데이터가 생성될 것으로 예상됩니다. 이전 데이터베이스 시스템은 CMS와 같은 충돌기의 주요 실험에서 생성된 "높은 카디널리티" 데이터를 처리하는 데 더 이상 적합하지 않습니다.
Compact Muon Solenoid(CMS)는 광범위한 물리학 프로그램을 갖춘 대형 강입자 충돌기의 범용 탐지기입니다. 여기에는 힉스 보존을 포함한 표준 모델 연구와 암흑 물질을 구성할 수 있는 추가 차원 및 입자 검색이 포함됩니다. CERN은 이번 실험을 역사상 가장 큰 과학 협력 중 하나로 꼽으며, 54개국 241개 기관에서 약 5,500명이 참여했습니다.
CMS 및 기타 대형 강입자 충돌기 실험은 2018년부터 2022년까지 주요 업그레이드 단계를 거쳤으며 이제 3년의 운영 3단계 데이터 수집 기간 동안 아원자 입자 충돌을 재개할 준비가 되었습니다. 폐쇄 기간 동안 CERN 전문가들은 CMS를 지원하는 탐지기 시스템과 컴퓨팅 인프라를 대폭 업그레이드했습니다.
CMS에서 일하는 과학자인 Brij Kishor Jashal은 그의 팀이 인프라 성능을 모니터링하기 위해 30일 만에 30TB의 데이터를 수집했다고 언급했습니다. 그는 이 작업 단계에서 광도가 높아져 데이터 양이 크게 증가한다고 설명했습니다. 이전 백엔드 모니터링 시스템은 오픈 소스 시계열 데이터베이스(TSDB) InfluxDB와 모니터링 데이터베이스 Prometheus에 의존했으며 압축 알고리즘을 활용하여 이 데이터를 효율적으로 처리했습니다.
그러나 InfluxDB와 Prometheus는 특히 높은 카디널리티 데이터를 처리할 때 성능, 확장성 및 안정성 문제에 직면했습니다. 높은 카디널리티는 중복 값의 확산과 새 인스턴스에서 애플리케이션을 여러 번 재배포할 수 있는 능력을 의미합니다. 이러한 문제를 해결하기 위해 CMS 모니터링 팀은 InfluxDB와 Prometheus를 VictoriaMetrics TSDB 데이터베이스로 교체하기로 결정했습니다.
이제 VictoriaMetrics는 CMS의 백엔드 스토리지이자 모니터링 시스템으로 이전에 직면했던 카디널리티 문제를 효과적으로 해결합니다. Jashal은 CMS 팀이 현재 클러스터 및 서비스 성능에 만족하고 있다고 언급했습니다. 여전히 확장성의 여지가 있지만 이러한 서비스는 더 높은 안정성을 보장하기 위해 CMS의 전용 Kubernetes 클러스터 내에서 "고가용성 모드"로 실행됩니다. CERN의 데이터 센터는 견고한 x86 시스템 클러스터에서 실행되는 OpenStack 서비스를 사용합니다.
입장:
Alibaba Cloud - 최대 1,888위안까지 즉시 사용 가능한 범용 바우처