LMArena(이전 이름: 챗봇 아레나, Chatbot Arena)는 익명의 크라우드 소싱 쌍별 비교를 통해 대형 언어 모델 (LLM)을 평가하는 공개 웹 기반 플랫폼이다. 사용자들은 두 개의 익명 모델에 프롬프트를 입력하여 응답을 받고, 더 나은 응답을 제공한 모델에 투표하면 모델의 정체가 공개된다. 사용자들은 직접 테스트할 모델을 선택할 수도 있다.
LMArena는 인공지능 산업에서 인기가 많으며, 주요 기업들은 오픈AI의 GPT-4o 및 o1, 구글 딥마인드의 제미나이, 앤트로픽의 클로드와 같은 대형 언어 모델을 제공하고, 그 후속 순위를 사용하여 홍보한다.
이 웹사이트는 출시 예정인 모델들의 미리 보기에도 사용되었다. 특히 중국 회사 딥시크는 R1 모델이 서구 언론의 주목을 받기 몇 달 전에 LMArena에서 프로토타입 모델을 테스트했다. 다른 주목할 만한 사전 출시 모델로는 코드명 "서밋"으로 알려진 오픈AI의 GPT-5와 코드명 "Nano Banana"로 알려진 이미지 생성 및 편집 모델인 구글 딥마인드의 제미나이 2.5 플래시 이미지(Gemini 2.5 Flash Image)가 있다.
LMArena의 대형 언어 모델 평가 방법론은 학술 분석에서 검토되었으며, 특정 한계를 식별하고 개선할 영역을 제안했다. 이 플랫폼은 AI 연구 생태계의 활발한 기여자이며, 정책 업데이트를 통해 진행 중인 연구와 협력하여 방법론적 업데이트를 구현했다.
