# LMSYS.Org

LMSYS Org (Large Model Systems Organization) 是一個開放的研究組織，由 UC Berkeley 的學生和教師與 UCSD 和 CMU 合作創立。
旨在通過共同開發開放模型、數據集、系統和評估工具，使大型模型對所有人都能夠接觸和使用。
希望建立一個開放和透明的平臺，提供語言模型基準數據和評估工具，幫助研究人員和開發者更好地理解和提升他們的模型性能。

# Chatbot Arena

1. ⚔️ Arena (battle)
   使用者可以輸入問題，會隨機提供不同的模型回答，使用者可以對回答較佳的模型投票，投票後會顯示剛剛回答的模型。
2. 👀 Arena (Multimodal)
   使用者可以輸入圖片，會隨機提供不同的模型回答。
3. ⚔️ Arena (side-by-side)
   可以讓使用者選擇 2 個指定的模型，使用者可以對回答較佳的模型投票。
4. 💬 Direct Chat
   使用者可以直接和模型對話，可以選擇指定的模型。

• 向模型提問的範例：

今天有 3 個蘋果，我昨天吃了 1 個，請問還剩下幾個?

# LLM 排行榜

lmsys.org 每周都會發布排行榜，可以做為模型能力的參考。
也可以選擇不同的分類，查看該分類的排行榜。

# 贊助商

可以看到有許多大公司都贊助了 LMSYS，
在新模型發布時，都會在第一時間提供給最新的語言模型，
例如當時流傳的 m-also-a-good-gpt2-chatbot，也就是現在的 GPT-4o。