Stax: LLM 프롬프트 평가를 위한 구글의 무료 도구

구글에서 Stax라는 LLM 프롬프트 평가 제품을 무료로 출시했네요. 프롬프트를 생성하는 모든 프로그램은 평가를 동반해야 하니 무료 출시가 반갑습니다.

아직 베타 버전인데, Vooster 개발에도 써볼 수 있겠습니다. 한번 살펴보려고요. 참고로 아직은 미국에서만 됩니다. 저는 PrivadoVPN (월 10GB 무료) 로 미국 region 선택 후 크롬 시크릿 모드에서 접속되는 것 확인했습니다.

디스코드에서 큰 관심을 받고 있고, 다들 자기 나라에 열어달라고 아우성이네요. (실시간 버그픽스는 덤..) 저도 한국 열어달라고 한마디 보탰습니다.

더 자세한 내용은 구글 블로그에 공개된 내용을 참고하세요 👇

Stop “vibe testing” your LLMs. It’s time for real evals.- Google Developers Blog

Explore Stax, an experimental developer tool that streamlines LLM evaluation with human labelling and scalable LLM-as-a-judge auto-raters for data driven decisions.

Google for DevelopersSara Wiltberger