스캐터랩 블로그

실제 제품에서 유저 반응으로 LLM 평가하기: A/B 테스트·MAB·리더보드

제타의 해자(Moat)를 만들어 나가는 이야기 - 제품팀 리드 정지수님

일주일에 12시간을 사용하는 AI 엔터테인먼트 서비스를 소개합니다.

유저들이 일주일에 12시간 사용하는 AI 모델은 어떻게 만들어질까요?

"RLHF 외에 Human feedback을 학습할 수 있는 방법론들에 대해서 소개하고 핑퐁팀에서 실험한 경험을 공유합니다."

"루다 서버에서 루다의 개인화 메시지를 처리하는 방법과, 그 과정에서 주의가 필요했던 점들에 대한 글입니다."

트래픽이 갑자기 증가할 때 어떻게 대응할까요?"

포토챗 베타보다 개선된 궁극의 이미지 대화 모델을 만드는 과정을 다룹니다.

"최대 24배의 성능을 보인 vLLM, 코드 레벨까지 분석해보자!"

"해외에서 인기 있는 감성 AI 서비스들은 무엇이고 왜 잘될까? 국내 서비스 중에는 어디에 감성 AI를 접목시킬 수 있을까?"

Human feedback을 학습할 수 있는 RLHF 방법론에 대해서 소개하고 루다에 적용한 사례한 경험을 공유합니다.

3개월만에 원하는 AI 캐릭터를 만들 수 있는 스캐터랩만의 방법론

핑퐁팀과 함께하는 ACL 2023 Review

LLM 서빙을 위한 다양한 최적화 기법과 그 효과를 검증하기 위한 부하 테스트 방법론

루다, 다온에게 지연 답변 기능을 구현한 과정을 설명합니다.

Luda Gen 1.5 모델을 학습할 때 데이터셋에서 중복을 제거한 방법에 대해 이야기합니다.

생성 모델 Luda Gen 1을 어떻게 챗봇 모델로 학습했는지를 구체적으로 다룹니다.

Private Session으로 진행된 Round Table Talks with OpenAI in Seoul 주요 내용을 공유합니다.

Spot을 이용한 서버 비용 절감기

A/B 테스트까지 가능한 안정적인 모델 서빙 인프라 구조 설계 방법

핑퐁팀과 함께하는 EMNLP 2022 Review

'성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법

'모델 추론 구조 자체'를 A/B 테스트하는 방법

Spring Boot 서버 모니터링하기. 근데 이제 Prometheus를 곁들인

생성 모델 Luda Gen 1을 출시하기까지의 과정을 소개합니다

Apache Beam Native API, RunInference로 대규모 데이터 모델 추론하기

쿠버네티스 환경에서 Custom Metric으로 오토스케일링 하는 과정을 설명합니다

포토챗 베타 서비스를 출시하기까지의 연구 과정을 소개합니다.

CodePush와 adhoc으로 React Native 앱 '너티'의 배포 트랙 관리하기

팀에서 필요한 학습 파이프라인 구축하기

루다와 함께 사용하는 메신저 'Nutty' 자동으로 배포하기

OpenAI에서 어떻게 다이아몬드 곡괭이를 만들었는지 알아봅니다. (VPT)

나만의 Kubernetes event watcher 만들기

우당탕탕 Inferentia 배포하기

주제별로 알아보는 continual learning

AWS 고객감사 특별 할인... 모델 서빙 비용 최대 80% 초특가 할인전

이것만 알아도 클라우드 보안 마스터

핑퐁팀과 함께하는 ACL 2022 Review

대규모 머신러닝 데이터 파이프라인 개발하고 최적화하기

이것만 알아도 클라우드 보안 마스터

2021 한국어 인공지능 자연어 경진대회 대화요약 수상기

이것만 알아도 클라우드 보안 마스터

4.697ms → 17.147μs

불타는 텐서 흐름!