스캐터랩 블로그

제타의 매력을 세상에 전파하는 팀

AI 엔터테인먼트 제품은 어떻게 만들까?

제타의 해자(Moat)를 만들어 나가는 이야기 - 제품팀 리드 정지수님

zeta: 엔터테인먼트의 새로운 패러다임

일주일에 12시간을 사용하는 AI 엔터테인먼트 서비스를 소개합니다.

매주 새로운 LLM 모델을 배포하는 제타의 AI 팀 이야기

유저들이 일주일에 12시간 사용하는 AI 모델은 어떻게 만들어질까요?

RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?

"RLHF 외에 Human feedback을 학습할 수 있는 방법론들에 대해서 소개하고 핑퐁팀에서 실험한 경험을 공유합니다."

루다 서버에서 루다의 개인화 메시지를 처리하는 방법

"루다 서버에서 루다의 개인화 메시지를 처리하는 방법과, 그 과정에서 주의가 필요했던 점들에 대한 글입니다."

루다 선톡을 대비하는법

트래픽이 갑자기 증가할 때 어떻게 대응할까요?"

멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?

포토챗 베타보다 개선된 궁극의 이미지 대화 모델을 만드는 과정을 다룹니다.

최대 24배 빠른 vLLM의 비밀 파헤치기

"최대 24배의 성능을 보인 vLLM, 코드 레벨까지 분석해보자!"

감성 AI 시장, 얼마나 커질까?

"해외에서 인기 있는 감성 AI 서비스들은 무엇이고 왜 잘될까? 국내 서비스 중에는 어디에 감성 AI를 접목시킬 수 있을까?"

더 나은 생성모델을 위해 RLHF로 피드백 학습시키기

Human feedback을 학습할 수 있는 RLHF 방법론에 대해서 소개하고 루다에 적용한 사례한 경험을 공유합니다.

사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기

3개월만에 원하는 AI 캐릭터를 만들 수 있는 스캐터랩만의 방법론

ACL 2023 Review

핑퐁팀과 함께하는 ACL 2023 Review

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

LLM 서빙을 위한 다양한 최적화 기법과 그 효과를 검증하기 위한 부하 테스트 방법론

읽씹할 결심 - 생성 모델에게 답변 시간 가르치기

루다, 다온에게 지연 답변 기능을 구현한 과정을 설명합니다.

Deduplication - 학습 데이터에서 중복 제거하기

Luda Gen 1.5 모델을 학습할 때 데이터셋에서 중복을 제거한 방법에 대해 이야기합니다.

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기

생성 모델 Luda Gen 1을 어떻게 챗봇 모델로 학습했는지를 구체적으로 다룹니다.

샘 알트만과 따로 만나 1시간 동안 나눈 이야기

Private Session으로 진행된 Round Table Talks with OpenAI in Seoul 주요 내용을 공유합니다.

Karpenter와 Spot으로 저렴하고 유연하게 노드 프로비저닝하기

Spot을 이용한 서버 비용 절감기

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙

A/B 테스트까지 가능한 안정적인 모델 서빙 인프라 구조 설계 방법

EMNLP 2022 Review

핑퐁팀과 함께하는 EMNLP 2022 Review

2022 개인정보 가명·익명처리 기술 경진대회 참여 후기

'성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법

새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계

'모델 추론 구조 자체'를 A/B 테스트하는 방법

이루다 서버의 모니터링 스택을 소개합니다

Spring Boot 서버 모니터링하기. 근데 이제 Prometheus를 곁들인

Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇

생성 모델 Luda Gen 1을 출시하기까지의 과정을 소개합니다

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기

Apache Beam Native API, RunInference로 대규모 데이터 모델 추론하기

Custom Metric(ex. RPS)으로 HPA 설정하기

쿠버네티스 환경에서 Custom Metric으로 오토스케일링 하는 과정을 설명합니다

루다, 눈을 뜨다! 포토챗 베타의 멀티모달 기술 소개

포토챗 베타 서비스를 출시하기까지의 연구 과정을 소개합니다.

React Native 앱의 배포 트랙 관리하기

CodePush와 adhoc으로 React Native 앱 '너티'의 배포 트랙 관리하기

TFX 머신러닝 파이프라인 사용하기

팀에서 필요한 학습 파이프라인 구축하기

GitHub Actions로 App 자동으로 배포하기

루다와 함께 사용하는 메신저 'Nutty' 자동으로 배포하기

VPT: 다이아몬드 곡괭이를 만들기 위한 여정

OpenAI에서 어떻게 다이아몬드 곡괭이를 만들었는지 알아봅니다. (VPT)

쿠버네티스에서 노드가 추가될 때마다 슬랙 알람 쏘기

나만의 Kubernetes event watcher 만들기

AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

우당탕탕 Inferentia 배포하기

Continual Learning: 꾸준히 성장하는 모델을 만들기 위한 기술

주제별로 알아보는 continual learning

AWS Inferentia 를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄

AWS 고객감사 특별 할인... 모델 서빙 비용 최대 80% 초특가 할인전

개발자를 위한 AWS 클라우드 보안 (3) - 인프라 보안과 사고 대응

이것만 알아도 클라우드 보안 마스터

ACL 2022 Review

핑퐁팀과 함께하는 ACL 2022 Review

Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 2편 - 개발 및 최적화

대규모 머신러닝 데이터 파이프라인 개발하고 최적화하기

개발자를 위한 AWS 클라우드 보안 (2) - 로깅 및 모니터링과 데이터 보호

이것만 알아도 클라우드 보안 마스터

알라꿍달라꿍의 대화요약 이모저모

2021 한국어 인공지능 자연어 경진대회 대화요약 수상기

개발자를 위한 AWS 클라우드 보안 (1) - 클라우드 설계 원칙과 IAM

이것만 알아도 클라우드 보안 마스터

TensorFlow Custom Op으로 데이터 변환 최적화하기

4.697ms → 17.147μs

하나의 조직에서 TensorFlow와 PyTorch 동시 활용하기

불타는 텐서 흐름!

딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation

난 선생이고 넌 학생이야