루다 선톡을 대비하는법

기존 시스템의 문제점

불규칙한 선톡 전송

기존 HPA의 문제

• 현재 사용 중인 사용자 지정 메트릭은 **현재 RPS(초당 요청 수)**를 기준으로 하고 있습니다.

• 모델 서버는 모델 가중치 다운로드로 인해 새로 배포되는 데 다른 서비스보다 더 많은 시간이 소요됩니다.

그 외 문제점

트래픽 증가 대응

1. 선톡을 발송하는 서비스에서 발송될 메시지 개수를 파악합니다.

2. Prometheus Metrics으로 발송될 메세지 개수를 export합니다.

3. 해당 메트릭을 기반으로 한 HPA를 구성합니다.

Prescaler

• VirtualMetric VirtualMetric은 예측하고자하는 값을 정의합니다. 선톡 시스템에서는 RPS (초당 요청 수)를 정의하여 사용합니다.

• VirtualMetricEvent VirtualMetricEvent는 VirtualMetric에 변화를 줄 수 있는 요인을 정의합니다. 선톡 시스템에서는 발송 예정 선톡 메세지 개수를 사용하고 있습니다.

• Horizontal Pod Prescaler Horizontal Pod Prescaler는 예측한 VirtualMetric으로 어떤 서버가 얼마나 스케일아웃 되어야하는지를 정의합니다.

발송될 메시지 개수 파악

{
  "items": [
    {
      "start": 1700545800,
      "end": 1700545860,
      "values": {
        "scheduledMessage": 50
      }
    }
  ]
}

Custom Resource 정의

apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
  name: testresource.test.pingpong.ai
spec:
  group: test.pingpong.ai
  scope: Namespaced
  names:
    plural: testresource
    singular: testresource
    kind: TestResource
  versions:
    - name: v1
      served: true
      storage: true
      schema:
        openAPIV3Schema:
          type: object
          properties:
            spec:
              type: object
              properties:
                target:
                  type: string
                replicas:
                  type: integer

apiVersion: "test.pingpong.ai/v1"
kind: TestResource
metadata:
  name: test-resource
spec:
  target: service-a
  replicas: 3

• 기존의 HPA처럼 특정 Metric Source를 통해 스케일링할 값을 정할 수 있어야 합니다.

• 이미 HPA에서 사용하고 있는 Custom Metrics Server 말고도 추가적인 Metric Source를 사용할 수 있어야 합니다.

• 스케일링 될 Resource에 대한 관리가 간편해야 하고 중복으로 설정된 경우에도 전략을 정할 수 있어야 합니다.

#### Virtual Metric

apiVersion: prescaler.pingpong.ai/v1
kind: VirtualMetric
metadata:
  name: rps
spec:
  name: rps           # 메트릭 이름
  defaultValue: 0     # 기본 값
  mergeStrategy: Sum  # 리소스가 중복될 시 메트릭 병합 처리 전략

#### Virtual Metric Event

apiVersion: prescaler.pingpong.ai/v1
kind: VirtualMetricEvent
metadata:
  name: stage-vme
spec:
  source:
    api:                                 # 메트릭을 가져올 주소
      url: https://stage.pingpong.ai/service-a/metrics 
  metrics:
    - name: rps                          # 메트릭 이름
      resource:                          # 적용 할 리소스 정보
        name: service-a
        namespace: service-a
      value:
        expression: scheduledMessage * 2 # expression 사용도 가능하도록 정의
    - name: rps
      resource:
        name: service-b
        namespace: service-b
      value:
        expression: scheduledMessage

#### Horizontal Pod Prescaler

apiVersion: prescaler.pingpong.ai/v1
kind: HorizontalPodPrescaler
metadata:
  name: service-a
  namespace: service-a
spec:
  metrics:
    - metric:
        name: rps                  # 메트릭 이름
      target:
        averageValue: 10           # 보장되어야 할 메트릭
  scaleTargetRef:                  # 실제 변경 할 기존 HPA 정보
    apiVersion: autoscaling/v2
    kind: HorizontalPodAutoscaler
    name: service-a-hpa

Prescaler 구현

#### 현재 Virtual Metrics 가져오기 // # 4개 Jekyll에서 지원합니다

fun getCurrentMetrics(): List<Metric> {
    val virtualMetricEvents = virtualMetricEventService.list()

    return virtualMetricEvents.map {
        val value = virtualMetricEventSourceService.resolve(it.source)
        it.metrics.map { metric ->
            Metric(
                name = metric.name,
                resource = metric.resource,
                value = expressionService.resolve(metric.value, value)
            )
        }
    }
}

#### 데이터 병합

fun merge(metrics: List<Metric>): Map<Resource, Metric> {
    val virtualMetrics: List<VirtualMetric> = virtualMetricService.list()
    
    metrics.groupBy { it.resource }.mapValues { (_, metrics) ->
        mergeStrategyService.resolve(virtualMetrics, metrics)
    }
}

#### 실제 값 계산

desiredReplicas = ceil[currentReplicas * ( currentMetricValue / desiredMetricValue )]

fun calculateReplica(currentMetrics: Map<Resource, List<Metric>>): Map<Resource, Int> {
    val prescalers = horizontalPodPrescalerRepository.list()

    return prescalers.associate { prescaler ->
        val metrics = currentMetrics.getValue(prescaler.metadata).associateBy { it.name }
        val replicas: Int = prescaler.metrics.maxOf { metric ->
            val currentMetric = metrics.getValue(metric.name)
            val targetMetric = metric.value
            calculateReplica(currentMetric, targetMetric)
        }
        prescaler.metadata to replicas
    }
}

fun calculateReplica(
    currentMetric: Metric,
    targetMetric: Double
): Int {
    return ceil(currentMetric.value / targetMetric).toInt()
}

#### HPA 값 변경

Prescaler 배포

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: {{ include "prescaler.name" . }}
rules:
  - verbs:
      - get
      - list
    apiGroups:
      - prescaler.pingpong.ai
    resources:
      - horizontalpodprescalers
      - virtualmetrics
      - virtualmetricevents
  - verbs:
      - get
      - update
    apiGroups:
      - autoscaling
    resources:
      - horizontalpodautoscalers

{% raw %}
# service-account.yaml
{{- if .Values.serviceAccount.create -}}
apiVersion: v1
kind: ServiceAccount
metadata:
  name: {{ include "prescaler.serviceAccountName" . }}
  labels:
    {{- include "prescaler.labels" . | nindent 4 }}
  {{- with .Values.serviceAccount.annotations }}
  annotations:
    {{- toYaml . | nindent 4 }}
  {{- end }}
{{- end }}

---
# cluster-role-binding.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: {{ include "prescaler.name" . }}
  namespace: {{ .Release.Namespace }}
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: {{ include "prescaler.name" . }}
subjects:
  - kind: ServiceAccount
    name: {{ include "prescaler.serviceAccountName" . }}
    namespace: {{ .Release.Namespace }}

---
# deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "prescaler.fullname" . }}
  labels:
    {{- include "prescaler.labels" . | nindent 4 }}
spec:
  template:
		metadata:
			...
    spec:
      serviceAccountName: {{ include "prescalerpr.serviceAccountName" . }}
      ...
{% endraw %}

마무리