Répondre à la question

Quelles Requests & Limits définir sur vos applications conteneurisées ?

Agenda

• Rappel Requests & Limits dans Kubernetes
• Présentation de 2 outils (+ démo) pour vous aider à les définir
• Stratégies de mise à l'échelle : focus sur Vertical Pod Autoscaler
• Q/A si on a du temps

Qui suis-je ?

Rémi Verchère

Cloud Native Infrastructure Consultant

Ops qui aide les Devs à mettre en prod

Open Source & CNCF landscape

Papa x

@rverchere

Requests & Limits

Requests

Ressources nécessaires pour placer un conteneur sur un noeud.

Limits

Ressources maximum qu'un conteneur peut utiliser sur un noeud.

Sur Memory & CPU ()

Requests & Limits

Qualité de Service

• Ni Requests, ni Limits : Best Effort
• Requests < Limits : Burstable
• Requests = Limits : Guaranteed

PDB, Evictions, Priority Classes

• Ce n'est pas le sujet aujourd'hui...

Requests & Limits

Quel sizing alors ? Trop ? Trop peu ?

Requests & Limits

Requests & Limits

Requests & Limits

Requests & Limits

Ça n'arrive pas qu'aux autres...

Aide au dimensionnement

Plusieurs méthodes

1. Au doigt mouillé itératif
2. Spécial devs Java
3. Grâce aux métriques !

Aide au dimensionnement

Plusieurs méthodes

1. Au doigt mouillé itératif
2. Spécial devs Java
3. Grâce aux métriques !

Outils pour vous faciliter la vie

1. KRR
2. Goldilocks

Krr

• From Robusta : https://github.com/robusta-dev/krr
• "Prometheus-based Kubernetes Resource Recommendations"
• CLI, sans agent, basé sur métriques Prometheus & co, extensible
  Possibilité run in-cluster périodique (notifs Slack) avec Robusta
• Plugin k9s
• Calcul : https://github.com/robusta-dev/krr#algorithm

Krr

Démo !

(🙏 OVHCloud)

Goldilocks

• From Fairwinds : https://goldilocks.docs.fairwinds.com/
• "Get your resource requests 'Just Right'"
• Automatise les "Vertical Pod Autoscalers" en mode recommendation ()
• Interface Web pour analyse des recommendations VPA

VPA

• Adaptation automatique des Requests & Limits du pod

VPA

• 3 composants
  • Recommender
  • Updater
  • Admission Controller
• Plusieurs modes
  • Recreate
  • Initial
  • Off

VPA

Remarques

• Pas par défaut, à installer
• Besoin de créer une ressource de type “VerticalPodAutoscaler”
• A ne pas utiliser avec HPA
• Restart du conteneur ★
• Calcul : vertical-pod-autoscaler.md#recommendation-model
  • Requests : CPU 90% Percentile par défaut, RAM OOMKilled
  • Limits : Ratio Requests Initiaux
  • FAQ - what-are-the-parameters-to-vpa-recommender

VPA

Exemple

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: devoxxfr-app
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: devoxxfr-app
  updatePolicy:
    updateMode: "Off"
status:
  recommendation:
    containerRecommendations:
    - [...]

Autres types d'Autoscalers

1) Horizontal Pod Austocaler

2) Cluster Autoscaler

3) Multi-dimensional Pod Autoscaling

• AEP-5342 (Autoscaler Enhancement Proposal) Multi-dimensional Pod Autoscaler

Goldilocks

Démo !

(🙏 OVHCloud)

Goldilocks

C'est moche hein ?

Goldilocks

On peut faire "moins moche..."

• Parlons Kube-State-Metrics, mieux : CustomResourceStateMetrics !!

# kubectl get vpa goldilocks-example -o yaml
apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
[...]
status:
  recommendation:
    containerRecommendations:
    - target:
        cpu: 15m
        memory: "1238659775"

Goldilocks + VPA + Grafana =

Mes stratégies

Mes Outils

• Goldilocks + VPA
• Prometheus + Grafana + CustomResourceStateMetrics

Requests, Limits ?

• CPU Requests, No Limits
• RAM Requests = Limits
• Ce dont l'application à besoin ★

Nouveautés depuis K8S 1.27

• In-place Resource Resize for Kubernetes Pods (alpha)
  "In Kubernetes v1.27, we have added a new alpha feature that allows users to resize CPU/memory resources allocated to pods without restarting the containers"
  To Infinity and Beyond: Seamless Autoscaling with in-Place Resource Resize for Kubernetes Pods (KubeCon EU 2024)

Ressources

Blog posts

• Kubernetes CPU Limits (cgroup quotas)
• Stop setting CPU & Memory Requests
• Stop Using CPU limits
• The Case for Kubernetes Resource Limits: Predictability vs. Efficiency
• Why does my 2vCPU application run faster in a VM than in a container?
• Resize CPU Limit To Speed Up Java Startup on Kubernetes