Podにネットワーク遅延を注入する実験をやってみた。60秒のネットワークロスを80%で注入。 [Introduce Litmus by yuuki · Pull Request #5 · ai4sre/microservices-demo](https://github.com/ai4sre/microservices-demo/pull/5/commits/76b24e677adb1d82624dfdb2702de94d19e5efdb) ```shell-session ~/s/g/a/m/d/kubernetes [litmus]× » kubectl apply -f litmus/pod-network-loss.yaml 10:59:08 chaosengine.litmuschaos.io/carts-db-chaos configured ~/s/g/a/m/d/kubernetes [litmus]× » kubectl get pods -w -n sock-shop 10:59:17 NAME READY STATUS RESTARTS AGE carts-5c9448f5d5-4vrd5 1/1 Running 3 6d20h carts-db-847f55fcd5-9l44g 2/2 Running 2 6d20h carts-db-chaos-runner 1/1 Running 0 3s catalogue-5f694c5dc5-trcgz 1/1 Running 0 6d20h catalogue-db-645cc6b676-rkm77 2/2 Running 0 6d20h front-end-cbc844cd8-4bvpk 1/1 Running 1 6d20h orders-66969b485-qpb7w 1/1 Running 1 6d20h orders-db-8678fb4cc-w6p4p 2/2 Running 4 6d20h payment-86fd5d66b-b6pn7 1/1 Running 0 6d20h pod-network-loss-53ntfc-zwmx2 0/1 ContainerCreating 0 1s queue-master-7885cccb7f-67tnk 1/1 Running 0 6d20h rabbitmq-5c49c49d57-hfbw2 2/2 Running 0 6d20h session-db-5c9489bbc7-mbv9l 2/2 Running 0 6d20h shipping-66759fbbd-s7zrg 1/1 Running 0 6d18h user-7dcd66b97d-87l26 1/1 Running 0 6d20h user-db-6bd7c4dbfd-jxqq4 2/2 Running 0 6d20h pod-network-loss-53ntfc-zwmx2 1/1 Running 0 6s pod-network-loss-helper-itccfy 0/1 Pending 0 0s pod-network-loss-helper-itccfy 0/1 ContainerCreating 0 0s pod-network-loss-helper-itccfy 1/1 Running 0 20s carts-5c9448f5d5-4vrd5 0/1 Running 3 6d20h carts-5c9448f5d5-4vrd5 1/1 Running 3 6d20h carts-5c9448f5d5-4vrd5 0/1 Running 3 6d20h ``` ![[Pasted image 20210616110217.png]] Frontend QPSがもとに戻るまでに、15分以上必要。 これはこれで原因がよくわからないので、この原因を突き詰められるとよさそう。 #meteor - 2021/07/23 追記: locustのアップデートにより、無制限にリクエストを送っていたことがおそらく原因 [[2021-07-22_Thu]] ![[Pasted image 20210616111533.png]]