용로그
article thumbnail
[Flink] Checkpointing under Backpressure
Apache/Flink 2025. 4. 30. 21:52

일반적으로 정렬된(aligned) 체크포인팅 시간은 체크포인팅 프로세스의 동기 및 비동기 부분에 의해 좌우된다. 그러나 Flink 작업이 높은 백프레셔 상태에 놓여있을 때, 체크포인팅 e2e 시간에 큰 영향을 미치는데, 가장 큰 요소는 체크포인팅 베리어를 모든 연산자(oeprator/task)에 전파하는 데 걸리는 시간일 것이다. 이러한 문제가 발생할 경우, 우리는 다음 세 가지 방법으로 문제를 해결할 수 있다.Flink 작업을 최적화한다. 또는 Flink Managed Memory(Off Heap) 또는 JVM 구성을 조정한다.Flink 작업에서 buffered in-flight 데이터를 줄인다.정렬되지 않은(unaligned) 체크포인트를 활성화한다.이러한 옵션은 상호 배타적이지 않으며, 함께 사용할..