AWS는 넷플릭스의 유일한 클라우드 컴퓨팅 플랫폼이지만, 아마존의 일부인 AWS는 넷플릭스의 거대한 경쟁사 인 아마존 프라임 비디오를 소유하고 있습니다. 넷플릭스 엔지니어들은 AWS에서 사용하는 자원의 양을 추적하는 데 어려움을 겪고 있습니다.
세계에서 가장 인기 있는 스트리밍 플랫폼 인 넷플릭스는 가정용 엔터테인먼트를 지배할지라도 클라우드 컴퓨팅 비용 중 하나인 가장 큰 운영적 도전 과제를 관리하는 데 어려움을 겪고 있습니다.
기술 중심 이미지에도 불구하고 넷플릭스는 클라우드에 얼마나 많은 돈을 쓰는지를 완전히 알지 못한다고 인정했습니다. 이는 AWS의 클라우드 제공 업체 일부 인 아마존의 소유자 인 것을 감안하면 더욱 놀라운 부분입니다. 이는 넷플릭스의 가장 큰 경쟁사 중 하나 인 프라임 비디오를 소유하고 있기 때문입니다.
넷플릭스의 클라우드 인프라는 컴퓨팅, 저장 및 네트워킹을 위해 AWS에 의존하며, 이는 글로벌 스트리밍 서비스를 지원합니다. 엔지니어링 팀은 셀프 서비스 도구를 사용하여 응용 프로그램을 생성하고 배포하여 방대한 양의 데이터를 생성합니다. 그러나 이 생태계의 복잡성으로 인해 넷플릭스는 자원이 어떻게 사용되고 비용이 어떻게 누적되는지 정확히 이해하기 어렵습니다.
넷플릭스의 Platform Data Science Engineering (DSE) 팀은 이 문제 해결을 맡았습니다. 이 팀의 임무는 회사의 엔지니어들이 자원 사용, 효율성 및 관련 비용을 이해하는 데 도움을 주는 것입니다.
그러나 넷플릭스는 최근의 블로그 게시물에서 인정했듯이 클라우드 비용 관리는 아직 진행 중인 작업입니다.
넷플릭스가 직면한 도전에 대응하기 위해 FPD 및 CEA 두 가지 도구를 개발했습니다. FPD는 Apache Spark와 같은 응용 프로그램에서 데이터를 집계하는 표준화된 모델을 제공하는 중앙 데이터 계층을 제공합니다. CEA는 이를 바탕으로 비즈니스 논리를 적용하여 비용 및 소유권을 할당하고 효율성 및 사용 패턴에 대한 통찰력을 제공합니다.
넷플릭스의 방대한 인프라에는 여러 소유자가 있는 서비스, 다양한 비용 휴리스틱 및 추적을 복잡하게 하는 멀티 테넌트 플랫폼이 포함되어 있습니다.
데이터 지연과 플랫폼별 사용자 정의는 추가 복잡성을 더합니다. 정확성을 유지하기 위해 정기적인 감사 및 데이터 변환이 필요하지만, 회사는 아직 클라우드 지출에 대한 완전한 가시성을 달성하지 못했다고 인정했습니다.
앞으로 넷플릭스는 도구를 확장하고 예측 분석 및 기계 학습을 통합하여 사용량을 최적화하고 비용 이상 현상을 감지할 계획이라고 합니다.
회사가 접근 방식을 개선하는 동안, 넷플릭스의 상황은 두드러진 모순을 강조합니다. 세계에서 가장 인기 있는 스트리밍 플랫폼은 자사 서비스를 제공하기 위해 경쟁사 기술을 의존하고 있지만, 자사 콘텐츠를 유지하는 데 필요한 비용을 아직 파악하고 있지 않습니다.
