데이터 엔지니어링은 데이터의 수집, 저장, 처리, 변환, 관리 및 배포를 위한 시스템과 파이프라인을 설계하고 구축하는 과정을 다룹니다. 이 카테고리는 데이터가 분석 및 활용에 최적화된 형태로 준비되도록 하는 모든 기술적 과정과 방법론을 포함합니다. 데이터 엔지니어링은 데이터 과학, 머신 러닝, 비즈니스 인텔리전스 등 데이터 기반 의사결정의 근간이 되는 필수적인 분야입니다.
들어가며 데이터 엔지니어링의 세계는 빠르게 변화하고 있으며, 다양한 데이터 소스와 방대한 데이터 양을 효율적으로 관리하고 분석할 수 있는 도구의 필요성이 날로 커지고 있습니다. 이러한 요구를 충족시키기 위해 등장한 솔루션 중 하나가 Snowflake입니다. 본 글에서는 Snowflake의 주요 기능과 데이터 엔지니어가 이를 어떻게 활용할 수 있는지, 그리고 비용 구조에 대해 자세히 살펴보겠습니다. […]
들어가며 복잡한 데이터 엔지니어링 환경에서 로그 분석은 단순한 디버깅 도구를 넘어 시스템의 건강 상태를 모니터링하고 성능을 최적화하는 데 필수적인 요소가 되었습니다. 데이터 파이프라인, ETL 프로세스, 실시간 데이터 스트리밍 등 다양한 데이터 처리 작업에서 발생하는 로그는 시스템의 동작을 이해하고 문제를 신속하게 해결하는 데 중요한 정보를 제공합니다. 데이터 엔지니어는 이러한 다양한 형태의 […]
들어가며 데이터의 양이 기하급수적으로 증가함에 따라, 데이터 분석의 성능을 극대화하는 것은 모든 기업에게 중요한 과제가 되었습니다. 앞선 글에서는 BigQuery에서 파티셔닝(Partitioning)을 통해 쿼리 성능과 비용을 최적화하는 방법을 소개했습니다. 그러나 파티셔닝만으로는 충분하지 않은 경우도 많습니다. 특히, 복잡한 쿼리에서 여러 열을 기준으로 필터링해야 하거나, 데이터의 물리적 정렬을 통해 더욱 빠른 분석이 필요한 경우가 […]
들어가며 현대 비즈니스 환경에서 데이터는 가장 중요한 자산 중 하나로 자리 잡았습니다. 기업들은 데이터 분석을 통해 고객의 행동을 예측하고, 시장 트렌드를 파악하며, 비즈니스 전략을 최적화하는 데 집중하고 있습니다. 이러한 데이터 중심의 접근 방식에서 중요한 역할을 하는 것이 바로 빅데이터 분석 플랫폼입니다. Google BigQuery는 이러한 요구를 충족시키기 위해 설계된 강력한 데이터 […]
들어가며 안녕하세요. NNT Tech 팀입니다. Google Cloud Platform (GCP)은 탁월한 스케일링 및 관리 기능을 제공하는 클라우드 서비스입니다. 클라우드에서 애플리케이션을 운영할 때 가장 중요한 측면 중 하나는 로그를 수집하는 것입니다. 이 글에서는 GCP의 Cloud Logging과 Audit Logging 기능과 활용 방안에 대해 소개하겠습니다. Cloud Logging 이란? Cloud Logging은 GCP의 VM 인스턴스, 애플리케이션, […]
간단한 소개 이벤트 기반 서버리스 함수 Cloud Function은 이벤트 기반의 서버리스 서비스형 함수입니다. ‘이벤트 기반’ : 이벤트 발생시에만 함수를 실행하는 것을 의미합니다. 가격 또한 이벤트 발생횟수와 실행시간에 따라 부과됩니다. ‘서버리스’ : 서버를 위한 별도의 자원을 투자하지 않고도 필요한 만큼 자원을 사용할 수 있습니다. 👉 자세한 내용은 서버리스편을 참고해주세요! Cloud Function의 […]
들어가며 GCP Serverless 서비들을를 활용한 데이터 파이프라인 구축 방법을 소개하겠습니다. 여러 GCP 서비스를 사용하여 유연하고 확장 가능한 데이터 파이프라인을 단계별로 구축해볼건데요. 이 방법을 통해 데이터 수집, 처리, 저장, 분석을 손쉽게 자동화하여 Serverless가 가진 장점을 모두가 경험해보았으면 좋겠습니다. GCP Serverless 서비스를 이용한 데이터 파이프라인 구축해보기 Serverless 서비스를 데이터 파이프라인 중간중간에 잘 […]
들어가며 안녕하세요. NNT Tech 팀입니다. NNT Tech팀의 업무 중에는 고객사의 데이터를 수집한 뒤, 이를 목적에 맞게 처리하는 데이터 파이프라인 구축 작업이 있는데요. Google Cloud Platform의 Serverless 서비스를 이용해 통해 쉽고 빠르게 데이터 파이프라인을 구축하는 방법에 대해 소개해보고자 합니다. 왜 Serverless여야 하나요? Serverless가 무엇일까요? 클라우드 환경에서 Serverless는 기존의 VM 방식이 가진 […]