새로운세계

데이터 흐름 관리와 ETL(Extract, Transform, Load) 작업을 위한 강력한 도구, Apache NiFi에 대해  파헤쳐보는 시간을 가져보겠습니다. 데이터 엔지니어, 개발자, 또는 데이터 관리에 관심 있는 분이라면 NiFi가 무엇인지, 어떻게 동작하며, 어떤 상황에서 빛을 발하는지 상세히 알아갈 수 있을 겁니다. 자, 커피 한 잔 들고 편안히 앉아서 함께 탐구 시작해 볼까요?Apache NiFi란 무엇인가?Apache NiFi는 데이터를 다양한 소스에서 추출해 변환하고 목적지로 전달하는 과정을 실시간으로 관리할 수 있는 오픈소스 플랫폼입니다. 이 도구는 원래 미국 국가안보국(NSA)이 내부적으로 "NiagaraFiles"라는 이름으로 개발한 것으로, 2014년에 Apache 재단에 기증되..

안녕하세요, 오늘은 Python에서 두 오라클 서버 간 데이터를 이동할 때, 20만 건 정도에서 타임아웃으로 연결이 끊어지는 문제를 해결하는 방법을 다뤄보겠습니다. 순수 Python 코드로만 문제를 풀어보며, 실무에서 바로 적용할 수 있는 최적화 기법을 소개합니다.문제 상황두 개의 오라클 서버를 Python(cx_Oracle)로 연결해 테이블 데이터를 이동시키던 중, 약 20만 건에서 타임아웃이 발생하며 연결이 끊어졌습니다. 이 문제는 네트워크, 데이터베이스 설정, 또는 코드 비효율성에서 비롯될 가능성이 높습니다. 아래에서 원인을 분석하고 해결책을 제시합니다.원인 분석오라클 세션 타임아웃: 서버 설정이나 cx_Oracle 연결의 기본 타임아웃이 짧음.대량 데이터 부하: 한 번에 20만 건을 처리하며 메모..