새로운세계

데이터 분석 환경에서 Jupyter Notebook은 친숙한 인터랙티브 환경을 제공하여 데이터 탐색, 시각화, 모델링 등 다양한 작업을 수행하는 데 널리 사용됩니다. 하지만, 분석 결과를 다른 시스템이나 서비스와 공유하고 자동화된 파이프라인을 구축하려면 추가적인 개발이 필요했습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 notebook_http 확장입니다.notebook_http는 Jupyter Notebook의 특정 셀을 HTTP API 엔드포인트로 노출시켜, 노트북을 마치 RESTful API 서버처럼 사용할 수 있도록 해줍니다. 즉, 외부에서 HTTP 요청을 통해 노트북의 코드를 실행하고 결과를 받아올 수 있다는 의미입니다. 이를 통해 데이터 분석 파이프라인을 자동화하고, 머신러닝 모델을 ..

Jupyter Notebook은 데이터 분석, 머신러닝 등 다양한 분야에서 널리 사용되는 대화형 컴퓨팅 환경입니다. 특정 셀을 자동으로 실행하면 반복적인 작업을 줄이고 생산성을 높일 수 있습니다. 이 글에서는 Jupyter Notebook에서 특정 셀을 자동 실행하는 다양한 방법과 각 방법의 장단점을 자세히 설명합니다.1. custom.js를 이용한 자동 실행Jupyter Notebook의 설정 파일인 custom.js를 수정하여 특정 셀이 실행되도록 하는 방법입니다.장점:Notebook 전반에 적용되는 설정이므로, 여러 Notebook에서 동일한 설정을 사용할 수 있습니다.JavaScript를 사용하여 다양한 커스터마이징이 가능합니다.단점:Jupyter Notebook의 버전이나 설정에 따라 작동하지 ..

JupyterLab은 데이터 과학자, 머신러닝 엔지니어 등 데이터를 다루는 많은 사람들에게 필수적인 도구입니다. 다양한 데이터를 분석하고 시각화하며, 코드를 실행하는 통합 개발 환경을 제공합니다. 하지만 JupyterLab을 실행할 때마다 같은 디렉토리로 이동하는 것은 번거롭습니다. 이번 글에서는 JupyterLab의 초기 진입 경로를 원하는 디렉토리로 설정하는 방법을 자세히 알아보고, 더욱 효율적인 작업 환경을 구축하는 방법을 소개합니다.왜 초기 진입 경로를 설정해야 할까요?편의성 향상: 매번 디렉토리를 변경하지 않아도 원하는 프로젝트에 바로 접근할 수 있습니다.작업 효율성 증대: 자주 사용하는 데이터 파일이나 코드를 한 곳에 모아 관리할 수 있습니다.프로젝트 관리: 각 프로젝트별로 별도의 디렉토리를 ..

Scrapy는 파이썬으로 작성된 오픈 소스 웹 크롤링 프레임워크입니다. 웹 사이트에서 필요한 데이터를 자동으로 추출하여 원하는 형식으로 저장하는 작업을 웹 크롤링이라고 하는데, Scrapy는 이러한 작업을 효율적이고 체계적으로 수행하도록 도와주는 강력한 도구입니다.Scrapy의 주요 특징빠르고 효율적: 비동기 네트워킹 라이브러리인 Twisted를 기반으로 하여 빠른 속도를 자랑하며, 대규모 웹 사이트를 크롤링하는 데 적합합니다.유연하고 확장성이 좋음: 다양한 데이터 저장 방식, 미들웨어, 아이템 파이프라인 등을 통해 커스터마이징이 가능하여 복잡한 크롤링 작업에도 유용하게 활용할 수 있습니다.간편한 사용: 파이썬 기반으로 개발되어 Python 문법에 익숙한 개발자라면 쉽게 학습하고 사용할 수 있습니다.강력..

MariaDB 학습을 위한 샘플 데이터베이스: 실전 연습을 위한 완벽 가이드MariaDB를 배우고 싶은데 어떤 데이터베이스로 연습해야 할지 고민이신가요? 이 글에서는 MariaDB 학습에 도움이 되는 다양한 샘플 데이터베이스를 소개하고, 설치 및 활용 방법을 자세히 알려드립니다.왜 샘플 데이터베이스가 필요할까요?실전 연습: 실제 데이터를 가지고 다양한 SQL 쿼리를 작성하고 데이터 분석을 연습할 수 있습니다.개념 이해: 데이터베이스 구조, 관계, 정규화 등 이론적인 개념을 실제 데이터를 통해 직접 확인하고 이해할 수 있습니다.시스템 테스트: 새로운 기능이나 튜닝을 적용하기 전에 샘플 데이터베이스에서 미리 테스트해 볼 수 있습니다.MariaDB를 위한 샘플 데이터베이스 종류다음은 MariaDB 학습에 자주..

데이터는 현대 사회의 가장 중요한 자산 중 하나입니다. 방대한 양의 데이터를 효율적으로 수집, 변환, 분석하여 가치 있는 정보를 추출하는 것은 기업의 성공을 위한 필수적인 요소입니다. 이러한 데이터 처리 과정을 자동화하고 효율적으로 관리하기 위한 강력한 도구 중 하나가 바로 Talend Open Studio입니다.Talend Open Studio는 오픈 소스 기반의 ETL(Extract, Transform, Load) 툴로, 다양한 데이터 소스에서 데이터를 추출하여 원하는 형식으로 변환하고 목표 시스템에 로드하는 과정을 시각적으로 디자인하고 실행할 수 있도록 지원합니다.Talend Open Studio의 주요 기능과 장점직관적인 그래픽 사용자 인터페이스: 코딩 없이 마우스 드래그 앤 드롭 방식으로 데이터..

랭체인(LangChain)은 대규모 언어 모델(LLM)을 활용하여 다양한 작업을 자동화하는 강력한 프레임워크입니다. 특히, 랭체인의 에이전트 기능은 LLM에게 다양한 작업을 수행하도록 지시하고, 필요에 따라 추가적인 정보를 검색하거나 다른 모델과 상호 작용하는 등 복잡한 작업을 수행할 수 있도록 지원합니다. 이 글에서는 랭체인의 에이전트 기능을 활용하여 자연어로 질문을 입력하면 SQL 쿼리를 자동으로 생성하는 방법에 대해 자세히 알아보겠습니다.랭체인 에이전트를 활용한 SQL 쿼리 생성의 이점낮은 진입 장벽: SQL 문법을 몰라도 자연어로 질문하여 원하는 데이터를 얻을 수 있습니다.생산성 향상: 반복적인 SQL 쿼리 작성 작업을 자동화하여 개발자의 생산성을 높일 수 있습니다.데이터 분석의 민주화: 데이터 ..

실무에서 사용되는 SQL 쿼리는 보통 더 복잡하고 다양한 기능을 포함합니다. 예를 들어, WITH 절, 서브쿼리, 복잡한 JOIN, UNION, CASE 문 등이 포함될 수 있습니다. 이와 같은 복잡한 SQL 쿼리에서 테이블 이름을 추출할 수 있도록 코드를 확장할 수 있습니다.아래는 보다 복잡한 SQL 쿼리 예시와 이를 처리할 수 있는 파이썬 코드입니다. 쿼리에서 주석을 제거하고, 다양한 형태의 SQL 구문에서 테이블 이름을 추출하는 로직을 보강한 코드입니다.예시 SQL 코드 (실무에 가깝게 복잡한 쿼리)sql_code = """-- 이 부분은 주석입니다/* 멀티라인 주석 여러 줄에 걸쳐서 작성된 주석입니다 여기까지 주석 */WITH temp_dept AS ( SELECT dept_id, COUNT..

공공데이터포털은 우리나라의 소중한 자산인 공공 데이터를 국민 누구에게나 개방하여 다양한 서비스 개발과 사회 문제 해결에 기여하고자 마련된 플랫폼입니다. 이 포털을 통해 제공되는 API(Application Programming Interface)를 활용하면, 방대한 양의 공공 데이터를 손쉽게 수집하고 분석하여 새로운 가치를 창출할 수 있습니다.공공데이터포털 API란 무엇인가?API는 쉽게 말해, 서로 다른 시스템 간의 소통을 가능하게 해주는 인터페이스입니다. 공공데이터포털 API를 이용하면, 개발자들은 별도의 복잡한 과정 없이 포털에 저장된 다양한 데이터에 접근하고, 이를 활용하여 자신만의 서비스를 개발할 수 있습니다. 예를 들어, 부동산 가격 데이터를 활용하여 지역별 시세를 분석하는 앱을 개발하거나, ..

매통조 API는 여신금융협회에서 제공하는 오픈 API로, 가맹점 매출거래정보를 프로그램에서 쉽게 활용할 수 있도록 지원합니다. 파이썬과 같은 프로그래밍 언어를 사용하면 이 API를 통해 다양한 금융 데이터를 수집하고 분석하여, 비즈니스 의사 결정에 필요한 정보를 얻을 수 있습니다. 이 글에서는 매통조 API를 활용하여 파이썬으로 데이터를 수집하고 분석하는 과정을 상세히 설명하고, 실제 예제를 통해 이해를 돕고자 합니다.1. 개발 환경 설정파이썬 설치: 파이썬 공식 홈페이지에서 최신 버전의 파이썬을 다운로드하여 설치합니다.필수 라이브러리 설치: requests 라이브러리는 HTTP 요청을 보내고 응답을 받는 데 사용되며, json 라이브러리는 JSON 형식의 데이터를 파싱하는 데 사용됩니다. 아래 명령어를..