본문 바로가기

Data Engineering

(19)

K8s 기초 (작성중) 위키북스 - 그림과 실습으로 배우는 도커 & 쿠버네티스 (개념과 작동원리가 쏙쏙 이해되는 완벽 입문서) - 오가사와라 시케타카 지음 참고 2025/06/09 13:20~14:00 - 목차 작성 및 이론 정리 (01 ~ 02) Chapter 08. 쿠버네티스를 익히자01 쿠버네티스란?02 마스터 노드와 워커 노드 02-1 - 클러스터의 구성 - 마스터와 워커 / 02-2 - 쿠버네티스는 항상 '바람직한 상태'를 유지한다 03 쿠버네티스의 구성과 관련 용어 03-1 - 구성관련 용어(파드, 서비스, 디플로이먼트, 레플리카세트) / 03-2 그 밖의 리소스04 쿠버네티스 설치 및 사용법 04-1 - 쿠버네티스의 종류 / 04-2 - 어떤 종류의 쿠버네티스를 사용할까? + [실습]05..

AZ-104 (준비중) 학습계획 : 2025/06/15 이전 취득교재 : Microsoft Doc + Dump [학습순서]05/02 - 15:00~17:00 = AZ-104 Guide Vedio 시청 및 학습 계획 수립 - 17:00~19:00 = Docs 정리 (2. Identity & Governance - 2.1 Entra ID) - 22:00~24:00 = Docs 정리 (2. Identity & Governance - 2.2 ID생성/구성/관리)05/06 - 22:20~00:10 = Docs 정리 (2. Identity & Governance - 2.4 Azure Policy 이니셔티브)05/10 - 17:40~18:00 = Docs 정리 (2. Identity & Governanc..

AZ-900 (취득완료) AWS, Azure를 사용한 경험이 있는 상황으로 2시간 가량 관련 문서 스터디 후 취득 완료 [Microsoft Certificate에 대한 강사님 Tip]1. Microsoft 자격증 정리 링크 : https://arch-center.azureedge.net/Credentials/Certification-Poster-en-us.pdf 2. Microsoft에서 제공하는 동영상 기본강의를 수강하면 자격증 시험 금액의 50%를 할인 받을 수 있다. 날짜에 임박해서 신청하면 인원 초과로 신청이 안 될 수 있으니, 미리 신청해두고 틀어만 둬도 바우처를 얻을 수 있다.https://events.microsoft.com/en-us/allevents/?clientTimeZone=1&language=%ED%9..

[DataBase] 고급 SQL 튜닝 - DML / DB CALL 튜닝 ** 데이터 진흥원 - SQL 전문가 가이드의 [과목3-6장 : 고급 SQL 튜닝] 내용 (1) Sort 튜닝 (2) DML 튜닝 (3) DB CALL 튜닝 (4) 파티셔닝 (5) 대용량 배치 프로세스 튜닝 (6) 복잡 구문 간결화 - 6개 중 (2/3번)2) DML 튜닝◼︎ Index 비용 고려하기> Index가 많을 수록 DML의 성능은 느려진다. 인덱스의 변형은 데이터 레코드 DML보다 더 많은 리소스를 요구한다. (Update 연산도 인덱스의 경우 Delete&Insert를 통해 변경되며, 유지를 위해 Undo 레코드도 2개씩 생성된다.)> 대량의 데이터를 입력/수정/삭제할 때는 인덱스를 Drop하거나 Unusable상태로 변경한 후 수행하는 것도 방법이다. ◼︎ Insert 성능 개선방법O..

[DataBase] 고급 SQL 튜닝 - Sort 튜닝 ** 데이터 진흥원 - SQL 전문가 가이드의 [과목3-6장 : 고급 SQL 튜닝] 내용 (1) Sort 튜닝 (2) DML 튜닝 (3) DB CALL 튜닝 (4) 파티셔닝 (5) 대용량 배치 프로세스 튜닝 (6) 복잡 구문 간결화 - 6개 중 (1번)1) Sort 튜닝> 데이터를 다루는데 있어 sort와 search는 언제나 숙제이고, 데이터가 클수록 메모리/CPU에 무리가 간다.> 가능한 소트가 발생하지 않도록 작성하거나, 메모리 상에서 완료될 수 있도록 작성해야 한다.> 실행 계획에 Sort의 유무부터 확인하여, 수정이 필요해 보이면 튜닝한다. ◼︎ Sort의 종류와 리소스memory sort (1차적으로 메모리에서 시도)= Internal sort= optimal sortdisk sort (메모리..

[DataBase] 옵티마이저 ** 데이터 진흥원 - SQL 전문가 가이드의 [과목5 : SQL 옵티마이저] 내용 1) SQL 옵티마이징 원리 ◼︎ 옵티마이저 : 규칙과 비용을 고려하여 실행계획을 수립하는 엔진 (최근에는 Self-Learning 기능들이 추가되고 있다.) ◼︎ 고려 요인 (1) 연산자 형태 (2) 옵티마이징 팩터 (인덱스, IOT, 클러스터링, 파티셔닝, MV 등) -> 사용자가 최적의 옵티마이징 팩터를 제공하지 않으면 성능은 나빠질 수밖에 없다. (3) DBMS 제약 설정 (PK, FK, Check, Not Null 등) (4) 옵티마이저 힌트 (5) 통계정보 (비용 기반 계획 수립의 토대) -> 통계정보를 수집/관리하는데 막대한 리소스가 필요하여 관리 복잡도가 높아질수록 잘못된 근거가 될 수 있다. (6) 옵티마..

[ETL] APCHE_ICEBERG Apache Iceberg 공식 문서 : https://iceberg.apache.org/docs/nightly/◼︎ 등장 배경1) 하둡 Eco(DataLake)를 구축했을 때, -> 하둡(HDFS, Hive)환경은 NameNode(메타데이터 관리, 1EA) : 데이터 블록(DataNode, 다)형태로 관리하였고, -> 이 때, 파일/블록의 갯수가 많아지면, namenode에 저장된 메타데이터가 비대해지고, 사용 성능이 감소하였음 (블록 당 최대 저장 한도를 채우지 못하고 작은 파일들이 다수 생성되는 상황들이 많아짐 : IoT, Kafka 데이터들의 빠른 처리 요구) -> 간섭과 락, 메모리 한계 등으로 테이블 Read 속도가 1~2시간까지 걸리거나 리소..

[DataBase] 조인의 원리 & 튜닝 ** 데이터 진흥원 - SQL 전문가 가이드의 [과목3-4장 : 조인 튜닝] 내용 1) NL 조인 실제 쿼리 실행계획 select /*+ ordered use_nl(e) */ e.empno, e.ename, d.dname, e.job, e.sal from dept d, emp e where e.deptno = d.deptno -------- (1) and d.loc = 'SEOUL' -------- (2) and d.gb = '2' -------- (3) and e.sal >= 1500 -------- (4) order by sal desc ** dept idx = pd_dept : deptno, dept_loc_idx = loc ** emp idx = pk.emp : empno, emp_deptno_i..

이전 1 2 3 다음

티스토리툴바