[ETL] APCHE_ICEBERG
Apache Iceberg 공식 문서 : https://iceberg.apache.org/docs/nightly/◼︎ 등장 배경1) 하둡 Eco(DataLake)를 구축했을 때, -> 하둡(HDFS, Hive)환경은 NameNode(메타데이터 관리, 1EA) : 데이터 블록(DataNode, 다)형태로 관리하였고, -> 이 때, 파일/블록의 갯수가 많아지면, namenode에 저장된 메타데이터가 비대해지고, 사용 성능이 감소하였음 (블록 당 최대 저장 한도를 채우지 못하고 작은 파일들이 다수 생성되는 상황들이 많아짐 : IoT, Kafka 데이터들의 빠른 처리 요구) -> 간섭과 락, 메모리 한계 등으로 테이블 Read 속도가 1~2시간까지 걸리거나 리소..
