[trouble_shooting] 이미지 크기 비교의 속도를 위해서ThreadPoolExecutor 사용

- 이미지 크기 확인을 위한 코드를 짜는데 처음에 gpt에게 물어서 짠 코드가 너무 느렸다.

- 시간이 너무 걸려서 다른 방법을 물었고. 

# 첫 번째 이미지 크기 기준 설정
example_image = image_files[0]  # 첫 번째 이미지 예시
example_width, example_height = None, None

# 첫 번째 이미지 크기 가져오기
if example_image:
    img_cv = cv2.imread(example_image, cv2.IMREAD_UNCHANGED)
    if img_cv is not None:
        example_height, example_width = img_cv.shape[:2]
        print(f"Example Image: {example_image}, Width: {example_width}, Height: {example_height}")
    else:
        print(f"Failed to load example image: {example_image}")
        exit()

# 다른 이미지들과 크기 비교
for image_path in tqdm(image_files, desc="Processing images", ncols=100, miniters=1, dynamic_ncols=True):  # tqdm 설정
    img_cv = cv2.imread(image_path, cv2.IMREAD_UNCHANGED)
    
    if img_cv is not None:
        h, w = img_cv.shape[:2]
        
        # 크기가 예시와 다른 경우 출력
        if w != example_width or h != example_height:
            print(f"Different Image: {image_path}, Width: {w}, Height: {h}")

 

 

 

- 아래의 방법들로 병렬 처리(ThreadPoolExecutor)를 하여 해결했다. 

- 특히 이미지 확인할 때는 PIL.Image.open()을 사용하는 것이 낫다는 것으르 배웠음. 

 

1. ThreadPoolExecutor: 이미지를 병렬로 처리하기 위해 ThreadPoolExecutor를 사용합니다. 이를 통해 여러 이미지를 동시에 읽고 처리
2. check_image_size: 각 이미지를 확인하는 별도의 함수로 분리하여 병렬 처리가 가능
3. as_completed: 각 스레드가 완료될 때마다 결과를 처리
4. 추가 최적화

• 이미지 로드 최적화: cv2.imread() 대신 PIL.Image.open()을 사용하여 더 빠르게 이미지를 읽음. OpenCV는 이미지 로드에서 비교적 시간이 더 걸림.
• 파일 읽기 최적화: 이미지 경로와 크기 비교를 먼저 수행한 후, 나중에 크기 정보만 필요한 이미지를 다시 로드하는 방식으로 최적화

import glob
import cv2
from concurrent.futures import ThreadPoolExecutor, as_completed
import os

# train 폴더 내 PNG 파일 경로 찾기
origin_dir = '본인 경로' 
image_files = glob.glob(f'{origin_dir}/*.png')  # train 폴더 내 모든 .png 파일 찾기


# 첫 번째 이미지 크기 기준 설정
example_image = image_files[0]  # 첫 번째 이미지 예시
example_width, example_height = None, None

# 첫 번째 이미지 크기 가져오기
if example_image:
    img_cv = cv2.imread(example_image, cv2.IMREAD_UNCHANGED)
    if img_cv is not None:
        example_height, example_width = img_cv.shape[:2]
        print(f"Example Image: {example_image}, Width: {example_width}, Height: {example_height}")
    else:
        print(f"Failed to load example image: {example_image}")
        exit()

# 크기 비교 함수
def check_image_size(image_path):
    img_cv = cv2.imread(image_path, cv2.IMREAD_UNCHANGED)
    if img_cv is not None:
        h, w = img_cv.shape[:2]
        if w != example_width or h != example_height:
            return image_path, w, h
    return None

# 병렬 처리로 이미지 크기 비교
with ThreadPoolExecutor() as executor:
    futures = [executor.submit(check_image_size, image_path) for image_path in image_files]
    
    for future in as_completed(futures):
        result = future.result()
        if result:
            image_path, w, h = result
            print(f"Different Image: {image_path}, Width: {w}, Height: {h}")