인공지능 트렌드를 가장 먼저 적용하고 있는
기업들은 AI 기능을 적용한 홈/가전 서비스 제품을
활발하게 선보이며 우리 삶을 더욱 똑똑하게 만들어주고 있습니다. 인공지능 트렌드를 가장 먼저
적용하고 있는 기업들은 AI 기능을 적용한
홈/가전 서비스 제품을 활발하게 선보이며 우리 삶을 더욱 똑똑하게
만들어주고 있습니다.

※ 아래 4가지 사례는 CES 2024에서 발표된 스마트 가전 서비스들로 강의 실습과는 무관합니다.

I 학습 목표
GPT-4 Vision API를 활용하여 스마트 방법 시스템을 구현하고
운영하는 방법을 습득하며, CLIP과 Vector DB를 활용하여
보안 성능을 향상시킬 수 있는 방법을 학습합니다.

I 학습 내용
• GPT-4 Vision API를 활용한 스마트 방범 시스템 활용 가능성 소개
• Pytorch를 활용한 Anomaly Detection 구현 
• GPT-4 Vision을 활용한 이미지 분류, 객체 감지, 이미지 캡셔닝
• Vector DB를 활용한 이상상황 감지 & CLIP를 활용한 영상 및 텍스트 Encoding, Similarity Measure 방법론 학습 
• 프롬프트 엔지니어링을 활용한 성능 향상

I 개발 기능
• GPT-4 Vision에서 제공하는 이미지 캡셔닝, 객체 검출을 통한 영상 분석
• Vector DB를 활용한 이상행동 패턴 분석 & 새로운 이상행동 식별
• 이상행동 패턴 발견 시마다 데이터베이스 업데이트하여 최신 상태 유지 및 실시간 검색/분석
• 이상상황 발생 시마다 경고 메시지/알림을 생성하여 보안 담당자에게 전달

I 서비스 개발 프로세스

I 학습 목표
GPT-4 Vision API를 활용하여 집안일 및 사용자 감정을 인식하는
Home Assistant 로봇을 개발하고, LangChain과 Vector DB를 
활용하여 데이터를 관리 및 향상된 기능을 개발하는 방법을 학습합니다.

I 학습 내용
• GPT-4 Vision을 활용한 집안 일 Task 소개 
• 집안 일을 인식할 수 있는 인식 기능 개발
• LangChain 메모리를 이용한 챗봇 기능 개발
• LangChain Agent와 Retrieval를 활용하여 스스로 검색 및 대답을 출력할 수 있는 Agent 개발
• 집안 일 명령, 사용자 감정 인식, 행동 추천 기능 개발

I 개발 기능
• GPT-4 Vision을 활용한 집안 상황 분석 및 가이드 안내
• 사용자 감정 인식
• 사용자 행동 추천
• 스마트 홈 로봇이 취해야 할 Action 결정

I 서비스 개발 프로세스

I 학습 목표
이미지 인식 기능과 LLM 기반 생성형 AI 기능을 활용하여
음식을 정확하게 인식 및 분류하는 방법부터 인식 기반
사용자 질문에 적합하게 응답을 할 수 있는 방법을 학습합니다.

I 학습 내용
• Multimodal LLM과 전통적인 Task-Spcific AI 기술에 대해 학습하고
차이점을 이해
• Multimodal LLM을 구성하는 모델, 데이터, 학습, 추론 방법을 학습
• Multimodal LLM과 전통적인 Task-Specific AI 기술을 활용하여 
 각각 AI 스마트 냉장고를 구현 후,
기술적 차이가 실제 서비스에서
 어떻게 반영되는지 학습

I 개발 기능
• Object Detection 모델을 활용하여 음식 재료 관리
• 음식 재료 기반 요리 레시피 생성
• Coupang API를 활용한 부족한 재료 쇼핑 리스트 생성

I 서비스 개발 프로세스

I 학습 목표
Computer Vision 기술과 생성형 AI 기능을 활용하여
사진에서 편집하고자 하는 물체의 영역 파악부터 원하는
형태로 이미지를 편집할 수 있는 기능을 개발하는 방법을 학습합니다.

I 학습 내용
• Vision AI 기술을 학습하고 Image Segemntation의 이해로 편집하고자 하는 영역을 선택하는 방법을 학습
• 직접 모델을 학습하지 않고도 이미지를 선택하여 편집하는 방법을 학습
• Stable Diffusion을 활용하여 추출한 이미지 영역 Inpaint 실습
• Text Prompting을 통한 이미지 생성 모델 실습
• GPT API를 활용하여 이미지 생성 성능을 올리는 Prompting 방법 학습

I 개발 기능
• Image Segmentation 모델을 활용하여 사진에서 영역 추출
• Image Generative 모델을 활용하여 자연스러운 Inpainting 개발
• Text Prompting으로 추출 영역에서 원하는 형태로 이미지 편집

I 서비스 개발 프로세스

I 학습 목표
실시간 반려동물 영상을 획득하기 위한 반려동물 인식 시스템을 개발합니다.
Video - Text Multimodal 모델을 실습하고 영상 기반으로 반려동물 상태를
요약 및 파악할 수 있는 반려동물 지킴 로봇 서비스를 개발합니다.

I 학습 내용
• 실시간으로 반려 동물의 영상을 확보하고 영상 기반 Text 정보 생성
• 반려동물 인식 시스템 개발
• Video-Text Multimodal 모델로 영상 정보를 기반으로 Text 정보 확인
• Video-LLaMA 모델을 활용하여 영상 상태 요약
• GPT로 누적된 요약 정보를 활용하여 놓치고 지나갈 수 있는 이상 행동 감지
• Text to Speech를 활용하여 Text 입력 시 반려동물 로봇에서 음성 생성

I 개발 기능
• 반려동물을 따라 다니면서 영상을 촬영하기 위한 인식 시스템 개발
• 반려동물 영상으로부터 요약 정보 추출
• 반려동물 이상 감지 시스템 구현
• Text-Sound Multimodal 모델 개발

I 서비스 개발 프로세스

스마트 홈/가전 서비스 끝내는
5가지 멀티모달 AI 프로덕트 개발

Part 1. GPT4 Vision 을 이용한 스마트 방범시스템 구축

Part 2. GPT4 Vision을 이용한 home assistant robot 구현

Part 3. Multimodal LLM을 활용한 스마트 냉장고

Part 4. AI 사진 편집기

Part 5. 반려동물 지킴이