[AIDE 2급] 4. 인공지능과 빅데이터

부업/AIDE 인공지능(학습)데이터 전문가 2급 2022. 8. 7. 21:49

인공지능 빅데이터 활용

인공지능과 데이터라벨링

저작권과 초상권

퀴즈

학습정리

1. 인공지능 빅테이터 활용(빅데이터란?)

빅데이터 Big Data : 대량의 정형, 비정형 데이터로 부터 가치를 추출하는 기술

- 정형 데이터 : 수치화 할 수 있는 데이터 등

- 비정형 데이터 : 영상, 사진, 음성과 같은 데이터

대량의 모든 데이터	데이터의 가치와 결과분석 기술	빅데이터 플랫폼의 등장	대규모의 데이터 관리 기술
컴퓨터, 인터넷 등 디지털 환경에서 발생하는 데이터를 정의	데이터의 관리에서 데이터를 분석하여 가치 창출하는 기술	데이터를 관리하는 하드웨어, 소프트웨어, 어플리케이션의 등장	데이터를 저장, 관리, 분석하는 하드웨어, 소프트웨어, 유통, 활용기술

- 하루에도 대량의 데이터가 지속적으로 발생되는 중 - 기존 정형 데이터에서 비정형 데이터로 많은 데이터가 발생하고 있음

- 컴퓨터 발전에 의해 데이터의 양과 형태도 함께 변화하는 중(소셜미디어와 스마트폰 보급으로 빅데이터 시대로 접어듬)

초기 빅데이터의 특징(3V)	정확성(4V) Veracity	가치(5V) Value
규모(Volume) + 속도(velocity) + 다양성(Variety)	정확성(Veracity)	가치(Value)
규모 : 데이터 양의 증가 속도 : 실시간 처리, 분석, 스트림 다양성: 데이터의 다양성(반정형, 비정형, 정형 데이터)	데이터의 양이 많아지고 복잡해지멩 따라 수집되는 데이터가 신뢰할 수 있는 데이터인지	저장하고자 하는 데이터가 저장할 가치가 있는지 , 다양한 방법으로 가공하고 분석하여 비즈니스에 유용하게 사용가능한지

다양성

정형 Structured 데이터 : 구조화된 데이터, 고정된 필드에 저장된 데이터(데이터베이스, 엑셀, CSV)

반정형 Semi-Structured 데이터 : 고정된 필드는 아니지만, 스키마를 포함, 연상불가(XML, HTML, JSON 등)

비정형 unStructured 데이터 : 고정되지 않은 데이터, 연산불가, 형태 없음(소셜 데이터, 영상, 음성, 이미지)

AI : 학습하기 좋은 데이터(라벨링)가 필요

Big Data : 데이터는 인공지능 학습을 위한 가공(전처리)가 필요

사람이 건강해지기 위해서 좋은 음식을 먹어야되듯이, AI도 좋은 데이터가 필요함

인공지능의 성능향상을 위해서 양질의 데이터가 충분히 제공되어야함.

인공지능 개발에 소요되는 시간 : 데이터 처리 80%

데이터 라벨링 Data Labeling : 인공지능 모델 학습을 위한 데이터를 기계가 이해 할 수 있는 형태로 가공

데이터셋 Data Set : 인공지능 학습을 위하여 필요한 데이터를 관련성 있게 모아 놓은 것으로 원천 데이터와 라벨링 데이터를 모아 놓은 자료의 집합, 데이터 셋 = 원천 데이터 + 라벨링 데이터

초상권 : 얼굴 기타 사회통념상 특정인임을 식별할 수 있는 신체적특징에 관하여 촬영 또는 그림묘사 되거나 공표되지 않으며 영리적으로 사용불가

빅데이터의 3V는 (규모), (속도),(다양성)특징을 가지고 있다.

빅데이터의 특징 중 다양성(Variety)는 (정형)데이터, (반정형)데이터, (비정형)데이터 로 분류된다.

인공지능 학습에 필요한 데이터는 (라벨링) 작업을 통하여 원천데이터와 함께 (데이터셋 )형태로 제공된다.