지니 코딩일기

딥러닝 강의를 들으며 언급되지만, 설명이 없었던 내용을 정리해보려 한다. 그 중에서도 이번에는 RNN 학습에 필요한 내용을 알아보자. 목차 1. 원-핫 인코딩(One-Hot Encoding) 2. 워드 임베딩(Word Embedding) 3. 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) 4. 기울기 소실(Gradient Vanishing)과 폭주(Exploding) 5. BLEU Score(Bilingual Evaluation Understudy Score) 원-핫 인코딩(One-Hot Encoding) ➡️ 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식입니다. 이렇게 표현된 벡터를 원-핫 벡터(One-Hot vect..

딥러닝의 개념과 내용에 대해 기초부터 학습해보자. 딥 러닝(Deep Learning)은 머신 러닝(Machine Learning)의 특정한 한 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식을 말합니다. 딥 러닝이 화두가 되기 시작한 것은 2010년대의 비교적 최근의 일이지만, 딥 러닝의 기본 구조인 인공 신경망의 역사는 생각보다 오래되었습니다. 이번 챕터에서는 딥 러닝을 보다 쉽게 이해하기 위해 1957년의 초기 인공 신경망인 퍼셉트론에서부터 설명을 시작하여 층을 깊게 쌓아 학습하는 딥 러닝까지 개념을 점차적으로 확장해보겠습니다. 추가적으로 이번 챕터에서는 피드 포워드 신경망과 같은 기본적인 인공 신경망 용어들과 케라스의 사용..

CNN의 Visualizing & Understanding에 대한 강의 내용을 정리해보자. 목차 1. What's going on inside Convolutional Networks? 2. Which pixels matter 3. Deep dream What's going on inside Convolutional Networks? CNN 안에서는 어떤 작업이 이루어질까? First layer, Intermediate layer, Last layer 각각에서의 feature를 시각화한 것을 살펴보자. 첫 단계 - First layer 첫 번째 network의 첫 번째 layer의 output을 visualize한 것 첫 번째 layer에서 하는 것은 convolution1, activation1 ⇒ 할..

합성곱 신경망(CNN)의 종류에 대해 알아보자.이론과 하드웨어가 발전됨에 따라 CNN의 방식도 달라져왔다.   목차   LeNet-5- Layer 수 : 5개- 손글씨 숫자를 인식하기 위해 나온 것- 흑백 이미지에 훈련되었기 때문에 32x32x1인 채널 1개짜리임- 유효합성곱(valid convolution)을 사용했기 때문에 layer 적용될 때마다 높이와 너비가 감소함- 400(5x5x16)개의 노드를 120개의 뉴런에 각각 연결해서 완전연결층(fully connected layer) 만들었음- 적용 내용더보기Filter size : 5x5stride : 1Pooling : 2x2 average pooling (stride=2)Activation function:대부분의 unit이 sigmoid를 사..

합성곱 신경망은(Convolutional Neural Network)은 이미지 처리에 탁월한 성능을 보이는 신경망이다. 합성곱 신경망은 크게 합성곱층과(Convolution layer)와 풀링층(Pooling layer)으로 구성된다. 이에 대해 자세히 알아보자. 간단 정리 등장 배경 : 이미지의 공간적인 구조 정보를 보존하면서 학습할 수 있는 방법이 필요해졌고, 이를 위해 합성곱 신경망을 사용한다. 역할 : 합성곱층은 합성곱 연산을 통해서 이미지의 특징을 추출하는 역할을 한다. (Feature map 생성) 효과 : 훨씬 적은 수의 가중치를 사용하며 공간적 구조 정보를 보존한다는 특징이 있습니다. 목차 1. 합성곱 신경망 (CNN) 1-1. 등장 배경 1-2. 채널 (Channel) 1-3. 합성곱 연..

일상 속 풀고자하는 많은 문제 중에서는 두 개의 선택지 중에서 정답을 고르는 문제가 많습니다. 예를 들어 시험을 봤는데 이 시험 점수가 합격인지 불합격인지가 궁금할 수도 있고, 어떤 메일을 받았을 때 이게 정상 메일인지 스팸 메일인지를 분류하는 문제도 그렇습니다. 이렇게 둘 중 하나를 결정하는 문제를 이진 분류(Binary Classification)라고 합니다. 그리고 이런 문제를 풀기 위한 대표적인 알고리즘으로 로지스틱 회귀(Logistic Regression)가 있습니다. 목차 1. 이진분류 (Binary Classification) 2. 시그모이드 함수 (Sigmoid) 3. 비용함수 (Cost function) 이진분류 (Binary Classification) 둘 중 하나의 선택지 중에서 정답..

인공지능 (Artificial Intelligence, AI)은 인간과 유사한 지능을 갖는 컴퓨터 시스템을 의미하는 것으로, 데이터를 분석하고 패턴을 학습하여 추론, 결정, 문제 해결 등을 수행할 수 있다. 이러한 인공지능은 머신러닝, 딥러닝 등의 기술을 사용하여 구현된다. 머신러닝(Machine Learning, 기계 학습)은 인공지능의 하위 분야로, 컴퓨터가 데이터로부터 스스로 학습하고 패턴을 파악하는 알고리즘을 의미한다. 데이터와 알고리즘을 사용하여 인간이 학습하는 방식을 모방하고 점차 정확도를 향상하는 데 중점을 둔다. 컴퓨터 시스템이 스스로 지속적인 조정과 향상을 수행하도록 하므로, 데이터가 많을수록 더 정확한 결과를 얻을 수 있다. 딥 러닝(Deep Learning)은 머신러닝의 하위 분야로,..