본문 바로가기

Computer Science/AI Fundamental

[F-31] Crawling news data Intro¶학습 목표 HTML 문서의 개념에 대해서 이해한다. 태그의 형식에 대해서 이해한다. 크롤링을 위한 패키지인 BeautifulSoup4의 사용법을 이해한다. 머신 러닝 분류 방법인 나이브 베이즈 분류기의 사용법을 익힌다. 준비물 Making Directory $ mkdir -p ~/aiffel/news_crawler Installing Mecab 오늘 실습에서는 Mecab이라는 형태소 분석기를 사용합니다. 혹시 Mecab이 깔려있지 않은 환경이라면 터미널을 열고 아래의 커맨드로 Mecab을 설치해줍니다. 중간에 암호 입력이 필요할 수 있습니다. $ git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git $ cd Mecab-ko-fo.. 더보기
[F-30] Multiprocessing Intro¶Learning Objectives Understanding Multitasking, parallel programming with python Make Parallel programming with concurrent.futures with python Contents Multitasking Program Profiling scale-up vs scale-out Multiprocess, Multithread Multithread Multiprocess Thread/Process Pool Example concurrent.futures module finding prime number Multitasking - What is multitasking?¶You need to know how to .. 더보기
[F-29] Scikit-Learn Intro¶ Aim Learn basic concept of Recommendation using scikit-learn Contents Recommendation system Similarity Types of Recommendation system Content Based Filtering Collaborative Filtering User base Item base Latent Factor Collaborative Filtering -> matrix factorization # making directory $ mkdir -p ~/aiffel/movie_recommendation Recommendation system¶ Recommendation system: a subclass of informa.. 더보기
[F-28] Information Theory Intro¶ Aim Information Theory Entropy, Cross Entropy, KL divergence contents Information Content Entropy Kullback Leibler Divergence Cross Entropy Loss Decision Tree와 Entropy Information Content¶ Information Theory: the mathematical treatment of the concepts, parameters and rules governing the transmission of messages through communication systems. How can we represent informations? Let's say th.. 더보기
[F-27] Likelihood Intro¶What do you think the role of machine learning? We have data set and want to know the precise probability distribution. But the size of data is limited so it's impossible to find the exact probability distribution. So we make a machine learning model decided by parameter, and we adjust the values of parameter. The aim of machine learning is make the probability distribution close to real p.. 더보기
[F-26] Activation Function Prepare¶ In [2]: import numpy as np import matplotlib.pyplot as plt from PIL import Image from itertools import product import tensorflow as tf tf.random.set_seed(7879) print('Ready to activate?⤴') Ready to activate?⤴ Activation function¶logic: Doing some activation -> satisfy some conditions -> activate Our perceptron and node are designed to be activated if we satisfy the condition. To.. 더보기
[F-23] Convolution 들어가며 학습목표 레이어의 개념을 이해한다. 딥러닝 모델 속 각 레이어(Linear, Convolution)의 동작 방식을 이해한다. 데이터의 특성을 고려한 레이어를 설계하고, 이를 Tensorflow로 정의하는 법을 배운다. 오늘은 데이터의 차원 변화를 좇으며 각기 다른 신경망들이 갖는 Weight의 특성을 살펴보자. Linear layer와 Convolution 레이어를 집중적으로 공부하고, 이 과정을 통해 데이터의 차원 변화를 좇아 여러 신경망들이 갖는 Weight의 특성을 살펴보자. 1. 데이터의 형태 딥러닝을 이해하는 방법 중 가장 쉬운 방법은 데이터의 형태 변화를 좇는 것이다. 만약 10개 단어의 문장을 1) 5개 단어로 요약한 경우: 정보를 집약시킨 경우 2) 20개 단어로 확장한 경우: 정.. 더보기
[F-22] Deep Network 0. 들어가며 현재 많은 종류의 딥러닝 네트워크들이 있다. 이 중 몇 가지 Pre-trained Network는 Tensorflow나 PyTorch 등 프레임워크 차원에서 지원하고 있다.이 네트워크들은 딥러닝을 하다보면 자주 접하게 된다. 이번 시간에는 이들이 어떻게 생겨났고 어떤 시도로 만들어진 것인지 알아보자. [Pre-trained 모델의 구조] 1. Aim 딥러닝 네트워크들을 동물원 구경하듯 둘러봅니다. (Model Zoo라고도 하죠) 딥러닝이 어떻게 시작된 것인지 알아봅니다. ResNet과 VGG는 무엇을 시도했는지 알아봅니다. 모델은 여기서 둘러볼 수 있다. TensorFlow-Slim image classification model library 2. ImageNet Challenge [Im.. 더보기