AI/머신러닝

◇  공부 기록용으로 작성하였으니 틀린점, 피드백 주시면 감사하겠습니다 ◇ 머신 러닝을 공부하다보면 배치(batch), 에포크(epoch)라는 단어에 분명히 만나게 된다.이 두 단어가 무엇을 지칭하는 것인지를 알아야 보자!      Batch (배치)기본적으로 💻컴퓨터 공학에서 "batch"는 어떠한 큰 작업을 부분적으로 모아서 처리하는 것을 나타낸다.Batch는 머신러닝 분야에서 자주 등장한다. 여기서 Batch는 전체 학습 데이터 중에서 모델에 입력하는 작은 일부를 의미한다. 예시를 통해 이해하는게 더 쉽다. 👦 사용 예시1000개의 학습 데이터가 있을 때 Batch Size는 50이라고 하자.50개의 학습 데이터는 하나의 세트 Batch가 되어서 학습 모델에 입력된다.이 과정이 20번(50 x ..

원본 자료) https://wikidocs.net/86649 13. 서브워드 토크나이저(Subword Tokenizer) 기계에게 아무리 많은 단어를 학습시켜도, 세상의 모든 단어를 알려줄 수는 없는 노릇입니다. 만약, 기계가 모르는 단어가 등장하면 그 단어를 단어 집합에 없는 단어란 의미에서 ... wikidocs.net 서브워드 토크나이저 하나의 단어를 여러 서브워드로 분리해주는 것, 하나의 단어를 여러 서브워드로 분리해서 단어를 인코딩 및 임베딩하겠다는 의도를 가진 전처리 작업을 Subword Segmenation(서브워드 분리작업) 이라고 한다. Ex1) birthplace = birth + place Ex2) 경찰차 = 경찰 + 차 왜 분리할까? 기계에게 아무리 많은 단어를 학습시켜도, 세상의 ..