본문 바로가기

llm2

[Hugging Face NLP Course] #1 Transformer Models 다음의 시리즈 포스팅은 Hugging Face에서 제공하는 NLP 코스를 보며 정리하는 글입니다. 원본 강의 링크 : https://huggingface.co/learn/nlp-course Introduction - Hugging Face NLP Course2. Using 🤗 Transformers 3. Fine-tuning a pretrained model 4. Sharing models and tokenizers 5. The 🤗 Datasets library 6. The 🤗 Tokenizers library 9. Building and sharing demos newhuggingface.co Transformer (트랜스포머) 모델이란? Transformer 아키텍처는 2017년에 Attent.. 2024. 5. 12.

NLP (자연어 처리) 란? NLP (또는 자연어 처리) 는 2016년 쯤 챗봇이 성행하면서부터 많은 관심을 끌었던 키워드였다. 다소 오래된 듯한 이 키워드를 다시 꺼내는 이유는, LLM (Large Language Model) 기술이 빠르게 발전하면서 NLP 에 대해 다시 처음부터 이해하고자 함이다. NLP (= 자연어처리) 는, 머신러닝 기반으로 인간의 언어를 컴퓨터가 잘 이해하도록 하고자 하는 언어학의 영역 중 하나이다. 여기서 중요한 것은, 단어 자체의 뜻을 이해하는 것에서 그치지 않고, 단어와 문장 간의 문맥 그 행간의 의도를 이해하도록 하는 것이 핵심이다. (문맥!) 대표적인 NLP Task 는:분류 (Classification) 전체 문장 간 분류 : 리뷰의 긍정/부정 여부, 이메일이 스팸인지, 두 무장 간의 연관성.. 2024. 5. 5.

이전 1 다음

티스토리툴바