🤖 ML/🔠 NLP 검색 결과

해당 글 3건

한글 음절과 초/중/종성 분리, 결합 작업

한글과 유니코드에 대해 유니코드 상에서 한글의 위치에 대해서는 https://darrengwon.tistory.com/1425 를 참고해봅시다. 유니코드와 한글의 영역 유니코드 유니코드 문자의 경우 해당 글자의 코드를 표기할 때 U+(16진수 숫자)로 표기한다. 한글 '가'는 AC00(0xAC00)이고, 유니코드 상에선 U+를 붙여 AC00으로 표현한다. 10진수로 표현하면 44032다. js darrengwon.tistory.com 한글의 음절(Hangle Syllables)은 유니코드 상의 Hangul Jamo의 조합으로 표현할 수 있습니다. 예를 들어, "한"은 유니코드상 U+d55c에 해당합니다. "한"은 ㅎ, ㅏ, ㄴ이라는 자모로 구성되어 있기도 합니다. Hangul Jamo 상에서 다음과 같은..
🤖 ML/🔠 NLP 2021. 5. 31. 05:02

유니코드와 한글의 영역

유니코드 유니코드란 전세계의 문자를 정의하기 위한 국제 표준 코드다. 유니코드 문자의 경우 해당 글자의 코드를 표기할 때 U+(16진수 숫자)로 표기한다. 한글 '가'는 AC00(0xAC00)이고, 유니코드 상에선 U+를 붙여 AC00으로 표현한다. 10진수로 표현하면 44032다. js에선 charCodeAt 메서드를 통해서 10진수의 유니코드를 출력해볼 수 있다. toString을 통해 16진수로 변환할 수도 있습니다. console.log("가".charCodeAt(0)) // 44032 console.log("가".charCodeAt(0).toString(16)) // ac00 console.log("A".charCodeAt(0)) // 65 console.log("A".charCodeAt(0)...
🤖 ML/🔠 NLP 2021. 5. 31. 03:43

데이터 정제를 위한 정규식 tips

예시로 공부하는 javascript 정규식 : https://darrengwon.tistory.com/1420 정규식 분석에 유용한 사이트 : regexr.com/ 텍스트 마이닝을 마쳤다면 해당 문장을 정제하는 과정이 필요하다. 우선적으로 해야하는 것은 정규식으로 html 태그를 떼는 등 기본적인 정제가 이루어지고 다음에 맞춤법 교정 등이 들어가게 된다. 에를 들면 한국어 챗봇을 제작할 때, 한국어, 숫자를 제외한 문자는 제거하고, 웹 소스, 문장기호, 특수 문자 등을 제거하게 된다. 어쨌거나 핵심은 서비스에 불필요한 문자/문자열을 제거하는 것이다. 여기서는 데이터 정제에 자주 사용되는 정규식을 살펴보기로 한다. [a-zA-Z] a부터 z까지, A부터 Z까지. 즉, 영어 알파벳과 일치 [가-힣] 조합된 ..
🤖 ML/🔠 NLP 2021. 2. 14. 02:42