MJK

GUI를 만들고, 오프라인에서 돌아가게 만들기 위해, STT, TTS를 교체해야 됐다. 그 중 나는 TTS를 바꾸었다.원래는 Google Cloud Text-to-Speech API를 사용하여 네트워크가 필요하였다.우선 간단하게 만들어보았다.pyttsx3로 교체하였다. 음성은 잘 나오지만, 뭔가 자연스럽지 않고 기계같다.그래서 찾아본 게 MeloTTS이다.처음엔 잘 안 되었지만, 새로 가상환경을 다시 셋팅하여 문제를 해결하였다.문제점은 아래와 같았다.MeloTTS 문제점Rust를 사용 transformers 버전이랑 huggingface_hub 버전 충돌 gradio가 urllib3을 2.x 이상 버전으로 요구하는 반면, botocore는 urllib3을 1.27 미만 버전으로 요구

연구실 2024. 11. 26. 13:34

무인 드라이브 스루는 터미널에서 동작을 하고 있었다.교수님이 KeywordSpotting을 완료했으니, 이제 GUI를 만들어 보라고 하셨다.난 참 다양하게 하는 것 같다.(ASR, GUI, 백엔드, 프론트엔드, 논문 등... 나중에 어딜 가든 잘 적응할 거 같다.)GUI는 각 키워드 3개를 하단에 띄우고, TTS를 사용자의 편의를 위해 화면에 한 번 더 띄어주었다.

연구실 2024. 11. 19. 13:10

연구실에서 무인 드라이브 스루 과제를 진행하고 있다.1월부터 현재 까지 진행중이다.내가 여기서 한 일은, 네트워크가 없는 환경에서 On-Device로 돌아가게 만드는 것이였다.원래는 PicoVoice를 사용해서 구현했었는데, api key가 필요하기 때문에, 내가 직접 모델을 가져와서 파인튜닝을 진행하였다.우선 모델은 Tc-ResNet8을 선택하였다. 선택한 이유는 경량화 모델에 적합하고, 실시간 스트림 처리 속도가 빠르기 때문이다.고려해야 할 상황들이 굉장히 많았다.학습 데이터의 hz를 내가 Input으로 사용하는 MacOS 마이크의 hz와 통일시킨다.(48000hz로 통일시켰다.)"Hi,Bean", "Cancel,Bean", "Okay,Bean"을 keywordspotting 하기 때문에, 음성 길이..

연구실 2024. 11. 12. 14:03

연구실을 2023년 12월에 들어가서, 이번에 첫 학회를 가보았다.연구실에서 많은 것들을 배웠고, 회사에서 원하는 니즈에 맞게 수정하는 법을 배웠다.연구에서 제일 중요한 건 "왜?" 인 것 같다. 여러 센싱 중에 왜 이 센싱을 선택했고, 다른 센싱과 비교했을 때 왜 좋은지, windows나 Linux 중 왜 Linux를 선택했는지, 연구에서는 항상 이유가 중요하다는 것을 배웠다.이 논문을 2저자로 참가하였다. 간단하게 설명하자면, LLM 기반보다 전문가 시스템이 빠른 속도와 파인튜닝 방법이 프롬프트 방법보다 더 높은 정확도를 제공한다는 것이다.학회를 가서 여러 상위권 대학원들의 논문을 보았다. 카이스트, 고려대, 한양대 등등 제일 기억에 남는 건, 카이스트에서 한 안경에 이미지 인식 센싱을 달아 사용자의..

연구실 2024. 7. 2. 13:06

엔트로피의 정의 : 이산 확률 변수(연속적X), 불확실성을 계량화하기 위한 것. 예를들어, 주사위의 면이 각 1/6 일 때, 불확실성이 가장 높다. 정보를 압축하는데 한계가 있다. 수식을 보면, 이를 이용한, 예시를 두 개를 보겠다. 불확실성을 계량화 할 수도 있다. 엔트로피에 조건을 부여하면 된다. 이렇게만 보면 식이 어렵게 다가올 가능성이 높아, 예시를 통하여 다시 보겠다. 위 사진을 보고 식을 풀어보면, 조건을 어떻게 부여하고, 어디에 부여하느냐에 따라 값이 달라지는데, 이해의 편의를 위해 주사위를 예로 들겠다. 위에서 확인할 수 있듯이, 조건을 부여하지 않았을 때 값과, 부여했을 때 값이 다른 걸 확인할 수 있고, 어떤 변수에 조건을 부여하는지에 따라 값이 변하는 것을 확인할 수 있다. 이때 H(..

연구실 2024. 1. 28. 17:47

Rule-based와 Data-driven의 차이를 먼저 알고 넘어가겠다. Rule-based는 이름 그대로 규칙을 기반으로 학습을 시키는 것이다. 하지만, 규칙에서 벗어나는 경우가 많아서 어려움을 겪을 수 있다. 저번에 공부했던 예를 들어, 스팸 문제가 대출, 대.출, 대&&출 이렇듯, 대출이라는 단어만으로는 규칙을 정하기에 어려움을 겪는다. Data-driven은 머신이 스스로 학습하는 것이기에, 이러한 문제가 줄어든다. 인공신경망에 손실함수라는 벌점을 준다. 인공신경망의 성능이 좋을수록 손심하수 값이 낮고, 성능이 나쁠수록 손실함수 값이 높다. 머신러닝은 데이터를 통해 손힐함수 값을 낮추는 과정이다. 예를 들어, A 기상대는 내일 비올 확률을 90%, B 기상대는 60%, C기상대는 30%로 예상했..

연구실 2024. 1. 27. 19:33

지난 시간에 했던 MNIST를 구현해보자. 아직 학습을 못하기 때문에, 이미 학습이 끝난 정보를 가져오겠다. 위 코드는 신경망에서 했던, init_network와는 달리, 가중치와 편향을 불러오는 것을 확인할 수 있다. 이때 p는 머신이 예측한 숫자이고, t[i]는 필체를 쓴 사람의 정답이다. 따라서 머신이 예측한 숫자와, 필체의 쓴 사람의 정답이 같으면 accuracy_cnt에 1를 더해준다. 마지막으로, 정답률을 얻기위해 x_test의 갯수에서 accuracy_cnt를 나눠준다. 결과이다. time에 대한 건 후에 다시 보도록 하자. 다음으로 배치(묶음)처리에 대해서 알아보자. 만약 데이터의 갯수가 60,000장 이라면 머신은 한 장씩 처리하는 것이 아닌, 한 번에 처리한다. 따라서 I/O에서 병목현..

연구실 2024. 1. 26. 19:50

이번 장에서는, 고등학생과 미국 인구조사국 직원들이 손으로 쓴 70,000개의 작은 숫자 이미지를 모은 MNIST 데이터셋을 사용하여, 공부해보겠다. MNIST의 데이터셋은 0부터 9까지 손글씨 이미지로 구성되어있다. 개개인의 필기체가 다름으로, 필체 변형이 너무 많은 문제가 있어서, 규칙을 임의로 정해서 해결하기 어려운 문제가 있다. 스팸으로 예를 들면, 대출 이라는 단어를 스팸으로 분류하고 싶다. 하지만 대출, 대%출, 대&&출 등 우리가 임의로 규칙을 정해도 피해갈 방법은 많다. 이를 해결하기 위해, 해당 레이블(정답)을 학습시키는 것을 택하였다. 코드에 들어가기 앞서, 컴퓨터는 사람 처럼 직관적으로 보는 게 아닌, 이미지 행렬로 바꿔서 본다. 흑백 이미지는 행렬로 나타내고, 컬러 이미지는 3차원 ..

연구실 2024. 1. 25. 19:31