update

diary/2024-11-28.md

@@ -2,3 +2,4 @@
   - artifact 업로드시에 용량이 크면 나는 에러 수정
   + https://github.com/deptno/cluster-amd64/commit/be5d95b182681ecaaa1f7248b4b7c471e874ec57
 - [[../optuna|optuna]]
+  - `hyperparameter_search` 에러 처리

upstage-ai-lab-project-05.md

@@ -44,7 +44,7 @@
 - 대회의 점수 방식과 유사한 방식의 평가 방식을 로컬에 적용후 시작
 - [[mlflow]] 활용을 잘 해보기
 
-## 멘토링
+## 멘토링 :mentoring:
 - 여러가지 코멘트가 많았지만 중요한 점을 요약해 본다면 2가지
 - 모델 추천
   - 한국어 모델 써봐라, llm, back translation 을 위한 번역 모델, 요약 모델
@@ -78,8 +78,12 @@
 - [[mlflow]], [[wandb]] 적용
   - [[mlflow]] 적용하면서 [[kubernetes]] 에 오리는데 여러가지 try-and-error 가 있었음
   - [[mlflow]] 는 하나하나 해줘야하는 설정이 많음, 마지막까지 시간 관계상 처리하지 못한건 시스템 로그 보기
-- [[vscode]], [[vim]] binding을 사용하는데 함수를 못 따라가는 것이 너무 치명적이고 왔다가 갔다하기 어려워서 난 코드가 편함
+- [[vscode]], [[vim]] binding을 사용하는데 함수를 못 따라가는 것이 너무 치명적이고 왔다가 갔다하기 어려워서 스크립트 코드로 진행
   - 이 부분은 아래 [[#retrospective]]
+- local ROUGE-F1 스코어가 public score 와 괴리가 심함
+  - rouge score 계산시에 kkma 형태소 분석기를 적용하여 점수를 근접하게 맞춤
+    - konlpy 에 다섯개의 형태소 분석기 중 가장 점수가 높게나온 kkma 를 사용
+    - 2개는 에러가 나서 사용하지 못했는데 그중 mecab 이 표준일 거라함, [[#mentoring]]
 - 팀원과 겹치지 않는 증강 시도
   - solar credit($10)를 사용하여
     - solar LLM 을 이용