diff --git a/diary/2024-11-28.md b/diary/2024-11-28.md index c336ed9..e424533 100644 --- a/diary/2024-11-28.md +++ b/diary/2024-11-28.md @@ -2,3 +2,4 @@ - artifact 업로드시에 용량이 크면 나는 에러 수정 + https://github.com/deptno/cluster-amd64/commit/be5d95b182681ecaaa1f7248b4b7c471e874ec57 - [[../optuna|optuna]] + - `hyperparameter_search` 에러 처리 diff --git a/upstage-ai-lab-project-05.md b/upstage-ai-lab-project-05.md index a767b86..d519367 100644 --- a/upstage-ai-lab-project-05.md +++ b/upstage-ai-lab-project-05.md @@ -44,7 +44,7 @@ - 대회의 점수 방식과 유사한 방식의 평가 방식을 로컬에 적용후 시작 - [[mlflow]] 활용을 잘 해보기 -## 멘토링 +## 멘토링 :mentoring: - 여러가지 코멘트가 많았지만 중요한 점을 요약해 본다면 2가지 - 모델 추천 - 한국어 모델 써봐라, llm, back translation 을 위한 번역 모델, 요약 모델 @@ -78,8 +78,12 @@ - [[mlflow]], [[wandb]] 적용 - [[mlflow]] 적용하면서 [[kubernetes]] 에 오리는데 여러가지 try-and-error 가 있었음 - [[mlflow]] 는 하나하나 해줘야하는 설정이 많음, 마지막까지 시간 관계상 처리하지 못한건 시스템 로그 보기 -- [[vscode]], [[vim]] binding을 사용하는데 함수를 못 따라가는 것이 너무 치명적이고 왔다가 갔다하기 어려워서 난 코드가 편함 +- [[vscode]], [[vim]] binding을 사용하는데 함수를 못 따라가는 것이 너무 치명적이고 왔다가 갔다하기 어려워서 스크립트 코드로 진행 - 이 부분은 아래 [[#retrospective]] +- local ROUGE-F1 스코어가 public score 와 괴리가 심함 + - rouge score 계산시에 kkma 형태소 분석기를 적용하여 점수를 근접하게 맞춤 + - konlpy 에 다섯개의 형태소 분석기 중 가장 점수가 높게나온 kkma 를 사용 + - 2개는 에러가 나서 사용하지 못했는데 그중 mecab 이 표준일 거라함, [[#mentoring]] - 팀원과 겹치지 않는 증강 시도 - solar credit($10)를 사용하여 - solar LLM 을 이용