![Screenshot 2023-07-31 at 11 27 53 AM](https://private-user-images.githubusercontent.com/81630351/257096835-f9133ea0-ac5f-4937-a4f9-06a45932fdaa.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcwOTY4MzUtZjkxMzNlYTAtYWM1Zi00OTM3LWE0ZjktMDZhNDU5MzJmZGFhLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWJmZGVkNjBhOThiNjA0MDQzYjBiNDBlOWQyMDVkYjA0N2JmY2U2ODM0MmMxZTkxMjIyNjAzMzQzOTE2N2UyZmUmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.UmfAxHYm97eF0SgbBncDaMJ_505YnpSoebgJOqeKJAU)
Lawbot은 유사판례, 법률 조항과 함께 가벼운 법률 상담 서비스를 제공합니다. LLM 모델의 기학습된 방대한 정보와 더불어 fine-tuning에 사용한 법률 지식을 사용하여 다양하고 특수한 상황에 유연하게 대응하여 답변을 생성할 수 있으며, 유사도 기반의 AI 모델을 이용하여 관련된 내용에 대한 유사 판례를 제공합니다.
※ 본 웹 서비스는 8월 말까지 계속 배포예정이며, 추가적인 서비스 고도화 및 성능 개선 작업이 이루어질 예정입니다..
![Screenshot 2023-07-31 at 11 36 29 AM](https://private-user-images.githubusercontent.com/81630351/257097974-04b09ea4-af5a-41b2-be34-8eff23abfd15.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcwOTc5NzQtMDRiMDllYTQtYWY1YS00MWIyLWJlMzQtOGVmZjIzYWJmZDE1LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWU1YzhmMzJkYmFhYTgwYzUwMGUyMDQ3Njg3ZjY1NWZlOTI0MjM3ZDgzM2ViYzE4NmI0OGY3YzkxZTI1YmQ2MDQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.xf7FqCS3wUEpBgel1dOrtWqIyCddm73u7eJMeZHQaa8)
-
배경
: 국제적으로 리걸 테크 산업은 매우 빠르게 발전하고 있으며, 국내에서도 관련 서비스 수요가 꾸준히 증가하고 있습니다. 일반인들의 그러나 법률 용어나 문장은 해석하기 어려워 일반인들에게 이해도는 낮은 편이며, 관련 정보를 얻기 위해서는 많은 비용이 필요합니다. -
목표
: 따라서 윤슬팀은 이러한 상황을 해결하기위해 법률 상황에 대해 이해하기 쉬운 가이드라인을 제시하고,관련된 유사판례 및 법률 조항을 제공함으로써 법의 장벽을 낮출 수 있는 가벼운 법률 상담 서비스를 제공하고자 합니다.
- 기존의 Legal Tech 서비스는 기존의 변호사를 매칭시켜주거나 여전히 어려운 법률조항 및 판례에 대한 직접적인 검색만을 제공하는 서비스와 다르게 AI 모델을 이용하여 법률적인 분쟁 상황에 대한 유사판례를 찾아주고,가벼운 가이드라인을 직접 생성해서 빠른 시간내에 User에게 제공한다는 점에서 차이점이 있습니다.
- 웹 서버 접속
- 메시지 프롬프트 창에 자신이 처한 법률적인 상황 입력
- AI 모델이 상황 맥락을 이해하여 법적인 가이드라인을 메시지 형태로 제공
- 우측 사이드바에서 사용자가 입력한 상황과 비슷한 최대 3가지의 유사 판례 제공
- 링크를 통해 법률 정보를 직접 확인 가능
Team name : 윤슬 [ NLP 08조 ]
조화와 지속 가능한 성장을 추구하는 팀 윤슬
입니다!
팀 개개인 모두 주어진 위치에 상관없이 모든 일에 오너십
을 가지고 적극적으로 참여
하는 것을 최우선으로 생각하였습니다. 좋은 동료가 되기 위해 치열하게 고민하고, 학습하고, 성장하고 있습니다.
강민재 | 김주원 | 김태민 | 신혁준 | 윤상원 |
---|---|---|---|---|
![Screenshot 2023-07-31 at 11 54 33 AM](https://private-user-images.githubusercontent.com/81630351/257104428-556d4b1c-49be-4386-8b75-b5cebf1ad400.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMDQ0MjgtNTU2ZDRiMWMtNDliZS00Mzg2LThiNzUtYjVjZWJmMWFkNDAwLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTNmZDFjNWExYjE3MTZlNmMzMjJjMzE4MmFkZWMwNzI0NjBjMDg5NWJiMGU2MGI3OTQ3YTQ4ODNlYmRlOTUwMGMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.6L-ueFh9K9ZShoiwFbJnGTZNAd466JOxTv_QP0A9HWY)
- 최소한의 기능을 우선적으로 구현하고, 이후 팀원들의 피드백을 통해 개선해나가는 애자일 방식으로 개발했습니다.
![Screenshot 2023-07-31 at 11 54 44 AM](https://private-user-images.githubusercontent.com/81630351/257104155-d1ba5cf2-45a6-4c23-8816-83bc318f6df0.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMDQxNTUtZDFiYTVjZjItNDVhNi00YzIzLTg4MTYtODNiYzMxOGY2ZGYwLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTgxNzI5MWQ5ZmRjNTdlZWQ5OGY1ZTc1NzU3ODk1M2U1YTEyOTMyYWExN2E1ZmVmNTg3ZTg0ZWVjZjY0OGFiZjUmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.r3J8lMwSHtEime7tU5gT7HSWnrqVC9tNQNOAHCdagR4)
![Screenshot 2023-07-31 at 12 03 17 PM](https://private-user-images.githubusercontent.com/81630351/257105011-5102884e-3c6f-44b8-b606-0af61dcd497e.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMDUwMTEtNTEwMjg4NGUtM2M2Zi00NGI4LWI2MDYtMGFmNjFkY2Q0OTdlLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTJiNmI5Y2YxYzZiY2ZiOGYzNzA3ZDY3ZDQ1MzllZDhjNDllNDc1ZjNiNzdhMjdiYWNkZWQ4Mjg4OTRhMjMzNmUmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.n-3HmkZfk1rukGnV2ro_7dIlv1443wbzTIu05Lx-NTQ)
네이버 커넥트 재단으로부터 제공받은 V100 서버 4대를 모두 활용하기 위해 첫 설계 때부터 서비스 확장이 쉬운 마이크로 서비스 아키텍처를 고려했습니다. 또한 서비스 간의 상호 의존도를 낮춰 서버에 장애가 발생할 경우 전체 서비스가 중단되는 것을 방지하고자 하여 위와 같이 웹 서버, 모델 서버를 독립적으로 분리하고 API를 통해 서로 통신하는 구조로 설계했습니다. 이를 통해 한 대의 V100 서버에 장애가 발생하더라도 나머지 서비스는 전혀 영향을 받지 않고 서비스를 제공할 수 있습니다.
-
아래는 구현한 내용이고 관련된 내용을 확인하실 수 있는 링크입니다. 각 링크에서 왜 해당 기능을 구현을 했으며, 어떤 것들을 중점적으로 고려했는지 살펴보실 수 있습니다.
![Screenshot 2023-07-31 at 12 30 46 PM](https://private-user-images.githubusercontent.com/81630351/257110421-e9b220b5-ba51-489f-aa5e-c6c98cfd3eff.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTA0MjEtZTliMjIwYjUtYmE1MS00ODlmLWFhNWUtYzZjOThjZmQzZWZmLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTgxZTlkMDM3NjZmYmViOTgzNDkwNzliMDViMDFkZTIwMjMyNmIwMjEzNjFjYWM2OTE0YjljNTc1MTg0Njc2YjkmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.TsAxzCZcYU_YKhvwWSqSLZPwdGHLzawNzJpFIcFiaLU)
![Screenshot 2023-07-31 at 12 31 04 PM](https://private-user-images.githubusercontent.com/81630351/257110405-05c47fc3-e2ff-4997-9396-effcbf966a7b.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTA0MDUtMDVjNDdmYzMtZTJmZi00OTk3LTkzOTYtZWZmY2JmOTY2YTdiLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTM3NWEyNjczYTEzOTBmZTg2NTY4MzE3YjQ0ZTNkMzhmZWM2NDkzMDFkNmFiODk2NzE1ZTk1Yjk2MjZiOGEwZTQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.8u2Pm3WmGSQTuBX2wDv5lMJLUMgxuJjBY0_0J85yyWY)
법률 QA 데이터
데이터셋 이름 | 데이터 개수 | 출처 |
---|---|---|
easylaw_kr | 2,195 | https://huggingface.co/datasets/juicyjung/easylaw_kr |
LegalQA | 1,830 | https://github.com/haven-jeon/LegalQA |
대한법률구조공단의 법률상담사례 데이터 | 9994 | https://www.klac.or.kr/legalinfo/counsel.do |
대한법률구조공단의 국내 사이버상담 데이터 | 2463 | https://www.klac.or.kr/legalstruct/cyberConsultation.do |
Open AI GPT증강 | 8666 | - |
판례 데이터
데이터셋 이름 | 데이터 개수 | 출처 |
---|---|---|
법률/규정 (판결서, 약관 등) 텍스트 분석 데이터 | 77382 | https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=580 |
-
데이터 전처리, EDA, 증강에 대한 자세한 내용은 아래에서 확인하실 수 있습니다.
![Screenshot 2023-07-31 at 12 17 55 PM](https://private-user-images.githubusercontent.com/81630351/257107261-b115fc5b-093d-4955-848f-957a34f94e3f.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMDcyNjEtYjExNWZjNWItMDkzZC00OTU1LTg0OGYtOTU3YTM0Zjk0ZTNmLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTU4NGRjYWY1NGJlNWIwMGZmMTYwOTA3NDI1Njk1M2FiNGJjZWZiMjljNGRiMmM2YzBlZjQ1Mzk1NmIyNzgwN2ImWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.akjiUVwoV-s6x8x7t1tBSf80dPO8YQgPmkEjK2SJO60)
먼저 유저가 입력하면 모델에서는 Question Filtering 모델을 통해 법률적인 질문인지 아닌지 구분하게 됩니다. 법률적인 질문이라면 Similar Precedent Mode과 Law LLM Model 통해 유사판례와 법률적인 조언을 생성합니다.
![Screenshot 2023-07-31 at 12 47 58 PM](https://private-user-images.githubusercontent.com/81630351/257111276-582ed391-bdea-4c08-b942-6cf8eab163b8.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTEyNzYtNTgyZWQzOTEtYmRlYS00YzA4LWI5NDItNmNmOGVhYjE2M2I4LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTRlZDUyYTQ5ZjQ3ZDQ3ODFmNDQyNDRiYTcxNTA1NWQzMzE4ZWFkYmRjMWE5NjZjNWRlYWYyMmM2MmE1MGUxMTgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.C0eCL3TPmxQrT7B7KGn1h3lU58A8KXLIR3eyndxBSC0)
![Screenshot 2023-07-31 at 12 48 08 PM](https://private-user-images.githubusercontent.com/81630351/257111239-dd67685f-5682-4bc7-9104-170de86fb37a.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTEyMzktZGQ2NzY4NWYtNTY4Mi00YmM3LTkxMDQtMTcwZGU4NmZiMzdhLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTQ3NTZhMDM2ZTYyMmFmZDVkZDQ0MGM2Njg3YjVhZDRkMTJjOTIxMWFiYzMyYjdjYTkwODExMWY3NjI3MzdmM2UmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.qiPpds2YaOcflpUL1vscdWKZzdAxId-mlb-blKx4aJo)
![Screenshot 2023-07-31 at 12 48 28 PM](https://private-user-images.githubusercontent.com/81630351/257111228-c7e22058-7901-40f8-b0c8-e7d72564d521.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTEyMjgtYzdlMjIwNTgtNzkwMS00MGY4LWIwYzgtZTdkNzI1NjRkNTIxLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTg1OWJmMWEzMjk3NDY2ZTBiZTJkNWM2ZDE4NDUwZjljOWJkNDMwNDc3YjA5NzQ3ODAyZWI2YzliOTg4OTk4YzkmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.pMtb8IO4eASJUbjJ7ZT7THTU2cD09g-gUoEybL1VjxI)
- 구축한 모델 리스트(활용한 데이터 + Backbone 모델)
![Screenshot 2023-07-31 at 12 48 42 PM](https://private-user-images.githubusercontent.com/81630351/257111215-1e7e7b11-0fb9-4f68-8bc2-a1d4a7a48764.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTEyMTUtMWU3ZTdiMTEtMGZiOS00ZjY4LThiYzItYTFkNGE3YTQ4NzY0LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFjNzIwZDYxNzEyNjFiOGM3ZTcxOTFiYmE2Mzc2ZDY1ZjgyNzU1YWRkNmY5OTMyNTIyYWJhNWY3ZTFmNDRjMDcmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.ZmZbzfwMbZwbPuG9SXbUA4-f79U27lI-LHchtvJY0qE)
- LLM 모델은 명확한 평가지표가 없어 직접 평가지표를 만들어 평가했습니다. 평가지표를 만들 때 고려했던 부분은 도메인 특성상 법률적인 정확도가 중요하므로 법률적인 정확도와 언어의 자연스러움 두가지 모두 평가할 수 있도록 metric을 제작하여 평가했습니다.
[ Dialogue Evaluation Metric ]
- Kullm 모델의 Dialogue Evaluation Metric 평가요소를 도메인에 맞게 변형하여 활용하였고, 해당 지표를 직접 변호사에게 의뢰하여 답변을 평가했습니다. 추가로 모든 모델들은 모델 A, B, C ... 등 모델 이름을 가리고 블라인드 평가를 진행했으며, 명확한 평가지표를 만들기 위해 ChatGPT, BARD 모델과 함께 평가를 진행하였습니다. 최종적으로 저희가 구축한 kfkas/legal-llama-2-ko-7b-Chat 모델이 가장 좋은 성능을 보였습니다.
![Screenshot 2023-07-31 at 12 56 06 PM](https://private-user-images.githubusercontent.com/81630351/257112012-9cc5938c-2559-42ac-a478-78554a5befc6.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTIwMTItOWNjNTkzOGMtMjU1OS00MmFjLWE0NzgtNzg1NTRhNWJlZmM2LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTc1ZDkwZGM3OTlhMGE3NTYxYWVkNWZjZmZhMWQ5MjhkOGVlMDJmMjRiMjI1ZGU1NjU0ODIzNjNhY2UxMGM1NzgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.EtqR6MvgYTLzOaoh5zwahlEEi2NmKTRUiSmWcuvOftY)
[ Perplexity ]
- 얼마나 생성모델이 법률적인 용어를 생성해내는지 평가하기 위해 Perplexity 평가지표를 활용하였습니다. 낮을 수록 좋은 값을 나타내는 metric인데, 크롤링 데이터와 탐색한 데이터로 학습한 모델들이 대체로 높은 성능을 나타내는 경향을 보였습니다.
아래 Readme를 통해 직접 프로젝트를 실행할 수 있으며, 구현된 코드를 살펴볼 수 있습니다.
![Screenshot 2023-07-31 at 12 44 34 PM](https://private-user-images.githubusercontent.com/81630351/257110689-f62c2c58-a755-47e0-96e9-9859feafc738.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM0NDEyMzksIm5iZiI6MTcyMzQ0MDkzOSwicGF0aCI6Ii84MTYzMDM1MS8yNTcxMTA2ODktZjYyYzJjNTgtYTc1NS00N2UwLTk2ZTktOTg1OWZlYWZjNzM4LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTIlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODEyVDA1MzUzOVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWI1MWZjMzZjODkzZGY5ZTg3Y2NkZjM5MjI0ODVjZjAwN2ZiNzA4N2ZlNzYxYjNiNzhlYjVkNWU2N2NmZWNjMWQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.6goUexkJtJQwMICWctFgNYGKyf3KNANGJmZqS_vcnho)
-
노션 :
-
GitHub :
- 개발 관련 Notion 링크
- Youtube 발표 영상
- Wrap-Up Report(업데이트 예정)