코딩/Tip1 Cache와 Retry로 시간·비용 효율적 API 호출하기 문제상황허깅페이스에 SQuAD 데이터를 불러와서 한국어로 번역하여 학습 데이터로 사용하기 위해, 구글번역기 api를 이용하여 이를 구현하려고 한다.데이터를 살펴보니 context 컬럼에는 중복된 데이터가 많이 보인다. 중복된 데이터를 번역하기 위해 매번 API를 호출하면 비효율적이다.실행 시간뿐만 아니라 유료 api를 사용한다면 비용적으로도 많이 부담이 될 것이다.코드 설명의존성 설치번역에 필요한 googletrans와 진행 상황을 출력하기위한 tqdm패키지를 설치한다.!pip install googletrans tqdm캐시 구현이미 한번 api를 호출한 데이터를 반복하지 않도록, 캐시 파일을 json으로 생성하고 관리하는 TranslationCache클래스를 구현한다.enter와 exit함수를 통해 인.. 2024. 11. 24. 이전 1 다음
