No error , No gain

Stackoverflow 글을 올린건 작년 9월 22일이 처음이다. 그 전에 일련의 과정을 거치고 시작했다. 그 과정은 1. StackOverFlow Endpoint 수집 (순서는 Highest Score로 하고 1페이지부터 크롤링하였다.) 2. 수집된 Endpoint를 순방하며 내용물을 긁어 모았다. 블로그API를 통해 HTML 통째로 넣을 수 있기 때문에 html 통째로 긁어 왔다. 그렇게 해서 긁어온게 5만 7천개. (지금 맥북이 없어 정확한 수치를 확인 못하지만..) 3. 구글 번역기 API를 통해 번역을 한다. 영어 그자체로 올리면 스택오버플로우에게 밀릴 것을 알기에 번역을 하기로 함. 공짜 크레딧 300불 + 번역기 보너스(?) 10불 해서 총 310불어치 번역을 함. 대략 1090개 정도 번..

손으로 쓰던 블로그, 1년 동안 200개의 게시물에 올리는 것에 그쳤다. 블로그에도 api가 있는 것을 알았고, 자동 글쓰기에 관심을 가졌다. 그리고 stackoverflow를 스크래핑하기 시작하였고, 360만개의 질문 endpoint를 긁었다. 380만개의 엔드포인트를 하나하나 들리며 컨텐츠를 가져오고 있다. 질문과 거기에 달린 답변들, 그리고 번역 api를 사용하여 번역한다. 사실 번역은 돈이 많이 들어 할 수가 없다. 공짜 크레딧을 다 써버렸다. 여기저기 번역 툴을 알아볼 생각이다. 현재 380만개 정도의 질문에서 5만 7천개정도의 질문과 답변들을 가져왔고 1044개의 번역된 데이터가 있다. 현재 번역된 것을 480개정도 이 블로그에 올렸다. 나머지 500개정도 더 올리게 되면 영어버전을 올릴 예정..