MaxpageNum <- function(turl = url) {
  r=GET(turl)
  h=read_html(r)
  totalnum<-html_nodes(h,'.result_num')  #<div class="result_header">  <h3>검색결과</h3> 이럴때
  # html_nodes(h,'.result_header h3') 이런식으로 쓰면"검색결과"라는 텍스트를 가져옴.
  nums=html_text(totalnum)
  nums <- gsub("\r", "", nums)
  for(h in 1:10){# 관련 뉴스가 10개 이하일 경우 1 ~ 1, 1 ~ 2, ...,1 ~ 10 모두 처리 가능하게 코딩.
    nums <- gsub(paste0("1 ~ ",h," / "),"",nums)
  }
  nums <- gsub("\t","",nums)
  nums <- gsub("\n","",nums)
  nums <- gsub("\\(","",nums)
  nums <- gsub("\\)","",nums)
  nums <- gsub("건","",nums)
  nums <- gsub(",","",nums)
  nums<-as.numeric(nums)
  result<-as.integer(nums/10 +1)
  if(identical(nums,numeric(0))){
    result<-0
  }else{
    if( nums%%10 == 0){
      result=result-1
    }
  }
  return(result)
} 

library(rvest)
library(N2H4)
library(httr)

#getMaxpageNum 함수 대신 새로 만듬. 같은 기능을 함.
MaxpageNum <- function(turl = url) {
  r=GET(turl)
  h=read_html(r)
  totalnum<-html_nodes(h,'.result_num')  #<div class="result_header">  <h3>검색결과</h3> 이럴때
  # html_nodes(h,'.result_header h3') 이런식으로 쓰면"검색결과"라는 텍스트를 가져옴.
  nums=html_text(totalnum)
  nums <- gsub("\r", "", nums)
  for(h in 1:10){# 관련 뉴스가 10개 이하일 경우 1 ~ 1, 1 ~ 2, ...,1 ~ 10 모두 처리 가능하게 코딩.
    nums <- gsub(paste0("1 ~ ",h," / "),"",nums)
  }
  nums <- gsub("\t","",nums)
  nums <- gsub("\n","",nums)
  nums <- gsub("\\(","",nums)
  nums <- gsub("\\)","",nums)
  nums <- gsub("건","",nums)
  nums <- gsub(",","",nums)
  nums<-as.numeric(nums)
  result<-as.integer(nums/10 +1)
  
  if( nums%%10 == 0){
    result=result-1
  }
  return(result)
} 

#getUrlListGetByCategory 함수 대신 새로 만듬. 카테고리의 구분이 없이 가져옴.
UrlListGet <- function(turl = url, col=c("titles","links")){
  r=GET(turl)
  h=read_html(r)
  tit<-html_nodes(h,'.ct .info .head_social a') %>% html_attr("data-title")  #<div class="result_header">  <h3>검색결과</h3> 이럴때
  # html_nodes(h,'.result_header h3') 이런식으로 쓰면"검색결과"라는 텍스트를 가져옴.
  title<-tit 
  lin<-html_nodes(h,'.ct .info a')
  link<-lin %>% html_attr("href")
  linkss<-link[-c(which(link=="#"))]  # 주소외에 #이 중간중간 들어가서 그것들을 제거.
  
  linklen=length(link)
  i=1
  
  if(linklen==1&&link[1]=="#"){
    link<-append(link,"#",after=i)
    linklen=linklen+1
    link[i]="##"
  }
  while(i <= linklen-1){
    
    if(link[i]=="#"){
      if(i==1){
        link<-append(link,"#",after=i)
        linklen=linklen+1
        link[i]="##"
      }
      else if(link[i+1]=="#"){  # 각 페이지의 첫 기사가 네이버뉴스화되어 있지 않으면 연속으로 ##이 생기지 않음.
        link<-append(link,"##",after=i)
        linklen=linklen+1
      }
    }
    i=i+1
  }
  
  
  for(i in 1:length(link)){
    if(link[i]=="##"){
      title[as.integer(i/2)+1]<-"#"
      
    }
  }
  
  if(length(title[title=="#"])>0){
    titless<-title[-c(which(title=="#"))]  # navernews주소가 없는 기사는 #처리해서 일괄적으로 제거.
  }
  else{
    titless<-title
  }
  newsList<- data.frame(titles = titless, links = linkss, stringsAsFactors = F)
  
  return(newsList[,col])
  
}




strTime<-Sys.time()
midTime<-Sys.time()

#제목에 검색어가 속한 뉴스만 검색
#최신순#http://news.naver.com/main/search/search.nhn?query=%B9%AE%C0%E7%C0%CE&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=title.basic&ic=all&so=datetime.dsc&stDate=range:20170101:20170101&detail=0&pd=4&start=1&display=10&startDate=2017-01-01&endDate=2017-01-01&page=1
#관련도#http://news.naver.com/main/search/search.nhn?query=%B9%AE%C0%E7%C0%CE&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=title.basic&ic=all&so=rel.dsc&stDate=range:20170101:20170101&detail=0&pd=4&r_cluster2_start=11&r_cluster2_display=10&start=11&display=10&startDate=2017-01-01&endDate=2017-01-01&page=1

#여기선 최신순으로 함
#최신순으로 해야 메인 기사에 딸린 기사가 없음.

# 목표 날짜를 지정합니다.
# month 바뀔 때마다 아래 if문 만들어서 직접 넘기기~!
strDate<-"20170215"
endDate<-"20170315"

keyList<-c("박근혜","문재인","안희정","안철수",
           "이재명","홍준표","손학규","유승민")
flag=0
date=strDate
for(j in 1:length(keyList)){#박근혜부터 시작 
  flag=0
  date=strDate
  while(as.numeric(date)<=as.numeric(endDate)){
    
    print(date)
    urlbeforeKeyword="http://news.naver.com/main/search/search.nhn?query="
    urlkeyword=URLencode(keyList[j])  #검색어 입력
    urlafterkeyword=paste0("&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=title.basic&ic=all&so=datetime.dsc&stDate=range:",date,":",date,"&detail=0&pd=4&start=1&display=10&startDate=",substr(date,1,4),"-",substr(date,5,6),"-",substr(date,7,8),"&endDate=",substr(date,1,4),"-",substr(date,5,6),"-",substr(date,7,8))
    
    print(paste0(" start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
    midTime<-Sys.time()
    pageUrl=paste0(urlbeforeKeyword, urlkeyword, urlafterkeyword)
    # 리스트 페이지의 마지막 페이지수를 가져옵니다.
    #max<-getMaxPageNum(pageUrl)
    max<-MaxpageNum(pageUrl)
    SumData<-c()
    for (pageNum in 1:max){
      print(paste0(pageNum, " start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
      midTime<-Sys.time()
      # 페이지넘버를 포함한 뉴스 리스트 페이지의 url을 생성합니다.
      
      pageUrl1=paste0(pageUrl,"&page=",pageNum)
      # 뉴스 리스트 페이지 내의 개별 네이버 뉴스 url들을 가져옵니다.
      #newsList<-getUrlListByCategory(pageUrl)
      #newsData<-c()
      
      newsList<-UrlListGet(pageUrl1)
      newsData<-c()
      flag2=0
      # 가져온 url들의 정보를 가져옵니다.
      for (newslink in newsList$links){
        ## 불러오기에 성공할 때 까지 반복합니다.
        # 성공할때 까지 반복하면 못나오는 문제가 있어서 5회로 제한합니다.
        tryi<-0
        tem<-try(getContent(newslink), silent = TRUE)
        while(tryi<=5&&class(tem)=="try-error"){
          tem<-try(getContent(newslink), silent = TRUE)
          tryi<-tryi+1
          print(paste0("try again: ",newslink))
          if(tryi==5){
            flag2=1
          }
        }
        if(flag2==1){#datetime가져오는데 실패한 것들은 저장안하고 next로 넘김.
          flag2=0
          next
        }
        if(class(tem$datetime)[1]=="POSIXct"){
          newsData<-rbind(newsData,tem)
        }
      }
      dir.create("./data",showWarnings=F)#폴더 만들기 
      
      SumData<-rbind(SumData,newsData)
    }
    write.csv(SumData, file=paste0("./data/news",URLdecode(urlkeyword),date,".csv"),row.names = F)
    SumData<-c()
    
    if(as.numeric(date)==20170228){
      date="20170301"
    }
    else{
      date=as.character(as.numeric(date)+1)
    }
  }
}

  # 가져온 url들의 정보를 가져옵니다.
  for (newslink in newsList$links){
    ## 불러오기에 성공할 때 까지 반복합니다.
    # 성공할때 까지 반복하면 못나오는 문제가 있어서 5회로 제한합니다.
    tryi<-0
    tem<-try(getContent(newslink), silent = TRUE)
    while(tryi<=5&&class(tem)=="try-error"){
      tem<-try(getContent(newslink), silent = TRUE)
      tryi<-tryi+1
      print(paste0("try again: ",newslink))
      if(tryi==5){
        flag2=1
      }
    }
    if(flag2==1){#datetime가져오는데 실패한 것들은 저장안하고 next로 넘김.
      flag2=0
      next
    }
    if(class(tem$datetime)[1]=="POSIXct"){
      newsData<-rbind(newsData,tem)
    }
  }

  for (newslink in newsList$links){
    ## 불러오기에 성공할 때 까지 반복합니다.
    # 성공할때 까지 반복하면 못나오는 문제가 있어서 5회로 제한합니다.
    tryi<-0
    tem_reply<-try(getComment(newslink), silent = TRUE)
    while(tryi<=5&&class(tem_reply)=="try-error"){
      tem_reply<-try(getComment(newslink), silent = TRUE)
      tryi<-tryi+1
      print(paste0("try again: ",newslink))
      if(tryi==5){
        flag2=1
      }
    }
    if(flag2==1){#datetime가져오는데 실패한 것들은 저장안하고 next로 넘김.
      flag2=0
      next
    }
    if(class(tem_reply$datetime)[1]=="POSIXct"){
      newsData<-rbind(newsData,tem_reply)
    }
  }

library(N2H4)
library(iterators)
library(dplyr)#arrange 함수를 위해

sessionInfo()

#strDate<-"20170316"
#endDate<-"20170424"
strDate<-"20170425"
endDate<-"20170429"


keyList<-c("문재인","안철수","홍준표","심상정","유승민")
flag=0
date=strDate

for(j in 1:length(keyList)){#
  flag=0
  date=strDate
  while(as.numeric(date)<=as.numeric(endDate)){
    
    #if(j==2 && flag==0){
    #  flag=1
    #  date="20170428" #안철수는 20170425~20170427까지 이미 수집해서 20170428부터!
    #}
    print(date)
    Sumcomments<-c()
    url <- tryCatch(read.table(paste0("C:/Users/JKKIM/Documents/data/news",keyList[j],date,".csv"),header=TRUE,
                      sep=",", stringsAsFactors =  FALSE),
             error=function(e){return(NULL)},
             warning=function(e){return(NULL)})#tryCatch는 예외 처리용.
    if(is.null(url)){print("no such file");break}
    
    for(i in 1:length(url[["url"]])){
      #t<-Sys.time()
      #cat(t,"\n")
      #t<-strftime(t,"%Y-%m-%d %H:%M:%S")
      #starttime[i]<-t
      print(paste0(keyList[j],date,"의 ",i,"번째 url ",
                   as.integer((i/length(url[["url"]]))*100),"% 진행중"))
      
      comm<-getComment(turl = url[["url"]][i])
      comments<- comm$result$count$comment
      #각 기사의 1page에 있는 댓글들만 가져옴. 전체 페이지의 댓글들 가져오려면 따로 page+=1하면서 loop만들기
      comm<-getComment(turl = url[["url"]][i], pageSize = comments, page = 1)
      lst<- comm$result$commentList
      lstframe<-as.data.frame(lst)
      if(length(lstframe)!=0){
        #lsts<-lstframe[c("commentNo","userName","regTime","sympathyCount","antipathyCount","contents")]
        Sumcomments<-rbind(Sumcomments,lstframe[c("sympathyCount","antipathyCount","contents","objectId")])
      }
    }
    
    #댓글들을 좋아요, 싫어요의 합이 큰 순으로 정렬
    Sumcomments<-arrange(Sumcomments,desc(sympathyCount+antipathyCount))
    #모든 URL의 댓글들 한 곳에 저장하기
    write.csv(Sumcomments, paste("C:/Users/JKKIM/Documents/data/comm",keyList[j],date,".csv",sep=""))
    if(as.numeric(date)==20170228){
      date="20170301"
    }
    else if(as.numeric(date)==20170331){
      date="20170401"
    }
    else if(as.numeric(date)==20170430){
      date="20170501"
    }
    else{
      date=as.character(as.numeric(date)+1)
    }
  }
}

library(rvest)
library(N2H4)
library(httr)

MaxpageNum <- function(turl = url) {
  r=GET(turl)
  h=read_html(r)
  totalnum<-html_nodes(h,'.result_num')  #<div class="result_header">  <h3>검색결과</h3> 이럴때
  # html_nodes(h,'.result_header h3') 이런식으로 쓰면"검색결과"라는 텍스트를 가져옴.
  nums=html_text(totalnum)
  nums <- gsub("\r", "", nums)
  for(h in 1:10){# 관련 뉴스가 10개 이하일 경우 1 ~ 1, 1 ~ 2, ...,1 ~ 10 모두 처리 가능하게 코딩.
    nums <- gsub(paste0("1 ~ ",h," / "),"",nums)
  }
  nums <- gsub("\t","",nums)
  nums <- gsub("\n","",nums)
  nums <- gsub("\\(","",nums)
  nums <- gsub("\\)","",nums)
  nums <- gsub("건","",nums)
  nums <- gsub(",","",nums)
  nums<-as.numeric(nums)
  result<-as.integer(nums/10 +1)
  
  if(length(nums)==0){
    result=0
  }
  else if( nums%%10 == 0){
    result=result-1
  }
  return(result)
} 

UrlListGet <- function(turl = url, col=c("titles","links")){
  r=GET(turl)
  h=read_html(r)
  tit<-html_nodes(h,'.ct .info .head_social a') %>% html_attr("data-title")  #<div class="result_header">  <h3>검색결과</h3> 이럴때
  # html_nodes(h,'.result_header h3') 이런식으로 쓰면"검색결과"라는 텍스트를 가져옴.
  title<-tit 
  lin<-html_nodes(h,'.ct .info a')
  link<-lin %>% html_attr("href")
  linkss<-link[-c(which(link=="#"))]  # 주소외에 #이 중간중간 들어가서 그것들을 제거.
  
  linklen=length(link)
  i=1
  
  if(linklen==1&&link[1]=="#"){
    link<-append(link,"#",after=i)
    linklen=linklen+1
    link[i]="##"
  }
  while(i <= linklen-1){
    
    if(link[i]=="#"){
      if(i==1){
        link<-append(link,"#",after=i)
        linklen=linklen+1
        link[i]="##"
      }
      else if(link[i+1]=="#"){  # 각 페이지의 첫 기사가 네이버뉴스화되어 있지 않으면 연속으로 ##이 생기지 않음.
        link<-append(link,"##",after=i)
        linklen=linklen+1
      }
    }
    i=i+1
  }
  
  
  for(i in 1:length(link)){
    if(link[i]=="##"){
      title[as.integer(i/2)+1]<-"#"
      
    }
  }
  
  if(length(title[title=="#"])>0){
    titless<-title[-c(which(title=="#"))]  # navernews주소가 없는 기사는 #처리해서 일괄적으로 제거.
  }
  else{
    titless<-title
  }
  newsList<- data.frame(titles = titless, links = linkss, stringsAsFactors = F)
  
  return(newsList[,col])
  
}




strTime<-Sys.time()
midTime<-Sys.time()

#제목에 검색어가 속한 뉴스만 검색
#최신순#http://news.naver.com/main/search/search.nhn?query=%B9%AE%C0%E7%C0%CE&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=title.basic&ic=all&so=datetime.dsc&stDate=range:20170101:20170101&detail=0&pd=4&start=1&display=10&startDate=2017-01-01&endDate=2017-01-01&page=1
#관련도#http://news.naver.com/main/search/search.nhn?query=%B9%AE%C0%E7%C0%CE&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=title.basic&ic=all&so=rel.dsc&stDate=range:20170101:20170101&detail=0&pd=4&r_cluster2_start=11&r_cluster2_display=10&start=11&display=10&startDate=2017-01-01&endDate=2017-01-01&page=1

#여기선 최신순으로 함. 개수는 똑같이 나옴.

# 목표 날짜를 지정합니다.
strDate<-"20170502"
endDate<-"20170605"

keyList<-c("강경화","청문회","김상조","김이수")
flag=0
date=strDate
for(j in 1:length(keyList)){#박근혜부터 시작 
  flag=0
  date=strDate
  while(as.numeric(date)<=as.numeric(endDate)){
    #if(j!=1 && flag==0){#박근혜빼고 다른 후보들은 20170311부터 수집하면됨.
    #   flag=1
    #   date="20170311" #안희정은 20170215~20170216까지 이미 수집해서 20170217부터!
    #}
    print(date)
    urlbeforeKeyword="http://news.naver.com/main/search/search.nhn?query="
    urlkeyword=URLencode(keyList[j])  #검색어 입력
    urlafterkeyword=paste0("&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=title.basic&ic=all&so=datetime.dsc&stDate=range:",date,":",date,"&detail=0&pd=4&start=1&display=10&startDate=",substr(date,1,4),"-",substr(date,5,6),"-",substr(date,7,8),"&endDate=",substr(date,1,4),"-",substr(date,5,6),"-",substr(date,7,8))
    
    print(paste0(" start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
    midTime<-Sys.time()
    pageUrl=paste0(urlbeforeKeyword, urlkeyword, urlafterkeyword)
    # 리스트 페이지의 마지막 페이지수를 가져옵니다.
    #max<-getMaxPageNum(pageUrl)
    max<-MaxpageNum(pageUrl)
    SumData<-c()
    if(max!=0){
    for (pageNum in 1:max){
      print(paste0(pageNum, " start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
      midTime<-Sys.time()
      # 페이지넘버를 포함한 뉴스 리스트 페이지의 url을 생성합니다.
      
      pageUrl1=paste0(pageUrl,"&page=",pageNum)
      # 뉴스 리스트 페이지 내의 개별 네이버 뉴스 url들을 가져옵니다.
      #newsList<-getUrlListByCategory(pageUrl)
      #newsData<-c()
      
      newsList<-UrlListGet(pageUrl1)
      newsData<-c()
      flag2=0
      # 가져온 url들의 정보를 가져옵니다.
      for (newslink in newsList$links){
        ## 불러오기에 성공할 때 까지 반복합니다.
        # 성공할때 까지 반복하면 못나오는 문제가 있어서 5회로 제한합니다.
        tryi<-0
        tem<-try(getContent(newslink), silent = TRUE)
        while(tryi<=5&&class(tem)=="try-error"){
          tem<-try(getContent(newslink), silent = TRUE)
          tryi<-tryi+1
          print(paste0("try again: ",newslink))
          if(tryi==5){
            flag2=1
          }
        }
        if(flag2==1){#datetime가져오는데 실패한 것들은 저장안하고 next로 넘김.
          flag2=0
          next
        }
        if(class(tem$datetime)[1]=="POSIXct"){
          newsData<-rbind(newsData,tem)
        }
      }
      dir.create("./data",showWarnings=F)#폴더 만들기 
      
      SumData<-rbind(SumData,newsData)
    }
    }
    write.csv(SumData, file=paste0("./data/news",URLdecode(urlkeyword),date,".csv"),row.names = F)
    SumData<-c()
    
    if(as.numeric(date)==20170228){
      date="20170301"
    }
    else if(as.numeric(date)==20170331){
      date="20170401"
    }
    else if(as.numeric(date)==20170430){
      date="20170501"
    }
    else if(as.numeric(date)==20170531){
      date="20170601"
    }
    else if(as.numeric(date)==20170630){
      date="20170701"
    }
    else if(as.numeric(date)==20170731){
      date="20170801"
    }
    else{
      date=as.character(as.numeric(date)+1)
    }
  }
}

for (date in strDate:endDate){
  for (sid1 in tcate){
    for (sid2 in tscate){
      
      print(paste0(date," / ",sid1," / ",sid2 ," / start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
      midTime<-Sys.time()
      
      pageUrl<-paste0("http://news.naver.com/main/list.nhn?sid2=",sid2,"&sid1=",sid1,"&mid=shm&mode=LS2D&date=",date)
      max<-getMaxPageNum(pageUrl)
      
      for (pageNum in 1:max){
        print(paste0(date," / ",sid1," / ",sid2," / ",pageNum, " / start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
        midTime<-Sys.time()
        
        pageUrl<-paste0("http://news.naver.com/main/list.nhn?sid2=",sid2,"&sid1=",sid1,"&mid=shm&mode=LS2D&date=",date,"&page=",pageNum)
        print(pageUrl)
        newsList<-getUrlListByCategory(pageUrl)
        newsData<-c()
        
        for (newslink in newsList$links){
          tryi<-0
          tem<-try(getContent(newslink), silent = TRUE)
          while(tryi<=5&&class(tem)=="try-error"){
            tem<-try(getContent(newslink), silent = TRUE)
            tryi<-tryi+1
          }
          if(class(tem) != "try-error"){
            if(class(tem$datetime)[1]=="POSIXct"){
              newsData<-rbind(newsData,tem)
            }
          }else{
            newsData <- NA
          }
        }
        url_max <- nrow(newsList)
        url_temp <- newsList$links
        DATA<-NULL
        if(!is.null(url_max)){
          for (i in 1:url_max){
            td_url <- url_temp[i]
            test <- getComment(url_temp[i])
            test2 <- test$result$commentList
            test3 <- data.frame(test2)
            testnum <- nrow(test3)
          }
        }
      }
    }
  }
}

getContentBody<-function(html_obj, body_node_info="div#articleBodyContents", body_attr=""){
   if(body_attr!=""){body <- html_obj %>% html_nodes(body_node_info) %>% html_attr(body_attr)}else{
   body <- html_obj %>% html_nodes(body_node_info) %>% html_text()}
   Encoding(body) <- "UTF-8"
    
   body <- gsub("\r?\n|\r", " ", body)
   body <- gsub("// flash .* function _flash_removeCallback\\(\\) \\{\\} ","",body)
   body <- stri_trim_both(body)
    
   return(body)
 }

if( identical(data, list()) ){
  res <- multi_run()
}

loc<-sapply(data, function(x) grepl("^http://news.naver",x$url))
cont<-sapply(data, function(x) x$content)
cont<-cont[loc]

titles<-unlist(lapply(cont,function(x) getContentTitle(read_html(x))))
bodies<-unlist(lapply(cont,function(x) getContentBody(read_html(x))))
presses<-unlist(lapply(cont,function(x) getContentPress(read_html(x))))
data<-data.frame(title=titles,press=presses,body=bodies)

dir.create("./data",showWarnings=F)
write.csv(data, file=paste0("./data/news_",date,"_",pageNum,".csv"),row.names = F)

  pool <- new_pool()
  data <- list()
  sapply(newsList$news_links, function(x) curl_fetch_multi(x,success,failure))
  res <- multi_run()
  
  if( identical(data, list()) ){
    pool <- new_pool()
    data <- list()
    sapply(newsList$news_links, function(x) curl_fetch_multi(x,success,failure))
    res <- multi_run()
  }
  
  closeAllConnections()
  
  loc<-sapply(data, function(x) grepl("^http://news.naver",x$url))
  cont<-sapply(data, function(x) x$content)
  cont<-cont[loc]
  
  if(identical(cont,character(0))){ 
    print("no naver news links this time")
    next
  }
  
  titles<-unlist(lapply(cont,function(x) getContentTitle(read_html(x))))
  bodies<-unlist(lapply(cont,function(x) getContentBody(read_html(x))))
  presses<-unlist(lapply(cont,function(x) getContentPress(read_html(x))))
  datetime<-lapply(cont,function(x) getContentDatetime(read_html(x))[1])
  datetime<-sapply(datetime, function(x) (as.character(x)[1]))
  edittime<-lapply(cont,function(x) getContentDatetime(read_html(x))[2])
  edittime<-sapply(edittime, function(x) (as.character(x)[1]))
  
  urls<-sapply(data, function(x) x$url)
  urls<-urls[loc]
  
  datC<-data.frame(titles,urls,presses,datetime,edittime,bodies)
  
  write.csv(datC, file=paste0("./data/news_",qlist[i],"/news_",date,"_",pageNum,".csv"),row.names = F)
  
}

# install.packages("selectr")
# library(curl)
# library(rvest)
# install.packages("devtools")
# devtools::install_github("forkonlp/N2H4")
# library(N2H4)

options(stringsAsFactors = F)

success <- function(res){
  cat("Request done! Status:", res$status, "\n")
  #res$content<-iconv(rawToChar(res$content),from="CP949",to="UTF-8")
  res$content<-rawToChar(res$content)
  data <<- c(data, list(res))
}
failure <- function(msg){
  cat("Oh noes! Request failed!", msg, "\n")
}


strDate<-as.Date("2008-08-01")
endDate<-as.Date("2008-08-31")

strTime<-Sys.time()
midTime<-Sys.time()

qlist<-"경기도 범죄"
for (i in 1:length(qlist)){
  dir.create("./data",showWarnings=F)
  dir.create(paste0("./data/news_",qlist[i]),showWarnings=F)
  
  for (date in strDate:endDate){
    date<-as.character(as.Date(date,origin = "1970-01-01"))
    dated<-gsub("-","",date)
    print(paste0(date," / ",qlist[i], "/ start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
    midTime<-Sys.time()
    pageUrli<-paste0("http://news.naver.com/main/search/search.nhn?query=",URLencode(qlist[i]),"&st=news.all&q_enc=EUC-KR&r_enc=UTF-8&r_format=xml&rp=none&sm=all.basic&ic=all&so=datetime.dsc&stDate=range:",dated,":",dated,"&detail=1&pd=4&start=1&display=25&startDate=",date,"&endDate=",date)  
    trym<-0
    max<-try(getMaxPageNum(pageUrli), silent = T)
    while(trym<=5&&class(max)=="try-error"){
      max<-try(getMaxPageNum(pageUrli), silent = T)
      Sys.sleep(abs(rnorm(1)))
      trym<-trym+1
      print(paste0("try again max num: ",pageUrli))
    }
    if(max=="no result"){
      print("no naver news links this time")
      next
    }
    for (pageNum in 1:max){
      print(paste0(date," / ",qlist[i], "/ start Time: ", strTime," / spent Time: ", Sys.time()-midTime," / spent Time at first: ", Sys.time()-strTime))
      midTime<-Sys.time()
      pageUrl<-paste0(pageUrli,"&page=",pageNum)
      tryp<-0
      newsList<-try(getUrlListByQuery(pageUrl), silent = T)
      while(tryp<=5&&class(newsList)=="try-error"){
        newsList<-try(getUrlListByCategory(pageUrl), silent = T)
        Sys.sleep(abs(rnorm(1)))
        tryp<-tryp+1
        print(paste0("try again max num: ",pageUrl))
      }
      if(newsList$news_links[1]=="no naver news"){ 
        print("no naver news links this time")
        next
      }
      
      pool <- new_pool()
      data <- list()
      sapply(newsList$news_links, function(x) curl_fetch_multi(x,success,failure))
      res <- multi_run()
      
      if( identical(data, list()) ){
        pool <- new_pool()
        data <- list()
        sapply(newsList$news_links, function(x) curl_fetch_multi(x,success,failure))
        res <- multi_run()
      }
      
      closeAllConnections()
      
      loc<-sapply(data, function(x) grepl("^http://news.naver",x$url))
      cont<-sapply(data, function(x) x$content)
      cont<-cont[loc]
      
      if(identical(cont,character(0))){ 
        print("no naver news links this time")
        next
      }
      
      titles<-unlist(lapply(cont,function(x) getContentTitle(read_html(x))))
      bodies<-unlist(lapply(cont,function(x) getContentBody(read_html(x))))
      presses<-unlist(lapply(cont,function(x) getContentPress(read_html(x))))
      datetime<-lapply(cont,function(x) getContentDatetime(read_html(x))[1])
      datetime<-sapply(datetime, function(x) (as.character(x)[1]))
      edittime<-lapply(cont,function(x) getContentDatetime(read_html(x))[2])
      edittime<-sapply(edittime, function(x) (as.character(x)[1]))
      
      urls<-sapply(data, function(x) x$url)
      urls<-urls[loc]
      
      datC<-data.frame(titles,urls,presses,datetime,edittime,bodies)
      
      write.csv(datC, file=paste0("./data/news_",qlist[i],"/news_",date,"_",pageNum,".csv"),row.names = F)
      
    }
  }
}