|
:: 게시판
:: 이전 게시판
|
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
17/05/30 01:32
대통령 바뀌고 나서 일베 탈퇴 및 트래픽 감소가 꽤 있다고 들었는데, 혹시 일베에서 구글에서 검색 안되는 걸 바라고 조치한 건 아닐까요...
17/05/30 01:39
음...구글이 사용자 신고 받고 싸이트 자체를 차단한다는 얘기는 못 들어봤는데...
일베의 출구 전략인가 하고 보기엔 네이버, 다음에는 여전히 검색이 되서요.... 경위를 좀 더 알아봐야 하긴 하겠네요;
17/05/30 01:45
일베 자체에서 robots.txt 같이 크롤링 금지 할 수도 있는거 아닌가요?
법으로 금지되면 검색될 때 무슨무슨 이유 때문에 검색에서 제외됨이라고 떴던 거 같아요.
17/05/30 02:01
평소 자주가던 사이트 위주로 우선순위가 잡히지 않나요?
전에 유게에 어떤분이 뭘로 검색해도 pgr이 위에 뜬다고 대단하다고 하셨다가 무안해지셨던 기억이...
17/05/30 08:01
그게 로그인 안해도 사용량 기준이라 어쩔 수 없을겁니다. 해외에서 검색해봐도 위키피디아가 위에뜨더라구요. 뭐 나무위키의 편향적 서술은 위키피디아가 비비지 못할정도긴 합니다만 어차피 위키가 거기서 거기..
17/05/30 01:56
요즘 자기들 작당모의 하는게 실시간으로 중계되는게 부담이 되는걸까요... 구글이 막을리는 없고(사실 성인인증을 요구하는 식으로 한번 거르는거면 몰라도 구글에서 막을 권리도 막아서도 안된다고 생각은 합니다. 포털이 스스로 검열하는게 올바른 방향은 아니라고 봐서) 숨어서 무슨 짓을 하려고 하는건지 찜찜하네요.
17/05/30 01:59
음...크롤링 금지하도록 robots.txt를 막은거라면;;;
법적으로 걸릴만한 문서 싸그리 지우는 작업이라도 들어간 것이려나요;;;-) 일베 미러링 아카이브 싸이트 몸값이 올라가는건가 ;;킄킄
17/05/30 02:36
1) 일베가 구글에 요청했을 가능성
-가.일단 일베 사이트는 robots.txt가 없기 때문에 크롤링 금지를 한건 아닙니다 사이트 meta 정보에 구글 웹마스터 도구 키값이 있는걸 봐서는 구글에서 제발 좀 검색해 달라고 했던 것이구요 -나.구글 웹마스터 도구에서 그간 크롤링된것을 모두 삭제요청해 삭제한 것으로 보입니다 2) 구글 검색 엔진에서 사이트 평가에 따른 노출 제한 -가.사이트가 어떤 이유로 ban 당했을 경우 -나.사이트 글이 무분별하게 삭제되어 검색 링크가 깨져서 사이트 품질이 떨어진 경우 -다.사이트 트래픽이 급감한 경우 구글에서 site:ilbe.com 으로 검색하면 최근글까지 검색되는걸 보니 1)의 이유로 기존의 크롤링된 자료들이 증발했고 노출이 덜되게끔 바뀐것 뿐으로 보입니다 2)는 보조적으로 신규 크롤링 건에 대해 영향을 줬겠죠?
17/05/30 03:54
구글에서 직접 막는 경우는... 법적으로 문제되는 건들 (ex. 로리콘, 패프닝, 마약 판매사이트), 자동완성 기능에서 특정단어나 문장은 뜨지않도록 하는 경우 (torrent), 나라 정책 (중국)빼고는 없는걸로 알고 있네요.
17/05/30 05:29
이전부터 국정원 일베 커넥션 이야기는 계속 나왔었죠. 정권 바뀌면서 이 쪽 조사를 조금이라도 더디게 하려고 크롤링을 막은게 아닐까 싶네요. 다만 아직 알기 힘든 부분 하나로는 robots.txt로 크롤링만 막은 상태라면 "robots.txt가 어쩌고..." 이런 메시지와 함께 컨텐츠는 안 뜨겠지만, 어쨌든 최소한 메인 페이지는 리스트에 뜨긴 해야 하는데 이마저도 안 뜬다는 점이네요. 물론 구글 크롤러만 404 띄우게 만드는 방법도 있긴 합니다만...
17/05/30 08:46
robots.txt 로 막은게 아니라면 해외 트래픽 자체를 막아버린 걸수도 있습니다.
우리나라 호스팅들은 해외 트래픽 비용이 어마어마해서.. 해외에서의 접속을 일체 막아버리는 경우가 있죠. 보통 중국쪽만 막지만.. 뭐 전부 다 막아버렸을 수도.. 그럼 구글에서 접속 시도하면 전부 404 떴을 수도 있습니다. 아 근데 구글 트래픽 절약으로 테스트해보니 잘 되는거보니까 해외 접속 막은건 아닌가 보네요
17/05/30 09:10
흠 아예 robots.txt 가 없는데요??
https://cdn.pgr21.com/robots.txt http://naver.com/robots.txt 처럼 접근이 가능해야 크롤러가 뭘 할수 있지 않나요? ilbe.com/robots.txt 는 접근이 안되네요
17/05/30 13:23
그렇죠
그래놓고서는 네이버의 봇은 다른 사이트의 robots에 disallow인데도 그냥 내용 긁어간다고 하더군요.. 2년전에 들은거지만.
|
||||||||||