robot.txt를 완전개방해버린 이후로 별 희한한 봇들이 다 와서 페이지를 크롤해 가는데 어제는 좀 희한한 놈이 들어왔다.

ICC-Crawler/2.0 (Mozilla-compatible; ; http://kc.nict.go.jp/project1/crawl.html)

이 놈인데 nict.co.jp면 정부기관 아니었나-_- 싶어서 웹페이지 들어가봤더니 지식처리그룹이라는데서 만든 봇인 모양이다.


...근데 Silphion System에는 일본어로 된 문서가 거의 없을텐데 왜 크롤을 하는거지...? 솔직히 연구개요를 읽어봐도 몰 하고 싶다는건지도 잘 모르겠음...