ʵʱ·ÒëÈí¼þ£¬½ñÌì¸ø´ó¼Ò·ÖÏíÒ»¿îÃâ·Ñʵʱ·ÒëÈí¼þ£¬ÎÒÃÇΪʲôҪѡÔñÕâ¿îºÃÓõķÒëÈí¼þ£¬ÒòΪ»ã¼¯ÁËÊÀ½ç×îºÃµÄ¼¸¸ö·Òëƽ̨£¨°Ù¶È/¹È¸è/ÓеÀ£©£¬µÚÒ»µã·ÒëÖÊÁ¿¸ß£¬Ñ¡ÔñÐԶࡣµÚ¶þµãÖ§³Ö¸÷ÖÖÓïÑÔ»¥Ò룬µÚÈýµã¿ÉÒÔ¸÷ÖÖÅúÁ¿Îĵµ·Ò룬µÚËĵ㱣Áô·ÒëÇ°µÄ¸ñʽÅÅ°æ¡£µÚÎåµãÖ§³Ö²É¼¯·Òë¡£Ïêϸ²Î¿¼ÒÔÏÂͼƬ!!!
Ò»¡¢Ãâ·Ñʵʱ·ÒëÈí¼þ½éÉÜ
1¡¢Ö§³Ö¶à¸ßÖÊÁ¿¶àÓïÑÔƽ̨·Ò루ÅúÁ¿°Ù¶È·Òë/¹È¸è·Òë/ÓеÀ·ÒëÈÃÄÚÈÝÖÊÁ¿¸üÉÏÒ»²ãÂ¥£©¡£
2¡¢Ö»ÐèÒªÅúÁ¿µ¼ÈëÎļþ¼´¿ÉʵÏÖ×Ô¶¯·Ò룬·Òëºó±£ÁôÔÎÄÅÅ°æ¸ñʽ
3¡¢Í¬Ê±Ö§³ÖÎÄÕ»¥Ò룺ÖÐÎÄ·ÒëÓ¢ÎÄÔÙ·Òë»ØÖÐÎÄ¡£
4¡¢Ö§³Ö²É¼¯·Ò루¿ÉÖ±½Ó²É¼¯Ó¢ÎÄÍøÕ¾½øÐзÒ룩
ËÑË÷ÒýÇæµÄ¹¤×÷µÄ¹ý³Ì·Ç³£¸´ÔÓ£¬¶ø¼òµ¥µÄ½²ËÑË÷ÒýÇæµÄ¹¤¹ý³Ì´óÌå¿ÉÒÔ·Ö³ÉÈý¸ö½×¶Î¡£ÅÀÐкÍץȡ£ºËÑË÷ÒýÇæÖ©Öëͨ¹ý¸ú×ÙÁ´½Ó·ÃÎÊÒ³Ã棬ʵʱ·ÒëÈí¼þ»ñÈ¡Ò³ÃæHTML´úÂë´æÈëÊý¾Ý¿â¡£Ô¤´¦Àí£ºËÑË÷Ó®Çò¶ÔץȡÀ´µÄÒ³ÃæÊý¾ÝÎÄ×Ö½øÐÐÎÄ×ÖÌáÈ¡¡¢ÖÐÎÄ·Ö´Ê¡¢Ë÷ÒýµÈ´¦Àí£¬ÒÔ±¸ÅÅÃû³ÌÐòµ÷Óá£ÅÅÃû£ºÓû§ÊäÈë¹Ø¼ü×Öºó£¬ÅÅÃûµ÷ÓÃË÷Òý¿âÊý¾Ý£¬¼ÆËãÏà¹ØÐÔ£¬È»ºó°´Ò»¶¨¸ñʽÉú³ÉËÑË÷½á¹ûÒ³Ãæ¡£
ÅÀÐкÍץȡ
ÅÀÐкÍץȡÊÇËÑË÷ÒýÇ湤×÷µÄµÚÒ»²½£¬ÊµÊ±·ÒëÈí¼þÍê³ÉÊý¾ÝÊÕ¼¯ÈÎÎñ¡£
Ö©Öë
ËÑË÷ÒýÇæÓÃÀ´ÅÀÐкͷÃÎÊÒ³ÃæµÄ³ÌÐò±»³ÆΪ֩Öë(spider)£¬Ò²³ÆΪ»úÆ÷ÈË(bot)¡£
Ö©Öë´úÀíÃû³Æ£º
°Ù¶ÈÖ©Ö룺Baiduspider+(+) ·
ÑÅ»¢ÖйúÖ©Ö룺Mozilla/5.0 (compatible; Yahoo! Slurp China; ) ·
Ó¢ÎÄÑÅ»¢Ö©Ö룺Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; )
Google Ö©Ö룺Mozilla/5.0 (compatible; Googlebot/2.1; +) ·
΢Èí Bing Ö©Ö룺msnbot/1.1 (+)·
Ëѹ·Ö©Ö룺 Sogou+web+robot+(+#07) ·
ËÑËÑÖ©Ö룺Sosospider+(+) ·
ÓеÀÖ©Ö룺Mozilla/5.0 (compatible; YodaoBot/1.0; ; )
¸ú×ÙÁ´½Ó
ΪÁËץȡÍøÉϾ¡Á¿¶àµÄÒ³Ã棬ËÑË÷ÒýÇæÖ©Öë»á¸ú×ÙÒ³ÃæÉϵÄÁ´½Ó£¬ÊµÊ±·ÒëÈí¼þ´ÓÒ»¸öÒ³ÃæÅÀµ½ÏÂÒ»¸öÒ³Ã棬¾ÍºÃÏñÖ©ÖëÔÚÖ©ÖëÍøÉÏÅÀÐÐÄÇÑù£¬ÕâÒ²¾ÍÊÇËÑË÷ÒýÇæÖ©ÖëÕâ¸öÃû³ÆµÄÓÉÀ´¡£×î¼òµ¥µÄÅÀÐбéÀú²ßÂÔ·ÖΪÁ½ÖÖ£¬Ò»ÊÇÉî¶ÈÓÅÏÈ£¬¶þÊǹã¶ÈÓÅÏÈ¡£
Éî¶ÈÓÅÏÈËÑË÷
Éî¶ÈÓÅÏÈËÑË÷¾ÍÊÇÔÚËÑË÷Ê÷µÄÿһ²ãʼÖÕÏÈÖ»À©Õ¹Ò»¸ö×ӽڵ㣬ʵʱ·ÒëÈí¼þ²»¶ÏµØÏò×ÝÉîÇ°½øÖ±µ½²»ÄÜÔÙÇ°½ø(µ½´ïÒ¶×Ó½Úµã»òÊܵ½Éî¶ÈÏÞÖÆ)ʱ£¬²Å´Óµ±Ç°½Úµã·µ»Øµ½ÉÏÒ»¼¶½Úµã£¬ÑØÁíÒ»·½ÏòÓÖ¼ÌÐøÇ°½ø¡£ÕâÖÖ·½·¨µÄËÑË÷Ê÷ÊÇ´ÓÊ÷¸ù¿ªÊ¼Ò»Ö¦Ò»Ö¦Öð½¥Ðγɵġ£
Éî¶ÈÓÅÏÈËÑË÷Òà³ÆΪ×ÝÏòËÑË÷¡£ÓÉÓÚÒ»¸öÓнâµÄÎÊÌâÊ÷¿ÉÄܺ¬ÓÐÎÞÇî·ÖÖ¦£¬Éî¶ÈÓÅÏÈËÑË÷Èç¹ûÎóÈëÎÞÇî·ÖÖ¦(¼´Éî¶ÈÎÞÏÞ)£¬Ôò²»¿ÉÄÜÕÒµ½Ä¿±ê½Úµã¡£ËùÒÔ£¬Éî¶ÈÓÅÏÈËÑË÷²ßÂÔÊDz»Í걸µÄ¡£ÁíÍ⣬ӦÓô˲ßÂԵõ½µÄ½â²»Ò»¶¨ÊÇ×î¼Ñ½â(×î¶Ì·¾¶)¡£
¹ã¶ÈÓÅÏÈËÑË÷
ÔÚÉî¶ÈÓÅÏÈËÑË÷Ëã·¨ÖУ¬ÊÇÉî¶ÈÔ½´óµÄ½áµãÔ½Ïȵõ½À©Õ¹¡£ÊµÊ±·ÒëÈí¼þÈç¹ûÔÚËÑË÷ÖаÑËã·¨¸ÄΪ°´½áµãµÄ²ã´Î½øÐÐËÑË÷£¬ ±¾²ãµÄ½áµãûÓÐËÑË÷´¦ÀíÍêʱ£¬²»ÄܶÔϲã½áµã½øÐд¦Àí£¬¼´Éî¶ÈԽСµÄ½áµãÔ½Ïȵõ½À©Õ¹£¬Ò²¾ÍÊÇ˵ÏȲúÉú µÄ½áµãÏȵÃÒÔÀ©Õ¹´¦Àí£¬ÕâÖÖËÑË÷Ëã·¨³ÆΪ¹ã¶ÈÓÅÏÈËÑË÷·¨¡£
ÔÚÉî¶ÈÓÅÏÈËÑË÷Ëã·¨ÖУ¬ÊÇÉî¶ÈÔ½´óµÄ½áµãÔ½Ïȵõ½À©Õ¹¡£Èç¹ûÔÚËÑË÷ÖаÑËã·¨¸ÄΪ°´½áµãµÄ²ã´Î½øÐÐËÑË÷£¬ ±¾²ãµÄ½áµãûÓÐËÑË÷´¦ÀíÍêʱ£¬ÊµÊ±·ÒëÈí¼þ²»ÄܶÔϲã½áµã½øÐд¦Àí£¬¼´Éî¶ÈԽСµÄ½áµãÔ½Ïȵõ½À©Õ¹£¬Ò²¾ÍÊÇ˵ÏȲúÉú µÄ½áµãÏȵÃÒÔÀ©Õ¹´¦Àí£¬ÕâÖÖËÑË÷Ëã·¨³ÆΪ¹ã¶ÈÓÅÏÈËÑË÷·¨¡£
ÎüÒýÖ©Öë
ÄÄЩҳÃæ±»ÈÏΪ±È½ÏÖØÒªÄØ?Óм¸·½ÃæÓ°ÏìÒòËØ£º
· ÍøÕ¾ºÍÒ³ÃæȨÖØ¡£ÖÊÁ¿¸ß¡¢×ʸñÀϵÄÍøÕ¾±»ÈÏΪȨÖرȽϸߣ¬ÕâÖÖÍøÕ¾ÉϵÄÒ³Ãæ±»ÅÀÐеÄÉî¶ÈÒ²»á±È½Ï¸ß£¬ËùÒÔ»áÓиü¶àÄÚÒ³±»ÊÕ¼¡£
· Ò³Ãæ¸üжȡ£Ö©Öëÿ´ÎÅÀÐж¼»á°ÑÒ³ÃæÊý¾Ý´æ´¢ÆðÀ´¡£ÊµÊ±·ÒëÈí¼þÈç¹ûµÚ¶þ´ÎÅÀÐз¢ÏÖÒ³ÃæÓëµÚÒ»´ÎÊÕ¼µÄÍêÈ«Ò»Ñù£¬ËµÃ÷Ò³ÃæûÓиüУ¬Ö©ÖëÒ²¾ÍûÓбØÒª¾³£×¥È¡¡£Èç¹ûÒ³ÃæÄÚÈݾ³£¸üУ¬Ö©Öë¾Í»á¸ü¼ÓƵ·±µØ·ÃÎÊÕâÖÖÒ³Ã棬ҳÃæÉϳöÏÖµÄÐÂÁ´½Ó£¬Ò²×ÔÈ»»á±»Ö©Öë¸ü¿ì¸ú×Ù£¬×¥È¡ÐÂÒ³Ãæ¡£
· µ¼ÈëÁ´½Ó¡£ÎÞÂÛÊÇÍⲿÁ´½Ó»¹ÊÇͬһ¸öÍøÕ¾µÄÄÚ²¿Á´½Ó£¬Òª±»Ö©Öëץȡ¾Í±ØÐëÓе¼ÈëÁ´½Ó½øÈëÒ³Ã棬·ñÔòÖ©Öë¸ù±¾Ã»Óлú»áÖªµÀÒ³ÃæµÄ´æÔÚ¡£¸ßÖÊÁ¿µÄµ¼ÈëÁ´½ÓÒ²¾³£Ê¹Ò³ÃæÉϵĵ¼³öÁ´½Ó±»ÅÀÐÐÉî¶ÈÔö¼Ó¡£ÊµÊ±·ÒëÈí¼þÒ»°ãÀ´ËµÍøÕ¾ÉÏȨÖØ×î¸ßµÄÊÇÊ×Ò³£¬´ó²¿·ÖÍⲿÁ´½ÓÊÇÖ¸ÏòÊ×Ò³£¬Ö©Öë·ÃÎÊ×îƵ·±µÄÒ²ÊÇÊ×Ò³¡£ÀëÊ×Ò³µã»÷¾àÀëÔ½½ü£¬Ò³ÃæȨÖØÔ½¸ß£¬±»Ö©ÖëÅÀÐеĻú»áÒ²Ô½´ó¡£
µØÖ·¿â
ΪÁ˱ÜÃâÖظ´ÅÀÐкÍץȡÍøÖ·£¬ËÑË÷ÒýÇæ»á½¨Á¢Ò»¸öµØÖ·¿â£¬ÊµÊ±·ÒëÈí¼þ¼Ç¼ÒѾ±»·¢ÏÖ»¹Ã»ÓÐץȡµÄÒ³Ã棬ÒÔ¼°ÒѾ±»×¥È¡µÄÒ³Ãæ¡£µØÖ·¿âÖеÄuRLÓм¸¸öÀ´Ô´£º
(1)È˹¤Â¼ÈëµÄÖÖ×ÓÍøÕ¾¡£
(2)Ö©ÖëץȡҳÃæºó£¬´ÓHTMLÖнâÎö³öеÄÁ´½ÓuRL£¬ÓëµØÖ·¿âÖеÄÊý¾Ý½øÐжԱȣ¬Èç¹ûÊǵØÖ·¿âÖÐûÓеÄÍøÖ·£¬¾Í´æÈë´ý·ÃÎʵØÖ·¿â¡£
(3)Õ¾³¤Í¨¹ýËÑË÷ÒýÇæÍøÒ³Ìá½»±í¸ñÌá½»½øÀ´µÄÍøÖ·¡£
Ö©Öë°´ÖØÒªÐÔ´Ó´ý·ÃÎʵØÖ·¿âÖÐÌáÈ¡uRL£¬·ÃÎʲ¢×¥È¡Ò³Ã棬Ȼºó°ÑÕâ¸öuRL´Ó´ý·ÃÎʵØÖ·¿âÖÐɾ³ý£¬·Å½øÒÑ·ÃÎʵØÖ·¿âÖС£
´ó²¿·ÖÖ÷Á÷ËÑË÷ÒýÇ涼Ìṩһ¸ö±í¸ñ£¬ÈÃÕ¾³¤Ìá½»ÍøÖ·¡£ÊµÊ±·ÒëÈí¼þ²»¹ýÕâЩÌá½»À´µÄÍøÖ·¶¼Ö»ÊÇ´æÈëµØÖ·¿â¶øÒÑ£¬ÊÇ·ñÊÕ¼»¹Òª¿´Ò³ÃæÖØÒªÐÔÈçºÎ¡£ËÑË÷ÒýÇæËùÊÕ¼µÄ¾ø´ó²¿·ÖÒ³ÃæÊÇÖ©Öë×Ô¼º¸ú×ÙÁ´½ÓµÃµ½µÄ¡£¿ÉÒÔ˵Ìá½»Ò³Ãæ»ù±¾tÊǺÁÎÞÓô¦µÄ£¬ËÑË÷ÒýÇæ¸üϲ»¶×Ô¼ºÑØ×ÅÁ´½Ó·¢ÏÖÐÂÒ³Ãæ¡£
С±àÍƼö£º ·Òë¾ä×ÓµÄÈí¼þÄĸöºÃ£¨Ãâ·ÑÅúÁ¿·Òëƽ̨»ã×Ü£©free loop¸è´Ê·Ò루½âÎö´ò¶¯ÎÞÊýÈ˵ĸèÇúFree Loop£©·Òë¾ä×ÓµÄ˳Ðò£¨Ó¢Óï·Òë¼¼ÇÉ֮˳Ðòµ÷Õû·¨£©