【摘 要】“突破俄语搜索引擎蜘蛛检索封锁”对国内公司有更多的机会将产品销售到独联体的各个国家和地区，有非常重要的历史意义。本文结合中俄两种文化文字的互译技术，设计符合中国公司习惯的搜索引擎系统，重点略论了“蜘蛛”和“目录搜索”的核心技术，面对主要技术障碍，提出了系统平台解决方案。
外语论文网
【关键词】搜索；引擎；蜘蛛；俄语
0 引言
为加强中国公司在独联体市场当中的竞争力，增加其产品的附加值。加强对独联体各国的信息渠道建设，加大开放本国的国门，建设此“突破俄语搜索引擎蜘蛛检索封锁”具有非常重要的历史意义。
1 俄语专业引擎略论
目前，电子商务由于缺乏编码方案来解决中俄这两种不同语言体系的协调问题，一直以来，在计算机语言中标识困难，导致中国的商品基本上通过欧美、日、韩等国家转销至俄语世界，原因是中国用户不能通过搜索引擎，直接通往俄语国家的信息交流通道[1]。UTF-8 编码接轨较早。为了通过网络技术，给中俄公司沟通、交流、发布及获取信息提供直接的渠道，双方需要有设计全新的编码模型方案解决中俄这两种不同语言体系在计算机语言中表示的问题，首要解决的，就是搜索引擎的标准问题。
俄语Yandex成立于1997年，提供搜索引擎、主题分类目录、免费邮件系统、新闻、反垃圾系统、虚拟主机、百科全书、词典、比较购物系统等服务，同样有竞价和合作联盟。关于能利用文献进行探讨的学者来说，这些Yandex资源所提供的电子资源中的文献，探讨者可以利用其中的俄文文献进行相关探讨，利用Yandex本身提供的资源进行互证；另一方而还可以利用文献进行佐证。按照Yandex的技术风格和运作习惯，不能更有利于中国公司参与当地的市场竞争。如何让俄语词性变化，更加适应中国用户，需要开发一种新的搜索引擎系统，任务是十分急迫的。
中文和俄语分别是世界上最复杂的语言之一，中文的特点在于独特的文字形式，词与词之间没有明显的分隔；而俄语最大的特点就是单词形式多变，词多义现象非常普遍，这些特点使得查询搜索异常困难，但同时也正是因为百度与Yandex都很好地把握了本土语言的特点，保证了搜索的高效性和结果的微准确性[2]。
2 搜索引擎设计
中俄文搜索引擎，要收集因特网上几千万到几十亿个中俄文字网页，并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎，不能适应中文用户的习惯。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来，根据预定的优选规则，排列相应的名次。
百度与Yandex搜索引擎都属于本土化搜索引擎，而Yandex同时兼有门户网站的功能。两者有一个很明显的共同点，就是它们都充分体现出本土化语言特点，比较符合本土用户的搜索习惯。在该搜索引擎的后台模块中，收集的信息一般是能表明网站内容（包括网页本身、网页的URL地址、构成网页的代码以及进出网页的连接）的关键词或者短语，俄方服务器没有中文字库，需在俄方服务器设备中嵌入中俄两国的标准字符库，从而避免在境外使用出现的文字乱码现象[3]，索引存放到数据库中。
本项目搜索引擎的系统架构和运行方式吸收了信息检索系统设计中许多有价值的经验，也针对万维网数据和用户的特点进行了许多修改[4]，其核心的文档处理和查询处理过程与传统信息检索系统的运行原理基本类似，但其所处理的数据对象即万维网数据的繁杂特性决定了搜索引擎系统必须进行系统结构的调整，以适应处理数据和用户查询的需要。中俄双方页面在异域的运行速度非常慢，为实现双方文字在运用终端准确、实时的显现，中俄双方专家拟采用架设镜像服务器（Mirror server）的方式，完成主服务器数据定时备份至镜像服务器，从而分担主机的负载。
2.1 信息抓取方案
搜索引擎系统设计了一个能够在网上发现新网页并抓文件的程序，这个程序通常称之为“蜘蛛”。搜索蜘蛛从已知的数据页出发，就像正常用户的浏览器一样，抓取文件，符合中俄网络语言编码接口软件编制，会跟踪链接，自动访问更多的网页（爬行）。搜索引擎蜘蛛是24小时不停顿的。跟踪网页链接是搜索引擎蜘蛛发现新网址的最基本的措施，搜索蜘蛛遇到的新网址，会被存入任务数据库，百队等待抓取，抓取的优先次序策略，是核心技术。
（1）深度优先策略。深度优先就是搜索引擎蜘蛛在一个页面发现一个连接然后顺着这个连接爬下去，然后在下一个页面又发现一个连接，然后就又爬下去并且全部抓取。假如，网页A在搜索引擎中的权威度是最高的，D网页的权威是最低的。如果搜索引擎蜘蛛按照深度优先的策略来抓取网页，那么就会反过来了，就是D网页的权威度变为最高。
（2）宽度优先策略。宽度优先就是搜索引擎蜘蛛先把整个页面的链接全部抓取一次，然后在抓取下一个页面的全部链接。宽度优先就是大家平时所说的扁平化结构。网页的层度不能太多，如果太多会导致收录很难，其实就是搜索引擎蜘蛛的宽度优先策略的原因。
（3）权重优先策略
如果说宽度优先比深度优先好，其实也不是绝对的，只能说是各有各的好处。本项目搜索引擎蜘蛛是两种抓取策略一起用，也就是深度优先/宽度优先，俄语毕业论文，并且在使用这两种策略抓取的时候，要参照这条连接的权重，如果说这条连接的权重较高，那么就采用深度优先，如果说这条连接的权重很低，那么就采用宽度优先。
（4）重访抓取策略
昨天搜索引擎的蜘蛛来抓取的网页，今天这个网页又加了新的内容，那么搜索引擎蜘蛛今天优先来抓取新的内容，这就是重访抓取。重访抓取分为两类：1.全部重访：所谓全部重访指的是蜘蛛上次抓取的链接，然后在这一个月的某一天，全部重新去访问抓取一次。2.单个重访：单个重访一般都是针对某个页面更新的频率比较快比较稳定的页面。在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种[5]。一种是定期搜索，即每隔一段时间（比如Google一般是28天，yandex 为30天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定期向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，俄语论文范文，让搜索引擎有更多机会找到你并自动将你的网站收录。例如：一个页面，1个月也不更新一次，搜索引擎蜘蛛第一天来了，是这个样子，第二天，还是这个样子，那么，第三天搜索引擎蜘蛛就不会来了，会隔一段时间在来一次，比如隔1个月再来一次，或者等全部重访的时候，才更新一次。 | 
