分布式搜索引擎开发中。。。吸收新成员。。。
近正开发分布式搜索引擎,面向个人用户。。不需要服务器
原理是:
采用用户机器当做数据存储,数据分析。
将用户查看过的页面收集整理存储在本地。
使用P2P的方式查询。
查询优先本地查询。
本地数据存储采用嵌入式数据库
有意向的同学请MSN:SounOS@gmail.com我.
[ 本帖最后由 redor 于 2006-5-19 11:57 编辑 ]
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(6)
我仅仅是想象,其实目录也好,数据库也好都是一样的。不过LDAP支持很多分布式的特性,对他修改能够比较容易的整合到我们的DHT中,比如如果把DHT中的key作为一个目录条目,value作为下一级的条目。可以把整个目录均匀的分部在整个的网络中。
而且目录条目本身具有多种的属性,结合LDAP本身的特性,可以方便的针对不同的数据类型设计不同的路由算法。
比如key对应的value可以是主机标识、身份标识、甚至是数据块,类型将影响到节点的存储方式,value的生存周期和节点的查找方法等等。这样我们的P2P网络上将允许搭建多种应用,而我们的搜索引擎,能够查找运行在这个网络上的任何的资源和服务。
跟我的想法相似,优先浏览用户经常浏览的网页,我觉得提高搜索的准确率会很有帮助。
遗憾的是,对于我的水平而言,叶子能试想想而已。
从商业的角度来说是为用户提供服务的工具
初期只有搜索服务。。。后期将会是一个多功能的工具
这工具依附于浏览器。。因为大多数用户都是只会使用浏览器。。。
页面搜索是基本的。。可以有针对性的提供一些别的搜索服务。。。
对一些用户查看律高的页面做优先级。。。。这样不是盲目的去找网络。。。
而是把用户看过的页面做存储。。。。
这一点比现在的搜索引擎会更好
因为一帮用户自己浏览过的页面肯定有一定的吸引力才会浏览。。。
对有相同需求的人来说很有用
特别是同行之间的数据共享很有好处
我出这个想法的核心的东西就是搜集用户看过的页面。。。
可以提供给用户手动收藏的功能。。。或者说对用户在浏览器搜藏的页面提高搜索优先级。。。
不过监测用户的行为可能会有法律问题。。。
如果只搜索用户收藏的页面的话可能会导致页面内容太少。。。。
这工具的核心就是发动用户主动性来搜集数据。。。然后相互共享。。。
因为目前有人做了网络收藏的工具。。。
我觉得这个太有限了。。。
存储是一个很大的问题。。。
如果采用P2P的话一般的小数据量用户都可以接受。。。
不需要在用户的机器上开动抓不相关的页面的行为。。这样用户会很反感
我准备把这个项目叫shared
支持!如果有了这样的搜索引擎,以后找资源就太方便了!!!
我定义的这个搜索引擎,每个用户都是搜索引擎,优先搜索最近的节点,没有server的概念,上面仁兄说的这个东西我不太了解。。可否介绍一下?
P2P允许用户自发性的向搜索引擎提交数据。能否考虑将LDAP目录分布到DHT中?
然后将DHT的查询操作定义成不同的OID,可以应付搜索算法不同等情况。这样的搜索引擎索引的可以不仅仅是文件,甚至是不同的服务。
gnap.an<AT>gmail.com