Lucene+nutch搜索引擎开发

.　　　1.5.1　搜索引擎开源项目　
　　　1.5.2　搜索引擎研究网站　
　　　1.5.3　搜索论坛和厂商黑板报　
　　1.6　系统运行环境准备　
　　　1.6.1　java环境安装设置　
　　　1.6.2　tomcat服务器安装　
　　　1.6.3　eclipse开发环境准备　
　　1.7　未来搜索技术前瞻　
　　　1.7.1　现状存在问题　
　　　1.7.2　未来发展趋势　
　　1.8　小结　
　第2章　搜索引擎原理探秘　
　　2.1　解密搜索引擎原理　
　　　2.1.1　搜索引擎技术框架　
　　　2.1.2　网页信息抓取技术　
　　　2.1.3　网页内容分析技术　
　　　2.1.4　网页索引建立技术　
　　　2.1.5　用户检索与结果排序　
　　　2.1.6　网页检索工具与接口　
　　2.2　网络爬虫简单实现　
　　　2.2.1　网络蜘蛛功能需求　
　　　2.2.2　网络蜘蛛实现原理　
　　　2.2.3　网络爬虫系统结构　
　　　2.2.4　网页采集程序设计　
　　　2.2.5　网页采集程序实现　
　　　2.2.6　程序实现存储扩展　
　　2.3　网页分析程序实现　
　　　2.3.1　网页分析功能需求　
　　　2.3.2　网页分析实现原理　
　　　2.3.3　网页分析系统结构　
　　　2.3.4　网页分析程序设计　
　　　2.3.5　文本语素分割与过滤　
　　2.4　网页索引程序实现　
　　　2.4.1　网页索引功能需求　
　　　2.4.2　网页索引实现原理　
　　　2.4.3　网页索引程序设计　
　　　2.4.4　网页索引程序实现　
　　2.5　检索程序实现　
　　　2.5.1　检索功能需求　
　　　2.5.2　检索实现原理　
　　　2.5.3　检索程序设计　
　　　2.5.4　网页检索程序实现　
　　2.6　简单搜索引擎系统　
　　2.7　小结　
　第3章　开源搜索引擎入门　
　　3.1　开源搜索引擎简介　
　　　3.1.1　lucene系统概述　
　　　3.1.2　nutch概述　
　　3.2　lucene全文检索系统部署　
　　　3.2.1　下载lucene系统　
　　　3.2.2　lucene部署配置　
　　　3.2.3　lucene测试运行　
　　3.3　lucene开发实例入门　
　　　3.3.1　lucene实例功能　
　　　3.3.2　lucene开发实例　
　　　3.3.3　代码实例解析　
　　3.4　nutch开源搜索引擎部署　
　　　3.4.1　cygwin软件安装　
　　　3.4.2　nutch下载与安装　
　　　3.4.3　nutch系统环境测试　
　　　3.4.4　nutch搜索页面部署　
　　3.5　nutch系统调试与开发　
　　　3.5.1　eclipse中加载nutch　
　　　3.5.2　nutch工程编译与发布　
　　3.6　小结　
第2篇　内核揭秘篇
　第4章　搜索引擎数据获取　
　　4.1　网络蜘蛛原理　
　　　4.1.1　体系结构设计　
　　　4.1.2　访问策略与算法　
　　　4.1.3　效率优化与更新　
　　　4.1.4　蜘蛛访问规范　
　　　4.1.5　开源蜘蛛简介　
　　4.2　nutch网络蜘蛛　
　　　4.2.1　nutch网络蜘蛛概述　
　　　4.2.2　nutch抓取模式分类　
　　　4.2.3　抓取测试站点建立　
　　4.3　nutch局域网抓取　
　　　4.3.1　本地下载准备　
　　　4.3.2　启动下载过程　
　　　4.3.3　下载过程解析　
　　　4.3.4　下载多个网站　
　　4.4　nutch互联网抓取　
　　　4.4.1　下载列表获取　
　　　4.4.2　下载大量网站　
　　4.5　nutch抓取比较　
　　4.6　nutch结果检测　
　　　4.6.1　网页内容检索　
　　　4.6.2　使用readdb获取摘要　
　　　4.6.3　使用segread读取分段　
　　　4.6.4　luke工具使用　
　　4.7　nutch配置文件解析　
　　4.8　heritrix网络蜘蛛　
　　　4.8.1　heritrix概述　
　　　4.8.2　heritrix体系结构　
　　　4.8.3　heritrix安装与使用　
　　4.9　小结　
　第5章　搜索引擎信息索引　
　　5.1　文档索引原理　
　　　5.1.1　索引概述　
　　　5.1.2　索引基本结构　
　　　5.1.3　倒排索引原理　
　　　5.1.4　索引分类　
　　　5.1.5　高性能索引　
　　5.2　lucene索引器　
　　　5.2.1　lucene索引介绍　
　　　5.2.2　lucene索引结构　
　　　5.2.3　多文件索引结构　
　　　5.2.4　复合索引结构　
　　5.3　lucene索引实例　
　　　5.3.1　索引创建代码解析　
　　　5.3.2　索引创建器（indexwriter）　
　　　5.3.3　索引管理器（indexreader）　
　　　5.3.4　索引修改器（indexmodifier）　
　　　5.3.5　索引分析器（analyzer）　
　　5.4　lucene索引操作　
　　　5.4.1　添加文本文件索引　
　　　5.4.2　创建lucene增量索引　
　　　5.4.3　使用索引项删除文档　
　　　5.4.4　使用编号删除文档　
　　　5.4.5　压缩文档编号　
　　　5.4.6　索引文档更新　
　　5.5　lucene索引高级特性　
　　　5.5.1　选择索引域类型　
　　　5.5.2　索引参数优化　
　　　5.5.3　使用磁盘索引　
　　　5.5.4　使用内存索引　
　　　5.5.5　同步与锁机制　
　　5.6　lucene高级应用实例　
　　　5.6.1　创建本地搜索的索引　
　　　5.6.2　索引数据库记录　
　　　5.6.3　索引优化与合并　
　　5.7　nutch中的lucene索引　
　　5.8　小结　
　第6章　搜索引擎查询处理　
　　6.1　信息查询原理　
　　　6.1.1　信息查询概述　
　　　6.1.2　查询基本流程　
　　　6.1.3　查询结果显示　
　　　6.1.4　高性能查询　
　　6.2　lucene查询概述　
　　　6.2.1　lucene查询操作基础　
　　　6.2.2　lucene查询实例入门　
　　　6.2.3　查询工具indexsearcher类　
　　　6.2.4　查询封装query类　
　　　6.2.5　查询分析器queryparser类　
　　　6.2.6　查询结果集hits类　
　　6.3　lucene基本查询　
　　　6.3.1　lucene查询query对象　
　　　6.3.2　最小项查询termquery　
　　　6.3.3　区间范围搜索rangequery　
　　　6.3.4　逻1/4组合搜索booleanquery　
　　　6.3.5　字串前缀搜索prefixquery　
　　　6.3.6　短语搜索phrasequery　
　　　6.3.7　模糊搜索fuzzyquery　
　　　6.3.8　通配符搜索wildcardquery　
　　　6.3.9　位置跨度搜索spanquery　
　　6.4　lucene高级查询　
　　　6.4.1　索引内存检索　
　　　6.4.2　多关键字跨域检索　
　　　6.4.3　多检索器跨索引检索　
　　6.5　nutch中的lucene查询　
　　6.6　小结　
　第7章　搜索引擎结果排序　
　　7.1　搜索引擎文档排序原理　
　　　7.1.1　传统检索排序技术　
　　　7.1.2　向量模型排序局限　
　　　7.1.3　搜索引擎相关性排序　
　　　7.1.4　链接分析pagerank原理　
　　　7.1.5　搜索引擎排序流程　
　　7.2　lucene检索排序　
　　　7.2.1　lucene相关性因素　
　　　7.2.2　lucene相关排序流程　
　　　7.2.3　lucene排序计算体系　
　　　7.2.4　lucene排序控制方法　
　　7.3　文档boost加权排序　
　　　7.3.1　lucene中boost介绍　
　　　7.3.2　boost值全文档排序　
　　　7.3.3　boost值文档域排序　
　　　7.3.4　boostingtermquery排序　
　　7.4　sort对象检索排序　
　　　7.4.1　sort对象概述　
　　　7.4.2　sort对象相关性排序　
　　　7.4.3　sort对象文档编号排序　
　　　7.4.4　sort对象独立域排序　
　　　7.4.5　sort对象联合域排序　
　　　7.4.6　sort对象逆向排序　
　　7.5　lucene相关性公式　
　　　7.5.1　lucene评分结果分析　
　　　7.5.2　lucene排序公式　
　　　7.5.3　其他动态排序因子　
　　7.6　lucene自定义排序　
　　　7.6.1　自定义排序比较接口　
　　　7.6.2　自定义排序接口类实例　
　　　7.6.3　自定义排序结果测试实例　
　　　7.6.4　自定义排序测试结果　
　　7.7　nutch中的结果排序　
　　　7.7.1　nutch排序因素　
　　　7.7.2　nutch链接分析　
　　　7.7.3　nutch相关度计算　
　　7.8　小结　
　第8章　文档分析器与中文分词　
　　8.1　文档分析与中文分词原理　
　　　8.1.1　文档分析预处理概述　
　　　8.1.2　文档分析基本流程　
　　　8.1.3　中文分析处理中的分词　
　　8.2　lucene分析器内核原理　
　　　8.2.1　lucene分析器原理　
　　　8.2.2　analysis包简介　
　　　8.2.3　analyzer类的组合结构　
　　　8.2.4　javacc构造分析器　
　　　8.2.5　stopanalyzer内核代码分析　
　　　8.2.6　standardanalyzer内核代码分析　
　　8.3　lucene分析器应用模式　
　　　8.3.1　使用默认分析器建立索引　
　　　8.3.2　使用多种分析器建立索引　
　　　8.3.3　使用分析器检索查询　
　　8.4　lucene主要分析器应用实例　
　　　8.4.1　停用词分析器stopanalyzer　
　　　8.4.2　标准分析器standardanalyzer　
　　　8.4.3　简单分析器simpleanalyzer　
　　　8.4.4　空格分析器whitespaceanalyzer　
　　　8.4.5　关键字分析器keywordanalyzer　
　　8.5　tokenstream分词器内核分析　
　　　8.5.1　tokenizer分词器　
　　　8.5.2　标准分词器standardtokenizer　
　　　8.5.3　字符分词器chartokenizer　
　　　8.5.4　空格分词器whitespacetokenizer　
　　　8.5.5　字母分词器lettertokenizer　
　　　8.5.6　小写分词器lowercasetokenizer　
　　8.6　tokenstream过滤器内核分析　
　　　8.6.1　tokenfilter过滤器　
　　　8.6.2　标准过滤器standardfilter　
　　　8.6.3　停用词过滤器stopfilter　
　　　8.6.4　小写过滤器lowercasefilter　
　　　8.6.5　长度过滤器lengthfilter　
　　　8.6.6　词干过滤器porterstemfilter　
　　8.7　lucene中文分词　
　　　8.7.1　中文分词基本原理方法　
　　　8.7.2　standardanalyzer分析器中文处理　
　　　8.7.3　cjkanalyzer中文分析器　
　　　8.7.4　chineseanalyzer中文分析器　
　　　8.7.5　ik_canalyzer中文分析器　
　　　8.7.6　中科院ictclas中文分词　
　　　8.7.7　je中文分词　
　　　8.7.8　中文分词问题　
　　8.8　nutch分词和预处理　
　　　8.8.1　nutch分析器　
　　　8.8.2　nutch中文分词　
　　8.9　小结　
　第9章　搜索引擎文本分析　
　　9.1　非结构化文本简介　
　　　9.1.1　非结构化文本概述　
　　　9.1.2　非结构化文本检索　
　　9.2　html文档分析　
　　　9.2.1　主流html文档分析器　
　　　9.2.2　htmlparser安装配置　
　　　9.2.3　htmlparser的框架结构　
　　9.3　htmlparser应用实例　
　　　9.3.1　htmlparser功能模式　
　　　9.3.2　htmlparser内容解析方式　
　　　9.3.3　visitor模式正文解析　
　　　9.3.4　filter模式简单链接提取　
　　　9.3.5　filter模式搜索链接提取　
　　　9.3.6　lexer模式遍历文档　
　　9.4　pdf文档分析　
　　　9.4.1　常用的pdf处理包　
　　　9.4.2　pdfbox安装配置　
　　9.5　pdfbox应用实例　
　　　9.5.1　pdfbox提取文档内容　
　　　9.5.2　pdfbox文档内容索引　
　　9.6　office文档分析　
　　　9.6.1　常用office文档处理包　
　　　9.6.2　使用poi安装与配置　
　　　9.6.3　poi原理与接口介绍　
　　9.7　poi分析office文档实例　
　　　9.7.1　poi处理excel文档　
　　　9.7.2　poi处理word文档　
　　9.8　xml文档分析　
　　　9.8.1　主流xml文档分析器　
　　　9.8.2　jdom分析器安装配置　
　　　9.8.3　xerces分析器安装配置　
　　9.9　xml解析应用实例　
　　　9.9.1　使用jdom分析xml 文档　
　　　9.9.2　使用xerces分析xml 文档　
　　9.10　nutch文档处理　
　　9.11　小结　
　第10章　分布式搜索与缓存　
　　10.1　分布式检索与缓存　
　　　10.1.1　分布式搜索引擎现状　
　　　10.1.2　分布式搜索引擎原理　
　　　10.1.3　搜索引擎缓存现状　
　　　10.1.4　搜索引擎缓存原理　
　　10.2　nutch与分布式检索　
　　　10.2.1　google分布式文件系统　
　　　10.2.2　mapreduce系统介绍　
　　　10.2.3　hadoop分布式文件系统　
　　　10.2.4　nutch分布式文件系统　
　　　10.2.5　nutch分布式检索概述　
　　　10.2.6　nutch分布式检索器　
　　10.3　lucene分布式检索　
　　　10.3.1　socket通信基础　
　　　10.3.2　lucene索引服务器　
　　10.4　nutch与搜索缓存　
　　10.5　开源系统缓存系统　
　　10.6　小结　
第3篇　实战篇
　第11章　nutch专题搜索引擎实例　
　　11.1　专题搜索需求分析　
　　　11.1.1　专题搜索功能需求　
　　　11.1.2　专题搜索用例分析　
　　11.2　构建nutch基础搜索引擎　
　　　11.2.1　nutch搜索功能分析　
　　　11.2.2　信息下载功能测试　
　　　11.2.3　nutch基础web检索　
　　　11.2.4　web用户页面修改　
　　11.3　专题搜索系统设计　
　　　11.3.1　系统框架设计　
　　　11.3.2　选择开发工具组件　
　　11.4　专题关键词管理　
　　　11.4.1　专题关键词策略　
　　　11.4.2　关键词存储设计　
　　　11.4.3　关键词管理程序　
　　11.5　专题资源发现　
　　　11.5.1　专题网页链接发现　
　　　11.5.2　专题资源网站提取　
　　11.6　专题信息下载　
　　　11.6.1　批量信息下载　
　　　11.6.2　信息自动下载　
　　11.7　专题信息分析与索引　
　　　11.7.1　网页信息分析　
　　　11.7.2　创建索引　
　　11.8　检索辅助功能　
　　　11.8.1　相关词推荐　
　　　11.8.2　检索词高亮显示　
　　　11.8.3　检索结果翻页　
　　11.9　小结　
　第12章　lucene实现企业搜索实例　
　　12.1　企业搜索需求分析　
　　　12.1.1　企业搜索需求概述　
　　　12.1.2　企业搜索用例分析　
　　12.2　企业级搜索系统设计　
　　　12.2.1　系统框架设计　
　　　12.2.2　lucene检索框架　
　　12.3　企业级搜索系统设计　
　　　12.3.1　创建lucene工程　
　　　12.3.2　全文检索索引生成　
　　　12.3.3　全文检索检索页面　
　　12.4　数据引擎设计　
　　　12.4.1　数据库数据管理　
　　　12.4.2　非结构化文档　
　　12.5　企业信息索引　
　　　12.5.1　数据索引建立　
　　　12.5.2　信息检索代码　
　　　12.5.3　检索web代码　
　　　12.5.4　检索结果测试　
　　12.6　小结

.　　第1篇入门篇，第1章至第3章。
　　第1章：从搜索引擎概念出发，介绍搜索引擎的基本结构和发展历史，并对全球知名搜索引擎和国内著名搜索引擎进行展示和评述，此外本章还介绍了基本的开发工具和测试环境。
　　第2章：通过对搜索引擎原理的分析和探讨，揭示了搜索引擎的基本实现方法。通过Java程序，对简化的搜索引擎模型进行了原理分析并实现设计代码。实现的代码没有考虑复杂的搜索引擎应用环境，但是其中的代码稍加改造就可以用于数据抓取、文本分析等基本工作。
　　第3章：介绍了主流开源搜索引擎Lucene及其派生项目Nutch的历史。讲解了Lucene全文检索系统的部署和简单应用示例的开发过程，讨论了Nutch开源搜索引擎系统的部署和代码加载、调试过程。
　　第2篇内核揭秘篇，第4章至第10章。
　　第4章：介绍网络蜘蛛的原理，详细分析了网络蜘蛛的工作机制和体系结构。用下载实例来展示Nutch系统的网络蜘蛛的强大功能。简单介绍了运行环境、测试和检索方法，从整体上给读者提供丰富的信息。
　　第5章：介绍搜索引擎和全文检索的索引原理和机制。从全文检索的原理出发，通过实例讲述如何创建Lucene索引、如何管理索引。对索引的目录结构和内部结构进行分析，介绍了Lucene提供的高级功能和属性。最后分析了Nutch如何使用Lucene的索引功能创建搜索引擎。
　　第6章：介绍全文检索的查询和检索原理，介绍搜索引擎和全文检索的用户查询的原理和机制。通过实例讲解如何访问Lucene索引、如何确定不同需求的查询检索。通过对查询的主要功能类的分析，介绍了Lucene提供的高级检索查询功能和属性。最后介绍了Nutch如何使用Lucene的查询检索功能完成搜索引擎的用户服务。
　　第7章：从全文检索的排序算法原理出发，介绍搜索引擎和全文检索的结果排序原理和机制。通过实例讲述如何控制Lucene检索结果的排序，通过对Lucene排序公式的分析，介绍了排序的原理和内部结构，分析了Nutch使用链接分析的排序因素。
　　第8章：介绍搜索引擎和全文检索的预处理原理和分词机制。通过对Lucene和Nutch的分析器、分词器、过滤器的介绍，说明索引和检索的字符串在搜索引擎内部是如何处理的。通过原理和实现的分析，讲解Lucene分析器的应用以及如何实现自定义的分析器。
　　第9章：介绍搜索引擎和全文检索的非结构化文本处理方法，提供了每种文档的多个可选开源开发组件。通过对PDF、DOC、XML等不同格式文本的实例分析，为开发者提供了一系列的文本分析解决方案。读者可以灵活运用各个组件，构造一个完整的分析器。
　　第10章：介绍搜索引擎和全文检索的分布式结构方法，介绍了使用分布式文件系统及Nutch的分布式检索，以及使用松耦合的服务方式实现Lucene远程多机检索的方法。针对Nutch的缓存机制进行分析，并介绍了现在主流的Java语言Cache系统。
　　第3篇实战篇，第11章至第12章。
　　第11章：分析、设计、实现了一个专题搜索引擎，从需求开始分析，确定了模块和功能。使用Nutch开发工具，依次完成了专题搜索的各模块功能。通过实例运行和测试，展示了开源搜索引擎Nutch和Lucene的强大功能和搜索引擎的开发过程。
　　第12章：设计实现了一个企业级搜索引擎。从需求开始分析，确定了模块和功能。使用Lucene全文检索工具，完成企业级搜索引擎的基本功能。通过加载实例，展示了开源全文检索系统Lucene的强大功能。
　　适合的读者
　　·搜索引擎初学者。
　　·高校信息专业学生。
　　·从事搜索开发的程序设计人员。
　　·希望了解搜索技术的编程爱好者。
　　·熟悉Java语言的各类开发人员。
　　本书作者
　　本书由王学松主笔编写，其他参与编写和资料整理的人员有曹秩倩、陈轮、董世星、陈能技、陈向辉、宫垂刚、陈鑫玮、陈矗光、程高伟、戴敏梅、邓尉、董国栋、董霖、段毅、方擎、高德波、龚小鹏、陈衍卿、韩雷、郝红旗、何俊斌、陈东、贺文婧、侯利军、胡诗群、胡添、扈新波、常建功、华剑锋、黄洁娴、博奎、孙健等。在此对大家的辛勤工作表示感谢。
　　由于水平有限、编写时间仓促，书中难免存在疏漏和不足之处，恳请广大读者提出宝贵意见。本书责任编辑的联系方式是huangyan@ptpress.com.cn，欢迎来信交流。
　　编者
　　2008年7月...