爬蟲程序的設計本科畢業論文

A. 求推薦一個本科計算機畢業設計題目

畢業季馬上到來，我相信很多人都已經在籌備畢業設計選題了，肯定有很多迷茫和不懂的學生，其實畢業設計並沒有大家想的那麼難，只要找對方法，方式，您可以很順利的完成的自己的畢業設計作品，
1：先結合自身所學知識進行選取畢設方向，（例如：軟體工程，網路技術，）
2：假設選定軟體工程：那麼包含了很多的開發語言。例如：Java php asp python 安卓，小程序等
3:選定開發語言後需要選定資料庫軟體：例如mysql sqlserver 選題有很多：
以下為JavaWeb方面的例子（更多題目請參考 https://java.xyz ，下面介紹的項目都可以在這里找到源碼）

----jd----
1-CRM客戶關系管理系統-ssh
2-戶籍管理系統-jsp
3-Java聊天室的設計與實現-swing
4-進銷存管理系統的設計與實現-springboot
5-超市積分管理系統-jsp
6-基於JSP的網上購書系統-ssh
7-基於SSH的嬰幼兒產品銷售系統的開發與設計
8-基於WEB的網上購物系統的設計與實現-ssh源碼
9-網上手機銷售系統-jsp
10-Java網上體育商城的設計與實現-ssh
11-基於JSP+Servlet開發高校社團管理系統
12-Java在線考試系統-ssh
13-java開發電影訂票網站系統-ssh14-JavaWeb校園二手平台項目+論文-ssh
15-百貨中心供應鏈管理系統+論文-ssh
16-固定資產管理系統+論文-ssh
17-網路考試系統的設計與實現+論文-jsp
18-基於JSP+Servlet開發簡單的新聞發布系統
19-基於JSP+Servlet開發在線租車系統
20-基於JSP+Servlet開發火車票網上訂票系統
21-基於JSP+Servlet開發簡單的醫院預約掛號系統
22-基於SSM開發在線考試系統
23-基於Struts2開發公司職工管理系統+說明書+任務書+方案書
24-基於S2SH開發彩票購買系統的設計與實現畢業設計+論文
25-基於Struts2+Hibernate開發小區物業管理系統
26-基於S2SH開發學生考勤管理系統+報告
27-基於S2SH開發車輛租賃管理系統的設計與實現+論文
28- 基於S2SH開發銀行個人業務管理系統
29-基於JavaSwing開發簡單的銀行管理系統
30-基於JavaSwing開發銀行信用卡管理系統
31-基於JSP+Servlet開發簡單的家居購物商城系統
32-基於JSP+Servlet開發手機銷售購物商城系統
33-基於JSP+Servlet開發物流管理系統
34-基於JSP機票預定系統
35-基於S2SH開發病房管理系統的設計與實現
36-基於S2SH開發就業招聘管理系統
37-基於S2SH開發圖書管理系統（新本版）+論文
38-基於S2SH開發學生公寓（宿舍）管理系統
39-基於SSM開發大學食堂采購管理系統
40-基於SSM開發學生信息管理系統
41-基於SSM開發在線家教預約系統
42-基於SSM開發自行車在線租賃管理系統
43-基於Struts2+Hibernate開發社區蔬菜、食品交易平台+論文
44-基於Struts2開發快遞收發系統
45-基於Struts2開發校園二手購物商城
46-基於Struts2開發學生信息管理系統
47-基於Struts2開發學生宿舍管理系統
48-基於JSP+Servlet+bootstrap開發電影院購票系統
49-基於JSP+Servlet開發學生成績管理系統+實驗報告
50-基於JSP+Servlet開發超市日常管理系統
51-基於JSP+Servlet開發開放實驗室預約系統+論文
52-基於JSP+Servlet開發網上服裝銷售購物商城系統+論文+PPT+任務書+檢查表
53-基於JSP+Servlet開發旅遊（景點賓館）系統
54-基於JSP+Servlet開發圖書管理系統+PPT+講解視頻
55-基於JSP+Servlet開發學生選課系統+論文
56-基於JSP開發雲餐廳自助點餐系統（前台+後台） 講解視頻
57-基於JSP+Servlet開發葯品管理系統
58-基於JSP+Servlet開發快遞管理系統+UML圖
59-基於JSP+Servlet開發小型酒店管理系統的設計與實現
60-基於JSP+Servlet開發在線聊天系統+論文+PPT
61-基於JSP+Servlet開發教師工資管理系統
62-基於JSP+Servlet開發汽車配件銷售管理系統的設計與實現+論文
63-基於SSM開發倉庫庫存管理系統
64-基於SSM開發學生請假管理系統
65-基於S2SH開發彩票購買系統的設計與實現畢業設計+論文
66-基於SSM開發餐飲業點餐系統
67-基於SSM開發學生信息管理系統
68-基於SSM開發校園外賣零食購物商城系統
69-基於S2SH開發醫院掛號預約系統
70-基於S2SH開發企業人事管理系統（新本版）
71-基於S2SH開發學生公寓（宿舍）管理系統
72-基於S2SH開發網上書店購物商城系統
73-基於S2SH開發學生宿舍管理系統
74-基於S2SH開發校園失物招領網+論文
75-基於S2SH開發教師科研項目管理系統
76-基於SpringMVC+Hibernate開發庫存（倉庫）管理系統
77-基於S2SH開發都勻房屋租售（租賃）系統+論文
78-基於SSH開發學生宿舍（公寓）管理系統+論文
79-基於SSM開發教務查詢管理系統
80-基於SSM開發葯店（葯品）管理系統
81-基於S2SH開發寵物之家在線寵物購買系統（前台+後台）+論文
82-基於SSM開發行政服務管理系統
83-基於S2SH開發網上預約預約掛號系統
84-基於SSM開發高校共享單車管理系統
85-基於S2SH開發網上蛋糕店（甜品）購物商城系統
86-基於S2SH開發在線聊天系統（群聊）
87-基於SSM開發在線學習網站（前台+後台）
88-基於SSM開發網上書店商城購物系統
89-基於S2SH開發在線學堂系統（課程學習網站 前台+後台）
90-基於Struts開發在線音樂播放網站
91-基於S2SH開發圖書管理系統
92-基於S2SH開發酒店點餐管理系統+論文
93-基於S2SH開發人力資源管理系統
94-基於S2SH開發房屋租賃管理系統
95-基於S2SH開發酒店管理系統+論文
96-基於S2SH開發網上鮮花（花店）商城的設計與實現+論文
97-基於S2SH開發醫院信息管理系統
98-基於SSH開發高校選課系統的設計與實現+論文
99-基於SSH網上招聘系統+論文+任務書+PPT
100-基於JSP+Servlet開發收費停車場管理系統+論文101-javaweb垃圾分類查詢系統源碼 ssm+mysql
102-基於SSM開發醫葯管理系統
103-基於S2SH開發房地產管理系統
104-基於S2SH開發化妝品銷售系統（購物商城 前台+後台）
105-基於SSM開發校園外賣零食購物商城系統（前台+後台）
106-基於S2SH開發中小學在線教育系統（前台+後台）107-基於JSP+Servlet開發失物招領系統
108-基於JSP+Servlet開發球隊活動管理系統
109-基於JSP+Servlet開發公交在線查詢
110-基於JSP開發Java在線學習平台
111-基於Struts2開發寵物領養系統的設計與實現+論文
112-基於Struts+Hibernate開發水果4S店營銷（購物商場）管理系統的設計與實現+論文
113-基於S2SH開發農產品網上銷售系統（購物商城 前台+後台）
114-jsp考勤管理系統-ic
115-jsp失物招領系統-ic
116-ssm畢業設計管理系統-ic
117-基於JSP的美食網站食譜網站、javaweb源碼-cs
118-基於JSP的旅遊信息發布網站、jsp+servlet+mysql+論文-cs
119-基於JSP的小說網站-cs
120-基於SSH的航空訂票系統-cs
122-基於springboot的企業資產管理系統源碼-cs
123-SSM實現類似京東的3C電子商城系統-cs
124-SSM實現復雜許可權控制的教務管理,教務評教系統-cs
125-JavaWeb開發ssm在線考試系統-cs
126-基於SpringBoot的博客系統-cs
127-基於SSM的校園二手交易平台-cs
128-JSP高校社團管理系統

源碼及原文鏈接：https://java.xyz/forum.php?mod=viewthread&tid=17

B. 網路爬蟲 python 畢業論文呢

做爬蟲,特別是python寫說容易挺容易,說難也挺難的,
舉個栗子 簡單的:將http://paste.ubuntu.com上面的所有代碼爬下來
寫個for循環,調用urllib2的幾個函數就成了,基本10行到20行以內的代碼
難度0

情景:
1.網站伺服器很卡,有些頁面打不開,urlopen直接就無限卡死在了某些頁面上(2.6以後urlopen有了timeout)
2.爬下來的網站出現亂碼,你得分析網頁的編碼
3.網頁用了gzip壓縮,你是要在header裡面約定好默認不壓縮還是頁面下載完畢後自己解壓
4.你的爬蟲太快了,被伺服器要求停下來喝口茶
5.伺服器不喜歡被爬蟲爬,會對對header頭部瀏覽器信息進行分析,如何偽造
6.爬蟲整體的設計,用bfs爬還是dfs爬
7.如何用有效的數據結構儲存url使得爬過的頁面不被重復爬到
8.比如1024之類的網站(逃，你得登錄後才能爬到它的內容,如何獲取cookies

以上問題都是寫爬蟲很常見的,由於python強大的庫,略微加了一些代碼而已
難度1

情景:
1.還是cookies問題,網站肯定會有一個地方是log out，爬蟲爬的過程中怎樣避免爬到各種Log out導致session失效
2.如果有驗證碼才能爬到的地方,如何繞開或者識別驗證碼
3.嫌速度太慢,開50個線程一起爬網站數據

難度2

情景:
1.對於復雜的頁面,如何有效的提取它的鏈接,需要對正則表達式非常熟練
2.有些標簽是用Js動態生成的，js本身可以是加密的,甚至奇葩一點是jsfuck,如何爬到這些

難度3

總之爬蟲最重要的還是模擬瀏覽器的行為,具體程序有多復雜,由你想實現的功能和被爬的網站本身所決定
爬蟲寫得不多,暫時能想到的就這么多，歡迎補充

C. 網路爬蟲相關畢業設計，有什麼比較合適的書籍推薦

網路：Python書PDF；網路網盤（如果你想看盜版的話就按我說的做...）

D. 畢業設計，Python爬蟲系統 目前只知道一點點皮毛。求思路， 爬去信息，然後做成系統，老師還要求

明顯串列比多線程的慢啊， 你的思路有一些坑

• python的多線程由於GIL的存在， 不咋好用， 你還不如使用gevent做多路復用的

• python串列的就是一個一個爬唄

• 首先手機1w個url, 對比兩個爬蟲的效率就可以

庫一般而言, 寫一個爬蟲系統需要輸入一堆種子, 這些種子是初始化鏈接, 你可以通過requests庫和pyquery庫進行解析, 按照特定的演算法比如廣度優先的方式再把這些鏈接對應的內容爬取出來，注意由於一個鏈接可能出現在多個網頁中, 還需要在抓取之前採取排重操作, 這個你可以採用redis, 畢竟基於內存的比較快

E. 有沒有寫網路爬蟲類型本科生論文的

你可以去下載一些爬蟲類軟體，里邊的幫助文檔視頻教程對寫論文都是有幫助的

F. 本科畢業設計（論文）從開始到完成，主要包括哪些環節

選題（不知是不是該算開始之前的，其實都是導師幫忙選好的）、文獻調研、開始研究（具體過程看學科和研究內容了，實驗、數值計算、調查文獻調研。。。），分析結果，寫論文、修改

G. 寫葯學專業畢業論文需要網路爬蟲嗎

當然要。。。

H. 網路爬蟲論文

1、爬蟲技術概述

網路爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用於互聯網搜索引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分為數據採集，處理，儲存三個部分。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題：

(1) 對抓取目標的描述或定義；

(2) 對網頁或數據的分析與過濾；

(3) 對URL的搜索策略。

2、爬蟲原理

2.1 網路爬蟲原理

Web網路爬蟲系統的功能是下載網頁數據，為搜索引擎系統提供數據來源。很多大型的網路搜索引擎系統都被稱為基於 Web數據採集的搜索引擎系統，比如 Google、Bai。由此可見Web 網路爬蟲系統在搜索引擎中的重要性。網頁中除了包含供用戶閱讀的文字信息外，還包含一些超鏈接信息。Web網路爬蟲系統正是通過網頁中的超連接信息不斷獲得網路上的其它網頁。正是因為這種採集過程像一個爬蟲或者蜘蛛在網路上漫遊，所以它才被稱為網路爬蟲系統或者網路蜘蛛系統，在英文中稱為Spider或者Crawler。

2.3.2寬度優先遍歷策略

寬度優先遍歷策略的基本思路是，將新下載網頁中發現的鏈接直接插入待抓取URL隊列的末尾。也就是指網路爬蟲會先抓取起始網頁中鏈接的所有網頁，然後再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。還是以上面的圖為例：

遍歷路徑：A-B-C-D-E-F G H I

2.3.3反向鏈接數策略

反向鏈接數是指一個網頁被其他網頁鏈接指向的數量。反向鏈接數表示的是一個網頁的內容受到其他人的推薦的程度。因此，很多時候搜索引擎的抓取系統會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先後順序。

在真實的網路環境中，由於廣告鏈接、作弊鏈接的存在，反向鏈接數不能完全等他我那個也的重要程度。因此，搜索引擎往往考慮一些可靠的反向鏈接數。

2.3.4Partial PageRank策略

Partial PageRank演算法借鑒了PageRank演算法的思想：對於已經下載的網頁，連同待抓取URL隊列中的URL，形成網頁集合，計算每個頁面的PageRank值，計算完之後，將待抓取URL隊列中的URL按照PageRank值的大小排列，並按照該順序抓取頁面。

如果每次抓取一個頁面，就重新計算PageRank值，一種折中方案是：每抓取K個頁面後，重新計算一次PageRank值。但是這種情況還會有一個問題：對於已經下載下來的頁面中分析出的鏈接，也就是我們之前提到的未知網頁那一部分，暫時是沒有PageRank值的。為了解決這個問題，會給這些頁面一個臨時的PageRank值：將這個網頁所有入鏈傳遞進來的PageRank值進行匯總，這樣就形成了該未知頁面的PageRank值，從而參與排序。下面舉例說明：

2.3.5OPIC策略策略

該演算法實際上也是對頁面進行一個重要性打分。在演算法開始前，給所有頁面一個相同的初始現金（cash）。當下載了某個頁面P之後，將P的現金分攤給所有從P中分析出的鏈接，並且將P的現金清空。對於待抓取URL隊列中的所有頁面按照現金數進行排序。

2.3.6大站優先策略

對於待抓取URL隊列中的所有網頁，根據所屬的網站進行分類。對於待下載頁面數多的網站，優先下載。這個策略也因此叫做大站優先策略。

3、爬蟲分類

開發網路爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector還是其他的？上面說的爬蟲，基本可以分3類：

（1）分布式爬蟲：Nutch

（2）JAVA爬蟲：Crawler4j、WebMagic、WebCollector

（3）非JAVA爬蟲：scrapy（基於Python語言開發）

3.1 分布式爬蟲

爬蟲使用分布式，主要是解決兩個問題：

1)海量URL管理

2)網速

現在比較流行的分布式爬蟲，是Apache的Nutch。但是對於大多數用戶來說，Nutch是這幾類爬蟲里，最不好的選擇，理由如下：

1)Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說，用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新寫一個分布式爬蟲框架了。

2)Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲快。

3)Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。而且Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在「頁面解析」(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text文本)。

4)用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。

5)很多人說Nutch2有gora，可以持久化數據到avro文件、hbase、mysql等。很多人其實理解錯了，這里說的持久化數據，是指將URL信息（URL管理所需要的數據）存放到avro、hbase、mysql。並不是你要抽取的結構化數據。其實對大多數人來說，URL信息存在哪裡無所謂。

6)Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。如果想用hbase配合nutch（大多數人用nutch2就是為了用hbase)，只能使用0.90版本左右的hbase，相應的就要將hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比較有誤導作用，Nutch2的教程有兩個，分別是Nutch1.x和Nutch2.x，這個Nutch2.x官網上寫的是可以支持到hbase 0.94。但是實際上，這個Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之後的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。

所以，如果你不是要做搜索引擎，盡量不要選擇Nutch作為爬蟲。有些團隊就喜歡跟風，非要選擇Nutch來開發精抽取的爬蟲，其實是沖著Nutch的名氣（Nutch作者是Doug Cutting），當然最後的結果往往是項目延期完成。

如果你是要做搜索引擎，Nutch1.x是一個非常好的選擇。Nutch1.x和solr或者es配合，就可以構成一套非常強大的搜索引擎了。如果非要用Nutch2的話，建議等到Nutch2.3發布再看。目前的Nutch2是一個非常不穩定的版本。

I. 想用c++寫網路爬蟲作為畢業設計是否可行

可以的。參看中國開源社區相關資料，共有8款C/C++ 網路爬蟲開源軟體，http://www.oschina.net/project/lang/21/c?tag=64

J. 本人要寫畢業論文，但是不會使用c++網頁爬蟲程序，求大神幫我做一下追夢網的數據統計啊~如下面這樣就行

c++網頁爬蟲程序有現成的範例你可以看看。