課程描述INTRODUCTION
Python網(wǎng)絡(luò)爬蟲課程
· IT人士· 高層管理者· 中層領(lǐng)導(dǎo)· 其他人員
培訓(xùn)講師：張曉誠(chéng)
課程價(jià)格：￥元/人
培訓(xùn)天數(shù)：3天
日程安排SCHEDULE
課程大綱Syllabus
Python網(wǎng)絡(luò)爬蟲課程
課程收益:
1，全面了解Python爬蟲的相關(guān)知識(shí)。
2，學(xué)習(xí)Python爬蟲的核心技術(shù)方法以及應(yīng)用特征。
3，深入使用Python在網(wǎng)絡(luò)數(shù)據(jù)采集中的使用。
課程大綱:
Python是一種面向?qū)ο?、解釋型?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言，Python是純粹的自由軟件，源代碼和解釋器CPython遵循 GPL協(xié)議。是一個(gè)用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖的優(yōu)秀工具，也是GNU的一個(gè)免費(fèi)、源代碼開放的軟件。
Python語(yǔ)法簡(jiǎn)潔清晰，具有豐富和強(qiáng)大的庫(kù)，能夠把用其他語(yǔ)言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起。 Python爬蟲包括一套完整的數(shù)據(jù)采集、處理、計(jì)算系統(tǒng)，簡(jiǎn)便而強(qiáng)大的編程語(yǔ)言，可操縱數(shù)據(jù)的輸入和輸入，可實(shí)現(xiàn)分支、循環(huán)，用戶可自定義功能。
本培訓(xùn)將對(duì)基于Python爬蟲進(jìn)行數(shù)據(jù)采集、處理、數(shù)據(jù)分析的方法深度剖析，并對(duì)Python爬蟲原理及實(shí)現(xiàn)進(jìn)行講解。
一、培訓(xùn)對(duì)象
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開發(fā)人員。
2，牽涉到網(wǎng)絡(luò)采集、處理和規(guī)劃的負(fù)責(zé)人、設(shè)計(jì)人員。
3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)等以互聯(lián)網(wǎng)信息為數(shù)據(jù)來源單位的負(fù)責(zé)人。
4，高校、科研院所牽涉到網(wǎng)絡(luò)數(shù)據(jù)采集與數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。
二、學(xué)員基礎(chǔ)
1，對(duì)IT系統(tǒng)設(shè)計(jì)有一定的理論與實(shí)踐經(jīng)驗(yàn)。
2，具備信息檢索IR和大數(shù)據(jù)處理的基礎(chǔ)知識(shí)。
3，有一定的python基礎(chǔ)知識(shí)和開發(fā)經(jīng)驗(yàn)。
三、培訓(xùn)內(nèi)容
第一講 網(wǎng)絡(luò)爬蟲基礎(chǔ)
1.什么是網(wǎng)絡(luò)爬蟲
2.瀏覽網(wǎng)頁(yè)的過程
3.URL的含義
4. 環(huán)境的配置
第二講 Python爬蟲基礎(chǔ)知識(shí)
1.Python爬蟲基礎(chǔ)學(xué)習(xí)
2.Python urllib和urllib2 庫(kù)的用法
3.Python 正則表達(dá)式
4.BeautifulSoup簡(jiǎn)介
5.爬蟲框架Scrapy
第三講 Urllib庫(kù)的基本使用
1.網(wǎng)頁(yè)爬取示例
2.網(wǎng)頁(yè)爬取方法
3.構(gòu)造Requset
4.POST和GET數(shù)據(jù)傳送
第四講 Urllib庫(kù)的高級(jí)用法
1.設(shè)置Headers
2. Proxy（代理）的設(shè)置
3.Timeout 設(shè)置
4.HTTP的PUT和DELETE方法
5.使用DebugLog
第五講 正則表達(dá)式
1.了解正則表達(dá)式
2.正則表達(dá)式的語(yǔ)法規(guī)則
3.正則表達(dá)式相關(guān)注解
4.Python Re模塊
第六講 Beautiful Soup的用法
1. Beautiful Soup的簡(jiǎn)介
2. Beautiful Soup 安裝
3. 創(chuàng)建 BeautifulSoup 對(duì)象
4. Beautiful Soup對(duì)象種類
5. 遍歷文檔樹
第七講 開始采集
1.遍歷單個(gè)域名
2.采集整個(gè)網(wǎng)站
3.通過互聯(lián)網(wǎng)采集
4.用Scrapy采集
5.幾個(gè)示例
第八講 存儲(chǔ)數(shù)據(jù)和讀取文檔
1.媒體文件
2.把數(shù)據(jù)存儲(chǔ)到CSV
3.MySQL與Python整合
4.讀取純文本和CSV文檔
5.讀取Word和.docx
第九講 自然語(yǔ)言處理基礎(chǔ)
1.概括數(shù)據(jù)
2.馬爾可夫模型
3.自然語(yǔ)言工具包
4.用NLTK做統(tǒng)計(jì)分析
5.用NLTK做詞性分析
第十講 用爬蟲測(cè)試網(wǎng)站
1.測(cè)試簡(jiǎn)介
2.Python單元測(cè)試
3.Selenium單元測(cè)試
4.Python單元測(cè)試與Selenium單元測(cè)試的選擇
四、培訓(xùn)目標(biāo)
1，全面了解Python爬蟲的相關(guān)知識(shí)。
2，學(xué)習(xí)Python爬蟲的核心技術(shù)方法以及應(yīng)用特征。
3，深入使用Python在網(wǎng)絡(luò)數(shù)據(jù)采集中的使用。
Python網(wǎng)絡(luò)爬蟲課程
轉(zhuǎn)載：http://www.yniwn.cn/gkk_detail/257427.html
已開課時(shí)間Have start time
- 張曉誠(chéng)
IT相關(guān)內(nèi)訓(xùn)
- Python基礎(chǔ)與基礎(chǔ)應(yīng)用 郭振杰
- SQL語(yǔ)句基礎(chǔ)使用 郭振杰
- Java企業(yè)級(jí)后臺(tái)開發(fā) 郭振杰
- 數(shù)據(jù)庫(kù)基礎(chǔ)及實(shí)操（MySQ 郭振杰
- 前沿信息技術(shù)解析與應(yīng)用創(chuàng)新 張世民
- IPA應(yīng)用實(shí)戰(zhàn) 郭振杰
- 金融科技賦能業(yè)務(wù) 李福東
- Mysql基礎(chǔ)使用 郭振杰
- Java微服務(wù)開發(fā) 郭振杰
- 6G技術(shù)與發(fā)展趨勢(shì) 楓影
- 自智網(wǎng)絡(luò) 楓影
- 業(yè)務(wù)與IT融合創(chuàng)新的方法與 李福東