培訓(xùn)內(nèi)容:
課程收益:
1，全面了解Python爬蟲的相關(guān)知識。2，學(xué)習(xí)Python爬蟲的核心技術(shù)方法以及應(yīng)用特征。3，深入使用Python在網(wǎng)絡(luò)數(shù)據(jù)采集中的使用。
課程大綱:
Python是一種面向?qū)ο�、解釋型計算機程序設(shè)計語言，Python是純粹的自由軟件，源代碼和解釋器CPython遵循GPL協(xié)議。是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具，也是GNU的一個免費、源代碼開放的軟件。
Python語法簡潔清晰，具有豐富和強大的庫，能夠把用其他語言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起。Python爬蟲包括一套完整的數(shù)據(jù)采集、處理、計算系統(tǒng)，簡便而強大的編程語言，可操縱數(shù)據(jù)的輸入和輸入，可實現(xiàn)分支、循環(huán)，用戶可自定義功能。
本培訓(xùn)將對基于Python爬蟲進行數(shù)據(jù)采集、處理、數(shù)據(jù)分析的方法深度剖析，并對Python爬蟲原理及實現(xiàn)進行講解。
一、培訓(xùn)對象
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。
2，牽涉到網(wǎng)絡(luò)采集、處理和規(guī)劃的負責(zé)人、設(shè)計人員。
3，政府機關(guān)，金融保險、移動等以互聯(lián)網(wǎng)信息為數(shù)據(jù)來源單位的負責(zé)人。
4，高校、科研院所牽涉到網(wǎng)絡(luò)數(shù)據(jù)采集與數(shù)據(jù)處理的項目負責(zé)人。
二、學(xué)員基礎(chǔ)
1，對IT系統(tǒng)設(shè)計有一定的理論與實踐經(jīng)驗。
2，具備信息檢索IR和大數(shù)據(jù)處理的基礎(chǔ)知識。
3，有一定的python基礎(chǔ)知識和開發(fā)經(jīng)驗。
三、師資
由業(yè)界知名云計算專家親自授課：
楊老師 主要研究網(wǎng)絡(luò)信息分析以及云計算相關(guān)技術(shù)，長期從事通信網(wǎng)管系統(tǒng)、網(wǎng)絡(luò)信息處理、商務(wù)智能(BI)以及電信決策支持系統(tǒng)的研究開發(fā)工作，主持和參與了多個國家和省部級基金項目，具有豐富的工程實踐及軟件研發(fā)經(jīng)驗。
四、培訓(xùn)內(nèi)容
第一講網(wǎng)絡(luò)爬蟲基礎(chǔ)
1.什么是網(wǎng)絡(luò)爬蟲
2.瀏覽網(wǎng)頁的過程
3.URL的含義
4.環(huán)境的配置
第二講Python爬蟲基礎(chǔ)知識
1.Python爬蟲基礎(chǔ)學(xué)習(xí)
2.Pythonurllib和urllib2庫的用法
3.Python正則表達式
4.BeautifulSoup簡介
5.爬蟲框架Scrapy
第三講Urllib庫的基本使用
1.網(wǎng)頁爬取示例
2.網(wǎng)頁爬取方法
3.構(gòu)造Requset
4.POST和GET數(shù)據(jù)傳送
第四講Urllib庫的高級用法
1.設(shè)置Headers
2.Proxy（代理）的設(shè)置
3.Timeout設(shè)置
4.HTTP的PUT和DELETE方法
5.使用DebugLog
第五講正則表達式
1.了解正則表達式
2.正則表達式的語法規(guī)則
3.正則表達式相關(guān)注解
4.PythonRe模塊
第六講BeautifulSoup的用法
1.BeautifulSoup的簡介
2.BeautifulSoup安裝
3.創(chuàng)建BeautifulSoup對象
4.BeautifulSoup對象種類
5.遍歷文檔樹
第七講開始采集
1.遍歷單個域名
2.采集整個網(wǎng)站
3.通過互聯(lián)網(wǎng)采集
4.用Scrapy采集
5.幾個示例
第八講存儲數(shù)據(jù)和讀取文檔
1.媒體文件
2.把數(shù)據(jù)存儲到CSV
3.MySQL與Python整合
4.讀取純文本和CSV文檔
5.讀取Word和.docx
第九講自然語言處理基礎(chǔ)
1.概括數(shù)據(jù)
2.馬爾可夫模型
3.自然語言工具包
4.用NLTK做統(tǒng)計分析
5.用NLTK做詞性分析
第十講用爬蟲測試網(wǎng)站
1.測試簡介
2.Python單元測試
3.Selenium單元測試
4.Python單元測試與Selenium單元測試的選擇
五、培訓(xùn)目標(biāo)
1，全面了解Python爬蟲的相關(guān)知識。
2，學(xué)習(xí)Python爬蟲的核心技術(shù)方法以及應(yīng)用特征。
3，深入使用Python在網(wǎng)絡(luò)數(shù)據(jù)采集中的使用。
六、培訓(xùn)時間、地點
時間：2017年2月23日-2月24日 地點：北京
七、證書
培訓(xùn)結(jié)束，頒發(fā)中科院計算所職業(yè)培訓(xùn)中心“Python網(wǎng)絡(luò)爬蟲及數(shù)據(jù)采集技術(shù)”結(jié)業(yè)證書。
八、費用
培訓(xùn)費：5500元/人（含教材、證書、午餐、學(xué)習(xí)用具等）。住宿協(xié)助安排，費用自理。
培訓(xùn)師介紹：
楊老師主要研究網(wǎng)絡(luò)信息分析以及云計算相關(guān)技術(shù)，長期從事通信網(wǎng)管系統(tǒng)、網(wǎng)絡(luò)信息處理、商務(wù)智能(BI)以及電信決策支持系統(tǒng)的研究開發(fā)工作，主持和參與了多個國家和省部級基金項目，具有豐富的工程實踐及軟件研發(fā)經(jīng)驗。