課程類別

所有

生活

設計

商業

語言

科技

課程類別

全部
生活
設計
商業
語言
科技

R＆Python Crawler｜網路爬蟲實戰 看得到就爬得到

位學員

  • （0 則評價）

回頂端

R＆Python Crawler｜網路爬蟲實戰 看得到就爬得到

線上課程

NT $4600

課程組合優惠
    <%for packageList%>
    • <%/for%>
<%:data.pce_name%>

[包含 <%:data.courses.length%> 堂課程]

<%for data.courses%>
<%/for%>
組合優惠 <%:~currency(data.bundle_price,'NT')%>

額外省下 <%:~currency(data.discount,'NT')%>

課程介紹

第二階段課程已全數上傳，大家可以開始上課囉！

1. 正課皆已上架完成，所有教學影片中提到的網址，為方便同學點擊查看，我們整理在第一支影片附上的「講義」中，請搭配課程使用。下載方式請看https://goo.gl/hYdxnK

2. 教材只限使用「電腦」下載，使用手機或平板則不支援下載功能。

3. 若對平台使用有其他問題，請直接參考以下的連結，有完整操作教學喔！〔YOTTA 平台使用常見問題〕

4. 正課字幕將陸續補上

完整爬蟲過程示範｜以〔香港7-11官網〕為例：

註：此為老師示範爬蟲過程、並稍微講解，實際課程內容會將爬蟲每個步驟拆開詳細的教給你


過往學員推薦：


面對網路上每天排山倒海的訊息來源，根本不知道如何「自動、且系統化」的把這些資料蒐集下來，轉化成有價值的資訊，此時，你需要的就是爬蟲的技術！

網路爬蟲，就是幫你自動把目標網站中的特定欄位蒐集下來，再整理成易於分析的格式，讓你有機會透過大量資料的蒐集，看到別人只關注單一零散訊息看不到的黃金！

 

網路爬蟲最常被使用的情境就是訊息不斷更新，而且稍縱即逝的電商產業、社群網站、還有金融網站，若能透過爬蟲時時監控價格、關注社群變化，便能掌握別人不知道的訊息，享有資訊不對稱的商機！

木刻思，2014 年創立至今，深耕於資料科學的各相關領域，不論是對外開設各種資料分析實體課程，或是與國內外企業合作導入資料科學解決方案，是一群專注於運用數據，探索並解決問題本質的公司。我們專注於各種量化分析的技巧，並時常挑戰各種深不可測的問題。

不論在學習任何的事物時，「觀察直覺」 以及 「實作技術」 都是最重要的部份。只有深刻的直覺，才可以駕馭藝術般的實作技術；同樣的，也只有在透徹了解 「各種實作技術的缺點與限制」 時，才能在許多的碰撞與挫折的經驗中，淬煉出深刻的直覺與觀察力。

課程的設計重點不是在教程式語言，而是幫你歸類出實際撰寫爬蟲時，可能遇到的資料格式以及阻擋手法。讓你知道，碰到甚麼網站，用甚麼方式把資料爬下來，而且用你喜歡的語言！

尤其，後續的分析方法也會影響到語言的選擇，或許你已經知道如何用 Python 做文字分析，那你上完課就可以用 Python 爬新聞網站；或許你喜歡先用 R 做資料觀察，那就用 R 把資料抓下來處理。爬蟲基礎的所有技巧我們都會教，同時給您兩種語言選擇，一定跟市面上不一樣。


1. 工作上需要蒐集資料者

2. 有志成為資料分析師者

3. 行銷經營、趨勢潮流追隨者

4. 資訊提供商

5. 對市場資訊敏感者

6. 小散戶、認真的賭徒們

1. 學會 R & Python 環境設定、資料分析基礎，以及爬蟲套件的使用

2. 能夠藉由觀察網站連線技巧判斷不同網站的阻擋方式並予以破解

3. 可以把抓下來的資料運用不同方式整理成易於分析的格式

4. 了解如何使用第三方 API 工具抓取想要的資料



常見問題



課程常見問題

Q1. 上課前，需要具備哪些能力嗎？ 

不需要，只要你想快速蒐集網路上的海量資料，或是對資料分析有興趣，甚至只是想透過爬蟲學習程式語言，都很歡迎來上這堂課！

Q2. 上課前，我需要先準備什麼嗎？

可以先行安裝 R 或(和) Python，但如果不會或是不確定怎麼安裝，開課後，也可以跟著課程第一單元的教學一步步進行程式的安裝與設定喔！

Q3. 募資預購是什麼意思？ 

以本堂課程為例，即日起至 1/22 為止，將會是預購優惠價 $2,900 元。

正式課程預計在 2018 / 02 / 12 (一) 上線！課程上線後，您就可以無限次數、地點、時間，在 YOTTA 平台上觀看本堂課程！

Q4. 募資預購時間到什麼時候？ 

此課程預購期已結束，課程已經上線囉！

Q5. 這門課什麼時候開始上課？

若募資成功後，我們預計第一批課程將於 2017/2/12 (一) 開始上課喔！  

Q6. 這門課可以看多久？ 

購課後享不限次數、永久觀看，可以一直看一直學！  

Q7. 可以問老師問題嗎？

當然！歡迎到「購課問答」詢問 ; 當學習遇到問題時，也歡迎到「課程討論區」與老師同學一同互動。


購買相關問題

Q8. 我要如何購買課程呢？

非常的簡單！在你的右手邊有「立即購買」的字樣，點進去就可以囉！

Q9. 目前有哪些付款方式呢？

目前 YOTTA 提供三種付款方式： 

 a/ 信用卡付款 

 b/ 超商付款（7-11、全家、萊爾富、OK 即可繳費） 

 c/ ATM 轉帳

Q10. 為什麼我已經付款了，訂單狀態仍顯示未付款？

若您選擇「超商」或「ATM」方式付款，金流處理時間需要 1~3 個工作天， 等金流完成入帳後，您的「訂單狀態」將會轉為顯示「已付款」，需稍待幾天喔！

Q11. 請問什麼時候會收到發票？

購買課程完成繳費後，電子發票會在收到銀行端入帳通知後三天內開立，並透過您註冊的 E-mail 寄送給您。

Q12. 看不到募資影片嗎？


  • 0
    學員     0 人
  • 永久 觀看
  • 7 章節
     37 單元
  • 15 小時
    49 分鐘     949 分鐘
  • 1 份
    教材     1 教材
  • 0 份
    作業     0 作業
已上架 36 單元
  • 零、程式基礎
    7 單元・3 小時 52 分鐘
  • 1 R 環境設定 40:09
  • 2 R 程式基礎_part1 24:04
  • 3 R 程式基礎_part2 19:21
  • 4 R 程式基礎_part3 37:25
  • 5 Python 環境設定 34:45
  • 6 Python 程式基礎_part1 33:03
  • 7 Python 程式基礎_part2 43:49
  • 一、爬蟲入門介紹
    3 單元・0 小時 45 分鐘
  • 8 甚麼是網路爬蟲？為何要寫網路爬蟲 試看 14:47
  • 9 開始寫網路爬蟲之前，要知道什麼是資料、如何定義資料 20:53
  • 10 開始寫網路爬蟲之前，學會瀏覽網站、尋找資料 試看 09:57
  • 二、模仿遊戲—學會模仿你的瀏覽器
    6 單元・2 小時 42 分鐘
  • 11 瀏覽器如何呈現頁面?如何拿到資料? 45:18
  • 12 學會使用Network Inspector觀察—善用Chrome小工具 29:35
  • 13 資料躲貓貓—該去哪裡找資料？ 23:07
  • 14 資料躲貓貓— Ajax和 Page-Render 網頁的分辨 29:39
  • 15 如何模仿GET? 05:43
  • 16 如何用R & Python模仿瀏覽器? 29:37
  • 三、資料躲貓貓—資料藏在哪裡？
    7 單元・2 小時 59 分鐘
  • 17 如何對應網站的阻擋 15:21
  • 18 R & Python 阻擋技巧網站演練_part1 21:42
  • 19 R & Python阻擋技巧網站演練_ part2 34:26
  • 20 網址的秘密 36:30
  • 21 如何發出 http POST｜原理說明及 R & Python 實作 39:09
  • 22 如何發出http POST｜案例解析 13:07
  • 23 如何利用 http POST 在留言板自動留言 19:12
  • 四、網路爬蟲架構
    1 單元・0 小時 8 分鐘
  • 24 Connectors+Parsers+Data Storage 08:36
  • 五、資料整理方法
    8 單元・3 小時 27 分鐘
  • 25 各種資料格式與整理方法說明 35:50
  • 26 CSV Parser (解鎖課程內容) 21:41
  • 27 Download File Parser (解鎖課程內容) 08:02
  • 28 如何從網站表格抽取資料_HTML Table Selector 34:33
  • 29 如何從HTML格式與XML格式中抽取對應位置的資料_XPATH Selector_Part 1 40:26
  • 30 如何從HTML格式與XML格式中抽取對應位置的資料_XPATH Selector_Part 2 24:36
  • 31 如何從HTML格式與XML格式中抽取對應位置的資料_CSS Selector 29:10
  • 32 JSON Parser 13:04
  • 六、解鎖更多爬蟲技巧
    5 單元・1 小時 52 分鐘
  • 33 爬蟲深入技巧1：FB Graph API——找出最喜歡按讚你的人 (已解鎖) 38:15
  • 34 爬蟲深入技巧2：Excel Parser (已解鎖) 09:54
  • 35 爬蟲深入技巧2：ZIP Parser (已解鎖) 10:25
  • 36 爬蟲特殊技巧!!：Regular Expression Selector (已解鎖) 53:46
  • 37 爬蟲暗黑祕技!!：Selenium (未成功解鎖)  

作業觀摩

<%if data.rows.length > 0 %>
<%props data.rows%>

作業 <%>~toInt(key) + 1%> <%:prop.title%>

<%if prop.rows.length > 0 %>
<%:~loadTmpl('homework-card2', prop.rows)%>
<%/if%>
<%if prop.rows.length > 0 && prop.total_page > 1%>

正在載入更多...

<%/if%>
<%/props%>
<%if data.total_page > 1%>

正在載入更多...

<%/if%> <%else%>

目前沒有出作業唷！

<%/if%>
<%if data.rows.length > 0 %> <%props data.rows%>

作業 <%>~toInt(key) + 1 + ~toInt(prop.pageNow)%> <%:prop.title%>

<%if prop.rows.length > 0 %>
<%:~loadTmpl('homework-card2', prop.rows)%>
<%/if%>
<%if prop.rows.length > 0 && prop.total_page > 1%>

正在載入更多...

<%/if%>
<%/props%> <%/if%>
<%props data%>
<%if prop.type == 'image'%><%if prop.cover %>
<%:~isGif(prop.cover)%>
<%else%>
<%/if%><%else prop.type == 'pdf' %>
<%else prop.type == 'youtube' %>
<%else prop.type == 'ppt' %>
<%else prop.type == 'sound' %>
<%/if%>
<%if prop.visible == 1 %><%/if %>

<%:~formatDate(prop.create, 'YYYY-MM-DD')%>

<%:prop.title%>

<%:prop.user%>

<%if prop.isAuthor == true %>刪除編輯<%/if %>

<%:prop.comment_count%> 則討論

<%/props%>
<%props data%>

<%:prop.user%>

<%if prop.visible == 1 %><%/if %>
<%if prop.type == 'image'%><%if prop.cover %>
<%:~isGif(prop.cover)%>
<%else%>
<%/if%><%else prop.type == 'pdf' %>
<%else prop.type == 'youtube' %>
<%else prop.type == 'ppt' %>
<%else prop.type == 'sound' %>
<%/if%>

<%:~formatDate(prop.create, 'YYYY-MM-DD')%>

<%:prop.title%>

<%if prop.isAuthor == true %>刪除編輯<%/if %>

<%:prop.comment_count%> 則討論

<%/props%>

正在載入更多...

錄音 <%:~numToZH(sort + 1)%>

錄音 <%:~numToZH(sort + 1)%>

來關注最新的課程資訊吧！

這裡是專屬課程的公告區，老師將在此發佈與課程相關的重要資訊，你可以查看所有與課程有關的最新公告。

目前沒有任何公告唷

<%props data%>

<%:~formatDate(prop.publishDate, 'YYYY/MM/DD')%>

<%:prop.title%>

<%if ~root.isStudent === false && ~root.isTeacher === false && prop.permission === 'private' %>

本篇公告內容僅限定購課學員閱讀唷！

<%else%> <%:prop.content%> <%/if%>
<%/props%> <%if total_page > page + 1%>

正在載入更多...

<%/if%>