第二階段課程已全數上傳,大家可以開始上課囉!

1. 正課皆已上架完成,所有教學影片中提到的網址,為方便同學點擊查看,我們整理在第一支影片附上的「講義」中,請搭配課程使用。下載方式請看 https://goo.gl/hYdxnK

2. 教材只限使用「電腦」下載,使用手機或平板則不支援下載功能。

3. 若對平台使用有其他問題,請直接參考以下的連結,有完整操作教學喔!〔YOTTA 平台使用常見問題

4. 正課字幕將陸續補上

完整爬蟲過程示範|以〔香港7-11官網〕為例:

註:此為老師示範爬蟲過程、並稍微講解,實際課程內容會將爬蟲每個步驟拆開詳細的教給你


過往學員推薦:


面對網路上每天排山倒海的訊息來源,根本不知道如何「自動、且系統化」的把這些資料蒐集下來,轉化成有價值的資訊,此時,你需要的就是爬蟲的技術!

網路爬蟲,就是幫你自動把目標網站中的特定欄位蒐集下來,再整理成易於分析的格式,讓你有機會透過大量資料的蒐集,看到別人只關注單一零散訊息看不到的黃金!

網路爬蟲最常被使用的情境就是訊息不斷更新,而且稍縱即逝的電商產業、社群網站、還有金融網站,若能透過爬蟲時時監控價格、關注社群變化,便能掌握別人不知道的訊息,享有資訊不對稱的商機!

木刻思,2014 年創立至今,深耕於資料科學的各相關領域,不論是對外開設各種資料分析實體課程,或是與國內外企業合作導入資料科學解決方案,是一群專注於運用數據,探索並解決問題本質的公司。我們專注於各種量化分析的技巧,並時常挑戰各種深不可測的問題。

不論在學習任何的事物時,「觀察直覺」 以及 「實作技術」 都是最重要的部份。只有深刻的直覺,才可以駕馭藝術般的實作技術;同樣的,也只有在透徹了解 「各種實作技術的缺點與限制」 時,才能在許多的碰撞與挫折的經驗中,淬煉出深刻的直覺與觀察力。

課程的設計重點不是在教程式語言,而是幫你歸類出實際撰寫爬蟲時,可能遇到的資料格式以及阻擋手法。讓你知道,碰到甚麼網站,用甚麼方式把資料爬下來,而且用你喜歡的語言!

尤其,後續的分析方法也會影響到語言的選擇,或許你已經知道如何用 Python 做文字分析,那你上完課就可以用 Python 爬新聞網站;或許你喜歡先用 R 做資料觀察,那就用 R 把資料抓下來處理。爬蟲基礎的所有技巧我們都會教,同時給您兩種語言選擇,一定跟市面上不一樣


1. 工作上需要蒐集資料者

2. 有志成為資料分析師者

3. 行銷經營、趨勢潮流追隨者

4. 資訊提供商

5. 對市場資訊敏感者

6. 小散戶、認真的賭徒們

1. 學會 R & Python 環境設定、資料分析基礎,以及爬蟲套件的使用
2. 能夠藉由觀察網站連線技巧判斷不同網站的阻擋方式並予以破解
3. 可以把抓下來的資料運用不同方式整理成易於分析的格式
4. 了解如何使用第三方 API 工具抓取想要的資料

分享此篇活動貼文領折價券,還可以解鎖小技巧喔

[此分享折價活動已完全結束,感謝大家熱情參與!]

〔參加貼文活動到這裡:https://goo.gl/LptVkX 〕

〔早鳥折價活動時間內,完成指定步驟即可領取折價券〕

12/07~12/11 完成購買|折1000元,可享 $1900 課程價 (限量50人,已使用完畢。)

12/12~12/17 完成購買|折700 元,可享 $2200 課程價 (限量50人,熱烈進行中!!)

12/18~12/24 完成購買|折500 元,可享 $2400 課程價 (限量50人,熱烈進行中!!)

12/25~01/06 完成購買|折300 元,可享 $2600 課程價 (活動已結束)

註:折價券金額會隨著期限變動,錯過購買時機恕不另外補償囉!

▶︎ 分享達 100 人,搶先釋出解鎖影片:探索AJAX網站小技巧

課程常見問題

Q1. 上課前,需要具備哪些能力嗎? 

不需要,只要你想快速蒐集網路上的海量資料,或是對資料分析有興趣,甚至只是想透過爬蟲學習程式語言,都很歡迎來上這堂課!

Q2. 上課前,我需要先準備什麼嗎?

可以先行安裝 R 或(和) Python,但如果不會或是不確定怎麼安裝,開課後,也可以跟著課程第一單元的教學一步步進行程式的安裝與設定喔!

Q3. 募資預購是什麼意思? 

以本堂課程為例,即日起至 1/22 為止,將會是預購優惠價 $2,900 元。

正式課程預計在 2018 / 02 / 12 (一) 上線!課程上線後,您就可以無限次數、地點、時間,在 YOTTA 平台上觀看本堂課程!

Q4. 募資預購時間到什麼時候? 

這堂課在 12/6 (四) ~ 1/22 (一) 開放課程募資預購,預購期間購課優惠 $2,900 元。 (1/23 起將恢復原價 $4,600 元)

Q5. 這門課什麼時候開始上課?

若募資成功後,我們預計第一批課程將於 2017/2/12 (一) 開始上課喔!  

Q6. 這門課可以看多久? 

購課後享不限次數、永久觀看,可以一直看一直學!  

Q7. 可以問老師問題嗎?

當然!歡迎到「購課問答」詢問 ; 當學習遇到問題時,也歡迎到「課程討論區」與老師同學一同互動。


購買相關問題

Q8. 我要如何購買課程呢?

非常的簡單!在你的右手邊有「立即購買」的字樣,點進去就可以囉!

Q9. 目前有哪些付款方式呢?

目前 YOTTA 提供三種付款方式: 

 a/ 信用卡付款 

 b/ 超商付款(7-11、全家、萊爾富、OK 即可繳費) 

 c/ ATM 轉帳

Q10. 為什麼我已經付款了,訂單狀態仍顯示未付款?

若您選擇「超商」或「ATM」方式付款,金流處理時間需要 1~3 個工作天, 等金流完成入帳後,您的「訂單狀態」將會轉為顯示「已付款」,需稍待幾天喔!

Q11. 請問什麼時候會收到發票?

當本堂課程募資結束後 10 天,電子發票將會透過 E-mail 方式寄送電子發票給您。

Q12. 看不到募資影片嗎?


單元

37

課程總長

949分鐘

課堂測驗

尚無測驗

  • 零、程式基礎
  • 1 R 環境設定 試看 40:09
  • 2 R 程式基礎_part1 試看 24:04
  • 3 R 程式基礎_part2 試看 19:21
  • 4 R 程式基礎_part3 試看 37:25
  • 5 Python 環境設定 試看 34:45
  • 6 Python 程式基礎_part1 試看 33:03
  • 7 Python 程式基礎_part2 試看 43:49
  • 一、爬蟲入門介紹
  • 8 甚麼是網路爬蟲?為何要寫網路爬蟲 試看 14:47
  • 9 開始寫網路爬蟲之前,要知道什麼是資料、如何定義資料 試看 20:53
  • 10 開始寫網路爬蟲之前,學會瀏覽網站、尋找資料 試看 09:57
  • 二、模仿遊戲—學會模仿你的瀏覽器
  • 11 瀏覽器如何呈現頁面?如何拿到資料? 試看 45:18
  • 12 學會使用Network Inspector觀察—善用Chrome小工具 試看 29:35
  • 13 資料躲貓貓—該去哪裡找資料? 試看 23:07
  • 14 資料躲貓貓— Ajax和 Page-Render 網頁的分辨 試看 29:39
  • 15 如何模仿GET? 試看 05:43
  • 16 如何用R & Python模仿瀏覽器? 試看 29:37
  • 三、資料躲貓貓—資料藏在哪裡?
  • 17 如何對應網站的阻擋 試看 15:21
  • 18 R & Python 阻擋技巧網站演練_part1 試看 21:42
  • 19 R & Python阻擋技巧網站演練_ part2 試看 34:26
  • 20 網址的秘密 試看 36:30
  • 21 如何發出 http POST|原理說明及 R & Python 實作 試看 39:09
  • 22 如何發出http POST|案例解析 試看 13:07
  • 23 如何利用 http POST 在留言板自動留言 試看 19:12
  • 四、網路爬蟲架構
  • 24 Connectors+Parsers+Data Storage 試看 08:36
  • 五、資料整理方法
  • 25 各種資料格式與整理方法說明 試看 35:50
  • 26 CSV Parser (解鎖課程內容) 試看 21:41
  • 27 Download File Parser (解鎖課程內容) 試看 08:02
  • 28 如何從網站表格抽取資料_HTML Table Selector 試看 34:33
  • 29 如何從HTML格式與XML格式中抽取對應位置的資料_XPATH Selector_Part 1 試看 40:26
  • 30 如何從HTML格式與XML格式中抽取對應位置的資料_XPATH Selector_Part 2 試看 24:36
  • 31 如何從HTML格式與XML格式中抽取對應位置的資料_CSS Selector 試看 29:10
  • 32 JSON Parser 試看 13:04
  • 六、解鎖更多爬蟲技巧
  • 33 爬蟲深入技巧1:FB Graph API——找出最喜歡按讚你的人 (已解鎖) 試看 38:15
  • 34 爬蟲深入技巧2:Excel Parser (已解鎖) 試看 09:54
  • 35 爬蟲深入技巧2:ZIP Parser (已解鎖) 試看 10:25
  • 36 爬蟲特殊技巧!!:Regular Expression Selector (已解鎖) 試看 53:46
  • 37 爬蟲暗黑祕技!!:Selenium (未成功解鎖) 試看  

開始分享你的學習成果吧!

這裡是專屬於課堂學員及老師可以互動的作業區,學員們可以透過實際操作來複習課程中所學習到的內容,作業完成後只要簡單上傳到平台裡,就能得到更多老師的指點唷!同時,在這裡也可以觀摩其他學員的成果,一起來互相切磋吧!

<%if list.length == 0 %>

尚無作業

老師還沒有出作業唷!

<%else%> <%props list%>

作業<%>~numToZH(~toInt(key) + 1)%>

<%if prop.type == 'image' %> 圖片檔 <%else prop.type == 'pdf' %> picture_as_pdfPDF <%else prop.type == 'youtube' %> Youtube 影片連結 <%else prop.type == 'ppt' %> PowerPoint <%else prop.type == 'sound' %> 錄音檔 <%/if %>

<%:prop.title%>

<%/props%> <%/if%>

作業觀摩

目前還沒有任何學員上傳作業喔!來當第一個吧~

<%props data%>

<%if prop.type == 'image' %> <%else prop.type == 'pdf' %> picture_as_pdf <%else prop.type == 'youtube' %> <%else prop.type == 'ppt' %> <%else prop.type == 'sound' %> <%/if %> 作業<%>~numToZH(~toInt(key) + 1)%> <%:prop.title%>

<%:~loadTmpl('homework-card', prop.rows)%>
<%/props%>
<%props data%>
<%if prop.type == 'image'%>
<%else prop.type == 'pdf' %>
picture_as_pdf
<%else prop.type == 'youtube' %>
<%else prop.type == 'ppt' %>
<%else prop.type == 'sound' %>
<%/if%>
<%if prop.visible == 1 %> <%/if %>

<%:~formatDate(prop.create, 'YYYY-MM-DD')%>

<%:prop.title%>

<%:prop.user%>

<%if prop.isAuthor == true %> 刪除 編輯 <%/if %>

<%:prop.comment_count%>

<%/props%>

錄音 <%:~numToZH(sort + 1)%>

錄音 <%:~numToZH(sort + 1)%>

來關注最新的課程資訊吧!

這裡是專屬課程的公告區,老師將在此發佈與課程相關的重要資訊,您可以在此看到所有與課程有關的最新公告。

尚無公告

老師還沒有發佈公告唷!

<%props data%>

<%:~formatDate(prop.publishDate, 'YYYY/MM/DD')%>

<%:prop.title%>

<%:prop.content%>
<%/props%>

回頂端