Search
網頁爬蟲合法嗎？
這是一個資料驅動的世界。採購和消費外部資料是許多企業的需要。不僅如此，利用公開可用的資料是許多企業生存和削弱競爭的唯一途徑。
雖然網頁爬蟲是解鎖網路資料的關鍵，但在 Web 爬蟲的合法性和道德性方面存在很多困惑和迷思。這篇文章旨在解決這些問題，並使這一主題更加清晰。它還介紹了你應該遵循的最佳做法，以及你應該尊重的法律和道德底線，以便在保持安全和合法的情況下，從網頁爬蟲中獲得最佳效果。
網頁爬蟲相關線上課程可參考 https://softnshare.com/tag/python-webscrap/
https://www.crawlnow.com/blog/is-web-scraping-legal
NT570 特價中
課程目標/學習目標：
1. 學習利用Python寫網路爬蟲、數據分析、資料預測走向、資料視覺化等程式與功能
2. 學習利用課堂中學習的Python程式解決經典問題，例如影像分析、分類與生存預測等
3. 學習利用資料科學解決現實問題
https://softnshare.com/ywfszkyr/
[疫情學習不中斷]應學員要求整理最近VBA與Python教學課程
因應疫情關係，上實體課慢慢變的很不容易，
所以特別應許多學員的的要求，整理最近上課的課程影片，
其實也算是非同步遠距學習，一次三四小時上課，就存在一個資料夾，
所以只要一次上完三小時，並練習完畢，就等於一周課程，
也提供完整講義和練習檔，講義可以是情況列印，
按照順序，逐一學習，效果顯著，
線上學習的優點是可以反覆重複觀看教學，尤其是比較困難程式解說，
另外，也提供雲端白板資料，可以讓學員複製程式碼，
確保程式的正確性，上課若有疑問，
也可以藉由EMAIL、FB或YOUTUBE下方留言等方式提問，
只要問題明確，幾乎會在第一時間回應。。
整理的目的，主要的目的時希望學習我的課的學員都能學會，
提升上課的品質，學員只需抽空重複聽講，
並不斷練習，再將所學反覆用在工作上，
成效良好，除了效率提高外，
自己的專業技能信心提高，工作自然勝任無虞，
對未來的職涯規劃也更有希望。
最新課程整理如下，2021/5/23更新
單光碟：
光碟01_EXCEL高階函數與樞紐分析基礎班(全球人壽內訓)
光碟02_EXCEL VBA與資料庫雲端設計(入門)(東吳推廣部114)
光碟03_EXCEL VBA與資料庫雲端設計(進階)(東吳推廣部110與112)
光碟04_EXCEL VBA金融數據之網路爬蟲實作(勞工大學)
光碟05_Python程式入門202101(自強SPYDER4版)
光碟06_Python基礎程式語言證照應用班(SPYDER4版)
光碟07_[初階]從VBA的自動化到PYTHON網路爬蟲應用 (自強)
光碟08_[進階]自強網頁資料擷取、分析與資料視覺化能力 (自強)
吳老師 2021/5/23
完整連結：
https://terry55wu.blogspot.com/2021/05/vbapython.html
從EXCEL VBA到Python金融數據之網路爬蟲實作第4次(零售市場行情批次下載&解決亂碼問題&批次下載上櫃股票行情VBA程式)
01_重點回顧與零售市場行情批次下載
02_下載個股日成交資訊與解決亂碼問題
03_批次下載上櫃股票行情VBA程式說明
04_批次另存新檔將10月份上櫃資料下載
05_批次新增工作表與重新命名
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 109/10/31
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
從EXCEL VBA到Python金融數據之網路爬蟲實作第4次(零售市場行情批次下載&解決亂碼問題&批次下載上櫃股票行情VBA程式)
01_重點回顧與零售市場行情批次下載
02_下載個股日成交資訊與解決亂碼問題
03_批次下載上櫃股票行情VBA程式說明
04_批次另存新檔將10月份上櫃資料下載
05_批次新增工作表與重新命名
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 109/10/31
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
從EXCEL VBA到Python金融數據之網路爬蟲實作第4次(零售市場行情批次下載&解決亂碼問題&批次下載上櫃股票行情VBA程式)
01_重點回顧與零售市場行情批次下載
02_下載個股日成交資訊與解決亂碼問題
03_批次下載上櫃股票行情VBA程式說明
04_批次另存新檔將10月份上櫃資料下載
05_批次新增工作表與重新命名
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 109/10/31
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
沒有效用的原因有很多，主要是因為這不是加密解密問題，單純只是編碼與解碼，所以非常容易破解。再者，可以使用 selenium 等網頁載入好再進行爬蟲的 ... ... <看更多>
請益python 爬蟲問題. 軟體工程師. 10月16日13:02. 各位好，抱歉打擾了，小弟我最近在學習爬蟲，因此都是先從網路上找範例來練習，昨天練習爬完ptt的文章後想來用dcard ... ... <看更多>
python爬蟲 問題 在 看板Python - [問題] 網頁爬蟲問題 - 批踢踢實業坊 的推薦與評價
大家好，小弟在用python抓網頁遇到點問題
有些網頁的內容是透過js宣染畫出來的
所以我使用chromedriver的headless方式去抓取
抓pchome的商品清單，我可以抓到資料，
輸出的商品清單.html裡可看到商品
可是商品明細頁卻無法，只看到像是基本的base from
我有爬過momo，yahoo，博客萊都有成功，就只有pchome會這樣
不曉得問題出在哪裡
請大大幫忙，謝謝
附上source code
https://github.com/godanimalsenso/PyWebTtest
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.143.183
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1533742845.A.B34.html
... <看更多>