Pythonスクレイピングで取得件数が0件になる原因と対策｜robots.txt・待機時間の作法とRequests/Selenium【前編】

import requests
from bs4 import BeautifulSoup
import openpyxl
from datetime import datetime
import time

# 1. ターゲットURL
TARGET_URL = "https://py-vbalab.com/"

def get_blog_data():
    # 相手サーバー（自分のブログ）への負荷軽減
    time.sleep(3)
    
    try:
        response = requests.get(TARGET_URL)
        response.encoding = response.apparent_encoding # 文字化け防止
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 記事カードの塊を特定（WordPressなどの一般的な構造を想定）
        # ※実際のHTML構造に合わせて 'entry-card' 等のクラス名は調整が必要な場合があります
        articles = soup.find_all('div', class_='entry-card-content') 
        print(f"取得できた記事数: {len(articles)}")
        
        data_list = []
        for article in articles:
            # タイトルの取得
            title_tag = article.find('h2')
            title = title_tag.text.strip() if title_tag else "タイトルなし"
            
            # URLの取得
            link_tag = article.find('a')
            url = link_tag['href'] if link_tag else "URLなし"
            
            # 投稿日の取得（timeタグや特定クラスのspanを想定）
            date_tag = article.find('span', class_='post-date')
            date_text = date_tag.text.strip() if date_tag else "日付不明"
            
            data_list.append([date_text, title, url])
            
        return data_list

    except Exception as e:
        print(f"エラーが発生しました: {e}")
        return []

def save_to_excel(data):
    # Excel新規作成
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.title = "記事リスト"
    
    # ヘッダー
    ws.append(["投稿日", "記事タイトル", "URL"])
    
    # データの書き込み
    for row in data:
        ws.append(row)
    
    # ファイル名に実行日時を付けて保存
    file_name = f"BlogList_{datetime.now().strftime('%Y%m%d_%H%M')}.xlsx"
    wb.save(file_name)
    print(f"✅ Excelファイル '{file_name}' を作成しました！")

# 実行
if __name__ == "__main__":
    print("データ取得中...")
    blog_data = get_blog_data()
    if blog_data:
        save_to_excel(blog_data)
    else:
        print("データが取得できませんでした。HTML構造を確認してください。")

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time

options = Options()
driver = webdriver.Chrome(options=options)

try:
    print("ブラウザを起動してアクセス中...")
    driver.get("https://py-vbalab.com/")
    
    # 読み込み待ち（10秒くらい余裕を持たせてみる）
    time.sleep(8) 

    # --- 修正ポイント：複数の探し方を試す ---
    print("要素を探しています...")
    
    # 案A: SWELLの標準的なタイトルクラス
    elements = driver.find_elements(By.CSS_SELECTOR, ".p-postList__title")
    
    # 案B: もしAがダメなら、記事カード内のh2を全部取る
    if len(elements) == 0:
        elements = driver.find_elements(By.CSS_SELECTOR, "h2.post_title, .c-postitem__title, .p-postList__item h2")

    print(f"取得できた記事数: {len(elements)}")

    for i, el in enumerate(elements):
        # 画面に映っていないとテキストが取れない場合があるので、取得方法を工夫
        title = el.get_attribute("textContent").strip()
        print(f"{i+1}: {title}")

finally:
    print("3秒後に終了します...")
    time.sleep(3)
    driver.quit()