SeleniumやスクレイピングでWebページを自動操作するとき、最初の関門になるのが「狙った要素をどう指定するか」です、ボタンを押す・文字を入力する・値を読み取る、どれも先にその要素を特定することから始まります

そのときの「住所」にあたるのがCSSセレクタです、ページの中の「ここの要素」を文字列で言い当てるための書き方で、これが書けると自動化はぐっとラクになります

CSSセレクタというとWebデザイン(見た目をつける)の文脈で出てくることが多いんですが、この記事では自動化で要素を狙う視点に絞ってまとめます、同じセレクタでも、デザインで便利な書き方と自動化で効く書き方は少しズレるので、そのあたりも整理していきます

使用例はPython版のSeleniumで書きますが、セレクタの構文そのものは言語やツールに依存しません、VBA版のSeleniumでも、BeautifulSoupのようなスクレイピングでも、UiPathやPower Automate DesktopといったRPAツールでも、Web要素を指す手段としてCSSセレクタが使えます、Pythonを使っていない方も、セレクタの部分はそのまま読み替えられます

実際にブラウザを動かす操作コード(クリックや入力、待機、ループなど)は言語ごとの記事にまとめているので、この記事は「セレクタの書き方そのもの」に集中します、たとえばSeleniumVBAでの実装なら「SeleniumVBAの使い方 実践コード集」にあります

デザイン用のCSSと、自動化のセレクタは何が違う？

セレクタの具体的な書き方に入る前に、まずここを押さえておくと迷いません、同じCSSセレクタでも、見た目をつける(デザイン)目的と、要素を特定する(自動化)目的では、効くものと効かないものが違うんです

大きく分けると、違いは次の4つです

違い1 状態・装飾むけの擬似クラス・擬似要素は要素特定に効かない

デザインでよく使う ::before や ::after(擬似要素)は、自動化では使えません、これは見た目の上では存在しても、DOM(ページの構造)には実体のノードが無いからです

大事なのは、これがエラーになるのではなく常に「空」が返るという点です、MDNにも、擬似要素を含むセレクタは返り値が常に空になると明記されています、つまり「見つからない」のではなく「最初から取れない」ので、原因に気づきにくいハマりどころです

同じく :hover / :focus / :active のような操作状態の擬似クラスも、自動化での要素特定にはほぼ使えません、構文としては有効ですが、「その瞬間その状態の要素」しか返さないので、静的に要素を狙う用途には向かないんです、フォーカス中の要素が必要なら、セレクタではなく activeElement を使うのが定石になります

違い2 判定基準は「見た目に効くか」ではなく「querySelectorAllが解釈できるか」

ここが一番のキモです、自動化で使えるセレクタかどうかの判定基準は、そのセレクタをブラウザの querySelectorAll が解釈できるかどうかです

というのも、SeleniumでCSSセレクタ指定(By.CssSelector)を使うと、内部ではブラウザの querySelectorAll が呼ばれます、これはW3CのWebDriver仕様で定義されている動きです、要素1つを取る指定は先頭の1件、複数取る指定は当てはまる全件が返ります

つまり、querySelectorが解釈できるセレクタ＝Seleniumで使えるセレクタと考えてOKです、ブラウザのDevToolsのコンソールで document.querySelectorAll(“セレクタ”) を試して、ちゃんと要素が返ればSeleniumでも同じく使えます、これは自分でセレクタを検証するときにも役立つ考え方です

違い3 「中の文字」では選べない

自動化だと「『送信』と書かれたボタンを押したい」のように、表示テキストで要素を狙いたい場面がよくあります、ところがCSSセレクタには、これがありません

:contains() という書き方を見かけることがありますが、これはjQuery独自の非標準セレクタです、ブラウザの querySelectorAll に渡すとエラー(SyntaxError)になるので、Seleniumでも使えません

テキストの中身で要素を選びたいときは、CSSではなくXPathの出番です、XPathなら text() や contains() が使えて、たとえば //button[contains(., ‘送信’)] のように「『送信』を含むボタン」を狙えます、このあたりの実装は実践コード集の方でも触れているので、後ほどリンクします

違い4 「壊れにくさ」という評価軸が増える

デザイン用のCSSは、自分のサイトのHTMLに対して書くので、構造が変われば自分でセレクタも直せます、ところが自動化は他人のサイト(自分で変えられないHTML)を相手にすることが多いです

すると、そのセレクタが「ページの作りが少し変わっても壊れにくいか」という、装飾CSSには無かった評価軸が出てきます、同じ要素を狙うのにも、壊れにくい書き方と壊れやすい書き方があって、自動化では前者を選ぶ意識が要ります、この観点は後半のTipsでも具体的に見ていきます

基本のセレクタ(id・class・タグ)

まずは土台になる基本のセレクタからです、ここは自動化でもデザインでも共通で、一番よく使うところです

ポイントになるのが、下2つの組み合わせです、.btn.primary のようにクラスをくっつけて書くと「両方のクラスを持つ要素」を狙えます(AND)、間にスペースを入れないのがコツで、スペースを入れると意味が変わるので注意です

逆にカンマで区切ると「どちらかに当てはまる要素」をまとめて取れます(OR)、複数種類のボタンをいっぺんに集めたいときなどに便利です

Python版のSeleniumだと、こんな感じで指定します、find_element の第2引数に、上のセレクタ文字列をそのまま渡すだけです

from selenium.webdriver.common.by import By

# id が search の要素を探す
driver.find_element(By.CSS_SELECTOR, "#search")

# class が btn かつ primary の要素(両方のクラスを持つもの)
driver.find_element(By.CSS_SELECTOR, ".btn.primary")

# input タグを全部取る(find_elements は複数形・リストで返る)
driver.find_elements(By.CSS_SELECTOR, "input")

セレクタの文字列が同じなら、VBA版のSeleniumでも考え方は同じです、VBAなら driver.FindElement(By.CssSelector, “#search”) のようにメソッド名や書き方は変わりますが、渡すセレクタ文字列(#search)はまったく同じものを使えます

属性セレクタ(動的id・class対策の主役)

ここからが、自動化でとくに頼りになるセレクタです、属性セレクタは、要素が持つ属性(name・type・href・id・classなど)を手がかりに要素を狙う書き方です

このうち、自動化でとくに重宝するのが前方一致(^=)・後方一致($=)・部分一致(*=)の3つです、なぜかというと、最近のサイトは id=”btn-8f3a2″ のように、毎回ランダムに変わるid・classを持っていることが多いからです

こういう「変わる部分」を完全一致で書くと、ページを開き直すたびに壊れます、そこで、変わらない部分だけを前方一致や部分一致で拾うと安定します、たとえば btn- の部分が固定なら、後ろのランダム文字は無視して [id^=’btn-‘] で狙う、という具合です

# name 属性が q の要素(完全一致)
driver.find_element(By.CSS_SELECTOR, "[name='q']")

# id が btn- で始まる要素(後ろがランダムでもOK・前方一致)
driver.find_element(By.CSS_SELECTOR, "[id^='btn-']")

# class に primary を含む要素(部分一致)
driver.find_element(By.CSS_SELECTOR, "[class*='primary']")

# href が .pdf で終わるリンクを全部取る(後方一致)
driver.find_elements(By.CSS_SELECTOR, "[href$='.pdf']")

ちなみに、値の大文字・小文字を無視したいときは、閉じカッコの直前に i を付けます、[type=’text’ i] のように書くと、TEXT でも Text でもマッチします、地味ですが、サイトによって表記がそろっていないときに効きます

結合子(子孫・直下・隣接・一般兄弟)

セレクタ同士をつないで「位置関係」で絞り込むのが結合子です、似た要素がたくさんあるページで、狙った1つに寄せるときに効いてきます

このうち、子孫(スペース)と直下の子(>)は基本でよく使うので、ここでは軽めにいきます、ざっくり言うと、スペースは「ずっと下まで含めて探す」、> は「すぐ下の階層だけに限定する」です

むしろ覚えておきたいのが、後半の2つ、隣接兄弟(+)と一般兄弟(~)です、これは「ある要素の横(同じ親の中の並び)」を狙う書き方で、フォームのラベルと入力欄のような「隣り合った要素」を取るときに便利です

+ は「直後の兄弟1つだけ」、~ は「後ろに続く兄弟すべて」を指します、たとえば「label のすぐ後ろの input」を狙うなら label + input、「ある見出しより後ろにある段落を全部」なら h2 ~ p という具合です

# .list の中にある .item をすべて(子孫・何段下でもよい)
driver.find_elements(By.CSS_SELECTOR, ".list .item")

# .list のすぐ下の .item だけ(直下の子)
driver.find_elements(By.CSS_SELECTOR, ".list > .item")

# label の直後にある input(隣接兄弟・1つだけ)
driver.find_element(By.CSS_SELECTOR, "label + input")

# .title より後ろに並ぶ .row をすべて(一般兄弟)
driver.find_elements(By.CSS_SELECTOR, ".title ~ .row")

位置・除外で狙う(:nth-child・:not とFindElements+indexの使い分け)

「上から何番目」や「これは除く」という狙い方もあります、構造系の擬似クラスと呼ばれるもので、自動化でも普通に使えます、ただ、ここはSeleniumならではの選択肢もあるので、その使い分けまで含めて見ていきます

除外できる :not() はCSSの強み

まず、自動化でも素直に役立つのが :not() です、これは「カッコ内のセレクタに当てはまらないもの」を狙う書き方で、「○○以外」をセレクタ1本で表現できます

たとえば input:not([disabled]) と書くと、「無効化されていない入力欄だけ」を取れます、押せないボタンや入力できない欄を最初から除けるので、自動化のエラー回避にそのまま効きます、これはVBA側でループして弾く手間が省けるので、CSSセレクタならではの便利さです

# 無効化(disabled)されていない input だけを取る
driver.find_elements(By.CSS_SELECTOR, "input:not([disabled])")

:nth-child は「使えるけど、集めてループでも同じ」

「上から○番目の要素」を狙うのが :nth-child(n) です、ほかにも :first-child(最初)、:last-child(最後)、:nth-of-type(n)(同じタグの中で○番目)があります

これらは確かに使えるんですが、自動化ではFindElements で全部集めてから、index(番号)やループで取り出しても同じことができます、どちらが正解というより、両方できると知っておくのが良いです

# 方法A セレクタで「2番目の li」を直接狙う
driver.find_element(By.CSS_SELECTOR, "li:nth-child(2)")

# 方法B 全部集めてから index で2番目を取る(リストは0始まりなので [1] が2番目)
els = driver.find_elements(By.CSS_SELECTOR, "li")
print(els[1].text)   # [0]が1番目、[1]が2番目

むしろ :nth-child には、知らないとハマるクセがあります、これは「すべての兄弟をひっくるめて数えた○番目」を見るので、たとえば li:nth-child(2) は「2番目の子が li ならそれ」という意味です、もし li の前に別のタグが混じっていると、番号がズレて狙いが外れます

「同じ種類のタグの中での○番目」が欲しいなら、:nth-of-type の方が直感に近いです、ただ、このあたりの数え方の混乱もあって、自動化ではFindElements で集めてindexやループで取り出す方が、結果が読めて安全な場面が多いと感じます、番号がズレる心配がなく、コードを見ても何番目を取っているかが分かりやすいからです

ついでに、CSSで「親に近いこと」をやりたいなら :has() という擬似クラスもあります、div:has(> img) で「imgを直下に持つdiv」のように、中身を条件にして親側を狙えます、ただし:has() は比較的新しい機能(Chrome・Edgeは105、Safariは15.4、Firefoxは121以降)なので、古いブラウザを自動操作する場合は注意してください

自動化での実践Tips

最後に、セレクタを実際に書くときに効いてくるコツを、いくつかまとめておきます、ここを意識すると、壊れにくくて読みやすいセレクタが書けるようになります

一意に絞るコツ … 属性やclassを組み合わせる

狙った1つに絞れないときは、条件を足して組み合わせるのが基本です、タグ＋属性、class＋属性、親の中の子…と重ねていくと、似た要素の中から目的のものを言い当てられます

# タグ + 属性 + 親で絞り込む(検索フォームの中の送信ボタンなど)
driver.find_element(By.CSS_SELECTOR, "form.search button[type='submit']")

動的id・classは部分一致で逃がす

さっきの属性セレクタの章ともつながりますが、毎回変わるid・classを相手にするときは、完全一致を避けて前方一致・部分一致で「変わらない部分」だけを拾います、これは動的なページを自動操作するときの定番テクニックです

DevToolsの「Copy selector」は鵜呑みにしない

ブラウザのDevToolsには、要素を右クリックして「Copy selector」でセレクタをコピーできる機能があります、便利なんですが、出てくるのは body からの長い nth-child パスになりがちで、これがけっこう脆いんです

こういう「上から数えていく」パスは、ページの作りがちょっと変わるだけで簡単に壊れます、なので、コピーしたものをそのまま使うより、ユニークなidやclassを見つけて手で書き直す方が、ずっと壊れにくいセレクタになります、Copy selectorは「とっかかり」くらいに考えておくのがちょうどいいです

テキスト・親方向で狙うときはXPath

ここまで見てきたとおり、CSSセレクタには2つだけ苦手があります、表示テキストで選ぶことと、子から親へ遡ることです、この2つはXPathの担当だと割り切ると、迷わなくなります

テキストで探す書き方(全要素を集めてループで文字一致を見る方法)や、親へ遡る “..” の使い方は、「SeleniumVBAの使い方 実践コード集」でVBA版の実際のコード付きで紹介しています、CSSで狙えるところはCSSで、苦手なところだけXPathで、と分担させるのが組みやすいです

まとめ

自動化で要素を狙うCSSセレクタの書き方を、ひととおり整理してみました、最後にポイントをまとめておきます

• 自動化で使えるセレクタかどうかは「querySelectorAllが解釈できるか」が判定基準、::before などの擬似要素は常に空が返る、:contains() は非標準で使えない
• 基本は #id / .class / タグ、複数クラスのANDは .a.b、ORは カンマ区切りで書ける
• 毎回変わるid・class対策には、属性の前方一致(^=)・部分一致(*=)が主役、結合子は子孫(スペース)・直下(>)・隣接兄弟(+)・一般兄弟(~)
• 「○○以外」は :not()、位置で狙う :nth-child は使えるが番号のズレに注意、FindElements で集めてindex・ループの方が安全な場面も多い
• DevToolsの Copy selector は脆いので手で書き直す、テキスト・親方向はXPathに任せる

セレクタの書き方そのものは、ここまでの内容でだいたいカバーできます、あとは実際にブラウザを動かすコード(クリック・入力・待機・ループなど)と組み合わせるだけです、SeleniumVBAでの実装は「SeleniumVBAの使い方 実践コード集」に、導入から知りたい方は「Excelでもブラウザ操作！SeleniumVBAの使い方」にまとめてあります

Python版で「結局どのByを使えばいいの？」というところは「Seleniumのfind_elementの使い方」が、要素が出てくるまで待つ書き方は「Selenium WebDriverWaitの使い方」が参考になります、Chromeの起動オプションまわりは「SeleniumのOptionsとServiceまとめ」も合わせてどうぞ

セレクタが書けるようになると、自動化でできることが一気に広がります、まずは身近なページで、DevToolsの document.querySelectorAll() を使ってセレクタを試してみるところから始めてみてください

Python自動化の独学に効く本PR

退屈なことはPythonにやらせよう 第3版

Al Sweigart

Amazonで見る楽天で見る

Pythonクローリング&スクレイピング 増補改訂版

加藤耕太

Amazonで見る楽天で見る

シゴトがはかどる Python自動処理の教科書

クジラ飛行机

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

SeleniumVBAを入れてみたものの、「で、実際にやりたい操作はどう書くの？」というところで止まっていませんか？

導入と基本の流れは前の記事「Excelでもブラウザ操作！SeleniumVBAの使い方」で書いたので、この記事は実際に書くコードに集中した実践編です、導入はそちらで済んでいる前提で進めます

クリックや入力、待機、要素の存在チェック、プルダウン、複数要素のループ、スクショ、JavaScript実行…と、ブラウザ自動化で「結局これ毎回書くよね」というコードをまとめました、私が普段よく使う書き方をベースにしているので、コピペして手を入れながら使ってもらえればと思います

最初に一番だいじな「要素の探し方」から見ていきます、ここを By.CssSelector に寄せておくと、あとがぐっとラクになります

要素の探し方は By.CssSelector に寄せる

SeleniumVBAで要素を探すときは FindElement(By.X, “値”) という形で書きます、この By には id・class・name・タグ名・CSSセレクタ・XPath…と何種類か指定できるんですが、初心者のうちは全部覚えようとしなくて大丈夫です

個人的なおすすめは、基本は By.CssSelector ひとつに寄せるやり方です、CSSセレクタはWeb制作でも使う書き方で、id・class・属性・子孫…とだいたいの探し方をこれ1本でカバーできます、覚えることが減るぶん、つまずきにくくなります

「探したいもの」と「CSSセレクタの書き方」を対応表にするとこんな感じです

そして、これらをスペース(子孫)や「>」(直下の子)でつなげられるのがCSSセレクタの強みです、階層をたどって狙った要素をピンポイントに指定できるので、似た要素がたくさんあるページほどここが効いてきます

属性での絞り込み([id^=]など)や :not・:nth-child といったCSSセレクタ自体の書き方は、別記事「CSSセレクタの書き方 自動化で要素を狙う指定方法」に詳しくまとめたので、狙った要素がうまく取れないときはこちらもどうぞ

たとえば id が “search” の検索ボックスを探すなら、こう書けます、By.Name や By.ID を使い分けなくても、CSSセレクタの書き方を変えるだけで済むのがラクなところです

' id が search の要素を探す
Dim el As WebElement
Set el = driver.FindElement(By.CssSelector, "#search")

' name 属性が q の要素を探す(Googleの検索ボックスなど)
Set el = driver.FindElement(By.CssSelector, "[name='q']")

ちなみに FindElementByCssSelector(“#search”) のように、Byを書かずに呼べるショートカットのメソッドも用意されています、どちらでも結果は同じなので、書きやすい方で大丈夫です

CSSで足りないとき … テキスト検索はループ、親だけXPath

正直に書いておくと、CSSセレクタは「要素の中の文字で探す」のと「子から親へさかのぼる」のが苦手です、SeleniumVBAには By.LinkText や By.XPath もあるので手っ取り早くはそれを使えばいいんですが、By.CssSelectorに寄せ切りたいなら、テキスト検索は独自functionで再現できます

考え方はシンプルで、CSSで候補を集めて、VBAでループしながらtext一致を探すだけです、まずはリンクを表示文字で探す関数、全aタグを集めてループするので、これで By.LinkText の代わりになります

' リンクを表示文字で探す(全aタグをループしてtext一致・LinkTextの代わり)
Public Function FindLinkByText(driver As WebDriver, ByVal keyword As String) As WebElement
    Dim els As WebElements, el As WebElement
    Set els = driver.FindElements(By.CssSelector, "a")
    For Each el In els
        If InStr(el.GetText, keyword) > 0 Then
            Set FindLinkByText = el
            Exit Function
        End If
    Next el
    Set FindLinkByText = Nothing   ' 見つからなければ Nothing
End Function

同じ考え方を、リンク以外の要素にも広げたのがこちらです、探す範囲のCSSセレクタとキーワードを渡すと、その中からtext一致の要素を返します、「送信」という文字のボタンのような、By.XPath でやりがちなテキスト検索を、CSSとループだけで書けます

' 指定CSSの要素をループして表示文字で探す(XPathを使わずtext一致)
Public Function FindByText(driver As WebDriver, ByVal cssSel As String, _
                           ByVal keyword As String) As WebElement
    Dim els As WebElements, el As WebElement
    Set els = driver.FindElements(By.CssSelector, cssSel)
    For Each el In els
        If InStr(el.GetText, keyword) > 0 Then
            Set FindByText = el
            Exit Function
        End If
    Next el
    Set FindByText = Nothing
End Function

' 使い方(button の中からテキスト「送信」を探す)
' FindByText(driver, "button", "送信").Click

これで、リンク文字もテキスト一致も By.CssSelector ＋ループで書けるので、覚える By を増やさずに済みます

そして、CSSでもループでも唯一どうにもならないのが、子から親へさかのぼる逆引きです、CSSは子孫しか選べないので、ここだけは By.XPath の “..”(親を表す書き方)を使います

' 見つけた要素から親をたどる(CSSでは無理・XPathの ".." を使う)
Dim child As WebElement, parent As WebElement
Set child = driver.FindElement(By.CssSelector, "#price")

' その要素を起点に ".." で親要素を取る
Set parent = child.FindElement(By.XPath, "..")

よく使う操作コード集

ここからは、見つけた要素に対して「何をするか」のコードをまとめていきます、どれも前の記事の基本コード(StartChrome → OpenBrowser → NavigateTo でページを開いたあと)の流れの中で使う想定です

クリックする・文字を入力する

クリックは Click、文字入力は SendKeys です、入力欄に元から入っている文字を消したいときは、SendKeys の clearBeforeTyping を True にするか、先に Clear を呼びます

' ボタンをクリック
driver.FindElement(By.CssSelector, ".btn-search").Click

' 入力欄に文字を打ち込む
driver.FindElement(By.CssSelector, "[name='q']").SendKeys "SeleniumVBA"

' 元の文字を消してから入力(clearBeforeTyping)
driver.FindElement(By.CssSelector, "#keyword").SendKeys "新しい値", clearBeforeTyping:=True

' 入力欄を空にするだけ
driver.FindElement(By.CssSelector, "#keyword").Clear

' フォームを送信する
driver.FindElement(By.CssSelector, "#keyword").Submit

テキスト・属性・CSSを取り出す

表示テキストを取るのは GetText、リンク先(href)などの属性は GetAttribute、文字色などの見た目は GetCSSProperty で取れます、メソッド名を間違えやすいところなので、ここはまとめて覚えておくと安心です

Dim el As WebElement
Set el = driver.FindElement(By.CssSelector, "#title")

' 表示テキストを取る
Debug.Print el.GetText

' 属性を取る(リンク先の href など)
Debug.Print el.GetAttribute("href")

' 見た目のCSS値を取る(文字色など)
Debug.Print el.GetCSSProperty("color")

' 中のHTMLやタグ名を取りたいとき
Debug.Print el.GetInnerHTML
Debug.Print el.GetTagName

' 表示・有効・選択の状態を真偽値で取れる
Debug.Print el.IsDisplayed
Debug.Print el.IsEnabled
Debug.Print el.IsSelected

待機する(ImplicitMaxWait が基本)

ブラウザ自動化でハマりやすいのが「要素がまだ表示されていないのに探しにいって失敗する」パターンです、対策の基本が ImplicitMaxWait です

これを設定しておくと、以降の FindElement が、要素が出てくるまで自動でリトライしながら待ってくれます、ページ表示がもたつくサイトでも、これだけでだいぶ安定します

' 以降の FindElement は、最大10秒まで要素を待つ(ミリ秒指定)
driver.ImplicitMaxWait = 10000

' 単純にその場で止めたいだけなら Wait(ミリ秒)
driver.Wait 1000   ' 1秒待つ

ImplicitMaxWait は「要素が出るまで待つ賢い待機」、Wait は「とにかく指定ミリ秒止まる」だけのシンプルな待機です、基本は ImplicitMaxWait を最初に1回セットしておき、どうしても固定で待ちたい場面だけ Wait を足す、という使い分けがおすすめです

要素があるか確認する(IsPresent)

覚えておきたいのが、FindElement は要素が見つからないとエラーになる、という点です、なので「あるかどうか分からない要素」を相手にするときは、いきなり FindElement しないほうが安全です

そこで使うのが IsPresent です、これは要素があるかどうかを True / False で返してくれるので、エラーで止まらずに分岐できます、第3引数で「この要素は最大何ミリ秒待つか」も指定できます

' 要素があるかを True / False で確認する
If driver.IsPresent(By.CssSelector, ".alert") Then
    Debug.Print "アラートが出ています"
End If

' 待ち時間を指定しつつ、見つかった要素を受け取る
Dim el As WebElement
If driver.IsPresent(By.CssSelector, "#result", 5000, , el) Then
    Debug.Print el.GetText   ' 見つかったときだけ使う
End If

最後の引数に ByRef で変数を渡すと、見つかった要素をそのまま受け取れます、「あるか確認 → あれば使う」を1回で書けるので、地味に便利です

プルダウン(select)を選ぶ

プルダウン(select要素)は、専用のメソッドで選べます、表示文字で選ぶ SelectByVisibleText、値で選ぶ SelectByValue、順番で選ぶ SelectByIndex の3つを覚えておけば十分です

Dim sel As WebElement
Set sel = driver.FindElement(By.CssSelector, "#prefecture")

' 表示されている文字で選ぶ
sel.SelectByVisibleText "東京都"

' value 属性の値で選ぶ
sel.SelectByValue "13"

' 上から数えた順番で選ぶ(0始まり)
sel.SelectByIndex 0

複数の要素をまとめて取る・ループする

1つではなく、条件に合う要素を全部取りたいときは FindElements(複数形)を使います、これは要素のコレクションを返すので、For Each でぐるっと回せます、一覧ページから値をまとめて拾うときの定番です

Dim els As WebElements
Dim el As WebElement

' class="item" の要素を全部取る
Set els = driver.FindElements(By.CssSelector, ".item")

For Each el In els
    Debug.Print el.GetText
Next el

表をまるごとExcelに取り込む

VBAでブラウザを動かす一番のうまみが、取ってきた値をそのままExcelに書き出せることです、ページの表(table要素)なら、TableToArray で2次元配列にできるので、シートへの貼り付けがかなりラクになります

' ページの表を2次元配列にして、シートに一気に貼る
Dim tbl As WebElement
Set tbl = driver.FindElement(By.CssSelector, "table#data")

Dim arr As Variant
arr = tbl.TableToArray

Range("A1").Resize(UBound(arr, 1) + 1, UBound(arr, 2) + 1).Value = arr

' 1セルずつ書きたいときは For Each で
Dim els As WebElements, el As WebElement, r As Long
Set els = driver.FindElements(By.CssSelector, ".price")
r = 1
For Each el In els
    Cells(r, 1).Value = el.GetText
    r = r + 1
Next el

逆に、Excelの一覧を読みながらページを順に開く、という回し方もできます、A列に並べたURLやIDを For で回して、そのつど NavigateTo でページを開けば、Excel主導のブラウザ自動化が組めます

スクリーンショットを撮る

画面の証跡を残したいときは SaveScreenshot です、ページ全体・特定の要素だけ・縦に長いページの全体…と撮り分けられます

' 表示中の画面を保存
driver.SaveScreenshot "C:\temp\shot.png"

' 縦に長いページ全体を保存(fullScreenShot)
driver.SaveScreenshot "C:\temp\full.png", , fullScreenShot:=True

' 特定の要素だけ保存
Dim el As WebElement
Set el = driver.FindElement(By.CssSelector, "#chart")
el.SaveScreenshot "C:\temp\chart.png"

iframe・タブを切り替える

ページの中に別ページが埋め込まれている iframe の中身は、そのままだと操作できません、SwitchToFrame で中に入って、終わったら SwitchToDefaultContent で元に戻ります

' iframe の中に入る
Dim frame As WebElement
Set frame = driver.FindElement(By.CssSelector, "iframe#content")
driver.SwitchToFrame frame

' iframe 内の要素を操作したあと、元のページに戻る
driver.SwitchToDefaultContent

タブやウィンドウの切り替えは Windows 経由で行います、タイトルやURLで目的のタブに移ったり、新しいタブを開いたりできます

' タイトルやURLで目的のタブへ切り替える
driver.Windows.SwitchToByTitle "注文一覧"
driver.Windows.SwitchToByUrl "https://example.com/orders"

' 次のタブへ・新しいタブを開く
driver.Windows.SwitchToNext
driver.Windows.SwitchToNew windowType:=svbaTab

JavaScriptを実行する・スクロールする

標準のメソッドだけだと届かない操作は、ExecuteScript でJavaScriptを直接走らせて片付けられます、戻り値も受け取れるので、ちょっとした計算やページ内の値取得にも使えます

JS側では、VBAから渡した引数を arguments[0] の形で受け取れます、よく使うのは「目的の要素まで画面をスクロールする」用途です

' JSを実行して戻り値を受け取る(5 * 10 = 50)
Dim ret As Variant
ret = driver.ExecuteScript("return arguments[0]*arguments[1];", 5, 10)
Debug.Print ret

' 指定した要素までスクロールする
Dim el As WebElement
Set el = driver.FindElement(By.CssSelector, "#footer")
driver.ExecuteScript "arguments[0].scrollIntoView(true);", el

' 画面を下に1000pxスクロールする
driver.ExecuteScript "window.scrollBy(0,1000);"

エンターキーなどの特殊キーを送る

検索ボックスに文字を打って、そのままエンターで検索したい…というのもよくあります、特殊キーは WebKeyboard を用意して、SendKeys の文字とつなげて送ります

Dim k As New WebKeyboard
Dim box As WebElement
Set box = driver.FindElement(By.CssSelector, "[name='q']")

' 検索語を打ってエンターキーで送信
box.SendKeys "SeleniumVBA" & k.ReturnKey

' Ctrl + A で入力欄を全選択する
box.SendKeys k.Chord(k.CtrlKey, "a")

ヘッドレス・起動オプションを付ける

画面を出さずに裏で動かす(ヘッドレス)や、起動時のオプションを足したいときは、StartChrome のあとに CreateCapabilities で設定オブジェクトを作って、OpenBrowser に渡します

Dim driver As New WebDriver
driver.StartChrome

Dim caps As WebCapabilities
Set caps = driver.CreateCapabilities

' 画面を出さずに動かす(ヘッドレス)
caps.RunInvisible

' 起動オプションを足す
caps.AddArguments "--start-maximized"

' ダウンロード先と確認ダイアログの設定
caps.SetDownloadPrefs downloadFolderPath:="C:\dl\", promptForDownload:=False

' 設定を渡してブラウザを開く
driver.OpenBrowser caps

ヘッドレスにすると画面が出ないぶん動作が軽くなるので、定期実行や大量処理のときに向いています、ただ動作確認のうちは、画面を出したまま挙動を見ながら作るほうが安心です

便利なヘルパー関数を用意しておく

同じような書き方を毎回くり返すなら、自分用の小さな関数(ヘルパー)にまとめておくと、コードがぐっと読みやすくなります、ここでは私がよく使うものを紹介します、どれも検証済みのメソッドだけで組んでいるので、そのままコピペして使えます

TryFind … 無ければ Nothing を返す(エラーを出さない)

さっき書いたとおり FindElement は要素が無いとエラーになります、TryFind は IsPresent を使って、見つかれば要素を、無ければ Nothing を返します、「あるかどうか分からない要素」を扱うときの土台になります

' 存在チェック付き取得(無ければNothing・エラーを出さない)
Public Function TryFind(driver As WebDriver, ByVal sel As String, _
                        Optional ByVal waitMS As Long = 3000) As WebElement
    Dim el As WebElement
    If driver.IsPresent(By.CssSelector, sel, waitMS, , el) Then
        Set TryFind = el
    Else
        Set TryFind = Nothing
    End If
End Function

WaitFor … 出るまで待って、ダメなら明示エラー

WaitFor は逆に、「この要素は確実に出るはず」という場面用です、時間内に出れば返し、出なければ「何のセレクタで失敗したか」が分かるエラーを出します、原因が分からないまま止まるより、メッセージが残るぶんデバッグがラクになります

' 要素が出るまで待って取得(ダメなら明示エラー)
Public Function WaitFor(driver As WebDriver, ByVal sel As String, _
                        Optional ByVal timeoutMS As Long = 10000) As WebElement
    Dim el As WebElement
    If driver.IsPresent(By.CssSelector, sel, timeoutMS, , el) Then
        Set WaitFor = el
    Else
        Err.Raise vbObjectError + 513, , "要素が見つかりません: " & sel
    End If
End Function

Css … By.CssSelector を短く書くラッパー

毎回 driver.FindElement(By.CssSelector, “…”) と書くのは長いので、Css(driver, “…”) だけで済むようにしたラッパーです、CSSセレクタに寄せる方針と相性がよく、本文のコードがかなりスッキリします

' By.CssSelector 短縮ラッパー
Public Function Css(driver As WebDriver, ByVal sel As String) As WebElement
    Set Css = driver.FindElement(By.CssSelector, sel)
End Function

' 使うとこう書ける
' Css(driver, ".btn-search").Click

SafeClick … 存在・表示・有効を確かめてからクリック

クリックは、要素はあっても「まだ表示されていない・押せない状態」だと失敗することがあります、SafeClick は IsPresent で存在を確かめ、さらに IsDisplayed と IsEnabled が True のときだけ Click します、押せないときに止まらず素通りするので、流れが安定します

' 安全クリック(存在＋表示＋有効を確認してClick)
Public Sub SafeClick(driver As WebDriver, ByVal sel As String, _
                     Optional ByVal waitMS As Long = 5000)
    Dim el As WebElement
    If driver.IsPresent(By.CssSelector, sel, waitMS, , el) Then
        If el.IsDisplayed And el.IsEnabled Then el.Click
    End If
End Sub

スクロール系 … 最下部まで・要素を画面中央へ

スクロールまわりも、ExecuteScriptでJavaScriptを走らせる独自functionにしておくと便利です、よく出番があるのが、遅延読み込みや無限スクロールのページで最下部まで自動で送って中身を出し切る処理と、目的の要素を画面の真ん中まで持ってくる処理です

' 最下部までオートスクロール(無限スクロール・遅延読み込み対策)
' 高さが伸びなくなったら読み切ったとみなして止まる
Public Sub ScrollToBottom(driver As WebDriver, _
                          Optional ByVal maxLoops As Long = 30, _
                          Optional ByVal waitMS As Long = 800)
    Dim lastH As Double, newH As Double, i As Long
    lastH = driver.ExecuteScript("return document.body.scrollHeight;")
    For i = 1 To maxLoops
        driver.ExecuteScript "window.scrollTo(0, document.body.scrollHeight);"
        driver.Wait waitMS
        newH = driver.ExecuteScript("return document.body.scrollHeight;")
        If newH = lastH Then Exit For
        lastH = newH
    Next i
End Sub

' 対象の要素を画面の中央へスクロール
Public Sub ScrollToCenter(driver As WebDriver, el As WebElement)
    driver.ExecuteScript "arguments[0].scrollIntoView({block:'center', inline:'center'});", el
End Sub

ScrollToBottomは、ページの高さが伸びなくなったら「もう読み切った」と判断して止まる作りなので、件数の読めない無限スクロールでも空回りしません、ScrollToCenterは要素を上端ではなく中央に置くので、固定ヘッダーに隠れて押せない…みたいなクリック事故も減らせます

ハマりどころとTips

最後に、書きはじめのうちにつまずきやすいところを、軽くまとめておきます

• 閉じ忘れに注意 … 処理の終わりに CloseBrowser → Shutdown を呼ばないと、裏でWebDriverが残ることがあります、処理の最後に毎回呼ぶ形にしておくのがおすすめです
• まず ImplicitMaxWait をセット … 「要素がまだ無い」系のエラーは、最初に ImplicitMaxWait を入れておくだけでかなり減ります
• 存在チェックは IsPresent で … 無いかもしれない要素を FindElement で取りにいくとエラーになります、迷ったら IsPresent で分岐するのが安全です
• メソッド名の取り違えに注意 … 探すのは By.CssSelector(By.Cssではない)、テキストは GetText、CSS値は GetCSSProperty です、名前が紛らわしいので、ここはコピペで間違いを防ぐのがラクです

このあたりを押さえておけば、たいていの「動かない…」はかなり減らせると思います、あとは作りたい処理に合わせて、ここまでのコードを組み合わせていく感じです

まとめ

SeleniumVBAの実践コードを、ひととおり並べてみました、最後にポイントを整理しておきます

• 要素の探し方は By.CssSelector に寄せると覚えることが減る、リンク文字やテキスト検索はCSS＋ループの独自functionで再現でき、XPathが要るのは親への逆引き(“..”)だけ
• 操作は Click / SendKeys / GetText / GetAttribute が基本、待機は ImplicitMaxWait をまずセット
• 無いかもしれない要素は IsPresent で確認、プルダウンや複数要素・スクショ・JS実行も専用メソッドで書ける
• よく使う処理は TryFind / WaitFor / Css / SafeClick のようにヘルパー関数化しておくと読みやすい

まだ導入が済んでいない方は、まず「Excelでもブラウザ操作！SeleniumVBAの使い方」で土台を作ってから、この記事のコードを動かしてみてください

ドライバーの更新まわりで困ったときは「VBAでChromeDriverを自動更新する方法」、これまでの定番だったSeleniumBasicから入りたい方は「SeleniumBasicの導入方法」も合わせて読んでもらえると、VBAでのブラウザ自動化がだいぶ見通しよくなると思います

VBAの独学に効く本PR

Excel VBA塾【動画×本で学ぶ!】

たてばやし淳

Amazonで見る楽天で見る

パーフェクトExcel VBA

高橋宣成

Amazonで見る楽天で見る

Excel マクロ&VBA［実践ビジネス入門講座］完全版 第3版

国本温子

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

まずはデータがないと分析できない

AI含め、分析するならデータを手元に持たないと話にならないので過去データの収集から始めます

選択肢としては有料でもいいから正攻法ならJRA-VAN データラボからのデータ取得、無料だけど節度を持ってゆっくりデータを取得するならnetkeibaからのスクレイピングの2つを検討しました

JRA-VAN データラボからのデータ取得

JRA公式データを使うならデータラボが本命

2,090円/月（初月無料）で利用できてJRA関連会社が運営する公式ツールです

https://jra-van.jp/dlb/feature.html

調査も含めて契約してみたのですが、基本はJV-Linkを組み込んだ独自アプリ開発キットのような印象でした

問題は対象言語サポートが2026年3月現在残念でVB系しか対象になっておらず、ちょっと厳しい印象なのは否めません

ネットを見ているとサポート関係なく他の言語で作成している人もいるみたいですが、コミュニティが使えないなど有料の強みがなくなってしまうので今回は諦め

ちなみに・・有志が作ったアプリも使えるらしく、不動の1位なTARGETや税金問題で界隈を賑わせた卍氏が使っていたといわれる馬王Zも追加料金なしで使えるようなのでゼロベースからの分析とかじゃないなら十分有力な選択肢になりそうです

netkeibaからのスクレイピング

結論から言うと今回採用したのはこちら

スクレイピングとはインターネット上の情報をプログラムで収集する手法で、サーバーに負荷をかけてしまうなどあまり推奨される手法ではありませんが、netkeibaは禁止していないようなのと情報として十分すぎる量があり、長く使うなら無料はありがたいです

参考までにnetkeibaがスクレイピングを禁止していないと判断した材料はこちら

• robots.txtがない
  • 禁止している場合はここに記載されていることが多いです
• 利用規約で禁止していない
  • 厳密には制限をかける場合があると記載されていますが、過剰アクセスの場合と判断しました

ちょっとした注意点

公式データではないからなのか、netkeibaのデータで注意点として極稀に謎のデータが存在します

例えば2014/2/10の東京3Rの結果ページなんですが、明らかに単勝オッズがおかしくなっています

https://race.netkeiba.com/race/result.html?race_id=201405010303

出馬表データの単勝オッズは正しいのでカバーはできますし、発生頻度は激低なのでご愛敬で

スクレイピングについて

具体的なコードは別で紹介しようと思いますが、ここでは方針的なことだけまとめます

※近いうちにnoteでまとめるつもりなので完了したらこの記事でもお知らせします

※netkeibaのスクレイピングはPythonでの実装例を別記事にもまとめています→【Python】netkeibaをスクレイピングする-その1

取得したデータはデータベースへ保存

ネットを見ているとプログラムを実行する度にスクレイピングするような記事を見かけますが、再利用やちょっとした加工の可能性も考えるとデータベースに保管することを推奨です

参考までに私はこのブログサイトのためにエックスサーバーを契約しているので、専用のデータベースを作成して取得した2008年以降のレース結果を保存しています

データは小分けに取得

データベースを使う利点の一つとも言える、取得情報をもとに次の情報を取得が個人的推奨方法

スクレイピングに置いて通信問題などで収集途中で原因不明かつ対策不可能なエラーが発生することは比較的多く、全てにエラーハンドリングを仕込むことはあまり現実的ではないので順番に収集します

• まずはリスト取得
  1. 開催スケジュール取得
  2. 開催レース取得
• 次にデータベースと照合しながら未取得情報を収集
  1. レース詳細取得
  2. 騎手マスタ取得
  3. 調教師マスタ取得
  4. 馬主マスタ取得
  5. 競走馬マスタ取得
• 最後に競走馬マスタを再帰処理して血統情報収集

SQLの作り方次第ではありますが、これでエラーが発生しても途中再開が簡単にできるようになります

並列処理はしない

前述の通り利用規約では

スクレイピングによって多数のリクエスト（アクセス）を確認し、弊社サービスに対して支障があると判断した場合は、予告なく通信制限をかけさせていただくことがございます。

と記載されていますので逐次処理で適切に待機時間を入れながら実行することで”多数のリクエスト“を回避することで許容してもらいます

早く情報を収集したい気持ちで並列処理をするとアクセスブロックをされて結果余計に時間がかかる、最悪取得できなくなる可能性もあるので節度を持った処理をしましょう

次回について

なかなか満足できるAIができないので次回はnoteへの自動投稿をまとめる予定です

Claude・生成AIを学べる本PR

面倒なことはChatGPTにやらせよう

カレーちゃん・からあげ

Amazonで見る楽天で見る

実践Claude Code入門

西見公宏・吉田真吾・大嶋勇樹

Amazonで見る楽天で見る

Claude CodeによるAI駆動開発入門

平川知秀

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

とにかくAIを使って何か作りたい

最近AI使えば何でもできるがどんどん現実味を帯びてきている中、皆さんどうやってAIと付き合っていますか？

SNSを見るとパッと見本物と区別のつかない動画や画像の生成、ブログやnoteの作成・投稿などの自動化、希望だけ伝えると勝手にプログラムを作ってくれるバイブコーディングなどなど

ネット上ではまさに日進月歩のAIなんですが、私の職場では情報漏洩の危険などからなかなかAIに触れる機会がなくこのままでは世間に置いて行かれるかもと思い、まずは触ってみようが今回のスタートです

タイトルの通り本命は競馬予想AIなんですが、せっかくなので機械学習に必要なデータを取得するためのスクレイピングとマネタイズ用にnote自動投稿へのチャレンジもまとめていきます

相棒となるAIは「Claude」を採用

今回一緒に開発を進めるAIパートナーとして選ばれたのは「Claude（クロード）」でした

当初「Google AI Studio」を使っていたのですが、ちょうどClaudeがOpus4.6が凄い！と話題になった時期で、職場で唯一使えるCopilotでもClaudeが使えるとかMicrosoft365との連携もできるとかなんだとか今後もお付き合いする機会ができそうだったのでたまたま使い始めた時期でした

汎用AIの優劣はネットでも様々議論されていますが、今の情勢と一カ月後の情勢はきっと違うので好みで使えばいいと思います

参考までに「Google AI Studio」は無料枠で今でも使っていて、「Claude」はOpus使いたかったのでProプランの課金ユーザーです

Claude・生成AIを学べる本PR

面倒なことはChatGPTにやらせよう

カレーちゃん・からあげ

Amazonで見る楽天で見る

実践Claude Code入門

西見公宏・吉田真吾・大嶋勇樹

Amazonで見る楽天で見る

Claude CodeによるAI駆動開発入門

平川知秀

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

予想するだけじゃない、完全自動化のワークフローを構築

始める前に結末はなんとなく想像していて、効果が出ても「回収率300%！！」とかは到底無理で現実的には110％前後で大成功なんじゃないかと思って始めています

その分他の分野にも手を出して成功体験にしようとしているしているのかスクレイピングとnote自動投稿ってわけです

最悪競馬AIの精度が満足いくところまでいかなくても毎週全自動で

のワークフローだけでも財産になるし、何かに流用できると思ってます

このシリーズの全体構成（今後の予定）

このシリーズでは数回に分けて需要ありそうな部分にフォーカスして記事作成を予定しています

今時点では4回に分けて下記順番で作るつもり

1. 過去データの収集
   1. netkeibaからのスクレイピング
   2. JRA-VAN Data Lab.からの収集　←これは断念
2. AIを使った競馬AIの作成
3. AIを使った予想
4. 予想のアウトプットでnote記事の自動作成と販売

作っていきながらボリューミーなったら2回に分けるとか追加機能ができたら分けるとかあるかもしれないので構成変更はご了承を

今時点の状況

今時点ではAI未完成でスクレイピングは完成とnote投稿8割くらいです

スクレイピングは何段階かあるのと過去レース取得と毎週の自動取得が別物なので分けるかもって感じです

あまり間延びしないように作っていくので追いかけてもらえると嬉しいです！

Claude・生成AIを学べる本PR

面倒なことはChatGPTにやらせよう

カレーちゃん・からあげ

Amazonで見る楽天で見る

実践Claude Code入門

西見公宏・吉田真吾・大嶋勇樹

Amazonで見る楽天で見る

Claude CodeによるAI駆動開発入門

平川知秀

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

プロキシサーバーとは？

プロキシサーバーはインターネットへの接続を中継してくれるサービスで、WEBサイトから見ればプロキシサーバーがアクセスしていることになるので結果としてIPアドレスが秘匿されることになります

絵にすると↓の通りパソコンとインターネットの間にプロキシサーバーがいる状態になります

プロキシサーバーは無料もあれば有料もあり、優良なものもあれば粗悪なものあるということで実際に私が利用しているサービスの一つ「jpProxy」についてまとめてみます

jpProxyについて

まず一番大事なことからお伝えするとjpProxyは有料サービスです

ですが、構築費（初回にかかる費用）200円、月額295円と非常にお安く利用できるサービスなので気になるほどではないかと（※費用は2025年11月現在）

また、特徴として日本国内のプロキシサーバー（≒IPアドレス）なのでWEBサイトにも国内からアクセスすることになります

jpProxyの主な利用シーン

jpProxyのトップページにもありますがjpProxyはこのような方に使われています

• クローリング時のアクセス回数制限の回避
• 複数アカウントを使いたい
• IPアドレスを秘匿したい
• 海外から国内のサイトにアクセスしたい

クローリング時のアクセス回数制限を回避したい

AmazonやGoogleなどのほとんどのサイトサーバーでは単位時間内のアクセス回数に制限を設けています

アクセス元のIPアドレスからのアクセス回数をカウントし、その回数が一定の基準を超えるとアクセスを制限するので、IPアドレスを分散させることで制限を回避することが可能です

また、この場合も日本のサイトをクローリングするなら日本国内のプロキシIPアドレスが最適です

複数のアカウントを持ちたい

サイト利用時に複数のアカウントを持ちたい場合がありますが、その場合にIPアドレスで同一ユーザであることを判定されます

判定されるとアカウントを作れなかったりアクセスに不都合が生じる場合があります

jpProxyのIPアドレスを使えばIPアドレスによる同一ユーザ判定を回避できるようになります
また、この場合も日本のサイトで複数アカウントを利用するなら日本国内のプロキシIPアドレスが最適です

海外から国内のサイトにアクセスしたい

最近ではIPアドレスでアクセス元の国を判断するサイトが増えています
アクセス元のIPアドレスが日本でない場合、接続を拒否するサイトがあります

jpProxyのIPアドレスは日本国内の固定IPアドレスですので安心です

無料だと不安

無料のプロキシは公開されているので、トラフィック量が異常なほど多いです
そのため、接続できなかったり、遅かったりと使い物にならないものがほとんです

また、無料のプロキシはセキュリティの面でもおすすめできません

動画の閲覧には安定したネットワークが必要となりますので、多人数が同時に接続するプロキシは動画の閲覧には不向きです

jpProxyは通信内容をロギングおよび閲覧していません

jpProxyの設定・使い方

基本的にボタンポチポチしかすることはないんですが、簡単に設定方法や使い方のご紹介です

契約プロキシ一覧

今契約しているプロキシサーバーの情報を見ることができます

接続元IP登録

プロキシサーバーに接続するIPアドレスを登録できます

サーバーへのアクセス方法はBasic認証かこのページでホワイトリストとして登録することで利用できるようになります

登録するために必要な自分のIPアドレスは画面中央に表示されれている（黄塗り箇所）のでコピペで大丈夫な親切設計

ユーザID・パス確認

こちらがBasic認証するときに必要なユーザIDとパスワードを確認できる画面

Basic認証とはなんぞや、って方に簡単な説明すると画面上部に表示されるユーザー名とパスワードを入力するフォームでの認証

このフォームにユーザID・パスを入力することでプロキシサーバーに接続できます

プロキシサーバー経由でインターネットアクセスする方法

ネットワーク設定周りを変更するのが正攻法であるものの、起動オプションでプロキシを指定してあげる方法がおそらく一番簡単かつ影響が少ないはず

まずはChromeをプロキシサーバ経由の通信でする起動オプション込みのコマンドがコチラ

"C:\Program Files\Google\Chrome\Application\chrome.exe" --proxy-server="http://{IPアドレス}:{ポート}"

Windwos+Rのファイル名を指定して実行、Chromeのショートカットプロパテのリンク先、タスクバーの検索ウィンドウなどでコマンドを使うとプロキシ接続した状態でChromeを利用できます

まとめ

個人的にはスクレイピングするときによく使うjpProxy のご紹介でした

使い方としてはVPNサービスと大差はありませんがPython+Seleniumのスクレイピングプログラムでも簡単に利用できて何気に重宝しますし、お安いサービスなのでおススメです！

待機処理が必要な理由

SeleniumでWebサイトを操作するときにありがちな内容がこちら

• ページロードが完了していないうちに要素を取得してエラー
• JavaScriptで動的に生成されるボタンや入力欄がまだ非表示
• ボタンが表示されてもクリック可能になる前に操作しようとしてエラー

これらを解決するには「要素が存在する・表示される・有効になる」まで待機処理が必要です

WebDriverWaitクラスでできること

今回作ったVBAクラス WebDriverWait は、PythonのWebDriverWaitに近い操作性で以下の条件を待機できます

ポイント：

• 成功時は WebElement を返す
• タイムアウト時は Nothing を返す
• Pythonのように例外処理に頼らずVBAらしい安全な設計

VBA版WebDriverWaitの実装例

以下のクラスモジュールをVBAに追加してください※クラス名は WebDriverWait にしています

'--- クラス名: WebDriverWait ---
Option Explicit
'====================================================================================================
' PythonのWebDriverWaitの一部を再現したクラス
' ※条件に合致した場合はWebElementを返して一致しなかった場合はNothingを返す
'   - UntilPresenceeLocated・DOM上に指定したelementが表示されるまで待機は発生し得ないから準備していない
'   - UntilPresence・・・・・DOM上に指定したByが表示されるまで待機
'   - UntilVisibleLocated・・画面上に指定したelementが表示されるまで待機（IsDisplayed）
'   - UntilVisible ・・・・・画面上に指定したByが表示されるまで待機（IsDisplayed）
'   - UntilEnableLocated・・画面上に指定したelementが利用できるまで待機（IsDisplayed & IsEnabled）
'   - UntilEnable ・・・・・画面上に指定したByが利用できるまで待機（IsDisplayed & IsEnabled）
'====================================================================================================
Private pDriver As Selenium.WebDriver
Private pTimeout As Double
Private pInterval As Double

Public Sub Init(driver As Selenium.WebDriver, Optional timeoutSeconds As Double = 10, Optional intervalSeconds As Double = 0.5)
    Set pDriver = driver
    pTimeout = timeoutSeconds
    pInterval = intervalSeconds
End Sub

' Presence
Public Function UntilPresence(By As Selenium.By) As Selenium.WebElement
    Dim start As Double: start = Timer
    Dim elem As Selenium.WebElement
    
    Do
        On Error Resume Next
        Set elem = pDriver.FindElement(By)
        On Error GoTo 0
        
        If Not elem Is Nothing Then
            Set UntilPresence = elem
            Exit Function
        End If
        
        DoEvents
        Application.wait Now + TimeSerial(0, 0, pInterval)
    Loop While Timer - start < pTimeout
    
    Set UntilPresence = Nothing
End Function

' Visibility (By指定)
Public Function UntilVisibleLocated(By As Selenium.By) As Selenium.WebElement
    Dim start As Double: start = Timer
    Dim elem As Selenium.WebElement
    
    Do
        On Error Resume Next
        Set elem = pDriver.FindElement(By)
        On Error GoTo 0
        
        If Not elem Is Nothing Then
            If elem.IsDisplayed Then
                Set UntilVisibleLocated = elem
                Exit Function
            End If
        End If
        
        DoEvents
        Application.wait Now + TimeSerial(0, 0, pInterval)
    Loop While Timer - start < pTimeout
    
    Set UntilVisibleLocated = Nothing
End Function

' Visibility (element指定)
Public Function UntilVisible(elem As Selenium.WebElement) As Selenium.WebElement
    Dim start As Double: start = Timer
    
    Do
        If Not elem Is Nothing Then
            If elem.IsDisplayed Then
                Set UntilVisible = elem
                Exit Function
            End If
        End If
        
        DoEvents
        Application.wait Now + TimeSerial(0, 0, pInterval)
    Loop While Timer - start < pTimeout
    
    Set UntilVisible = Nothing
End Function

' Enable (By指定)
Public Function UntilEnableLocated(By As Selenium.By) As Selenium.WebElement
    Dim start As Double: start = Timer
    Dim elem As Selenium.WebElement
    
    Do
        On Error Resume Next
        Set elem = pDriver.FindElement(By)
        On Error GoTo 0
        
        If Not elem Is Nothing Then
            If elem.IsDisplayed And elem.IsEnabled Then
                Set UntilEnableLocated = elem
                Exit Function
            End If
        End If
        
        DoEvents
        Application.wait Now + TimeSerial(0, 0, pInterval)
    Loop While Timer - start < pTimeout
    
    Set UntilEnableLocated = Nothing
End Function

' Enable (element指定)
Public Function UntilEnable(elem As Selenium.WebElement) As Selenium.WebElement
    Dim start As Double: start = Timer
    
    Do
        If Not elem Is Nothing Then
            If elem.IsDisplayed And elem.IsEnabled Then
                Set UntilEnable = elem
                Exit Function
            End If
        End If
        
        DoEvents
        Application.wait Now + TimeSerial(0, 0, pInterval)
    Loop While Timer - start < pTimeout
    
    Set UntilEnable = Nothing
End Function

使い方サンプル

このブログの練習用ページでテストできるようにしていますので自由にテストしてください

ポイントはInit部分で引数は下記の通りです

wait.Init driver, {最大待機秒数}, {判定間隔}

Sub test()
    Dim driver As New Selenium.ChromeDriver
    Dim By As New Selenium.By
    
    driver.Get "https://javeo.jp/practice_scraping/"

    Dim wait As New WebDriverWait
    wait.Init driver, 10, 0.5

    ' presence_of_element_located(By)
    Dim elemUser As Selenium.WebElement
    Set elemUser = wait.UntilPresence(By.Css("#input_test"))
    

    ' visibility_of_element_located(By)
    Dim elemPass As Selenium.WebElement
    Set elemPass = wait.UntilVisibleLocated(By.Css("#textarea_test"))

    ' element_to_be_clickable(By)
    Dim elemBtn As Selenium.WebElement
    Set elemBtn = wait.UntilClickableLocated(By.Css("[name=""checkbox_test""]"))

    
    elemUser.SendKeys "testuser"
    elemPass.SendKeys "secret"
    elemBtn.Click
End Sub

まとめ

個人的にPythonでもSeleniumを使うのでWebDriverWaitが使えない不便さを感じていました

PythonとVBAでは思想も違うので適当にいじってますが、ほぼ同じように使えてスッキリです！

やっていること

1. chromedriverの保存先は端末環境によって違うので候補となる3箇所のフォルダ有無を確認
2. chromeの保存先も端末環境によって違うので候補となる3箇所のフォルダ有無を確認
3. PowerShellでchromeのバージョンを取得する
   ※なので一瞬PowerShellの画面がチラつきます
4. APIでChrome.exeのビルドまで一致している最新chromedriverのダウンロードパスを取得
5. ダウンロードしたzipファイルを解凍してをseleniumbasic用のフォルダへコピーする

以前作成したVBAはJSON API endpointsを総当たりで取得していたのでJSONをパースする必要がありましたが、APIでドライバのバージョンを直接取得できることに気づいて少し手順を簡略化できました

処理としては数秒しか変わりませんがVBA-JSOＮ不要になったのは個人的にGoodポイント

ここからは以前と同じことを書いてますが単独でこのページを見ていただいた方向けです

必要な参照設定

このプログラムを実行するために設定した参照設定

追加したのは下記3つ

• Microsoft Scripting Runtime
• Microsoft XML, v6.0
• Selenium Type Library

ここは旧バージョンと変わりありません

ファイルへの反映手順

サンプルファイルとソースは下部に準備していますがファイルへの反映方法がわからない方向けに反映と使い方です

そんなことわかってるからはよソースを！って方は下部のソースまで飛んじゃってください

プロパティウィンドウを表示しておく

あとからモジュール名を変更したいので、もし表示されていない時は表示しておく

標準モジュールを追加

自動更新プログラム用にモジュールを追加する

モジュール名を変更する

必須ではないんですが、わかりやすい運用のためにはモジュール名変更推奨です

今回は”ChromeDriverAutoUpdateModule“にします

プログラムの使い方

「<モジュール名>.<プロシージャ名>() ※”<モジュール名>.”は省略可」でプログラムを呼び出せるので、本体プログラムの最初に「ChromeDriverAutoUpdateModule.ChromeDriverAutoUpdate()」を追加すれば必要なときにchromedriverが自動更新されます

Sub main()
'---Chromedriverの自動更新 ※別モジュールを参照
If ChromeDriverAutoUpdateModule.ChromeDriverAutoUpdate Then
    Exit Sub
End If

'－－・－－・－－以下にプログラムを－－・－－・－－
End Sub

Chromedriverの書き込み権限がない時

Winsows11からセキュリティ周りが厳しくなったのか管理者権限でSeleniumBasicをインストールした場合、Chromedriverを更新しようとすると書き込み権限なしエラーが発生するので対応まとめました

画像の通りですが下記手順で権限設定ができます

1. “C:\Program Files”にある”SeleniumBasic”フォルダを右クリック
2. 右クリックメニューで”プロパティ”をクリック
3. セキュリティタブに移って”編集”ボタンをクリック
4. “Users（{コンピュータ名}\Users）”をクリック
5. “フルコントロール”にチェックがついていないはずなのでクリックしてチェックを付ける
6. “適用”ボタンをクリック

サンプルファイル

JSON-VBA含めて最低限のモジュールをセットしたファイル準備したので一から作る時のベースにしていただければ

最後に実際のソース

まずはGithubをご利用の方向けはこちら

https://github.com/javeo2022/webdriver_manager_VBA_Lite

例によってコピペ用はこちらです

Option Explicit
#If VBA7 Then
Private Declare PtrSafe Function URLDownloadToFile Lib "urlmon" Alias "URLDownloadToFileA" _
                        (ByVal pCaller As Long, _
                         ByVal szURL As String, _
                         ByVal szFileName As String, _
                         ByVal dwReserved As Long, _
                         ByVal lpfnCB As Long) As Long
Private Declare PtrSafe Function SHCreateDirectoryEx Lib "shell32.dll" Alias "SHCreateDirectoryExA" _
                        (ByVal hwnd As LongPtr, ByVal pszPath As String, ByVal psa As LongPtr) As Long
#Else
Private Declare Function URLDownloadToFile Lib "urlmon" Alias "URLDownloadToFileA" _
                        (ByVal pCaller As Long, _
                         ByVal szURL As String, _
                         ByVal szFileName As String, _
                         ByVal dwReserved As Long, _
                         ByVal lpfnCB As Long) As Long
Private Declare Function SHCreateDirectoryEx Lib "shell32.dll" Alias "SHCreateDirectoryExA" _
                        (ByVal hwnd As LongPtr, ByVal pszPath As String, ByVal psa As LongPtr) As Long
#End If

Private Type VersionType '---本当はクラスオブジェクトにしたいけどこれだけのためにモジュール作りたくない
    Major As Long
    Minor As Long
    Build As Long
    Revision As Long
    BuildVersion As String
    RevisionVersion As String
End Type
Const ZIP_FILE As String = "chromedriver.zip"
Const DRIVER_EXE As String = "chromedriver.exe"
Dim workPath As String
Sub test()
Call ChromeDriverAutoUpdate
End Sub
Public Function ChromeDriverAutoUpdate(Optional ByVal ForcedExecution As Boolean = False) As Boolean
'====================================================================================================
'chrome.exeとchromedriver.exeのバージョンを比較してchromedriverを自動更新する
'もしくは強制実行フラグ（ForcedExecution）がTrueでも実行する
'====================================================================================================
    Dim chromePath As String '---chrome.exeが保存されているパス
    Dim chromeFullpath As String '---chrome.exeまで含めたフルパス
    Dim chromeVersion As VersionType
    Dim chromedriverPath As String
    Dim chromedriverFullPath As String
    Dim objFso As New Scripting.FileSystemObject
    ' ---chromedriverをダウンロード用のフォルダを作成する　※Seleniumのキャッシュ構造に合わせている
    workPath = Environ("USERPROFILE") & "\.cache\selenium\seleniumbasic"
    Select Case SHCreateDirectoryEx(0&, workPath, 0&)
        Case 0:
            ' ---作成成功
        Case 183
            ' ---作成済み
        Case Else:
            ' ---作成できなかった時
            MsgBox "ダウンロード用フォルダを作成できませんでした" & vbCrLf & Error(Err), vbCritical
            ChromeDriverAutoUpdate = False
            Exit Function
    End Select
    
    '---chrome本体のフォルダを探す
    Select Case True
        Case objFso.FolderExists(Environ("LOCALAPPDATA") & "\Google\Chrome\Application")
            chromePath = Environ("LOCALAPPDATA") & "\Google\Chrome\Application"
        Case objFso.FolderExists(Environ("ProgramW6432") & "\Google\Chrome\Application")
            chromePath = Environ("ProgramW6432") & "\Google\Chrome\Application"
        Case objFso.FolderExists(Environ("ProgramFiles") & "\Google\Chrome\Application")
            chromePath = Environ("ProgramFiles") & "\Google\Chrome\Application"
        Case Else
            MsgBox "'chrome'フォルダが見つかりません", vbCritical
            ChromeDriverAutoUpdate = False
            Exit Function
    End Select
    
    '---念のためchrome.exeを確認する
    If objFso.FileExists(chromePath & "\chrome.exe") = True Then
        chromeFullpath = chromePath & "\chrome.exe"
    Else
        MsgBox "'chrome.exe'が見つかりません", vbCritical
        Exit Function
    End If
    
    '---SeleniumBasicのフォルダを探す
    Select Case True
        Case objFso.FolderExists(Environ("LOCALAPPDATA") & "\SeleniumBasic")
            chromedriverPath = Environ("LOCALAPPDATA") & "\SeleniumBasic"
        Case objFso.FolderExists(Environ("ProgramW6432") & "\SeleniumBasic")
            chromedriverPath = Environ("ProgramW6432") & "\SeleniumBasic"
        Case objFso.FolderExists(Environ("ProgramFiles") & "\SeleniumBasic")
            chromedriverPath = Environ("ProgramFiles") & "\SeleniumBasic"
        Case Else
            MsgBox "'SeleniumBasic'のフォルダが見つかりません", vbCritical
            ChromeDriverAutoUpdate = False
            Exit Function
    End Select
    
    '---念のためchromedriver.exeを確認する
    If objFso.FileExists(chromedriverPath & "\" & DRIVER_EXE) = False Then
        Debug.Print "'chromedriver.exe'が見つかりませんでした"
    End If
    chromedriverFullPath = chromedriverPath & "\" & DRIVER_EXE
        
    '---chrome.exeのバージョンを取得する
    If GetChromeVersion(chromeFullpath, chromeVersion) = False Then '---chrome.exeのバージョンを取得する
        MsgBox "'chrome.exe'のバージョンが取得できませんでした", vbCritical
        ChromeDriverAutoUpdate = False
        Exit Function
    End If
    
    '---chrome.exeのバージョンに合わせたchromedriver.exeをダウンロードする
    If ChromedriverQuickCheck(chromedriverPath, chromeVersion) = False Then '---chromedriverのバージョンを取得する
        MsgBox "'chromedriver.exe'のバージョンが取得できませんでした", vbCritical
        ChromeDriverAutoUpdate = False
        Exit Function
    End If
    
    '---結果として更新していない場合もあるが、更新失敗じゃなくて更新不要な判定だからTrueを返す
    ChromeDriverAutoUpdate = True
Exit Function
ErrLabel:     '---予期せぬエラーの分岐
    MsgBox "chromedriver の入替に失敗しました" & vbCrLf & Error(Err) & vbCrLf & "※この画面のキャプチャを作成者へ送ってください"
    ChromeDriverAutoUpdate = False
End Function
Private Function GetChromeVersion(ByVal chromeFullpath As String, ByRef chromeVersion As VersionType) As Boolean
'====================================================================================================
'PowerShellでchrome.exeのバージョン情報を取得する　※一瞬PowerShellが立ち上がる
'====================================================================================================
    Dim command As String
    Dim objRet As Object
    
    On Error GoTo ErrLabel
        '---chromeバージョン情報の初期値
        chromeVersion.Major = 1
        chromeVersion.Minor = 0
        chromeVersion.Build = 0
        chromeVersion.Revision = 0
        '---chrome.exeのバージョンを取得するPowerShellコマンド
        command = "powershell.exe -NoProfile -ExecutionPolicy Bypass (Get-Item -Path '" & chromeFullpath & "').VersionInfo.FileVersion"
        '---PowerShellの実行結果をセット
        Set objRet = CreateObject("WScript.Shell").Exec(command)
        '---PowerShellのコマンドレットの実行結果を取得
        chromeVersion.RevisionVersion = Trim(objRet.StdOut.ReadAll)
        '---情報の取得が終わったらオブジェクトをクリアする
        Set objRet = Nothing
        '---改行コードが含まれているから削除する
        chromeVersion.RevisionVersion = Trim(Replace(Replace(Replace(chromeVersion.RevisionVersion, vbCrLf, vbNullString), vbCr, vbNullString), vbLf, vbNullString))
        '---バージョン情報を分けて返す
        With CreateObject("VBScript.RegExp") '---正規表現の準備
            .Pattern = "\d+\.\d+\.\d+(\.\d+)?"
            .Global = True
            If .test(chromeVersion.RevisionVersion) Then '---念のため正規表現でバージョン情報をチェックする
                chromeVersion.Major = CLng(Split(chromeVersion.RevisionVersion, ".")(0))
                chromeVersion.Minor = CLng(Split(chromeVersion.RevisionVersion, ".")(1))
                chromeVersion.Build = CLng(Split(chromeVersion.RevisionVersion, ".")(2))
                If UBound(Split(chromeVersion.RevisionVersion, ".")) >= 3 Then '---リビジョン番号がなければ9999を仮でセット※基本あるはず
                    chromeVersion.Revision = CLng(Split(chromeVersion.RevisionVersion, ".")(3))
                Else
                    chromeVersion.Revision = 9999
                End If
                chromeVersion.BuildVersion = Join(Array(chromeVersion.Major, chromeVersion.Minor, chromeVersion.Build), ".") '---リビジョンを覗いたショートバージョン情報をセットする
                Debug.Print "Chromeのバージョン：" & chromeVersion.RevisionVersion
            Else '---正規表現不一致なら失敗で返す
                MsgBox "chrome.exe のバージョン情報取得に失敗しました" & vbCrLf & "[取得バージョン情報：" & chromeVersion.RevisionVersion & "]" & vbCrLf & "※この画面のキャプチャを作成者へ送ってください"
                GetChromeVersion = False
                Exit Function
            End If
        End With
        GetChromeVersion = True
    On Error GoTo 0
    Exit Function
ErrLabel:     '---予期せぬエラーの分岐
    MsgBox "chrome.exe のバージョン情報取得に失敗しました" & vbCrLf & "[" & Error(Err) & "]" & vbCrLf & "※この画面のキャプチャを作成者へ送ってください"
    GetChromeVersion = False
End Function
Private Function ChromedriverQuickCheck(chromedriverPath, chromeVersion As VersionType) As Boolean
    Dim objHttp As New MSXML2.XMLHTTP60
    Dim targetVarsion As String
    Dim uri As String
    Dim api_endpoints As String
    Dim downloadPath As String
    Dim objFso As New Scripting.FileSystemObject
    Const TARGET_PLATFORM As String = "win64"

    api_endpoints = "https://googlechromelabs.github.io/chrome-for-testing/LATEST_RELEASE_" & chromeVersion.BuildVersion
    On Error GoTo ErrLabel
        With objHttp
            .Open "GET", api_endpoints, False
            .Send
            targetVarsion = .responseText '---JSON endpoints から情報を収集する
            downloadPath = workPath & "\" & targetVarsion
            '--- 念のためリビジョンバージョンを比較する
            If chromeVersion.Major >= CLng(Split(targetVarsion, ".")(0)) Then
                '--- まだダウンロードしていなかったらダウンロードする
                If objFso.FileExists(downloadPath & "\" & DRIVER_EXE) = False Then
                    uri = "https://storage.googleapis.com/chrome-for-testing-public/" & targetVarsion & "/" & TARGET_PLATFORM & "/chromedriver-" & TARGET_PLATFORM & ".zip"
                    Call DownloadChromedriver(uri, targetVarsion)
                    Call objFso.DeleteFile(chromedriverPath & "\" & DRIVER_EXE, True)
                    Debug.Print "インストールしたChromedriverのバージョン：" & targetVarsion
                End If
                '--- chromedriverはいつでも上書きする
                Call objFso.GetFile(downloadPath & "\" & DRIVER_EXE).Copy(chromedriverPath & "\" & DRIVER_EXE, True)
            Else
                Debug.Print "Chromeのバージョンが古いためChromedriverは更新しません"
            End If
        End With
    On Error GoTo 0
    ChromedriverQuickCheck = True
    Exit Function
ErrLabel:     '---予期せぬエラーの分岐
    MsgBox "chromedriver.exe の更新に失敗しました" & vbCrLf & "[" & Error(Err) & "]" & vbCrLf & "※この画面のキャプチャを作成者へ送ってください"
    ChromedriverQuickCheck = False
End Function
Private Function DownloadChromedriver(ByVal url As String, targetVersion As String) As Boolean
    Dim rc As Long
    Dim downloadPath As String
    Dim newDriverPath As String
    Dim objFso As New Scripting.FileSystemObject
    Dim objFolder As Scripting.Folder
    downloadPath = workPath & "\" & targetVersion
    ' ---chromedriverのフォルダを作成する
    Select Case SHCreateDirectoryEx(0&, downloadPath, 0&)
        Case 0:
            ' ---作成成功
        Case 183
            ' ---作成済み
        Case Else:
            ' ---作成できなかった時
            MsgBox "ChromeDriver用フォルダを作成できませんでした" & vbCrLf & Error(Err), vbCritical
            DownloadChromedriver = False
            Exit Function
    End Select
    
    '---ファイルをダウンロードする
    If URLDownloadToFile(0, url, workPath & "\" & ZIP_FILE, 0, 0) <> 0 Then
        MsgBox "ChromeDriverをダウンロードできませんでした" & vbCrLf & Error(Err), vbCritical
        DownloadChromedriver = False
        Exit Function
    End If
    Application.DisplayAlerts = False
    '---zipを既定のフォルダに向けて解凍する
    With CreateObject("Shell.Application") '---zipを既定のフォルダに向けて解凍する
        .Namespace((downloadPath)).CopyHere .Namespace((workPath & "\" & ZIP_FILE)).Items
    End With
    '--- 解凍したフォルダから再起処理してchromedriver.exeのフルパスを取得する
    newDriverPath = SearchFilesRecursively(downloadPath & "\", "chromedriver.exe")
    If newDriverPath = "" Then
        MsgBox "chromedriver.exe の更新に失敗しました"
        DownloadChromedriver = False
    End If
    '---chromedriverをバージョンフォルダ直下に移動する
    Call objFso.MoveFile(newDriverPath, downloadPath & "\")
    '---chromedriverがなくなった不要フォルダを削除する
    For Each objFolder In objFso.GetFolder(downloadPath).SubFolders
        objFolder.Delete True
    Next
    '---zipファイルを削除する
    Call objFso.DeleteFile(workPath & "\" & ZIP_FILE, True)
    Application.DisplayAlerts = True
    DownloadChromedriver = True
End Function
Function SearchFilesRecursively(ByVal folderPath As String, fileName As String) As String
    '====================================================================================================
    ' folderPathを起点に再帰処理でサブフォルダまで対象にしてfileNameを探してフルパスを返す
    '====================================================================================================
    Dim objFso As New Scripting.FileSystemObject
    Dim objFolder As Scripting.Folder
    Dim subFolder As Scripting.Folder
    Dim objFile As Scripting.File
    Dim result As String

    ' ファイル一覧をチェック
    For Each objFile In objFso.GetFolder(folderPath).Files
        If objFile.Name = fileName Then
            SearchFilesRecursively = objFile.Path
            Exit Function
        End If
    Next objFile

    ' サブフォルダを再帰的に探索
    For Each subFolder In objFso.GetFolder(folderPath).SubFolders
        result = SearchFilesRecursively(subFolder.Path, fileName)
        If result <> "" Then
            SearchFilesRecursively = result
            Exit Function
        End If
    Next subFolder

    ' 見つからなかった場合
    SearchFilesRecursively = ""
End Function

あとがき

こちらが後出しなので簡易版としましたがむしろこちらを正規版で過去作成した方を特殊版にした方がいいかなと思っているレベル

今後改修するとしたらこちらになる予定です

前置き

特にOptionsは動作軽量を目指す機能も多いのですが、スクレイピングはなるべく人が操作している状態を再現したほうが安定するので、なるべく使わない方がいいが持論です

プロファイルを指定しなければ毎回、何も設定していないインストール直後のピュアな状態で起動するはずなので、その前提で必要な機能だけ選んでいけばいいと思います

Optionsについて

いわゆる起動オプションとして、Chromeの機能を設定できます、あくまでChrome用の機能なので「ChromeDriverとして要る？」と思うものもありますが、目的別に分類したので気になるところからチェックしてみてください

記述はoptions.add_argument(argument: str)で、必要な分だけ書いていきます、評価はあくまで個人的なものなので、お好みで取捨選択してください

高速化・軽量化目的

テスト・自動化向け

プライバシー・偽装目的

表示・UI制御

このほか、どうしても読み込みたいローカル拡張があれば--load-extension=拡張のパスもありますが、拡張を使うなら個人的には--user-data-dir派です

実験的・高度な制御(add_experimental_option)

ここからはoptions.add_argumentではなくoptions.add_experimental_option(name: str, value)で設定する実験的オプションです、記述の形が変わる点に注意してください

excludeSwitchesを設定すると、↓のメッセージが消えます

prefs(preferences)で指定できる主なもの

prefsの中身も多いので、よく使うものを表にまとめました、値は例なので環境に合わせて書き換えてください

Serviceについて

今のServiceは特に指定しなくてもいいレベルで、個人的に使うのは1つだけです

creation_flags

creation_flagsを指定すると、ChromeDriverの黒いコンソールウィンドウを非表示にできます

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from subprocess import CREATE_NO_WINDOW

# Serviceオブジェクトを作成
service = Service()
service.creation_flags = CREATE_NO_WINDOW
service.creation_flags = 0x08000000 # CREATE_NO_WINDOWインポートしていない場合

# Serviceを渡してWebDriverを起動
driver = webdriver.Chrome(service=service)

# これ以降の処理...
driver.get('https://www.google.com')
print(driver.title)
driver.quit()

実行方法によりますが、VSCodeなどで実行したときは↓のメッセージが表示されなくなります

DevTools listening on ws://127.0.0.1:50152/devtools/browser/～

PyInstallerでアプリ化したときなんかは余計なメッセージが出なくてすっきりする気もしますが、その場合はおそらく--noconsoleオプションを付けることが多いので、おまじない的な位置づけでしょうか

余談(executable_pathが不要になった件)

その昔、chromedriverをChromeに合わせたバージョンに入れ替えていた時代がありまして、webdriver-managerが自動で入れ替えてくれるのでexecutable_pathと組み合わせて使っていました(当時はかなり画期的なモジュールでした)

が、Selenium v4.6.0からはSelenium Managerが機能として実装され、自動でWebDriverを管理してくれるので今は不要です、ネットには今でもこの方法を紹介しているページが残っていますが、無視して大丈夫です

# webdriver_managerを使っていた頃の起動
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Serviceオブジェクトを作成
service = Service(executable_path=ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)

# これ以降の処理...
driver.get('https://www.google.com')
print(driver.title)
driver.quit()

結局何を使うべきか

プログラムによって調整は必要ですが、個人的に必須なものだけをまとめました、お好みで追加・削除してください

import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service

options = Options()
options.add_argument('--start-maximized')
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
prefs = {
    "profile.managed_default_content_settings.images": 2,
    "download.default_directory": os.path.dirname(__file__),
    "download.prompt_for_download": False,
    "download_bubble.partial_view_enabled": False,
}
options.add_experimental_option("prefs", prefs)

service = Service()
service.creation_flags = 0x08000000
driver = webdriver.Chrome(options=options, service=service)

driver.get('https://www.google.com')
print(driver.title)
driver.quit()

まとめ

オプションはかなりの量がありましたが、実のところ使うものは限られているので、上のテンプレのようにテンプレ化しておくのが推奨です

起動まわりの設定はテンプレで固定して、要素の待ち方はSelenium WebDriverWaitの使い方のほうにまとめているので、あわせて押さえておくとスクレイピングがぐっと安定します

Python自動化の独学に効く本PR

退屈なことはPythonにやらせよう 第3版

Al Sweigart

Amazonで見る楽天で見る

Pythonクローリング&スクレイピング 増補改訂版

加藤耕太

Amazonで見る楽天で見る

シゴトがはかどる Python自動処理の教科書

クジラ飛行机

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

Seleniumで一番よく使うのが、要素を探すfind_elementとfind_elementsですよね、ブラウザを自動操作するときは、画面上のボタンや入力欄を「どうやって特定するか」がそのまま安定度に効いてきます

まずは要素検索の基本

まずはよくある基本の書き方です

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com")

element = driver.find_element(By.ID, "username")

このようにBy.IDやBy.NAMEなどを使って要素を探します、1件だけならfind_element、当てはまる要素を全部リストで取りたいときはfind_elementsです

でも、このByの選び方によって、コードの安定性や書きやすさが全然変わってきます

Byの種類とそれぞれの特徴

Byの種類は実は結構な数がありまして、こんな感じです

• By.ID
• By.NAME
• By.CLASS_NAME
• By.TAG_NAME
• By.LINK_TEXT
• By.PARTIAL_LINK_TEXT
• By.CSS_SELECTOR
• By.XPATH

ネットでは By.ID や By.CLASS_NAME もよく見かけますが、結論は By.CSS_SELECTOR を使っておけば間違いないです

もう一つの候補が By.XPATH ですが、CSS_SELECTORはスクレイピングで使うBeautiful Soupにも応用できますし、記述がすっきりしてわかりやすいので、こちらに軍配が上がります

結局CSS_SELECTOR一本でいい理由

CSS_SELECTORが最適な一番の理由は、他のByを全部CSS_SELECTORで代用できるところにあります

つまり、CSS_SELECTORさえ覚えてしまえば、他を使う必要がなくなるんです

ここからは、各Byを CSS_SELECTOR に書き換えるとどうなるかの一覧です、find_element(By.◯◯, ‘値’) の◯◯と値が、CSS_SELECTORならこう書けます(XPATHも参考に並べました)

ひとつ例外があって、リンクを文字(テキスト)で探す By.LINK_TEXT / By.PARTIAL_LINK_TEXT だけは、CSS_SELECTORに「文字で探す」書き方がありません、その場合は aタグを集めて for でテキスト一致させると同じことができます

# テキストが完全一致するリンク(By.LINK_TEXT 相当)
next((a for a in driver.find_elements(By.CSS_SELECTOR, 'a') if a.text == 'hoge'), None)

# テキストが部分一致するリンク(By.PARTIAL_LINK_TEXT 相当)
next((a for a in driver.find_elements(By.CSS_SELECTOR, 'a') if 'hoge' in a.text), None)

親子・兄弟もCSS_SELECTORでたどれる

CSS_SELECTORのもう一つの大きな強みが、親子要素・兄弟要素をたどって一意に指定できるところです

親子・兄弟というのは、HTMLソースで見たときの縦・横の関係です

• 親子　…　階層の深さ(入れ子の関係)
• 兄弟　…　同じ階層での横並び

例えば上の図で黄色く囲った説明文2ですの要素を取りたいとき、クラス名だけで指定すると

driver.find_element(By.CLASS_NAME, "description")

上にある「説明文です」の方を先に拾ってしまいます(n番目で指定する手もありますが、ややこしくなるので割愛します)

うまく取るには、指定が一意になるよう親要素からたどります、どこまで丁寧に書くかですが

• ‘.younger .description’
• ‘.younger > .card > .description’
• ‘div.younger > div.card > p.description’

などで取れます

ここで使った スペース(子孫)や >(直下の子)といった結合子は、隣接(+)や兄弟(~)も含めて種類があります、結合子の一覧と使い分けは別記事「CSSセレクタの書き方」の結合子の節にまとめたので、引き出しを増やしたいときはどうぞ

※このページの下部に同じ画像とサンプルHTMLを置いてあるので、実際に試してみてください

開発者ツールでセレクタを下書きする

慣れればソースを見て起点の要素と狙った要素までの道のりが判断できるようになりますが、最初のうちは開発者ツール(DevTools)に下書きさせると早いです

右クリックのCopy → Copy selectorでセレクタを取得できます、ただそのまま使うには長くて壊れやすいことも多いので、下書きとして受け取って自分で短く整えるのがおすすめです

find_elementでよくあるエラーと回避方法

Seleniumを触っているとよく出会うのが NoSuchElementException や ElementNotInteractableException です

要素が見つからなかったり、まだ読み込みが終わっていないのが原因です

例えば画面の文字を取得するとき、素直に書くとこうなりますが

hoge = driver.find_element(By.CSS_SELECTOR, '#hoge').text

ただ、これだと指定した要素が見つからなかったときにエラーで止まってしまいます

それを防ぐには、次の2パターンのどちらかがおすすめです

# 10秒待っても要素が見つからないエラーをキャッチする
try:
    elm = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, '#hoge')))
    hoge = elm.text
except TimeoutException:
    print('#hoge が見つかりませんでした')
except Exception:
    print('予期せぬエラーが発生しました')

# 要素が見つからないとNoneを返す
elm = next((e for e in driver.find_elements(By.CSS_SELECTOR, '#hoge')), None)
if elm:
    hoge = elm.text
else:
    print('#hoge が見つかりませんでした')

やり方は違いますが、どちらも「まず要素を検索」してから「目的のアクションを実行」することでエラーを防いでいます

このやり方なら、文字の取得だけでなく、文字入力やクリックにもそのまま流用できます

1つ目の WebDriverWait は奥が深くて、何を待つか(expected_conditions)の選び方で安定感が変わります、待ちでつまづいたら別記事「Seleniumで要素を確実に待つ方法」に詳しくまとめたので、あわせてどうぞ

あとがき

基礎の基礎に見える find_element でも、Byの選び方やエラー回避まで含めると結構奥が深いです

少しずつ理解を深めて、Seleniumを活用していきたいですね

あわせて読みたい記事も置いておきます

• セレクタの書き方を深掘りしたい … CSSセレクタの書き方
• 要素の待ち方で困っている … Seleniumで要素を確実に待つ方法
• ExcelのVBAで同じことをやりたい … SeleniumVBA実践コード集

最後に、練習に使えるHTMLを置いておきますので、ご自由にどうぞ

サンプルHTML

下のサンプルはこのページに実際に表示されています、開発者ツールで構造を見ながら、上で紹介したセレクタを試してみてください

Python自動化の独学に効く本PR

退屈なことはPythonにやらせよう 第3版

Al Sweigart

Amazonで見る楽天で見る

Pythonクローリング&スクレイピング 増補改訂版

加藤耕太

Amazonで見る楽天で見る

シゴトがはかどる Python自動処理の教科書

クジラ飛行机

Amazonで見る楽天で見る

私のおすすめからランダムで3冊を表示しています

SQLiteとは

SQLiteはMySQL（MariaDB）やMicrosoft SQL Serverと同じでRDBMS（データベース管理システム）で、その名の通り軽量でオープンソースのデータベースです

と言っても特にサーバーなど準備する必要もなく、軽量なファイルがローカルに作成されるだけのお手軽データベース

SQLの知識が必要になりますが、最低限で十分なので覚えて損はないはず

SQLiteを利用するための準備

PythonはSQLiteを利用するためにはSQLite3を利用しますが、標準ライブラリ入っているので個別のインストールは不要で簡単に利用できます

必須ではないですが、GUIアプリの”DB Browser for SQLite”があると管理が楽になるので利用に合わせてお好みで

DB Browser for SQLiteのインストールについてはコチラのページからどうぞ

データ型

SQLiteもデータベースなのでデータ型が存在します

値としてのデータ型とカラムとしてのデータ型の2つの観点があって詳細を知りたいなら公式ページはコチラで、ざっくり書き出すと↓↓の通り

値のデータ型について

SQLiteの値は5種類だけで下記参照

他のデータベースでよくあるBool型、Date型はなく

• Bool型だと整数 0 (False) と 1 (True) で代替
• Date型は関数を使用してTEXT型なら（”YYYY-MM-DD HH:MM:SS.SSS”）、INTEGER型なら（1970-01-01 00:00:00 UTC からの秒数）として代替

カラムのデータ型について

続いてカラムで設定できるデータ型について

こちらも5種類だけでデータベースとしてはかなり少ないです

なんですが、実際は指定したデータ型に関係なく値が保存出来ちゃいます

“SQLite.exe“でデータを見てみるとこんな感じ

この仕様は良いのか悪いのか・・・

Pythonで実際に使ってみる

Pythonで使うと言っても基本的にはSQLを実行するだけ（データベースなんだからそりゃそう）

代表的なサンプルソース（≒SQL）を書き出します

db接続（≒ファイル作成）

DBの接続コマンドでファイルが無ければ生成してくれる

import sqlite3

#　---db接続（ファイルがなければ作成される）---
db_file= "test.sqlite3" # 拡張子は"*.db","*.sqlite","*.db3","*.sqlite3"からお好きなものを
conn = sqlite3.connect(db_file) 
# SQLiteを操作するためのカーソルを作成
cur = conn.cursor()

テーブル削除と作成

SQLiteには“TRUNCATE TABLE”はないので“DROP & CREATE”で代替

“条件なしDELETE文”でも十分高速処理になるっぽい

#　---テーブルを作成---
# テーブルが既にあれば削除する
sql = "DROP TABLE IF EXISTS test_table"
cur.execute(sql)

# item_cdを主キーにテーブルを新規作成
sql = """
    CREATE TABLE test_table(
    item_cd INTEGER PRIMARY KEY,
    item_name TEXT,
    item_count INTEGER,
    price INTEGER
    )
    """
cur.execute(sql)
conn.commit() # コミットしないと反映しない

データの作成（挿入）

複数データを同時にINSERTする時は他のデータベースでは見ない処理方法

無理にまとめて処理しなくてもPythonの中でループ処理もありかも

# データを挿入 ※execute
sql = "INSERT INTO test_table (item_cd, item_name, item_count, price) VALUES (1, 'mouse', 1, 3000)"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# まとめてデータを挿入 ※executemany
sql = "INSERT INTO test_table (item_cd, item_name, item_count, price) VALUES (?,?,?,?)"
data = [(2, "keyboard", 1, 8000), (3, "monitor", 1, 15000), (4, "USB cable", 3, 300), (5, "HDMI cable", 1, 1000)]
cur.executemany(sql, data)
conn.commit()  # コミットしないと反映しない

データの取得

普通のSELECT文

取得データはレコードをTUPLE型、複数レコードはLIST型で取得できるのでforなどでループして取得してあげればOK

変数に格納するならexecute後にfetchallで値を取得できる

# データベースからデータを取得
sql = "SELECT * FROM test_table"
_ = cur.execute(sql)
rows = cur.fetchall()
for row in rows:
    print(row)

データの削除

特に変わりのない一般的な“DELETE文”

# データを削除
sql = "DELETE FROM test_table WHERE item_cd=1"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

データの更新

こちらも一般的な“UPDATE文”

# データを更新
sql = "UPDATE test_table SET price=5000 WHERE item_name='keyboard'"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

同時に削除＆挿入 or 挿入＆更新

“REPLACE INTO”と“UPSERT（と同じような処理）”の両方使える

データベース的にはUPSERTの方が適切なんだけどREPLACE INTOの方が簡単

# データ削除と挿入を同時にする
sql = """
    REPLACE INTO test_table (item_cd, item_name, item_count, price)
    VALUES (3, 'wide monitor', 1, 30000)
    """
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# データ挿入時に重複なら更新する ※upsert文
sql = """
    INSERT INTO test_table (item_cd, item_name, item_count, price)
    VALUES (5, 'HDMI cable', 3, 800)
    ON CONFLICT (item_cd)
    DO UPDATE SET item_count=3, price=800
    """
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

全部をまとめたサンプルソース

今までのプログラムを全部くっつけただけですが、実行すればSQLiteのプログラムを体感できるソースです

import sqlite3

#　---ファイルがなければ作成してdb接続---
db_file= "test.db" # 拡張子は".db"か".sqlite"
conn = sqlite3.connect(db_file) 
# SQLiteを操作するためのカーソルを作成
cur = conn.cursor()

#　---テーブルを作成---
# テーブルが既にあれば削除する
sql = "DROP TABLE IF EXISTS test_table"
cur.execute("DROP TABLE IF EXISTS test_table")
# item_cdを主キーにテーブルを新規作成
sql = """
    CREATE TABLE test_table(
    item_cd INTEGER PRIMARY KEY,
    item_name TEXT,
    item_count INTEGER,
    price INTEGER
    )
    """
cur.execute(sql)
conn.commit() # コミットしないと反映しない

# データを挿入 ※execute
sql = "INSERT INTO test_table (item_cd, item_name, item_count, price) VALUES (1, 'mouse', 1, 3000)"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# まとめてデータを挿入 ※executemany
sql = "INSERT INTO test_table (item_cd, item_name, item_count, price) VALUES (?,?,?,?)"
data = [(2, "keyboard", 1, 8000), (3, "monitor", 1, 15000), (4, "USB cable", 3, 300), (5, "HDMI cable", 1, 1000)]
cur.executemany(sql, data)
conn.commit()  # コミットしないと反映しない

# データベースからデータを取得
sql = "SELECT * FROM test_table"
_ = cur.execute(sql)
rows = cur.fetchall()
for row in rows:
    print(row)

# データを削除
sql = "DELETE FROM test_table WHERE item_cd=1"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# データを更新
sql = "UPDATE test_table SET price=5000 WHERE item_name='keyboard'"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# データ削除と挿入を同時にする
sql = "REPLACE INTO test_table (item_cd, item_name, item_count, price) VALUES (3, 'wide monitor', 1, 30000)"
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# データ挿入時に重複なら更新する ※upsert文
sql = """
    INSERT INTO test_table (item_cd, item_name, item_count, price)
    VALUES (5, 'HDMI cable', 3, 800)
    ON CONFLICT (item_cd)
    DO UPDATE SET item_count=3, price=800
    """
cur.execute(sql)
conn.commit()  # コミットしないと反映しない

# 処理結果を見るためにもう一度データを取得
sql = "SELECT * FROM test_table"
_ = cur.execute(sql)
for row in cur.fetchall():
    print(row)

あとがき

CSVを直接書き出すプログラムだと重複チェックやスクレイピングで取得したデータを使った再スクレイピングが難しいのでデータベースが使えると幅が広がります

入門編としてSQLiteは導入コストはないし学習コストも少ないのでオススメです！