PR
私が使っているPCガジェット類
作業環境で実際に使っている・気になっている周辺機器などをまとめました
※ 一部のリンクは広告(アフィリエイト)を含みます
Claudeで競馬予想AIを自作する #2 スクレイピング編
2026年初頭AIの進歩が凄まじく、AIを使った何かをやってみたいと競馬予想AIを作ってみましたのでその取り組みをまとめてみました
ついでにその過程で作ったスクレイピングとnoteへの自動投稿も一緒にまとめますので興味のある方は覗いてみてください
今回は第二回でデータ収集についてまとめています
前回(第一回)はこちら→汎用AIと一緒に競馬予想AI作ってnote投稿まで自動化する #1-はじめに
目次
まずはデータがないと分析できない
AI含め、分析するならデータを手元に持たないと話にならないので過去データの収集から始めます
選択肢としては有料でもいいから正攻法ならJRA-VAN データラボからのデータ取得、無料だけど節度を持ってゆっくりデータを取得するならnetkeibaからのスクレイピングの2つを検討しました
JRA-VAN データラボからのデータ取得
JRA公式データを使うならデータラボが本命
2,090円/月（初月無料）で利用できてJRA関連会社が運営する公式ツールです
https://jra-van.jp/dlb/feature.html
調査も含めて契約してみたのですが、基本はJV-Linkを組み込んだ独自アプリ開発キットのような印象でした
問題は対象言語サポートが2026年3月現在残念でVB系しか対象になっておらず、ちょっと厳しい印象なのは否めません
ネットを見ているとサポート関係なく他の言語で作成している人もいるみたいですが、コミュニティが使えないなど有料の強みがなくなってしまうので今回は諦め
サポート対象言語
- Microsoft Visual Basic 2015
- Microsoft Visual C++ 2015
- Borland Delphi 7
- Microsoft Access 2013/2016
- Microsoft Excel 2013/2016
https://support.jra-van.jp/jravan/detail?site=SVKNEGBV&category=16&id=209
ちなみに・・有志が作ったアプリも使えるらしく、不動の1位なTARGETや税金問題で界隈を賑わせた卍氏が使っていたといわれる馬王Zも追加料金なしで使えるようなのでゼロベースからの分析とかじゃないなら十分有力な選択肢になりそうです
卍氏の書籍紹介
netkeibaからのスクレイピング
結論から言うと今回採用したのはこちら
スクレイピングとはインターネット上の情報をプログラムで収集する手法で、サーバーに負荷をかけてしまうなどあまり推奨される手法ではありませんが、netkeibaは禁止していないようなのと情報として十分すぎる量があり、長く使うなら無料はありがたいです
参考までにnetkeibaがスクレイピングを禁止していないと判断した材料はこちら
- robots.txtがない
- 禁止している場合はここに記載されていることが多いです
- 利用規約で禁止していない
- 厳密には制限をかける場合があると記載されていますが、過剰アクセスの場合と判断しました
ちょっとした注意点
公式データではないからなのか、netkeibaのデータで注意点として極稀に謎のデータが存在します
例えば2014/2/10の東京3Rの結果ページなんですが、明らかに単勝オッズがおかしくなっています
https://race.netkeiba.com/race/result.html?race_id=201405010303
出馬表データの単勝オッズは正しいのでカバーはできますし、発生頻度は激低なのでご愛敬で
スクレイピングについて
具体的なコードは別で紹介しようと思いますが、ここでは方針的なことだけまとめます
※近いうちにnoteでまとめるつもりなので完了したらこの記事でもお知らせします
※netkeibaのスクレイピングはPythonでの実装例を別記事にもまとめています→【Python】netkeibaをスクレイピングする-その1
取得したデータはデータベースへ保存
ネットを見ているとプログラムを実行する度にスクレイピングするような記事を見かけますが、再利用やちょっとした加工の可能性も考えるとデータベースに保管することを推奨です
参考までに私はこのブログサイトのためにエックスサーバー
を契約しているので、専用のデータベースを作成して取得した2008年以降のレース結果を保存しています
データは小分けに取得
データベースを使う利点の一つとも言える、取得情報をもとに次の情報を取得が個人的推奨方法
スクレイピングに置いて通信問題などで収集途中で原因不明かつ対策不可能なエラーが発生することは比較的多く、全てにエラーハンドリングを仕込むことはあまり現実的ではないので順番に収集します
- まずはリスト取得
- 開催スケジュール取得
- 開催レース取得
- 次にデータベースと照合しながら未取得情報を収集
- レース詳細取得
- 騎手マスタ取得
- 調教師マスタ取得
- 馬主マスタ取得
- 競走馬マスタ取得
- 最後に競走馬マスタを再帰処理して血統情報収集
SQLの作り方次第ではありますが、これでエラーが発生しても途中再開が簡単にできるようになります
並列処理はしない
前述の通り利用規約では
スクレイピングによって多数のリクエスト（アクセス）を確認し、弊社サービスに対して支障があると判断した場合は、予告なく通信制限をかけさせていただくことがございます。
と記載されていますので逐次処理で適切に待機時間を入れながら実行することで”多数のリクエスト“を回避することで許容してもらいます
早く情報を収集したい気持ちで並列処理をするとアクセスブロックをされて結果余計に時間がかかる、最悪取得できなくなる可能性もあるので節度を持った処理をしましょう
次回について
なかなか満足できるAIができないので次回はnoteへの自動投稿をまとめる予定です
最後に・・・
PythonとExcelを中心に仕事に役立つ業務ツールや自動化、スクレイピングツールの作成を受注していて、クラウドワークスでは気が付けば100件以上のお仕事を受注してきました！
会社員をやりながらの副業なので時間の捻出は相応ですが、クライアントの方々と近い立場でこちらからも提案しながら活動していますのでお悩みあれば是非ご相談ください
コメント