まずはデータがないと分析できない

AI含め、分析するならデータを手元に持たないと話にならないので過去データの収集から始めます

選択肢としては有料でもいいから正攻法ならJRA-VAN データラボからのデータ取得、無料だけど節度を持ってゆっくりデータを取得するならnetkeibaからのスクレイピングの2つを検討しました

JRA-VAN データラボからのデータ取得

JRA公式データを使うならデータラボ1択

2,090円/月（初月無料）で利用できてJRA関連会社が運営する公式ツールです

JRA-VAN

プロも愛用の競馬ソフトから意外な穴場的中ソフトまで、データ競...

jra-van.jp

調査も含めて契約してみたのですが、基本はJV-Linkを組み込んだ独自アプリ開発キットのような印象でした

問題は対象言語サポートが2026年3月現在残念でVB系しか対象になっておらず、ちょっと厳しい印象なのは否めません

ネットを見ているとサポート関係なく他の言語で作成している人もいるみたいですが、コミュニティが使えないなど有料の強みがなくなってしまうので今回は諦め

サポート対象言語

• Microsoft Visual Basic 2015
• Microsoft Visual C++ 2015
• Borland Delphi 7
• Microsoft Access 2013/2016
• Microsoft Excel 2013/2016

FAQ詳細 -サポートしている開発環境にはどのようなものがありますか？ | JRA-VANヘルプセンター

【JRA公式データ】JRA-VANは競馬予想に役立つ情報を提...

support.jra-van.jp

ちなみに・・有志が作ったアプリも使えるらしく、不動の1位なTARGETや税金問題で界隈を賑わせた卍氏が使っていたといわれる馬王Zも追加料金なしで使えるようなのでゼロベースからの分析とかじゃないなら十分有力な選択肢になりそうです

卍氏の書籍紹介

1億5000万円稼いだ馬券裁判男が明かす 競馬の勝ち方 (競馬王馬券攻略本シリーズ) | 卍 |本 | 通販 | Amazon

Amazonで卍の1億5000万円稼いだ馬券裁判男が明かす ...

amzn.to

2007-2009年の3年間で、1億円以上の価値を得た卍氏の書籍はコチラ

「馬券の勝ち方」を論理的かつ丁寧に解説されてます！

netkeibaからのスクレイピング

結論から言うと今回採用したのはこちら

スクレイピングとはインターネット上の情報をプログラムで収集する手法で、サーバーに負荷をかけてしまうなどあまり推奨される手法ではありませんが、netkeibaは禁止していないようなのと情報として十分すぎる量があり、長く使うなら正直無料はありがたいです

参考までにnetkeibaがスクレイピングを禁止していないと判断した材料はこちら

• robots.txtがない
  • 禁止している場合はここに記載されていることが多いです
• 利用規約で禁止していない
  • 厳密には制限をかける場合があると記載されていますが、過剰アクセスの場合と判断しました

ちょっとした注意点

公式データではないからなのか、netkeibaのデータで注意点として極稀に謎のデータが存在します

例えば2014/2/10の東京3Rの結果ページなんですが、明らかに単勝オッズがおかしくなっています

３歳新馬 結果・払戻 | 2014年2月10日 東京3R レース情報(JRA) - netkeiba

2014年2月10日 東京3R ３歳新馬の結果・払戻です。J...

race.netkeiba.com

出馬表データの単勝オッズは正しいのでカバーはできますし、発生頻度は激低なのでご愛敬で

スクレイピングについて

具体的なコードは別で紹介しようと思いますが、ここでは方針的なことだけまとめます

※近いうちにnoteでまとめるつもりなので完了したらこの記事でもお知らせします

取得したデータはデータベースへ保存

ネットを見ているとプログラムを実行する度にスクレイピングするような記事を見かけますが、再利用やちょっとした加工の可能性も考えるとデータベースに保管することを推奨です

参考までに私はこのブログサイトのためにエックスサーバーを契約しているので、専用のデータベースを作成して取得した2008年以降のレース結果を保存しています

データは小分けに取得

データベースを使う利点の一つとも言える、取得情報をもとに次の情報を取得が個人的推奨方法

スクレイピングに置いて通信問題などで収集途中で原因不明かつ対策不可能なエラーが発生することは比較的多く、全てにエラーハンドリングを仕込むことはあまり現実的ではないので順番に収集します

• まずはリスト取得
  1. 開催スケジュール取得
  2. 開催レース取得
• 次にデータベースと照合しながら未取得情報を収集
  1. レース詳細取得
  2. 騎手マスタ取得
  3. 調教師マスタ取得
  4. 馬主マスタ取得
  5. 競走馬マスタ取得
• 最後に競走馬マスタを再起処理して血統情報収集

SQLの作り方次第ではありますが、これでエラーが発生しても途中再開が簡単にできるようになります

並列処理はしない

前述の通り利用規約では

スクレイピングによって多数のリクエスト（アクセス）を確認し、弊社サービスに対して支障があると判断した場合は、予告なく通信制限をかけさせていただくことがございます。

と記載されていますので逐次処理で適切に待機時間を入れながら実行することで”多数のリクエスト“を回避することで許容してもらいます

早く情報を収集したい気持ちで並列処理をするとアクセスブロックをされて結果余計に時間がかかる、最悪取得できなくなる可能性もあるので節度を持った処理をしましょう

次回について

なかなか満足できるAIができないので次回はnoteへの自動投稿をまとめる予定です

とにかくAIを使って何か作りたい！

最近AI使えば何でもできるがどんどん現実味を帯びてきている中、皆さんどうやってAIと付き合っていますか？

SNSを見るとパッと見本物と区別のつかない動画や画像の生成、ブログやnoteの作成・投稿などの自動化、希望だけ伝えると勝手にプログラムを作ってくれるバイブコーディングなどなど

ネット上ではまさに日進月歩のAIなんですが、私の職場では情報漏洩の危険などからなかなかAIに触れる機会がなくこのままでは世間に置いて行かれるかもと思い、まずは触ってみようが今回のスタートです

タイトルの通り本命は競馬予想AIなんですが、せっかくなので機械学習に必要なデータを取得するためのスクレイピングとマネタイズ用にnote自動投稿へのチャレンジもまとめていきます

相棒となるAIは「Claude」を採用

今回一緒に開発を進めるAIパートナーとして選ばれたのは「Claude（クロード）」でした

当初「Google AI Studio」を使っていたのですが、ちょうどClaudeがOpus4.6が凄い！と話題になった時期で、職場で唯一使えるCopilotでもClaudeが使えるとかMicrosoft365との連携もできるとかなんだとか今後もお付き合いする機会ができそうだったのでたまたま使い始めた時期でした

汎用AIの優劣はネットでも様々議論されていますが、今の情勢と一カ月後の情勢はきっと違うので好みで使えばいいと思います

参考までに「Google AI Studio」は無料枠で今でも使っていて、「Claude」はOpus使いたかったのでProプランの課金ユーザーです

予想するだけじゃない！完全自動化のワークフローを構築

始める前に結末はなんとなく想像していて、効果が出ても「回収率300%！！」とかは到底無理で現実的には110％前後で大成功なんじゃないかと思って始めています

その分他の分野にも手を出して成功体験にしようとしているしているのかスクレイピングとnote自動投稿ってわけです

最悪競馬AIの精度が満足いくところまでいかなくても毎週全自動で

スクレイピング　→　競馬AIで予想　→　予想結果をnoteに投稿

のワークフローだけでも財産になるし、何かに流用できると思ってます

このシリーズの全体構成（今後の予定）

このシリーズでは数回に分けて需要ありそうな部分にフォーカスして記事作成を予定しています

今時点では4回に分けて下記順番で作るつもり

1. 過去データの収集
   1. netkeibaからのスクレイピング
   2. JRA-VAN Data Lab.からの収集　←これは断念
2. AIを使った競馬AIの作成
3. AIを使った予想
4. 予想のアウトプットでnote記事の自動作成と販売

作っていきながらボリューミーなったら2回に分けるとか追加機能ができたら分けるとかあるかもしれないので構成変更はご了承を

今時点の状況

今時点ではAI未完成でスクレイピングは完成とnote投稿8割くらいです

スクレイピングは何段階かあるのと過去レース取得と毎週の自動取得が別物なので分けるかもって感じです

あまり間延びしないように作っていくので追いかけてもらえると嬉しいです！

Pythonで毎日自動処理するプログラムをいくつか作っているのでその紹介です

24時間365日稼働させるためには相応の環境が必要で、私はWindows Serverを使っていますので同じように全自動環境が欲しい方は下記を参考にしてみてください

【Windows Server】全自動に向けてWindows Serverを契約する

24時間365日稼働できるPC環境があると今手作業でやってい...

javeo.jp

2024.01.13

処理の全貌

まずは概要説明

どんな処理をしているのか文字起こしするとこんな感じ

1. 毎朝8時にプログラムを定時期実行させて以降の処理を実行
2. ポイントサイトのモッピーに対してクローリング実行
3. スクレイピング結果は自分のブログサイト（Xserver）のデータベースに保存
4. 新規案件とポイントの増減した案件を前日比較して絞り込み
5. 絞り込み結果からブログ用のページを作成して投稿
6. 絞り込み結果からXへポストする
7. LINEで自分に処理完了を通知

ポイントサイトについて深掘りはしないのですが、クローリングから始まる一連の流れを自動化してるよって目線で見ていただけると

↓↓でもう少しだけ細かく説明します

毎朝8時にプログラムを定時期実行させて以降の処理を実行

Windows Serverを使っているのでWindows PCと同じようにタスクスケジューラを使えば定期実行の設定が簡単にできます

※詳しくは↓↓↓を見てもらえればわかるはず

【Python】タスクスケジューラで定期実行する

「毎日決まった時間に～」とか、「10分間隔で繰り返し～」など...

javeo.jp

2023.10.23

設定次第で毎日決まった時間に実行したり、1時間毎に実行したりと好きなように繰り返し実行できます

ポイントサイトのモッピーに対してクローリング実行

モッピー自体に興味がある人は少ない気がするので詳細は割愛しますが、Pythonを使えばWEBサイトから欲しい情報を収集してリストアップすることが可能です

※クローリングに興味のある方は私のプロフィールからクラウドワークスやココナラでご相談ください

クローリング結果は自分のブログサイト（Xserver）のデータベースに保存

取得した情報の一部がこんな感じ

サーバーの中のデータベースに保存することでWeb画面から検索をかけたりすることが可能になるので結構使い勝手が良いです

実際にこのデータを使っているページが↓

500 Internal Server Error

point.javeo.jp

新規案件とポイントの増減した案件を前日比較して絞り込み

データベースにデータ保存してあればSQL（もっと言えばビューですが）を使って前日比較することが簡単になります

細かく言うと 「追加・削除・値の増加・値の減少」で、それぞれ秒で前日比較することもできます

絞り込み結果からブログ用のページを作成して投稿

Python使えば比較的簡単にWordpressに記事投稿できるんです

きっとAIを使えば文章もいい感じに可変にできる気もしますが今はそこまでの熱意が無いので文章は定形、↑で収集した前日比較の値から作成するテーブルを可変部分で毎日投稿しています

毎日投稿しているサイトは↓です

500 Internal Server Error

point.javeo.jp

絞り込み結果からXへポストする

Pythonを使えば簡単にX（旧Twitter）にポストすることもできるんです

これまでよろしく、前日比較してポイントのUP・Down、新規広告をカウントしてポストの文章作ってWordpressの記事のURLを記載してポストしています

毎日ポストしているbotアカウントがこちら↓

LINEで自分に処理完了を通知

最後にサーバー側のメンテンナンスとかで稀にプログラムが実行されないことがあるのでPythonでLINE通知して終了

通知方法は↓↓を参照

https://javeo.jp/line_notify/

javeo.jp

ちなみに、途中でエラーがした場合はエラーを通知するようにしています

あとがき

色々手が込んだ作りにしたんですが、正直ポイントサイトに興味がある人があまりいないイメージなので、改めてまとめるとココまでやる意味とは！？と自問自答しています

なんですが、Windows Serverなど環境を整えればPythonでこんなことを全自動で毎日実行できる一例になったのでそこには価値があったと思っています

他にもいくつかWindows Serverで実行していることがあるのでどこかで紹介していきます

そもそもWindows Serverとは？

正確なサービス名称はVPS for Windows Serverのこと

そしてVPSとは「Virtual Private Server」の略で、日本語略では「仮想専用サーバー」です

詳しいことは省略しますが、簡潔に言えば大きなサーバーを小さな仮想サーバーに分割して、その小さなサーバーをユーザーに専用サーバーとして提供してくれるサービスです

さらにそのサーバーのOSが一般的なパソコンに似たWindowsを使っているものをWindows Serverというわけです

Windows Serverの良い点と悪い点

良い点

• 初期費用を安く済ませることができる
• 電気代がかからない
• 物理的な場所を取らない
• プログラム作成や環境構築を誰かに手伝ってもらうことが簡単
• 必要なときに必要なスケールアップ（スペックアップ）が可能
• 不要になったら契約解除するだけ（≒廃棄が不要）
• Windows PCライクな操作感で利用できる
• 管理者権限を持っているのでアプリインストール可能
• 管理者権限を持っているのでGoogle Driveなどのストレージサービスをマウントできる

悪い点

• 実機に比べると料金に対するスペックが低い
• リモートデスクトップ SALが無いと利用しにくい（別料金）
• Microsoft 365ライセンスが使えない（別料金のサーバー専用ライセンスが必要）
• 他のVPSに比べて料金が高い
• サービス側が決める定期メンテナンスに巻き込まれる

Xerverのプラン別料金表とオプション料金

プラン別料金

※SSDはどのプランでも100GB
※金額は1ヶ月あたりの料金

ConoHaと違って「メモリ：1GB、CPU：2コア」のプランと「３ヶ月、６ヶ月」プランが無い

スペックの方は使い物にならないから使わないし、期間の方も刻んだところで値引き率は低いので個人的には気にならない範囲

オプション料金

後述しますがリモートデスクトップ SALは必須レベル

他は使い道次第ですが、月額料金をかけてまで契約する必要はあまりないかと

ConoHaのプラン別料金表

プラン別料金

※SSDはどのプランでも100GB
※金額は1ヶ月あたりの料金
※1ヶ月の料金は時間課金タイプの上限

プラン料金はserverに比べて若干お高い料金設定

代わりにオプション料金が若干やすいのでトータルで考えれば差は無いと思って良さそう

オプション料金

自動バックアップはVPSなのに必要なの？って気もしますがお安いのでお好みで

その他はXserverと同じく使い道に合わせてお好みで

オススメのプランと比較

※プラン料金に個人的必須なリモートデスクトップ SAL料金を加算しています

私が実際に契約しているのは「メモリ：2GB、CPU：3コア」のプラン

今のところ定期実行にメモリが必要な処理は少ないのでこれで十分

予算との相談もあってこのプランにしましたが「メモリ：4GB、CPU：4コア」が可能ならそちらの方がオススメ（と言うかプラン変更しようか悩んでます）

Xserverでの契約手続き

契約のためのサイトはコチラから

※先にXserverのアカウント登録が必要です

申し込み画面

各項目については以下に

サーバーの種類

今回はWindows Serverを契約したいわけなので”Windowsサーバーのお申し込み“をクリック
※初期値は”VPSのお申し込み“になっています

サーバー名

初期値は”win-yyyy-mm-dd-hh-mm-ss”ですがお好みで変更を

プラン

ここもお好みですが私は24時間Pythonプログラムが実行できれば満足でスペックは一番下の”メモリ：2GB“にしました

サーバーの契約期間

• 1ヶ月
• 12ヶ月
• 24ヶ月
• 36ヶ月

から選ぶのですが、長ければ長い方がお得！（当たり前）

イメージタイプ

契約する対象を選ぶ

サーバーのEdition（プルダウン）はこだわりがなければその時の最新を選んでおけばいいと思う

それと別に契約の組み合わせを選ぶ

• Windows Server
• Windows Server for Remote Desktop
• Windows Server for Remote Desktop+Office（EXCEL、WORD、POWER POINT）

Remote Desktopは使い勝手の都合、個人的には必須

OfficeソフトはMicrosoft 365 (旧Office 365)のライセンスが使えないのでWindows ServerでもOfficeソフトを使いたいなら契約が必要

OfficeはわざわざWindows Serverで使う必要がないかなと思うので私は”サーバー＋Remote Desktop“にしました

ライセンス

リモートデスクトップ SAL

「リモートデスクトップ接続」を利用するために必要なライセンス契約です。
ご利用人数分のご契約が必要です。

とのこと

個人利用だけなら1個で十分ですが誰かにメンテナンスしてほしいとか、共同利用したいとかあれば1～2個余剰を持っていても良いかも

Microsoft Office SAL

「Microsoft Office」を利用するために必要なライセンス契約です。
ご利用人数分のご契約が必要です。

考え方は基本的にリモートデスクトップ SALと同じ

ただ地味にお値段高いので契約するにしても必要最低限にしたいところ

Administratorパスワード 

記載されているポリシーに合わせてご自由に

半角英大文字、半角英小文字、半角数字、半角記号（\^$+-*/|()[]{}.,?!_=&@~%#:;'”）から3種類以上を含んだ9文字以上70文字以内

管理者パスワードだし堅牢にしたいけど考えるのがめんどくさい方は↓↓↓がオススメ

パスワード生成（パスワード作成）ツール

パスワード生成（パスワード作成）するweb・ウェブ制作に役立...

www.luft.co.jp

ちなみに全ての契約手続きが終わった後、初回ログインで使うので控えておく

最後に

“「Xserver VPS利用規約」に同意する”にチェックを入れて”お申し込み内容を確認する”ボタンを押下

この後は最終確認と支払い関係の画面なので割愛・・・

契約が終わったら管理ページへ

ログインページ

VPS用のログインページへ

XServerアカウント - ログイン｜VPS・仮想専用サーバー｜XServer VPS

secure.xserver.ne.jp

VPS契約管理ページ

色々メニューはありますがとりあえず”VPS管理”画面へ

VPSパネル

契約直後はまだサーバー起動準備中なので右上の電源状態が”稼働中”になるまで待つ

リモートデスクトップ SALを使わないサーバー起動

VPSパネルで電源ステータス左にある”コンソール”ボタンを押下するとWindowsのログイン画面になるのですがまず画面が小さい・・（なんだこの余白は）

そしてロック解除のために画面に従って”Ctrl + Alt + Del”キーを押下すると・・PC本体の方に反応してロック解除されない

結論としては画面右上にある”Send CtrlAltDel”ボタンを押す必要がありました

続いてパスワード入力

申し込み画面で登録していたAdministratorパスワードを入力

私は何となく堅牢な方がいいと思って32桁で半角英大文字、半角英小文字、半角数字、半角記号を全て含んだ乱数にしたのですがこれが仇に・・

もちろんメモは取っていたのですがコピペができない（泣く泣く手打ちしました）

当然パスワードなので堅牢な方がいいですが、この段階ではほどほどに

無事ログインした後の画面がコチラ

やっぱり小っさ！！

ってことで前置きが長くなりましたがリモートデスクトップ SALは契約した方がイライラから解放されるのでお勧めですよって話でした

リモートデスクトップを使ってサーバーに接続

スタートメニューで”Windows アクセサリ → リモートデスクトップ接続”

VPSパネルにIPアドレスを入れて

Administratorパスワードを入れて

Windowsのデスクトップが表示されるので後は好きなようにアプリインストールとかしちゃってくださ（↓はスクショ取り忘れて少しアプリインストールした後です・・）

あとがき

私はこのWindows Serverを使ってクローリングからのXポストやLINE通知をするプログラムを日々実行しています

同じような環境が欲しい人はWindows Serverを契約して、外注でプログラム＆環境構築してもらえれば実現可能なので是非検討をー