【Rails6】mechanizeでWebスクレイピングをやるよ！
この記事の概要 mechanaizeというgemを使って、webスクレイピングを試してみました。 目次 この記事の概要 目次 注意 やってみよう 参考文献 注意 スクレイピングをするサイトによっては、意図的にサーバーダウンを起こすことにも繋がり、場合によっては逮捕・起訴されることもあります。また、著作権などを著しく侵害する場合もあるので、基本的には自己責任でWebスクレイピングをやるようにしてください。事件になった例について、詳しくは 岡崎市立中央図書館事件 などを参照されるといいと思います。 やってみよう 事前準備編 まず[rails new]コマンドで、sampleAppという名前のアプリケーションを作成します。 $ rails new sampleApp その後cdコマンドでディレクトリを移動して、 $ cd sampleApp クラスを作ります。今回はclassという名前のControllerを作りたいので、第4引数に[Class]を指定してあげます。 $ rails g controller Class controller編 [app] > [controllers] > [class_controller.rb]に移動します。 デフォルトで、こう書いてあると思うので class ClassController < ApplicationController end class ClassController < ApplicationController def index agent = Mechanize.new page = agent.get("https://www.yahoo.co.jp/") @elements = page.search('h1') # h1要素を検索 en...
