【Rails6】mechanizeでWebスクレイピングをやるよ！

この記事の概要

mechanaizeというgemを使って、webスクレイピングを試してみました。

目次

  • この記事の概要
  • 目次
  • 注意
  • やってみよう
  • 参考文献

注意

スクレイピングをするサイトによっては、意図的にサーバーダウンを起こすことにも繋がり、場合によっては逮捕・起訴されることもあります。また、著作権などを著しく侵害する場合もあるので、基本的には自己責任でWebスクレイピングをやるようにしてください。事件になった例について、詳しくは岡崎市立中央図書館事件などを参照されるといいと思います。

やってみよう


事前準備編

まず[rails new]コマンドで、sampleAppという名前のアプリケーションを作成します。
 $ rails new sampleApp 
その後cdコマンドでディレクトリを移動して、
 $ cd sampleApp 
クラスを作ります。今回はclassという名前のControllerを作りたいので、第4引数に[Class]を指定してあげます。
 $ rails g controller Class 

controller編

[app] > [controllers] > [class_controller.rb]に移動します。

デフォルトで、こう書いてあると思うので
class ClassController < ApplicationController
end

class ClassController < ApplicationController
    def index
       agent = Mechanize.new
        page = agent.get("https://www.yahoo.co.jp/")
        @elements = page.search('h1') # h1要素を検索
    end
end

こう修正します。

今回はYahoo!のトップページからスクレイピングを行いたいので、pageのagent.getの引数にはYahoo!のアドレスである("https://www.yahoo.co.jp/")を指定してあげます。

続いて[app]>[views]>[class]>[index.html.erb]に移動して、

<h1>スクレイピング</h1>
<h1><%= @elements %></h1>

と記述します。

この状態でターミナルから
$ rails s
を立ち上げてlocalhost:3000にアクセスすると...

[図1]スクレイピングの実行結果
こんな感じで、htmlタグが出力できていると思います！

ちなみに

<html>タグの中身だけ抜き取りたい時

getメソッドだと<html>タグを全文取得してしまいますので、タグの中身だけ取得したいというような場合には、inner_textメソッドを使用するとよいです。

先ほどと同様に、[app]>[views]>[class]>[index.html.erb]に移動して、

<h1>スクレイピング</h1>
<h1><%= @elements %></h1>

だったものを、
<h1>スクレイピング</h1>

 <% @elements.each do |ele| %>
     <h1><%= ele.inner_text %></h1>
<% end %>



上記のようにコードを修正してみてください。

[図2]スクレイピングの取得結果
こんな感じで取得できていればWebスクレイピングがちゃんとできています！

まとめ

webスクレイピングはmechanizeというgemを使用することで、誰でも簡単に実行することができますが、スクレイピングの違法性などについて十分に認識した上で実行してくださいね！

参考文献

ずっとRailsでWebスクレイピングを
めちゃくちゃお世話になりました。ありがとうございます！！！

・Rails スクレイピングでデータを取得(getメソッド・searchメソッド編)備忘録
https://qiita.com/bomber0522/items/19591d18bc5d2b1fc97b

・Rails スクレイピング手法 Mechanizeの使い方
https://qiita.com/shizuma/items/d04facaa732f606f00ff

・岡崎市立中央図書館事件

コメント

コメントを投稿

このブログの人気の投稿

【Unity】シーンギズモがデフォルトで表示されない時

イメージ
こんにちは。 先日から Unityを触り始めている私（てぃー）です。 さて、  Unityではデフォルトで表示されている「シーンギズモ」ですが、 新規プロジェクトを立ち上げたところ、表示されていなくて困りました。 ggっても解決策が出てこない...どころか、 シーンギズモっていう単語を使っているページ・解説しているページが出てこない！笑（unity 3dのofficial documentを除く） そう言う訳でちょっと困りましたので、解決策を簡単にまとめてみました〜。 ◇ 目次 ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ 　1. シーンギズモってそもそもなんやねん？って話 　2. 解決策 　3. まとめ 　1. シーンギズモってそもそもなんやねん？って話 [図]シーンギズモ シーンギズモはデフォルトのプロジェクトを立ち上げた時に、画面（画面というよりかはScene）の右上に出てくる図のような物体です。赤色・緑色・青色の三角コーンから成立しています。 シーンギズモはとても便利で、「y」とラベルが貼られた緑色のコーンをクリックすると、現在sceneで製作中のオブジェクトを上面から見ることが出来ます。 こう言う風に、[x],[y],[z]の、3つの軸からsceneを見ることができる優れものなんです。 　2. 発生している現象と解決策 [図]発生している現象 新規プロジェクトを作ろうとした時に、シーンギズモがデフォルトで表示されるようになるはずだ・・・と思いきや、表示されていなくて困りました。 前述したとおり、色々探したんですが解決策が見つからなくて困った・・・。 [図]解決策 で、どうやって解決したかというと。 [scene]バーにある[2D]ボタンを押すことです！ sceneの上部を見ると、デフォルトだと[Shaded]ってなってる場所と、電球やらなんやらのアイコンがある場所のちょうど間に、[2D]ボタンがありますよね！ これがオンになっていると、シーンギズモは出てこないみたいです。 　3. まとめ でも、なんで2Dモードがオンになってたんだろう・・・と考えていたのですが、 そういえば自分、このプロジ
続きを読む

【Swift4】argument passed to call that takes no arguments の解決策

イメージ
今日、Swiftでじゃんけんアプリを作っていた時に、この「 argument passed to call that takes no argument s 」というエラーが出たのでエラーが出た状況と解決策をまとめていこうと思う。 argument passed to call that takes no arguments ◇ 目次 ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ 　1. 実現しようとした事 　2. Argument Passed to call that takes no argumentsとはどんなエラー？　 　3. 解決策     4. まとめ 　1. 実現しようとした事 [図] myJankenViewControllerで発生したエラーの詳細  import UIKit   class myJankenViewController: UIViewController {       var selectedNumber: Int ( arc4random ( 2 ))                              !   Argument passed to call that takes no arguments     （以下省略）  } 「グー」「チョキ」「パー」の３種類の出目をCPUが出してくれる、そんなじゃんけんアプリを作っていたのだが、 相手のCPUの出目をarc4random関数で指定してあげようと思ったところ、このようなエラーが出てしまった。 　2.  Argument Passed to call that takes no arguments とはどんなエラー？　 日本語訳してみると、「 呼び出すために渡される引数は引数を取りません 」というのが妥当だろうか。 技術用語マシマシの英文翻訳は本当に難しい・・・orz つまり、自分自身の解釈だとclass直下に書く変数（今回はselectedNumber）は、viewDidLoad()や@IBAction func関数などで、呼び出される事がほとんどだと思う。 そんな変数を定義する時なおかつarc4randomを使うのであれば
続きを読む

【Swift4】iOSシミュレータでカメラとフォトライブラリが起動しない？試してみてわかったこと

イメージ
この記事の概要 以前同様の問題が発生したためにteratailに投稿したことがあるのだが、ここでももう一度まとめておこうと思う。一応、2018/11/19に私が投稿したteratailの記事を貼っておくので、 興味のある方はご一読ください。 iOSシミュレータでカメラとフォトライブラリが起動しない (https://teratail.com/questions/159144) 目次 この記事の概要 目次 実現したいこと 問題 解決策1:シミュレーターでうまく行かない場合 解決策2:実機でうまく行かない場合 まとめ 参考文献 実現したいこと Swift4のプロジェクトで、カメラ機能の実装を行いたいと思った。また、撮影した写真をアプリから呼び出せるようにアクションコントローラーを追記して、もしエラーが発生しているようなのであれば例外処理エラーでユーザーに知らせる、といった機能を実装するために、プロジェクトを作成した。そのためにSwiftで以下のようなコードを書いた。 class AddItemViewController: UIViewController, UIImagePickerControllerDelegate, UINavigationControllerDelegate {   (中略)   @IBAction func selectImage(){   let actioncontroller = UIAlertController(title: "画像を選択", message: "選択してください", preferredStyle: .actionSheet)   let cameracontroller = UIAlertAction(title: "カメラ", style: .default) { (action) in if UIImagePickerController.isSourceTypeAvailable(.camera) == true{  let picker = UIImagePickerController() picker.sourceType =
続きを読む