【Rails6】mechanizeでWebスクレイピングをやるよ！

この記事の概要

mechanaizeというgemを使って、webスクレイピングを試してみました。

目次

  • この記事の概要
  • 目次
  • 注意
  • やってみよう
  • 参考文献

注意

スクレイピングをするサイトによっては、意図的にサーバーダウンを起こすことにも繋がり、場合によっては逮捕・起訴されることもあります。また、著作権などを著しく侵害する場合もあるので、基本的には自己責任でWebスクレイピングをやるようにしてください。事件になった例について、詳しくは岡崎市立中央図書館事件などを参照されるといいと思います。

やってみよう


事前準備編

まず[rails new]コマンドで、sampleAppという名前のアプリケーションを作成します。
 $ rails new sampleApp 
その後cdコマンドでディレクトリを移動して、
 $ cd sampleApp 
クラスを作ります。今回はclassという名前のControllerを作りたいので、第4引数に[Class]を指定してあげます。
 $ rails g controller Class 

controller編

[app] > [controllers] > [class_controller.rb]に移動します。

デフォルトで、こう書いてあると思うので
class ClassController < ApplicationController
end

class ClassController < ApplicationController
    def index
       agent = Mechanize.new
        page = agent.get("https://www.yahoo.co.jp/")
        @elements = page.search('h1') # h1要素を検索
    end
end

こう修正します。

今回はYahoo!のトップページからスクレイピングを行いたいので、pageのagent.getの引数にはYahoo!のアドレスである("https://www.yahoo.co.jp/")を指定してあげます。

続いて[app]>[views]>[class]>[index.html.erb]に移動して、

<h1>スクレイピング</h1>
<h1><%= @elements %></h1>

と記述します。

この状態でターミナルから
$ rails s
を立ち上げてlocalhost:3000にアクセスすると...

[図1]スクレイピングの実行結果
こんな感じで、htmlタグが出力できていると思います！

ちなみに

<html>タグの中身だけ抜き取りたい時

getメソッドだと<html>タグを全文取得してしまいますので、タグの中身だけ取得したいというような場合には、inner_textメソッドを使用するとよいです。

先ほどと同様に、[app]>[views]>[class]>[index.html.erb]に移動して、

<h1>スクレイピング</h1>
<h1><%= @elements %></h1>

だったものを、
<h1>スクレイピング</h1>

 <% @elements.each do |ele| %>
     <h1><%= ele.inner_text %></h1>
<% end %>



上記のようにコードを修正してみてください。

[図2]スクレイピングの取得結果
こんな感じで取得できていればWebスクレイピングがちゃんとできています！

まとめ

webスクレイピングはmechanizeというgemを使用することで、誰でも簡単に実行することができますが、スクレイピングの違法性などについて十分に認識した上で実行してくださいね！

参考文献

ずっとRailsでWebスクレイピングを
めちゃくちゃお世話になりました。ありがとうございます！！！

・Rails スクレイピングでデータを取得(getメソッド・searchメソッド編)備忘録
https://qiita.com/bomber0522/items/19591d18bc5d2b1fc97b

・Rails スクレイピング手法 Mechanizeの使い方
https://qiita.com/shizuma/items/d04facaa732f606f00ff

・岡崎市立中央図書館事件

コメント

コメントを投稿

このブログの人気の投稿

【Unity】シーンギズモがデフォルトで表示されない時

イメージ
こんにちは。 先日から Unityを触り始めている私（てぃー）です。 さて、  Unityではデフォルトで表示されている「シーンギズモ」ですが、 新規プロジェクトを立ち上げたところ、表示されていなくて困りました。 ggっても解決策が出てこない...どころか、 シーンギズモっていう単語を使っているページ・解説しているページが出てこない！笑（unity 3dのofficial documentを除く） そう言う訳でちょっと困りましたので、解決策を簡単にまとめてみました〜。 ◇ 目次 ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ 　1. シーンギズモってそもそもなんやねん？って話 　2. 解決策 　3. まとめ 　1. シーンギズモってそもそもなんやねん？って話 [図]シーンギズモ シーンギズモはデフォルトのプロジェクトを立ち上げた時に、画面（画面というよりかはScene）の右上に出てくる図のような物体です。赤色・緑色・青色の三角コーンから成立しています。 シーンギズモはとても便利で、「y」とラベルが貼られた緑色のコーンをクリックすると、現在sceneで製作中のオブジェクトを上面から見ることが出来ます。 こう言う風に、[x],[y],[z]の、3つの軸からsceneを見ることができる優れものなんです。 　2. 発生している現象と解決策 [図]発生している現象 新規プロジェクトを作ろうとした時に、シーンギズモがデフォルトで表示されるようになるはずだ・・・と思いきや、表示されていなくて困りました。 前述したとおり、色々探したんですが解決策が見つからなくて困った・・・。 [図]解決策 で、どうやって解決したかというと。 [scene]バーにある[2D]ボタンを押すことです！ sceneの上部を見ると、デフォルトだと[Shaded]ってなってる場所と、電球やらなんやらのアイコンがある場所のちょうど間に、[2D]ボタンがありますよね！ これがオンになっていると、シーンギズモは出てこないみたいです。 　3. まとめ でも、なんで2Dモードがオンになってたんだろう・・・と考えていたのですが、 そういえば自分、こ...
続きを読む

【Swift4】argument passed to call that takes no arguments の解決策

イメージ
今日、Swiftでじゃんけんアプリを作っていた時に、この「 argument passed to call that takes no argument s 」というエラーが出たのでエラーが出た状況と解決策をまとめていこうと思う。 argument passed to call that takes no arguments ◇ 目次 ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ ◇ 　1. 実現しようとした事 　2. Argument Passed to call that takes no argumentsとはどんなエラー？　 　3. 解決策     4. まとめ 　1. 実現しようとした事 [図] myJankenViewControllerで発生したエラーの詳細  import UIKit   class myJankenViewController: UIViewController {       var selectedNumber: Int ( arc4random ( 2 ))                              !   Argument passed to call that takes no arguments     （以下省略）  } 「グー」「チョキ」「パー」の３種類の出目をCPUが出してくれる、そんなじゃんけんアプリを作っていたのだが、 相手のCPUの出目をarc4random関数で指定してあげようと思ったところ、このようなエラーが出てしまった。 　2.  Argument Passed to call that takes no arguments とはどんなエラー？　 日本語訳してみると、「 呼び出すために渡される引数は引数を取りません 」というのが妥当だろうか。 技術用語マシマシの英文翻訳は本当に難しい・・・orz つ...
続きを読む

【Rails5】SyntaxError: (): mapping values are not allowed エラーの解決法

この記事の概要 SyntaxError: (<unknown>): mapping values are not allowed 上記エラーに対応するために調べたところ、.ymlファイルのインデントが原因であることがわかった。 目次 この記事の概要 目次 試そうとしたこと エラーの分析 ja.ymlを見てみる 解決策 まとめ 試そうとしたこと Rails5で簡単なTaskアプリケーションを作って学んでいたのだが、 SyntaxError: (<unknown>): mapping values are not allowed  エラーにハマった。 エラーの分析 can not load translations from /Users/*****/Task_App/config/locales/ja.yml: # ): mapping values are not allowed in this context at line 15 column 7 どうやらja.ymlにエラーがあるらしい。 ymlファイルは、エラーメッセージが日本語を出すためのrawファイルであり、 GitHubのrails-|18nリポジトリにあるファイルを適当にダウンロードしたものである。 ja.ymlなので日本語設定である。 en.ymlだと英語設定になる。 ja.ymlファイルを見てみる （中略） 　 　models: 　　 task: タスク 　 　attributes: 　　 task:          id: ID 　　 name: 名称 　　 description: 詳しい説明 　　 created_at: 登録日時 　　 updated_at: 更新日時 んー？ 15行目あたりにエラーがあるらしいが、特に変わったところは見当たらない。 何がおかしいのだろうかと思って色々と検索してみた。 解決策 どうやら、ymlファイルにはスペースの数が決まっているようだ。 一番最初の階層のスペースゼロだとすると、 最初の階層はスペース無し。二番目の階層は半角スペース2つ 三番目の階層は半角スペー...
続きを読む