ドキュメントのWebを泳ぐ。Rで始めるBADデータ・ダイビング！¶

発表者：
　@nezuq
作成日：
　2014/05/31
説明：
　第39回R勉強会＠東京 LT発表資料。Webスクレイピングのススメ。
　#TokyoR #Rstat #Selenium
関連文書：
　RでSPARQL （第30回R勉強会＠東京 発表資料）

About Me¶

発表者：
　@nezuq
仕事：
　VB.NET, VBA, VB6
趣味：
　R, Python
最近の活動：
　データジャーナリズム・キャンプ＆アワード2013で共同制作した作品が、
　LODChallenge2013 ビジュアライゼーション部門 最優秀賞を受賞しました。

グローバル化は世界中の人材と仕事を奪い合うようになる変化だと思います。

¶

ドキュメントのWebとは？¶

BADデータの共有ネットワークDB。通称、人間の為のインターネット。
　全てのHTMLドキュメントはURIにより一意に特定され、リンクされる。
　データの関係性が曖昧に定義され、その出現順も不定である為、解析しづらい。
　ただし、データ数は多い。

「タイトル 、メタ情報、文書（自然言語）」

（例）

<p>
  <a>花子</a>は<a>太郎</a>の知り合いです。<br/>
  花子のメールアドレス：hanako@xxx.co.jp
</p>

データのWebとは？¶

GOODデータの共有ネットワークDB。通称、機械の為のインターネット。
　全てのRDFデータはURIにより一意に特定され、リンクされる。
　データの関係性が厳密に定義され、その出現順も一定である為、解析しやすい。
　ただし、データ数は少ない。

「主語→述語→目的語、主語→述語→目的語、主語→述語→目的語」

（例）

PREFIX ex: <http://example.org/resource/>
PREFIX foaf: <http://xmlns.com/foaf/0.1/>
ex:太郎 foaf:knows ex:花子
ex:花子 foaf:mbox <mailto:hanako@xxx.co.jp>

Rをクローラーにする魔法のコマンド¶

※ただし、Firefoxユーザーに限る。

#Relenium依存パッケージのインストール
install.packages("rJava")
install.packages("devtools")
library(devtools)
install_github('seleniumJars', 'LluisRamon')
install_github('relenium', 'LluisRamon')

#Releniumの使用宣言
library(relenium)

RでFirefoxを起動する。¶

firefox <- firefoxClass$new()

Firefoxで指定サイトを開く。¶

firefox$get("http://www.nicovideo.jp/")

指定要素を取得し、テキストを表示する。¶

#CSSセレクタで要素指定。※XPathで指定するfindElementsByXPath関数もある。
elms <- firefox$findElementsByCssSelector("#topic > ul > li")
elms[[1]]$getText()

RでFirefoxを停止する。¶

firefox$close()

応用的な使い方はQiitaの記事で。¶

Rでクローリング。FirefoxをR経由で自動操作する。 - Qiita