石巻のニュースを紹介をフィードして表示しているのがhttp://hebita.jp/news/
技術的には簡単なことしかしていなくて、
をクロールして記事を集めているだけです。
記事を集めたいページを解析してスクレイピングしています。
具体例を少しだけ。
石巻かほくのメインフレーム を正規表現で切り刻む方法
とりあえず、このファイルの取得の仕方ですが、PHPであれば簡単にできます。
<php?
// 目的URL
$URL = 'http://www.sanriku-kahoku.com/main.html';
// file_get_contents関数の仕様
$HTML = file_get_contents($url);
?>
これだけ。Webスクレイピング を参照してください。
これでソースが取得できます。
まず、記事のリンク先のURLを取得するために見出し部分を切り刻みます。
<TABLE border="0" cellspacing="5" cellpadding="0">
<TR>
<TD width="286" height="681">
・
（見出しが入っています）
・
</TD>
</TR>
</TABLE>
といった感じにします。
まず、このTDタグの中身を取得します。
preg_match("/(.+?)<\/TD>/s", $HTML, $Kiji);
$HTML ソース
この場合にはTDが必要ないので$Kiji[1]を使用します。
$main_kiji = str_replace("
これで、BRタグと改行を取り除きます。
キレイになったところで、preg_match_all関数を使用して、変数中に存在するaタグを全て取り出し、配列に格納します。
preg_match_all("/<A href\=\"news(.+?)\">(.+?)<\/A>/s", $Kiji, $Midashi);
これで$Midashi配列に全ての記事のリンクが入ることになります。
それで、これをHTMLとしてジェネレートして好きな形で吐き出すことでデータの生成は終了です。
また当サイトではニュースの更新データをRSSとして吐き出しています。
これらのデータを生成する際にはリンクを更に細かく切り刻みURLとテキストに分けます。
ジェネレートのタイミングは３時間おきで、指定のプログラムをcronでキックし定期的に生成しています。
記事の見出しを勝手に拝借している形なので、注意があった際には公開を停止しようと考えています。
2009 年 3 月 1 日
ソースコードを表示する際に、見た目をキレイに表示してくれるJavascriptライブラリが「dp.SyntaxHighlighter」です。
SyntaxHighlighter のすすめ を参考にして実装してみました。
実装の仕方を以下に記述します。
１．ソースの入手 http://code.google.com/p/syntaxhighlighter/
また、ツールバーの表示が日本語化される改造版のパッチを当てます。こちら からダウンロードします。
２．アップロード
/home/hebita/www/css/sh/SyntaxHighlighter.css
/home/hebita/www/css/sh/clipboard.swf
/home/hebita/www/js/sh/shBrush****.js
これでファイルの準備は完了。
３．テンプレートの修正
３－１．HeadタグにJSとCSSの埋め込み
<head>
３－２．エントリー部分の後ろにJSタグ挿入
<script type="text/javascript">
dp.SyntaxHighlighter.ClipboardSwf = "http://hebita.jp/css/sh/clipboard.swf";
dp.SyntaxHighlighter.HighlightAll("code");
</script>
このタグを入れることで該当する<pre>タグに変換をかけます。
これで準備は完了です。
４．記述の仕方
<pre name="code" class="php:firstline[1]">
ここに記述
</pre>
これでブログにソースコードを記述することができます。
2009 年 1 月 27 日
当サイトはPHPで作成しています。
多少、フレームワークっぽくしてサイトの構成を実現しています。
「HTML ファイルをどのように扱うか」
ということになります。
PHP でページを表示することになるので、出来る限り、「ロジック」と「テンプレート」は分けたいものです。
ですが、フレームワークチックにするとやはり、デメリットもあります。
一般的なフレームワークを使うのであれば、上記のようなデメリットも発生しますが、一からフレームワークを作成すれば、そんな苦労はなくなりますし、なにより、手が入れやすいです。
まず、ロジックとテンプレートの切り分け方法を考えます。
プログラムロジックは各ページのindex.phpに任せます。
サーバーのrewriteruleを調整して一箇所のindex.phpにアクセスを集めて、パラメータで処理ワケをするという手もありますが、それ程大規模なサイトでなければガチガチに、アクセスを集めるよりも柔軟な対応ができる方がいいと思います。
rewriteruleはこまかくいじれない場合が多いですからね。
ですので。
Document Root
/home/hebita/www/
/home/hebita/www/index.php
/home/hebita/www/news/index.php
/home/hebita/www/weather/index.php
/home/hebita/www/tv/index.php
これらのindex.phpにロジックを持たせています。
それから、対となるテンプレートは
/home/hebita/www/template
以下に分かりやすく配置してあげます。
当サイトでは共通するテンプレートをcommonとして扱い、各ページで使用するテンプレートをpartsとして扱っています。
/home/hebita/www/template/common
/home/hebita/www/template/parts
/home/hebita/www/template/AD
/home/hebita/www/template/gen
/home/hebita/www/template/Base.html
こんな感じで配置しています。
ADディレクトリ
genディレクトリ
Base.html http://hebita.jp/template/Base.html
<!-- HEADER -->
<!-- CONTENTS -->
<!-- FOOTER -->
こんな内容になっています。
大元のファイルはこれだけで、一つの画面を構成させることができます。
2009 年 1 月 20 日
Webスクレイピングとははてな では
英語で”scrape”とは「削ること」。
なんて紹介されています。
HTTP通信でデータ（HTMLページ）を取得（ダウンロード）
取得したHTMLを変数として扱い「正規表現」で欲しいデータだけを取得
データを加工し、（可能であれば）HTMLとしてジェネレートし出力する
といった流れになります。
<?php
// WebScrapingをするツール
Class WebScraping{
function __construct($sURL){
// ターゲットURL
$this->sURL = $sURL;
// Get
ini_set('user_agent', 'User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)');
$this->sSrc = @file_get_contents($sURL);
$this->aHtml = $this->sSrc;
}
////////////////////////////////////////////////
// 正規表現をセットし
// 切り取ったデータを返す
// 2: 正規表現分なし = 1
// 正規表現分あり = 0
////////////////////////////////////////////////
function RegexAllGet($regex,$sReturn){
preg_match_all("/$regex/s",$this->sSrc,$this->aHtml);
if($sReturn){
$this->aHtml = $this->aHtml[1];
}else{
$this->aHtml = $this->aHtml[0];
}
return $this->aHtml;
}
////////////////////////////////////////////////
// もらった配列をメンバ変数としてセットしなおす
////////////////////////////////////////////////
function SetHtml($aHtml){
$this->aHtml = $aHtml;
}
////////////////////////////////////////////////
// 1: 正規表現
// 2: 正規表現分なし = 1
// 正規表現分あり = 0
// 3: オプション
// 指定があった場合にはその配列を正規表現で切り刻む
////////////////////////////////////////////////
function RegexGet($regex,$sReturn,$aHtml = NULL){
if(!isset($aHtml)){
$aHtml = $this->aHtml;
}
if(is_array($aHtml)){
$nRow = count($aHtml);
$i = 0;
$aResult = array();
while($nRow > $i){
preg_match("/$regex/s",$aHtml[$i],$aResult);
$aResult_0[$i] = $aResult[0];
$aResult_1[$i] = $aResult[1];
$i++;
}
if($sReturn){
$this->aHtml = $aResult_1;
}else{
$this->aHtml = $aResult_0;
}
return $this->aHtml;
}else{
preg_match("/$regex/s",$aHtml,$aResult);
if(empty($aResult)){
return 1;
}
if($sReturn){
$this->aHtml = $aResult[1];
}else{
$this->aHtml = $aResult[0];
}
return $this->aHtml;
}
}
}
?>
使い方はこんな感じ
<?php
require_once('WebScraping.php');
$sURL = 'http://dailynews.yahoo.co.jp/fc/';
$oWS = new WebScraping($sURL);
$regex = '
';
$aHtml = $oWS->RegexAllGet($regex,1);
// $aHtmlにヤフートピックスの見出しが配列として入ります。
?>
ただ、ここで注意するのはHTTPでファイルを取得しに行く際にPHPの標準関数である
file_get_contents
を使用しています。
allow_url_fopen = On
とします。トップページ で言えば
ニュース記事の見出し
仙台放送女子アナブログ
イオン ショップ情報
ワーナー・マイカル・シネマズ 新石巻
等の情報を定期的にクロールをして取得しています。
2009 年 1 月 1 日
プロフィールを書いて個人ブログをスタートしようと思います。
管理人名
164（ひろし）
性別
男
年齢
23
出身
宮城県石巻市
住んでいるとこ
東京都練馬区
職業
Webエンジニア
好きなテレビ
大河ドラマ
趣味
サッカー
当ブログは管理人のメモとして使おうと思っています。
お問い合わせ
古い投稿 »
