Moonmile Solutions Blog

ツイッターの地域サイトを作っている場合、複数名でアカウントを共有する必要がでてきます。また、個人のアカウントとは違ったアカウントで、地域ツイートをしないといけません。アカウント切り替えのアプリを使えばいいのですが、どうせならば、地域サイト専用のツール群を作っていこうかな、と。

板橋ツイッター by チーム板橋
http://itatr.com

では、私を含めて3名（他数名）が @teamitabashi のアカウントを共有している訳ですが、これが面倒くさい!!! というか、私が面倒。

なので、自分で使っている投稿専用アプリを皆で使えるように改造しました。いわば、最初の認証を外出しにしたってことですね。

PHPだと、いくつかライブラリがあるんですが、デスクトップアプリ（.NET）だと、資料が少なめで…かなり手間がかかりました。

WPFで作ったので、Windows + .NET Frameowork 3.5 以上となっています。

 ■何をするアプリなのか？

投稿だけッです。きっぱり!!!

■最初の設定

1. ブラウザを立ち上げて、投稿したいtwitterにログインしておきます。

2.ツイッター専用（TwNetPost)を立ち上げて「初期設定」ボタンを押します。

3.すると、ブラウザが立ち上げるので、アクセス許可をしてください。

4. 番号をコピーして、

5. ツイート専用に貼り付けます。

6. そして「続行」ボタンを押して、「認証成功」が出れば Ok です。

２回目から起動するときは、設定ファイル（twnetpost.xml）を読み込んで起動します。

ひとまず、これで別アカウントの投稿ができます。自分のアカウントはWEBサイトで閲覧しておいて、地域サイトのアカウントで、時々リツイートとかが出来るようになります。（コピぺですが）。

左上のアイコンは、twnetpost.exe と同じ場所に「twnetpost.png」という画像ファイルを置いてください。そのうち、twitter サイトから自動でダウンロードできるようにします。

ひとまず、実行ファイルのみをアップしておきます。

http://moonmile.net/up/twnetpost-001.zip

ソースの方は、少し整理したら後ほど。

Twitterアカウントを指定して、全ての発言（ツイート）を取得するための perl スクリプトです。

目的は、

• あなたの彼の浮気調査

でもいいし（笑）、真面目に解析してもいいし。私の場合は、先に書いた「絡ったー」がらみで使う予定です。

twitter api を使うとアクセス制限（1時間に500回ぐらいかな）となるので、公式サイト http://twitter.com/ から直接引っ張ってきます。なので、公式サイトの形式が変わると取れなくなるんですが、ま、ひとまず、こんな感じで取得できるとという例として。

インストールは、

• activeperl などをダウンロード
• wget をダウンロード
  分かる人は、cUrl に変更しても ok

コマンドラインから

perl krmall.pl [アカウント]

とすると、

• 全発言のファイル アカウント.txt
• 絡む人のファイル アカウント_st.txt

が作成されます。これをメモ帳で見る、ぐらいですね。HTML形式に変換し直すと、リンク先に飛べたりして便利です。

例えば、孫正義さんの全ツイートを取得する場合は、

perl krmall.pl masason

とします。

それなりに時間がかかりますが、WEBサイト等でクリックしていくよりも便利でしょう。

え～と、どういう風に取得しているかというと、

1. 指定したアカウントのツイート数を取得
   http://twitter.com/アカウント
2. 全ページ数 = ツイート数/20 + 1 を計算。
3. ページ毎に過去を取得
   http://twitter.com/アカウント?page=n
4. IDやツイートなどを検索して取り出し。

な感じです。いわゆるサイト経由のクローリングと同じです。

以下は、ソースコード。

# 指定アカウントの全発言を取得
$user = $ARGV[0]; # アカウント
$wget = "wget"; if ( $user eq "" ) {
print "perl krmall.pl [アカウント]";
exit;
} # 現在のツイート数を取得
`$wget http://twitter.com/$user -Otemp.txt`;
open( FILE, &quot;<temp.txt&quot; );
while(<FILE>) {
if ( /<span id=&quot;update_count&quot; class=&quot;stat_count&quot;>([0-9,]+)<\/span>/ ) {
$cnt = $1;
$cnt =~ s/,//;
break;
}
}
close( FILE ); $pmax = int($cnt/20)+1;
print &quot;account: $user count: $cnt pages: $pmax\n&quot;;  # 指定アカウントを全て読み込み
unlink( &quot;$user.txt&quot; );
open( OUT, &quot;>>$user.txt&quot; ); for ($i=1; $i<=$pmax; $i++ ) {
`$wget http://twitter.com/$user?page=$i  -Otemp.txt`;

open( FILE, &quot;<temp.txt&quot; );
while(<FILE>) {
if ( /<span class=&quot;entry-content&quot;>/ ) {
$text = $_;
if ( !/<\/span>/ ) {
while(<FILE>) {
if ( /<\/span>/ ) {
$text .= $_;
last;
}
$text .= $_;
}
}
$text =~ s/\n//g;
$text =~ s/\r//g;
$text =~ /<span class=&quot;entry-content&quot;>(.*)<\/span>/;
$text = $1;

<FILE>; <FILE>;
$id = <FILE>;
$id =~ /status\/([0-9]+)/;
$id = $1;
$date = <FILE>;
$date =~ /data=&quot;{time:'([^']+)'}/;  #&quot;
$date = $1;

$text =~ s/<[^>]+>//g;

print OUT &quot;---\n&quot;;
print OUT &quot;$id\n&quot;;
print OUT &quot;$text\n&quot;;
print OUT &quot;$date\n\n&quot;;
}
}
close( FILE );
}
close( OUT ); # &quot;
# 統計表示
open( OUT, &quot;<$user.txt&quot;);
open( ST,  &quot;>${user}_st.txt&quot;);
while(<OUT>) {
if ( /^---/ ) {
$_ = <OUT>; chomp; $id = $_;
$_ = <OUT>; chomp; $text = $_;
$_ = <OUT>; chomp; $date = $_;

$_ = $text ;
@res = /(@[A-Za-z0-9_]+)/g;
foreach $re ( @res ) {
$users{ $re } = $users{ $re } + 1;
}
}
}
close( OUT );

foreach $re ( sort {$users{$b} <=> $users{$a}} keys %users ) {
if ( $re ne &quot;@&quot;.$user ) {
print ST &quot;$re (&quot;.$users{$re}.&quot;)\n&quot;;
}
}
close( ST );

—
2012/01/11 追記

上記のコードでは最新の公式クライアントでは動かないので、下記を試してみてください。C# で記述しています。

指定したTwitterアカウントの全ツイートを取得(暫定.NET版) | Moonmile Solutions Blog
http://www.moonmile.net/blog/archives/2851

Twitterで営業を掛けると言えば、フォロー＆フォロー返しなのだが、フォローばかり多くなっても、それは「見ていない」のと同じになります。そう、個人的には、100名フォローしたら、その後は増やさない/増やせないかなぁ、と。

鬼った～
http://www.onitw.net/

のように、自動ツールを使ってフォロアを増やす方法もあれば、リツイートをたくさん付けてフォロアを増やす方法もあります。また、ハッシュタグで #followme を付けると、相互フォローを受け付けるローカルルール（？）も存在します。

このあたり、フォロー数が増えるのは単純に「楽しい」気がするので、悪いわけではないのですが、いざ、誰をフォローしようと考えた時、

• フォロー数自体が当てにならない

ってことになりますよね。昨日の前夜祭でも話がありましたが、

• フォローするときは、相手のフォローを読んで、趣味が合うかみていきましょう。
• 趣味や諸々が合わないときは、フォローを削除しましょう。

ってのが、うまくツイッターを使う鉄則だったりします。

が、

まぁ、営業に使いたいと思うのは資本主義的に常なことで、営業に使うんだたら、もう少し調査しようよ/営業効果がある方法を取ろうよ、あるいは、営業ツイッターに引っかからないようにしようよ、

と思いついたのが「絡まったァ」です。

元ネタは、metionmap ですね。
http://apps.asterisq.com/mentionmap/

ツイッターアカウントを入れると、繋がりが強い人をグラフで表してくれます。

作成しているところは、http://asterisq.com/  という会社で、いろいろなネットワークをFlashを使って表現する老舗です。顧客動向などを調べるマーケティング調査を主にやっていますね。

さて、この metionmap を何回か使ってみたのですが、どうも、感覚的にちょっと違う気がしています。あって欲しい人がなかったり、ざっとみて無くてもいい人がいたり。もともと、どういうロジックでやっているのかと、

http://asterisq.com/blog/2009/10/14/explore-your-twitter-network-with-mentionmap

を眺めていくと、twitter api 的に直近の150件以下の投稿（つぶやき）しか取れないみたいですね。というか、返信とハッシュタグで繋がっているだけです。

となれば、作るのは簡単そう。更に、仲間サーチっぽくグループが分かるようにしましょう。そう「類は友を呼ぶ」というやつです。

ロジックは簡単で、

• 自分から直接、返信する相手（１次友達）を探る。
• １次友達から、自分に返信されている数を探る。

というように、相互に返信しているのか（会話しているのか？）を探っていきます。更に

• １次友達から２次友達を探る。
• ２次友達から３次友達を探る。

のように、３世代まで探ります。

探る友達は、

• ２回以上、返信/会話をした人

に限ります。

何故、１回だけの人を外すかというと、１回の場合は、「フォローありがとうございました」が多いので、パスします。挨拶だけですからね。まめに会話をしている人、身内、仲間、趣味が合う人、なんかが見つけられます。

そうすると、取り除ける対象は、

• 営業のために、フォローをしている人
• フォロアを増やすためにフォローを繰り返している人
• 鬼ったーのような自動化を使っている人

となるはずです。

ひとまず、１次友達への返信の向きだけ、作ったものがこれです。
http://moonmile.net/php/twtl.php

直近の200ツイートを調べて、返信した数を調べます。最初は、私のアカウント（@moonmile）ですが、
http://moonmile.net/php/twtl.php?id=アカウント

のように指定すれば、誰のアカウントでも調査できます。
# たまにエラーになりますが、リロードすれば読み込めます。

試しに、私がいくつかの人を調べると、まさしく「類友」状態になります。ラノベ関係はラノベで固まるし、プログラム関係はプログラム関係で、漫画家は漫画家で固まっています。

という訳で、まずは、これをトポロジー的に解くためにコーディング中です。図形はあとから、データベースとして、

• 返信元のアカウント（自分）
• 返信先のアカウント（相手）
• 順方向の返信数
• 逆方向の返信数

だけあれば、図が書けるようになります（F#向きだってのもあるなぁ）。

そう、前夜祭で話していたけど、「おそろしいツールでしょう？」。

twitter api はこちら
http://apiwiki.twitter.com/Twitter-API-Documentation

日本語がいい場合は、こっち。
http://watcher.moe-nifty.com/memo/docs/twitterAPI49.txt

ざっくりと整理したのでサンプルソースをアップ。

Amazon APIのRequestへの電子署名添付（PHP版） | Yama’s Memorandum
http://memorandum.yamasnet.com/archives/Post-320.html

のソースを改変して、画像を表示させるようにしたもの。

サンプルの動作は、http://moonmile.net/php/amazon.php で確認できる。

探したい本のキーワード（例. 増田智明）を入力して、送信ボタンを押すと、画像付きのリストが表示される。先頭の行は、戻されるXMLの確認用で、そのままURLで指定するとamazon apiの返信が見られる。

実際は、複数ページで返されるので、Items/TotalResults, Items/TotalPages をチェックしないといけないだが、今回は省略。

ひとまず、これで物欲webはできそうだ。

<?php
if ($_POST[&quot;submit&quot;] == &quot;送信&quot;)
{
// Access Key ID と Secret Access Key は必須です

$access_key_id = ''; // ここに Access Key ID を入力';
$secret_access_key = ''; // 'ここに Secret Access Key を入力';

// RFC3986 形式で URL エンコードする関数
function urlencode_rfc3986($str)
{
    return str_replace('%7E', '~', rawurlencode($str));
}

// 基本的なリクエストを作成します
// - この部分は今まで通り
$baseurl = 'http://ecs.amazonaws.jp/onca/xml';
$params = array();
$params['Service']        = 'AWSECommerceService';
$params['AWSAccessKeyId'] = $access_key_id;
$params['Version']        = '2009-03-31';
$params['Operation']      = 'ItemSearch'; // ← ItemSearch オペレーションの例
$params['SearchIndex']    = 'Books';
$params['Keywords']       = $_POST['kw'];     // ← 文字コードは UTF-8
$params['ResponseGroup'] ='Small,Images';

#$params['IdType'] = 'ASIN';
#$params['ItemId'] = '479801382X';

// Timestamp パラメータを追加します
// - 時間の表記は ISO8601 形式、タイムゾーンは UTC(GMT)
$params['Timestamp'] = gmdate('Y-m-d\TH:i:s\Z');

// パラメータの順序を昇順に並び替えます
ksort($params);

// canonical string を作成します
$canonical_string = '';
foreach ($params as $k => $v) {
    $canonical_string .= '&'.urlencode_rfc3986($k).'='.urlencode_rfc3986($v);
}
$canonical_string = substr($canonical_string, 1);

// 署名を作成します
// - 規定の文字列フォーマットを作成
// - HMAC-SHA256 を計算
// - BASE64 エンコード
$parsed_url = parse_url($baseurl);
$string_to_sign = &quot;GET\n{$parsed_url['host']}\n{$parsed_url['path']}\n{$canonical_string}&quot;;
$signature = base64_encode(hash_hmac('sha256', $string_to_sign, $secret_access_key, true));

// URL を作成します
// - リクエストの末尾に署名を追加
$url = $baseurl.'?'.$canonical_string.'&Signature='.urlencode_rfc3986($signature);

# echo $url; // ← この URL にアクセスすれば、API リクエストができます

$response = file_get_contents($url);
$root = new SimpleXMLElement($response);
foreach ( $root->children() as $Items ) {
    if ( $Items->getName() == 'Items' ) {
        break;
    }
}

/*
$parsed_xml = simplexml_load_string($response);

  $Image_URL    = $parsed_xml->Items->Item->MediumImage->URL;
  $Title        = $parsed_xml->Items->Item->ItemAttributes->Title;
  $Author       = $parsed_xml->Items->Item->ItemAttributes->Author;
  $Creator      = $parsed_xml->Items->Item->ItemAttributes->Creator;
  $Creator_Role = $parsed_xml->Items->Item->ItemAttributes->Creator['Role'];
  $Publ_date    = $parsed_xml->Items->Item->ItemAttributes->PublicationDate;
*/
?>

<html>
<head>
<meta http-equiv=&quot;Content-Type&quot; content=&quot;text/html; charset=utf-8&quot;　/>
</head>
<body>
<?= $url ?>
<hr />
<table>
<? foreach ( $Items->children() as $Item ) {
    if ( $Item->getName() == 'Item' ) {
?>
<tr>
<td><a href=&quot;http://amazon.co.jp/dp/<?= $Item->ASIN ?>&quot;><?= $Item->ASIN ?></a>
<td><img src=&quot;<?= $Item->SmallImage->URL ?>&quot;
     width=&quot;<?= $Item->SmallImage->Width ?>&quot;
     height=&quot;<?= $Item->SmallImage->Height ?>&quot;>

<td><?= $Item->ItemAttributes->Title ?>
</tr>
<? }} ?>
</table>

<?php
}
else
{
?>
<html>
<head>
<meta http-equiv=&quot;Content-Type&quot; content=&quot;text/html; charset=utf-8&quot;　/>
<title>
</title>
<body>
<form method=&quot;post&quot; action=&quot;amazon.php&quot;>

<table>
<tr>
    <td>キーワード：</td>
    <td><input type=&quot;text&quot; name=&quot;kw&quot; /></td>
</tr>
    <td></td>
    <td><input type=&quot;submit&quot; name=&quot;submit&quot; value=&quot;送信&quot; /></td>
</tr>
</table>
<?php
}
?>

備忘録的に記しておきます。

物欲 Web を本格化させたい（妄想込み）と思い立ち、Amazon API を Wordlpress 経由で調べる。

と、去年の夏あたりから仕様が変わったらしく、Access Key と Secret Key を必要するそうだ。

amazonアソシエイトを始めてみる-wordpress plugin編- – atl*weblog
http://weblog.atl-r.net/blog/amazon_affiliate_wpplugin/
Amazon APIのRequestへの電子署名添付（PHP版） | Yama’s Memorandum
http://memorandum.yamasnet.com/archives/Post-320.html

を参照すると、アソシエイト用のAPIの作り方が分かる。

API自体のドキュメントは、

http://docs.amazonwebservices.com/AWSECommerceService/latest/DG/

に英語で書かれている。ここで必要なのは、API References → Operations のところ。

カート操作は置いておいて、物欲 web で必要なのは、

• 商品の取得
  ItemSearch, ItemLookup

だけで、これを使って商品の情報と画像を引っ張って来れる。
ただし、商品情報と画像は、一度に取って来れないので、２度コールする必要がある。

最初はキーワード検索で

• Operation: ItemSearch
• Keywords: キーワード指定
• ResponseGroup: Small,Images

この戻り値で、ItemAttributes 要素として、商品情報（本のタイトルなど）と画像が一度に取得できる。

実際に動作するサンプルは、後ほど整理してからアップします。