MongoDB 3.2(stable)をUbuntu 16.04にインストール

現在(2016年6月10日)MongoDB 3.xのUbuntu 16.04用のパッケージは、MongoDBから提供されていません。そのためUbuntu 14.04用のパッケージを使うことによる問題で、16.04用のパッケージが公開された時には解決しているはずです。

2016年8月26日:Ubuntu 16.04用のパッケージが提供されています。そのためもうsystemd用の起動設定ファイルを作成する必要はありません。

これまでUbuntu 14.04でMongoDBを運用してきましたが、新しいLTSであるUbuntu 16.04にアップグレードしたらmongodが起動しなくなってしまいました。

ここではUbuntu 16.04にMongoDB 3.2(stable)をインストール(アップグレード)する手順と、使用できるようにするまでのworkaroundを説明します。

MongoDB 3.2のインストール

MongoDBをアップグレードする場合は、データと/etc/mongod.confをバックアップしておきます。

MongoDBのインストール方法は、MongoDBが公開しているInstall MongoDB Community Editionに基づいて行います。

まず改変されていないか確認するための鍵を登録します。この鍵は、以前と変わっているので、アップグレードの場合も必要です。

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv EA312927

次にパッケージのレポジトリを登録します。ここで3.2というバージョン指定をstableに変更すると、MongoDB 3.3が安定版になったらそのままアップグレードされ、常に最新の安定版MongoDBを使用できるようになります。

$ echo "deb http://repo.mongodb.org/apt/ubuntu trusty/mongodb-org/3.2 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.2.list
$ sudo apt update

実際にMongoDBをインストールします。アップグレードの場合は、mongodb-orgだけでなくそのメタパッケージが指すパッケージ群を指定しないとアップグレードできません1

# 新規インストールの場合
$ sudo apt install mongodb-org

# アップグレードの場合
$sudo apt install mongodb-org mongodb-org-mongos mongodb-org-server mongodb-org-shell mongodb-org-tools

本来ならばこれでmongodが起動するはずですが、起動ファイル(systemdの設定)が存在しないので自動では起動しません。たぶんUbuntu 16.04用のパッケージが公開されれば修正されるはずです。

mongodを自動起動させるworkaround

Ubuntu16.04用のパッケージが用意されているので、起動設定ファイルの作成ステップは不要です。Ubuntu 16.04用パッケージでは、起動用設定ファイルが/lib/systemd/system/mongod.serviceに作成されます。

mongodが起動しないのは、インストールしたパッケージがUbuntu 14.04用なのでUbuntu 16.04で自動起動させるために必要なsystemd設定が無いからです2

そこでsystemd用の起動設定ファイルmongodb.serviceRunning mongodb on ubuntu 16.04 LTSを参考にして作成します。

$ cat /etc/systemd/system/mongod.service
[Unit]
Description=MongoDB Database Service
Wants=network.target
After=network.target

[Service]
ExecStart=/usr/bin/mongod --config /etc/mongod.conf
ExecReload=/bin/kill -HUP $MAINPID
Restart=always
User=mongodb
Group=mongodb
StandardOutput=syslog
StandardError=syslog

[Install]
WantedBy=multi-user.target

mongod.serviceを作成したら、起動するか確認しておきます。

$ sudo systemctl start mongod
# or
$ sudo service mongod start

$ sudo systemctl status mongod
# or
$ sudo service mongod status
● mongod.service - MongoDB Database Service
   Loaded: loaded (/etc/systemd/system/mongod.service; disabled; vendor preset: 
   Active: active (running) since 金 2016-06-10 09:47:06 JST; 7s ago
 Main PID: 1479 (mongod)
   CGroup: /system.slice/mongod.service
           └─1479 /usr/bin/mongod --config /etc/mongod.conf

 6月 10 09:47:06 rerun systemd[1]: Started MongoDB Database Service.

起動することが確認できたら、自動起動するようにしておきます。

$ sudo systemctl enable mongod
Created symlink from /etc/systemd/system/multi-user.target.wants/mongod.service to /etc/systemd/system/mongod.service.

mongoコマンドの警告表を止める方法

mongoコマンドでサーバに接続すると次のような警告メッセージが表示されることがあります。

$ mongo
MongoDB shell version: 3.2.7
connecting to: test
Server has startup warnings: 
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] 
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] 
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2016-06-10T08:19:18.872+0900 I CONTROL  [initandlisten] 

この場合は、Disable Transparent Huge Pages (THP)を参考にしてkernelのtransparent huge pages機能を無効にします。

機能を無効にするには、/etc/rc.localにkernelの仮想設定ファイルに設定を書き込む命令を加えます。参照したページのように起動ファイルを作成したら、実行される順番によるのか警告を止めることができませんでした。

具体的には、/etc/rc.localexit 0の前に次の文を加えます。

if [ -d /sys/kernel/mm/transparent_hugepage ]; then
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

PHPのmongoライブラリ

Ubuntu 16.04では、PHP7が標準になりました。そのためmongodbライブラリをpeclコマンドでインストールすると、次のようなエラーが出てインストールできません。

$ sudo pecl install mongo
WARNING: "pecl/mongo" is deprecated in favor of "channel:///mongodb"
pecl/mongo requires PHP (version >= 5.3.0, version <= 5.99.99), installed version is 7.0.4-7ubuntu2.1
No valid packages found
install failed

そこで素直にパッケージに入っているmongoライブラリをインストールします。

$ sudo apt install php-mongo

脚注

  1. メタパッケージをアップグレードすれば、自動的にメタパッケージでインストールパッケージ群もアップグレードされるのだとずっと考えていました。

  2. Ubuntu 16.04ではsystemdがデーモンを起動させますが、Ubuntu 14.04ではUpstartが起動させていました。そのためUbunt 14.04用のパッケージにはsystemdで必要な設定ファイルが含まれていません。
    systemdに置き換えられたのは15.04からなので、Ubuntu 15.04と15.10でも同じ問題が発生します。

Raspbian(jessi)でのIPアドレスの固定とresolv.conf設定

Debian(Raspbian)のjessieでIPアドレスを固定する方法とresolv.confファイルの設定方法

Debian(Raspbian)では、jessieからネットワーク周りの設定方法が変わりました。そのためDHCPではなくIPアドレスを固定して使用する方法と、関連してresolv.confファイルの設定でこれまでの経験が使えなくなってしまいました。

ここではDebian(Raspbian) jessieでIPアドレスを固定する方法と、resolv.confファイルの設定する方法をメモしておきます。

設定はdhcpcd.confで

Debian(Raspbian) jessieでは、ネットワーク周りの設定は/etc/dhcpcd.confファイルで行います。/etc/network/interfaces/etc/resolv.confファイルを編集してもdhcpcdにより上書きされてしまいます。

IPアドレスを固定する方法

DHCPサーバからIPアドレスをもらって設定するのではなく、指定したIPアドレスを使いたい場合は、dhcpcd.confに次の設定を加えます。

interface eth0
static ip_address=10.0.0.130/24
static routers=10.0.0.254

この設定によりeth0に10.0.0.130(netmask 10.0.0.255)というIPアドレスが設定されます。またstatic routersにより、デフォルトルータに10.0.0.254が指定されます。

$ ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether b8:27:XX:XX:XX:XX brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.130/24 brd 10.0.0.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::XXXX:XXX:XXXX:XXXX/64 scope link 
       valid_lft forever preferred_lft forever

$ netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
0.0.0.0         10.0.0.254      0.0.0.0         UG        0 0          0 eth0
10.0.0.0        0.0.0.0         255.255.255.0   U         0 0          0 eth0

resolv.confの設定

上の設定を完了すればIPアドレスを指定して通信することが可能です。しかしホスト名を指定して通信するには、DNSに問い合わせてホスト名をIPアドレスに変換できなければなりません。そのための設定ファイルがresolv.confです。

resolv.confファイルにDNSのアドレスや自分のドメイン名を設定するには、dhcpcd.confに次の設定を加えます。

static domain_name_servers=10.0.0.123 10.0.0.234
static domain_name=nosuz.jp
#static domain_search=sample.jp

この設定により名前解決する時には10.0.0.123と10.0.0.234のDNSに問い合わせるようになります。またホストを指定する時にドメイン名まで指定する必要がなくなり、hostnameを指定するとdomain_nameで指定したドメイン名を付けてDNSに問い合わせるようになります。

domain_searchを設定すると、domain_nameに指定したホスト名が見つからない場合には、domain_searchで指定した別のドメイン名にないか調べるようになります。

WordPress REST APIを使った投稿と更新

WordPressのREST API(v2)を使用して記事の投稿と更新をしてみました。どうやってOAuth POSTをPHPからするか少し悩みましたが、分かってみると簡単にWordPressのREST APIを使用出来ました。

セットアップ

WordPress REST APIを使うには、REST APIのプラグインと認証プラグインをインストールして有効にしておく必要があります。

REST APIプラグイン

REST API(v2)プラグインは、通常のプラグインと同様にWordPressのダッシュボードからプラグインを検索してインストールします。

Application Passwordを使用する場合

Application Passwordは、ネット上を生のパスワードが流れます。 ローカル環境で使用するときには簡単で便利ですが、本番環境では必ず通信経路が暗号化されたHTTPS(SSL/TSL)で接続する必要があります。

Application Passwordを使用する場合は、OAuthプラグインと同様にApplication Passwordプラグインのページからアーカイブをダウンロードしてインストールします。

プラグインを有効にしたら、WordPressのダッシュボードから「ユーザー > あなたのプロフィール」と進んで、ページの最後の方にある「Application Passwords」でパスワードを自動生成します。このパスワードは再表示と修正はできないので、表示されたら安全な所に記録しておきます。修正や再確認が必要なときは、「Revoke」ボタンで現在のパスワードを無効にして再生成することになります。

Oauthを使用する場合

OAuthを使用する場合は、OAuthプラグインのGitHubページからアーカイブを取得して、OAuthプラグインをインストールします。

プラグインのインストールして有効にしたら、OAuthキーを取得しておきます。OAuthキーの取得方法は、WORDPRESS REST APIのOAUTHトークンを取得を参照して下さい。

OAuthライブラリ

プログラムからOAuth認証を使用するにはライブラリーが必要です。

言語 ライブラリ名
Ruby Oauth
PHP HTTP_OAuth
Pyhton Requests-OAuthlib

記事の投稿と更新サンプル

Application Passwordでのサンプル

Application Passwordは普通のBASIC認証と同じなので、curlコマンドにユーザ名1とアプリケーションパスワードを引数として渡すことで簡単にAPIを叩くことができます。

#!/bin/bash

read -r -d '' json << _EOM_
  {
    "title": "Post new draft with cat 2",
    "content": "TEST<br/>TEST",
    "categories": [2],
    "status": "draft"
  }
_EOM_

curl -X POST \
     -u "user:applicatopn_password" \
     -H "Content-Type: application/json" \
     -d "$json" \
     https://MY_WORDPRESS_SITE/wp-json/wp/v2/posts

-uオプションを指定しないでも、エンコード済みのAuthorizationヘッダー2を加えてもAPIにアクセスできます。

curl -X POST \
     -H "Authorization: Basic dXNlcjphcHBsaWNhdG9wbl9wYXNzd29yZA==" \
     -H "Content-Type: application/json" \
     -d "$json" \
     https://books.nosuz.jp/wp-json/wp/v2/posts

BASIC認証方法は、パスワードをBase64でエンコードしているだけなので簡単にデコードして読み取ることができます。

$ echo dXNlcjphcHBsaWNhdG9wbl9wYXNzd29yZA==|base64 -d
user:applicatopn_password

OAuthでのサンプル

OAuthのサンプルは、PHPとそのOAuthライブラリHTTP_OAuthを使用しました。ライブラリのインストール方法は、WORDPRESS REST APIのOAUTHトークンを取得を参照して下さい。

PHPからOAuth認証でPOSTする時に、HTTP_OAuthライブラリにデータを指定する方法が分からず少し困りました。しかしHTTP_Request2のインスタンスにデータをセットし、それをHTTP_OAuthに渡すことでOAuth認証でPOSTできました。

require_once('HTTP/OAuth/Consumer.php');

$oauth = new HTTP_OAuth_Consumer(
    $oauth_secret->client_key,
    $oauth_secret->client_secret,
    $oauth_secret->access_key,
    $oauth_secret->access_secret
);

# POST OAuth
$http_request = new HTTP_Request2();
$http_request->setHeader("Content-Type: application/json");
$http_request->setBody(json_encode($article));

$consumer_request = new HTTP_OAuth_Consumer_Request();
$consumer_request->accept($http_request);
$oauth->accept($consumer_request);
$result = $oauth->sendRequest($post_endpoint)->getResponse();

これを使ってWordPressに記事を投稿と更新するプログラムを書いてみました。このプログラムは、HTTP_OAuthライブラリの他にテンプレートエンジンのTwigを使用しています。

phpのビルトインサーバを起動させて

php -S localhost:8080

http://localhost:8080/wp-post.phpにアクセスします。最初にアクセスした時には新規投稿となり、結果には記事のIDが埋め込まれているので次からは更新となります。

参照と脚注

  1. Application PasswordによるBASIC認証でのユーザ名は、WordPressのユーザ名でありApplication Passwordを登録した時のアプリケーション名ではありません。これを勘違いしていて私はだいぶ時間をロスしました。

  2. Authorizationヘッダーは、ユーザ名とパスワードを:でつないでBase64でエンコードしただけです。

    $ echo -n 'user:applicatopn_password' | base64
    dXNlcjphcHBsaWNhdG9wbl9wYXNzd29yZA==
    

WordPress REST APIのOAuthトークンを取得

WordPress REST APIで使用するOAuthトークンを取得するPHPプログラムを作成した。プログラムを作成したと言っても、TwitterのOAuthを取得するプログラムからエンドポイントを変更しただけでWordPress用のOAuthトークンを取得できました。

WordPress REST APIは、ユーザを認証する三種類(通常のパスワード、アプリケーションパスワード、OAuth)の方法をサポートしています。この内通常のパスワードとアプリケーションパスワードを使った方法は、通信経路が暗号化されていないHTTP://というサイトではパスワードが丸見えになってしまい危険で使用できません。

そのような場合には、OAuthを使ったユーザ認証を使用します。このOAuthを使った認証では、自分と相手のみが知っている鍵(トークン)を使って署名を作成し、その署名だけを送ります。そのため通信が覗かれても署名に使われたトークンを知られることがなく安全です。

ただしこのOAuthに使用するトークンを取得するには、WordPressを使用するサイトと何度か通信する必要があります。手動でやり取りしてトークンを取得することも可能ですが、Webサーバとブラウザがあればとても簡単です。

そこで今回は、OAuthトークンを取得するプログラムをPHPで作成し、PHPが持っているビルトインサーバを使用して走らすことでWordPress REST APIで使用するOAuthトークンを取得しました。わざわざApacheなどの本格的サーバを準備すること無くテスト用OAuthトークンを簡単に取得出来ました。

準備

WordPressのプラグインをインストール

WordPressにOAuthプラグインをインストールします。またREST APIのプラグインはOAuthトークンを取得する時に必要ないと思いますが、動作確認の時に必要なので合わせてインストールしておきます。

WordPress REST API(Version 2)は、WordPressのダッシュボード「プラグインを追加」で検索すると見つかるので、それをインストールします。登録済みOAuthプラグインに無いようなので、OAuthプラグインのページからアーカイブをダウンロードしてインストールします。

どちらもプラグインをインストールした後は、忘れずにインストールしたプラグインを 有効 にしておきます。

REST APIが有効になっているかは、次のコマンドで確認できます。

$ curl https://tech.nosuz.jp/wp-json/wp/v2/posts

これで投稿が取得できればREST APIに関しては問題ありません。

PHPとOAuthライブラリをインストール

手元のパソコンでは、Ubuntu 15.10が動いています。

まずパッケージからPHPをインストールします。

$ sudo apt install php5-cli php-pear

普通のphp5はApacheなどもインストールされてしまうので、php5-cliをインストールします。またPHPのライブラリをインストールするためにpearもインストールします。

次はOAuthライブラリのインストールですが、HTTP_OAuth1はα版とのことでインストールする時にバージョンを指定する必要があります。

$ sudo pear install HTTP_OAuth
Failed to download pear/HTTP_OAuth within preferred state "stable", latest release is version 0.3.2, stability "alpha", use "channel://pear.php.net/HTTP_OAuth-0.3.2" to install
install failed

$ sudo pear install HTTP_OAuth-0.3.2

PHPでOAuthトークンを取得するプログラム

このライブラリを使ってOAuthトークンを取得するプログラムget-oauth-token.phpを作成しました2

OAuthトークンの取得

アプリケーションの登録

まずOAuthを使用するアプリケーションを、WordPressのダッシュボードにある「ユーザー > Application」で登録します。

application

AddNewApplication

「Add New」ボタンをクリックして、アプリケーションの名前と簡単な説明、callbackアドレスを記入して「Add Consumer」ボタンをクリックすれば完了です。

EditApplication

今回手元のPHPビルトインサーバ機能を使用するので、callbackは次のように記入しました。このようにcallback先のURLは自分がアクセスできればネットに公開されていなくても大丈夫です。

http://localhost:8080/get-oauth-token.php

登録されるとOAuth Credentialsが表示されるので、Client KeyとSecretをコピーしてJSON形式で別のファイルに保管しておきます。これらの値は、プログラムにハードコードしないでファイルから読み込んで使用します。

OAuthトークンを取得

PHPビルトインサーバを起動して、上で作成したOAuthトークンを取得するプログラムへのアクセスを待ちます。ビルトインサーバを起動するには、OAuthを取得するプログラムが有るディレクトリに移動し、そこで次のコマンドを実行します。

$ php -S localhost:8080

次にブラウザからhttp://localhost/get-oauth-token.phpにアクセスすると、WordPressのユーザ認証ページにリダイレクトされます。ここで「Authorize」をクリックすると取得したOAuthトークンが表示されます。

authorize

このトークンは後で使用するので、安全なファイルに記録しておきます。

参照と脚注

  1. HTTP_OAuthを使用したのは、PHPのOAuthライブラリーを検索した時に結果の最初の方に有ったからです。まだα版ということですが、特に問題はありませんでした。

  2. このWordPress用のOAuthトークンを取得するプログラムは、APIのエンドポイントURLをWordPress用に修正したのみでTwitterのOAuthトークンを取得するプログラムと全く同じです。