DRYな備忘録

Don't Repeat Yourself.

GoのコードからDockerコンテナの起動を実装する

やったこと

  • docker clientをGoのコードからimportする
  • container作成
  • container起動
  • container停止(& 自動削除)

苦労したこと

  • けっこうdocker(現moby)のコードの移り変わりが激しくて、vendorを固定するのが苦労した

できなかったこと

main.go

package main

import (
    "context"
    "fmt"
    "time"

    "github.com/docker/docker/api/types"
    "github.com/docker/docker/api/types/container"
    "github.com/docker/docker/api/types/network"
    "github.com/docker/docker/client"
    "github.com/docker/go-connections/nat"
)

func main() {

    c, err := client.NewEnvClient()
    if err != nil {
        panic(fmt.Errorf("NewEnvClient: %v", err))
    }

    ctx := context.Background()

    /* 後述する「うごかなかったもの」がここに来ます */

    // 1) コンテナをつくる
    cc := &container.Config{
        Image:        "nginx",
        ExposedPorts: nat.PortSet{nat.Port("80"): struct{}{}},
        // Entrypoint:   strslice.StrSlice{"nginx", "-g", "daemon off;"},
    }
    hc := &container.HostConfig{
        // `--port 8080:80`
        PortBindings: nat.PortMap{
            nat.Port("80"): []nat.PortBinding{nat.PortBinding{HostPort: "8080"}},
        },
        // `--rm`
        AutoRemove: true,
    }
    // docker network らへん
    nc := &network.NetworkingConfig{}

    body, err := c.ContainerCreate(ctx, cc, hc, nc, "foo")
    if err != nil {
        panic(fmt.Errorf("ContainerCreate: %v", err))
    }
    fmt.Printf("Created Container:\n%+v\n", body)

    // 2) コンテナのスタート
    if err := c.ContainerStart(ctx, body.ID, types.ContainerStartOptions{}); err != nil {
        panic(fmt.Errorf("ContainerStart: %v", err))
    }

    // あること確認
    check(ctx, c)

    // 3) 20秒だけ延命
    time.Sleep(20 * time.Second)

    // 4) コンテナの停止
    //    --rm を投げてるのでコンテナ自体も削除される
    timeout := 5 * time.Second
    if err := c.ContainerStop(ctx, body.ID, &timeout); err != nil {
        panic(fmt.Errorf("ContainerStop: %v", err))
    }

    // ないこと確認
    check(ctx, c)
}

// コンテナのリストを取得する確認用の関数
func check(ctx context.Context, c *client.Client) {

    containers, err := c.ContainerList(ctx, types.ContainerListOptions{All: true})
    if err != nil {
        panic(err)
    }

    fmt.Println("List of containers")
    for _, container := range containers {
        fmt.Printf(" - %s (%s)\n", container.ID, container.Image)
    }
}

これで、 go run main.go とすると、20秒だけホストの8080にnginxが現れるということになります。

f:id:otiai10:20170524163022p:plain

f:id:otiai10:20170524162509p:plain

f:id:otiai10:20170524163152p:plain

よっしゃ。

うごかなかったもの

   rp, err := c.ImagePull(ctx, "nginx:latest", types.ImagePullOptions{})
    if err != nil {
        panic(fmt.Errorf("ImagePull: %v", err))
    }
    defer rp.Close()
    // エラーは無いんだけど、ContainerCreateで参照できないんだよなあ

    // じゃあImageSaveかなと思ったけど引数がImageIDsなので、とりあえずハードコードで投げる
    rs, err := c.ImageSave(ctx, []string{"bf2b4c2d7bf53b4d0d28fa6af60e51c418317d2ada40ed6e5d5c290248d2a469"})
    if err != nil {
        panic(fmt.Errorf("ImageSave: %v", err))
    }
    defer rs.Close()
    // まあ無いと言われる

    // 確認用
    images, err := c.ImageList(ctx, types.ImageListOptions{})
    if err != nil {
        panic(fmt.Errorf("ImageList: %v", err))
    }
    for _, img := range images {
        fmt.Printf("%+v\n", img)
    }

    // ImagePullで得たio.ReadCloserに色々入ってんのかな?
    // やたらでかそうだし、もしかしてイメージそのもの?

この部分が動かなかったので、あらかじめホストマシンで docker pull nginx を実行しないと動かないコードになってしまった。くやしい。次はこれを解決したいです。

DRYな備忘録として

追記

できました otiai10.hatenablog.com

Docker

Docker

不要になったDockerコンテナの一括削除

% docker ps -a -q -f "status=exited" | xargs docker rm
  • -a --all runningではないコンテナも含めすべて表示
  • -q --quiet container idのみ表示
  • -f --filter 色々でフィルタリングできる
  • を、xargsdocker rmの引数に投げた

DRYな備忘録として

Docker for Macのインストールと複数VMをつくるまで

インストールのログ

f:id:otiai10:20170523100821p:plain

f:id:otiai10:20170523100650p:plain

f:id:otiai10:20170523100724p:plain

f:id:otiai10:20170523100952p:plain

f:id:otiai10:20170523101108p:plain

% which docker
/usr/local/bin/docker
% docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
% docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM   DOCKER   ERRORS
% docker-compose ps
ERROR:
        Can not find a suitable configuration file in this directory or any
        parent. Are you in the right directory?

        Supported filenames: docker-compose.yml, docker-compose.yaml

%

docker-machinedocker-composeも入ってるやん?VM複数つくっていいのかな。VirtualBoxではなくHyperkitという差はある。

まずは適当になんか立てる

% docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM   DOCKER   ERRORS

docker toolbox的に言えば、machineがひとつも立ってないんだからdockerホストいなくね?っていう気持ちだけど、とりあえずやってみる。自作のOCRサーバ立ててみる。

% docker run --rm -p 8080:8080 otiai10/ocrserver
Unable to find image 'otiai10/ocrserver:latest' locally
latest: Pulling from otiai10/ocrserver
386a066cd84a: Pull complete
75ea84187083: Pull complete
88b459c9f665: Pull complete
a31e17eb9485: Pull complete
1b272d7ab8a4: Pull complete
eca636a985c1: Pull complete
08158782d330: Pull complete
fb9f7b3131a3: Pull complete
fcf51ff1519d: Pull complete
afdc21dc8865: Pull complete
2e81650bd01b: Pull complete
Digest: sha256:221d7ffd1ca2daa2dd2bff6e8d888873302f7031c05df5c2bd61c2d73cd14326
Status: Downloaded newer image for otiai10/ocrserver:latest
[ocrserver] listening on port :8080

f:id:otiai10:20170523102435p:plain

動いとる。いい感じ。別ターミナルから

% docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS                    NAMES
0c2091fcfda3        otiai10/ocrserver   "/bin/sh -c /go/bi..."   About a minute ago   Up About a minute   0.0.0.0:8080->8080/tcp   stupefied_tesla
% docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM   DOCKER   ERRORS
% docker kill 0c2091fcfda3
0c2091fcfda3
% docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
%

いい感じ。

プロジェクトごと別々のDockerホストを扱う

% docker-machine create --help
Usage: docker-machine create [OPTIONS] [arg...]

Create a machine

Description:
   Run 'docker-machine create --driver name' to include the create flags for that driver in the help text.
% docker-machine create foo
Creating CA: /Users/otiai10/.docker/machine/certs/ca.pem
Creating client certificate: /Users/otiai10/.docker/machine/certs/cert.pem
Running pre-create checks...
Error with pre-create check: "VBoxManage not found. Make sure VirtualBox is installed and VBoxManage is in the path"

まあそうだよな。VirtualBox入れてないもん。じゃあHyperkitかな?

% docker-machine create --driver hyperkit foo
Driver "hyperkit" not found. Do you have the plugin binary "docker-machine-driver-hyperkit" accessible in your PATH?
%

なぬ?hyperkitのdocker-machineドライバー無いのか。

Currently, there is no docker-machine create driver for HyperKit, so you will use virtualbox driver to create local machines.

今んとこ、複数Dockerホスト立てる場合は、docker for macが立てたhyperkitのvmではなく、docker-machine経由で、VirtualBoxVMを立てる必要があるっぽい。ということで、掲題の目的を達成するためには

  1. VirtualBoxのインストー
  2. docker-machine createする
  3. docker-machine envをevalする
  4. そこに向けてdocker runする

という今までのおなじみのワークフローをすればよいっぽい。

それにしても、エラーメッセージの docker-machine-driver-hyperkit っていうのはちょっと気になる。

README読むほどに、まあ無理してこれ使わんでも、VirtualBoxでdocker-machineで立てればいいか、という気持ちになるので、放置でよいかと思った。とりあえずMacのHyperkitのホストに対してdocker/docker-composeでプロジェクトごとに分ける運用で十分かという結論。

DRYな備忘録として

Docker入門

Docker入門

pkg_resources.DistributionNotFound: The '自作pythonスクリプト==0.0.3' distribution was not found and is required by the application

問題

jobとしてシェルスクリプトを投げるタイプのjob-queueシステムにおいて、シェルスクリプトから pip install --user で入れたpython binを参照させると、どうやらimportでコケている模様。

# 中略
pkg_resources.DistributionNotFound: The 'filtertool==0.0.3' distribution was not found and is required by the application

原因

  • --user で入れたものの lib のpathは、環境変数 $PYTHONUSERBASE/lib を参照しているが、
  • job-queueシステムのシェルスクリプトではその環境変数が見つからないのでsystemのlibを見に行って、
  • 自作スクリプトがライブラリとして存在してないよ! 」という状況が起きる

解決

例) uge_cooker を使っている場合

env.json

{
    "PYTHONUSERBASE": "/home/otiai10/opt/python/2.7.10/packages"
}

DRY

Pythonスタートブック

Pythonスタートブック

scpできなくて私もハマった

問題

scpがエラー無く終わるが、何も転送されていない

% scp otiai10@foobar.com:~/test.txt ~/
Enter passphrase for key '/User/otiai10/.ssh/foobar': 
foobar
%
% ls -la | grep test.txt
% # ← あれーん?

tl;dr, 解決

  • リモート側の.bashrcでログイン時にログインしたホスト名を出力するようにしていたのが原因だったっぽい?(ナンデ?)
# リモートの~/.bashrc

### 以下をコメントアウトしたら動いた
hostname

参考

ログ

問題の発覚

% scp otiai10@foobar.com:~/test.txt ~/
Enter passphrase for key '/User/otiai10/.ssh/foobar': 
foobar
%
% ls -la | grep test.txt
%

なんもない? scpコマンドにはverbose logを出す-vオプションがあるので調査

% scp otiai10@foobar.com:~/test.txt ~/
#
# 略
#
debug1: Entering interactive session.
debug1: pledge: network
debug1: Sending command: scp -v -f ~/test.txt
Sink: foobar
foobar
Sending file modes: C0640 37 test.txt
debug1: client_input_channel_req: channel 0 rtype exit-status reply 0
debug1: client_input_channel_req: channel 0 rtype eow@openssh.com reply 0
debug1: channel 0: free: client-session, nchannels 1
debug1: fd 0 clearing O_NONBLOCK
debug1: fd 1 clearing O_NONBLOCK
Transferred: sent 3264, received 2992 bytes, in 0.1 seconds
Bytes per second: sent 22591.7, received 20709.0
debug1: Exit status 1
% 

確かにExit status 1してるし、sentに対してrecievedが少ないが、なんとも情報が少ない。ググってギリギリそれっぽいのがこれだった。

sshも繋がるしWinSCPも出来たのでなかなか原因にたどり着くことができませんでした。同じような状況のときは.~rcを調べてみるといいかもしれません…。

f:id:otiai10:20170512131857j:plain

それな。~/.bashrcを確認しても、だいたい環境変数のexportとかしてるだけでそれっぽいものが無いけど、以下のブロックを見つけた

# {{{ PROMPT
if [[ `hostname` =~ foobar ]]; then
    hostname
else
    export PS1="\e[1;34m\]$\e[m\] "
fi
# }}}

foobarサーバだったらfoobarを出力し、それ以外だったらプロンプト(コマンド受け付けるところの左のやつ)をシンプルに $ (色付き)だけにするというやつ。「まさかぁ〜」と思いつつコメントアウトしたら動いた。問題を切り分けて、どうやら hostname を実行している箇所 だけ が問題だったということが判明して事なきを得たが、結局原因はわかっていないです。教えてエロいひと。

DRY

vimのcolorschemeで勝手にドキドキするvimrc

わけあってリモートサーバでvimでがんがんコードの編集する仕事をしており、あと単調なので、なんかドキドキしたいと思い、1時間ごとにcolorschemeを勝手に変えるvimrcの断片を書いたのでメモ

追記 2017/05/15

id:foooomioさんありがとうございます!助かりました!

function! s:ColorSchemeLottery()
    let schemes = ["koehler", "zellner", "peachpuff", "slate", "murphy", "delek"]
    let l = len(schemes)
    let i = strftime("%H") % l
    return schemes[i]
endfunction
execute 'colorscheme ' . s:ColorSchemeLottery()

これでリストだけ更新すればよくなった。

以下原文、読まなくてよい。

これ動かない

なんで…

function! s:ColorSchemeLottery()
    let schemes = ["koehler", "zellner", "peachpuff", "slate", "murphy", "delek"]
    let l = len(schemes)
    let i = strftime("%H") % l
    return schemes[i]
endfunction

colorscheme s:ColorSchemeLottery()

" E185: Cannot find color scheme 's:ColorSchemeLottery()'
" と言われる。関数呼び出しが呼び出しと戻り値ではなく引数として食わせる文字列として評価されている

とりあえずこうした

function! ColorSchemeLottery()
    let h = strftime("%H") % 6
    if h == 0
        colorscheme koehler
    elseif h == 1
        colorscheme zellner
    elseif h == 2
        colorscheme peachpuff
    elseif h == 3
        colorscheme slate
    elseif h == 4
        colorscheme murphy
    else
        colorscheme delek
    endif
endfunction

call ColorSchemeLottery()

Vimテクニックバイブル ?作業効率をカイゼンする150の技

Vimテクニックバイブル ?作業効率をカイゼンする150の技

RedHatにGo言語をインストール(というか配置)

$ cd
$ mkdir -p opt/src
$ cd opt/src
$ wget https://storage.googleapis.com/golang/go1.8.1.linux-amd64.tar.gz
$ tar zxvf go1.8.1.linux-amd64.tar.gz
$ mv go ~/opt/.go # GOROOT用
$ mkdir -p ~/proj/go # GOPATH用
$ export GOROOT=~/opt/.go
$ export GOPATH=~/proj/go
$ export PATH=$GOROOT/bin:$GOPATH/bin:$PATH
$ go version
go version go1.8.1 linux/amd64

確認

$ go get github.com/otiai10/primes/primes
$ which primes
~/proj/go/bin/primes
$ primes p 100
[2 3 5 7 11 13 17 19 23 29 31 37 41 43 47 53 59 61 67 71 73 79 83 89 97]

いけてる。Goのインストールは手軽で明確でほんとに好きだなあ。

DRYな備忘録として