GoのコードからDockerイメージのpullを実装する（bufio.Scannerかわいい）

前回エントリ↓でコードからのイメージのpullが動かなくてあっれおかしーなーとなって悔しかったのでリベンジです。

otiai10.hatenablog.com

tl;dr

• client.ImagePullの返り値はio.ReadCloser型とerror型
• このio.ReadCloserが、イメージのpullのprogressなどを表すHTTPのストリーム
• このストリームへの書き込みが終わる（つまりdocker pullが完了する）まで待つ必要があった

以下読まなくてよいです

動かないコード

func main() {

    c, err := client.NewEnvClient()
    if err != nil {
        panic(fmt.Errorf("NewEnvClient: %v", err))
    }
    ctx := context.Background()

    // "debian"（:latestは省略可）のpullを試みる
    rp, err := c.ImagePull(ctx, "debian", types.ImagePullOptions{})
    if err != nil {
        panic(fmt.Errorf("ImageSave: %v", err))
    }
    defer rp.Close()
    // エラーさえ無ければイメージのpullが成功していると誤解していた

    cc := &container.Config{Image: "debian"}
    hc := &container.HostConfig{AutoRemove: true}
    nc := &network.NetworkingConfig{}
    body, err := c.ContainerCreate(ctx, cc, hc, nc, "bar")
    if err != nil {
        panic(fmt.Errorf("ContainerCreate: %v", err))
        // 結局ここで"debianなんてイメージは無い！"と叱られる
    }
    fmt.Printf("Created Container:\n%+v\n", body)

}

動くコード

前後省略します

func main() {

    /* 省略（クライアントの初期化とかする） */

    // "debian"（:latestは省略可）のpullを試みる
    rp, err := c.ImagePull(ctx, "debian", types.ImagePullOptions{})
    if err != nil {
        panic(fmt.Errorf("ImageSave: %v", err))
    }
    defer rp.Close()

    // {{{ こっからが味噌！！

    // こういう構造のバッファが書き込まれる
    payload := struct {
        ID             string `json:"id"`
        Status         string `json:"status"`
        Progress       string `json:"progress"`
        ProgressDetail struct {
            Current uint16 `json:"current"`
            Total   uint16 `json:"total"`
        } `json:"progressDetail"`
    }{}

    // bufio.Scannerマジでかわいい
    scanner := bufio.NewScanner(rp)
    for scanner.Scan() {
        json.Unmarshal(scanner.Bytes(), &payload)
        fmt.Printf("\t%+v\n", payload)
    }

    // }}} ここまでが味噌！！

    /* 省略（得られたイメージを指定してコンテナつくったりする） */

}

上記では、bufio.Scannerを使ってHTTPのEOFまで待っている。ついでに、毎バッファ書き込みされるレスポンスを取り出して上げている。
↓こういうきれいな感じのペイロードが送られてくる。

Scanner使わないんだったらioutil.ReadAllかなー他にストリームが終わるの同期的に待つのどうすっかなーと思ってググりました。

• Golangでのstreamの扱い方を学ぶ - Carpe Diem
• Streaming data in Go, without bytes.Buffer – Stupid Gopher Tricks – Medium
• go - How to find EOF while reading from a file - Stack Overflow

今回のように毎ペイロードが独立して意味のあるものであれば、Scanner使うのが良い気がするものの、もっと良い（単にReaderのEOFを待つための）方法があれば教えてくださいm(＿ ＿)m

雑感

• Goのコードからgithub.com/docker/docker/clientを使って (1) イメージのpull (2) コンテナ起動 が実現されたので、これでほぼ心置きなく俺々Dockerクライアントを自作できますね！やったね！
• 腰椎椎間板ヘルニアになっちゃった。腰痛ぇ。

『腰痛持ちエンジニアが選ぶマットレス5選』みたいなのください

— エッチなリツイートをします (@otiai10) 2017年5月25日

DRYな備忘録として

Docker

Docker : A Quick-Start Beginner's Guide (English Edition)

Infrastructure as Code ―クラウドにおけるサーバ管理の原則とプラクティス

GoのコードからDockerコンテナの起動を実装する

やったこと

• docker clientをGoのコードからimportする
• container作成
• container起動
• container停止（& 自動削除）

苦労したこと

• けっこうdocker（現moby）のコードの移り変わりが激しくて、vendorを固定するのが苦労した
  • これとか

できなかったこと

• コードからのimage pull
• コードからのimage save
• それを元に上記を実行
• 【追記】できた
  • GoのコードからDockerイメージのpullを実装する（bufio.Scannerかわいい） - DRYな備忘録

main.go

package main

import (
    "context"
    "fmt"
    "time"

    "github.com/docker/docker/api/types"
    "github.com/docker/docker/api/types/container"
    "github.com/docker/docker/api/types/network"
    "github.com/docker/docker/client"
    "github.com/docker/go-connections/nat"
)

func main() {

    c, err := client.NewEnvClient()
    if err != nil {
        panic(fmt.Errorf("NewEnvClient: %v", err))
    }

    ctx := context.Background()

    /* 後述する「うごかなかったもの」がここに来ます */

    // 1) コンテナをつくる
    cc := &container.Config{
        Image:        "nginx",
        ExposedPorts: nat.PortSet{nat.Port("80"): struct{}{}},
        // Entrypoint:   strslice.StrSlice{"nginx", "-g", "daemon off;"},
    }
    hc := &container.HostConfig{
        // `--port 8080:80`
        PortBindings: nat.PortMap{
            nat.Port("80"): []nat.PortBinding{nat.PortBinding{HostPort: "8080"}},
        },
        // `--rm`
        AutoRemove: true,
    }
    // docker network らへん
    nc := &network.NetworkingConfig{}

    body, err := c.ContainerCreate(ctx, cc, hc, nc, "foo")
    if err != nil {
        panic(fmt.Errorf("ContainerCreate: %v", err))
    }
    fmt.Printf("Created Container:\n%+v\n", body)

    // 2) コンテナのスタート
    if err := c.ContainerStart(ctx, body.ID, types.ContainerStartOptions{}); err != nil {
        panic(fmt.Errorf("ContainerStart: %v", err))
    }

    // あること確認
    check(ctx, c)

    // 3) 20秒だけ延命
    time.Sleep(20 * time.Second)

    // 4) コンテナの停止
    //    --rm を投げてるのでコンテナ自体も削除される
    timeout := 5 * time.Second
    if err := c.ContainerStop(ctx, body.ID, &timeout); err != nil {
        panic(fmt.Errorf("ContainerStop: %v", err))
    }

    // ないこと確認
    check(ctx, c)
}

// コンテナのリストを取得する確認用の関数
func check(ctx context.Context, c *client.Client) {

    containers, err := c.ContainerList(ctx, types.ContainerListOptions{All: true})
    if err != nil {
        panic(err)
    }

    fmt.Println("List of containers")
    for _, container := range containers {
        fmt.Printf(" - %s (%s)\n", container.ID, container.Image)
    }
}

これで、 go run main.go とすると、20秒だけホストの8080にnginxが現れるということになります。

よっしゃ。

うごかなかったもの

   rp, err := c.ImagePull(ctx, "nginx:latest", types.ImagePullOptions{})
    if err != nil {
        panic(fmt.Errorf("ImagePull: %v", err))
    }
    defer rp.Close()
    // エラーは無いんだけど、ContainerCreateで参照できないんだよなあ

    // じゃあImageSaveかなと思ったけど引数がImageIDsなので、とりあえずハードコードで投げる
    rs, err := c.ImageSave(ctx, []string{"bf2b4c2d7bf53b4d0d28fa6af60e51c418317d2ada40ed6e5d5c290248d2a469"})
    if err != nil {
        panic(fmt.Errorf("ImageSave: %v", err))
    }
    defer rs.Close()
    // まあ無いと言われる

    // 確認用
    images, err := c.ImageList(ctx, types.ImageListOptions{})
    if err != nil {
        panic(fmt.Errorf("ImageList: %v", err))
    }
    for _, img := range images {
        fmt.Printf("%+v\n", img)
    }

    // ImagePullで得たio.ReadCloserに色々入ってんのかな？
    // やたらでかそうだし、もしかしてイメージそのもの？

この部分が動かなかったので、あらかじめホストマシンで docker pull nginx を実行しないと動かないコードになってしまった。くやしい。次はこれを解決したいです。

DRYな備忘録として

追記

できました otiai10.hatenablog.com

プログラマのためのDocker教科書 インフラの基礎知識&コードによる環境構築の自動化

Docker

Docker実践入門――Linuxコンテナ技術の基礎から応用まで (Software Design plus)

不要になったDockerコンテナの一括削除

• docker ps - Docker Documentation

% docker ps -a -q -f "status=exited" | xargs docker rm

• -a --all runningではないコンテナも含めすべて表示
• -q --quiet container idのみ表示
• -f --filter 色々でフィルタリングできる
• を、xargsでdocker rmの引数に投げた

DRYな備忘録として

プログラマのためのDocker教科書 インフラの基礎知識&コードによる環境構築の自動化

Docker for Macのインストールと複数VMをつくるまで

• Docker for Mac vs. Docker Toolbox - Docker Documentation
• Get started with Docker for Mac - Docker Documentation
• 結局Docker for MacはDocker Toolboxと比べてどこが良いのか - Qiita
• Install Docker for Mac - Docker Documentation

インストールのログ

% which docker
/usr/local/bin/docker
% docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
% docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM   DOCKER   ERRORS
% docker-compose ps
ERROR:
        Can not find a suitable configuration file in this directory or any
        parent. Are you in the right directory?

        Supported filenames: docker-compose.yml, docker-compose.yaml

%

docker-machineもdocker-composeも入ってるやん？VM複数つくっていいのかな。VirtualBoxではなくHyperkitという差はある。

まずは適当になんか立てる

% docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM   DOCKER   ERRORS

docker toolbox的に言えば、machineがひとつも立ってないんだからdockerホストいなくね？っていう気持ちだけど、とりあえずやってみる。自作のOCRサーバ立ててみる。

% docker run --rm -p 8080:8080 otiai10/ocrserver
Unable to find image 'otiai10/ocrserver:latest' locally
latest: Pulling from otiai10/ocrserver
386a066cd84a: Pull complete
75ea84187083: Pull complete
88b459c9f665: Pull complete
a31e17eb9485: Pull complete
1b272d7ab8a4: Pull complete
eca636a985c1: Pull complete
08158782d330: Pull complete
fb9f7b3131a3: Pull complete
fcf51ff1519d: Pull complete
afdc21dc8865: Pull complete
2e81650bd01b: Pull complete
Digest: sha256:221d7ffd1ca2daa2dd2bff6e8d888873302f7031c05df5c2bd61c2d73cd14326
Status: Downloaded newer image for otiai10/ocrserver:latest
[ocrserver] listening on port :8080

動いとる。いい感じ。別ターミナルから

% docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS                    NAMES
0c2091fcfda3        otiai10/ocrserver   "/bin/sh -c /go/bi..."   About a minute ago   Up About a minute   0.0.0.0:8080->8080/tcp   stupefied_tesla
% docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM   DOCKER   ERRORS
% docker kill 0c2091fcfda3
0c2091fcfda3
% docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
%

いい感じ。

プロジェクトごと別々のDockerホストを扱う

% docker-machine create --help
Usage: docker-machine create [OPTIONS] [arg...]

Create a machine

Description:
   Run 'docker-machine create --driver name' to include the create flags for that driver in the help text.

% docker-machine create foo
Creating CA: /Users/otiai10/.docker/machine/certs/ca.pem
Creating client certificate: /Users/otiai10/.docker/machine/certs/cert.pem
Running pre-create checks...
Error with pre-create check: "VBoxManage not found. Make sure VirtualBox is installed and VBoxManage is in the path"

まあそうだよな。VirtualBox入れてないもん。じゃあHyperkitかな？

% docker-machine create --driver hyperkit foo
Driver "hyperkit" not found. Do you have the plugin binary "docker-machine-driver-hyperkit" accessible in your PATH?
%

なぬ？hyperkitのdocker-machineドライバー無いのか。

• Get started with Docker Machine and a local VM - Docker Documentation

Currently, there is no docker-machine create driver for HyperKit, so you will use virtualbox driver to create local machines.

• Can we use docker-image with the hyperkit driver on a mac? - Stack Overflow
• osx - How to run "docker-machine create" in OS X? - Stack Overflow

今んとこ、複数Dockerホスト立てる場合は、docker for macが立てたhyperkitのvmではなく、docker-machine経由で、VirtualBoxのVMを立てる必要があるっぽい。ということで、掲題の目的を達成するためには

1. VirtualBoxのインストール
2. docker-machine createする
3. docker-machine envをevalする
4. そこに向けてdocker runする

という今までのおなじみのワークフローをすればよいっぽい。

それにしても、エラーメッセージの docker-machine-driver-hyperkit っていうのはちょっと気になる。

• GitHub - zchee/docker-machine-driver-xhyve: docker-machine/libmachine driver plugin for xhyve/hyperkit (native macOS hypervisor.framework)

README読むほどに、まあ無理してこれ使わんでも、VirtualBoxでdocker-machineで立てればいいか、という気持ちになるので、放置でよいかと思った。とりあえずMacのHyperkitのホストに対してdocker/docker-composeでプロジェクトごとに分ける運用で十分かという結論。

DRYな備忘録として

プログラマのためのDocker教科書 インフラの基礎知識&コードによる環境構築の自動化

Docker入門

Docker実践入門――Linuxコンテナ技術の基礎から応用まで (Software Design plus)

pkg_resources.DistributionNotFound: The '自作pythonスクリプト==0.0.3' distribution was not found and is required by the application

問題

jobとしてシェルスクリプトを投げるタイプのjob-queueシステムにおいて、シェルスクリプトから pip install --user で入れたpython binを参照させると、どうやらimportでコケている模様。

# 中略
pkg_resources.DistributionNotFound: The 'filtertool==0.0.3' distribution was not found and is required by the application

原因

• --user で入れたものの lib のpathは、環境変数 $PYTHONUSERBASE/lib を参照しているが、
• job-queueシステムのシェルスクリプトではその環境変数が見つからないのでsystemのlibを見に行って、
• 「自作スクリプトがライブラリとして存在してないよ！ 」という状況が起きる

解決

• 実行環境に環境変数 $PYTHONUSERBASE を渡す

例) uge_cooker を使っている場合

env.json

{
    "PYTHONUSERBASE": "/home/otiai10/opt/python/2.7.10/packages"
}

DRY

Pythonスタートブック

scpできなくて私もハマった

問題

scpがエラー無く終わるが、何も転送されていない

% scp otiai10@foobar.com:~/test.txt ~/
Enter passphrase for key '/User/otiai10/.ssh/foobar': 
foobar
%
% ls -la | grep test.txt
% # ← あれーん？

tl;dr, 解決

• リモート側の.bashrcでログイン時にログインしたホスト名を出力するようにしていたのが原因だったっぽい？（ナンデ？）

# リモートの~/.bashrc

### 以下をコメントアウトしたら動いた
hostname

参考

• Linux scp command help and examples
• 6.2 scpコマンドを使ったファイルの転送
• scpでハマった件 - Qiita
• scpが出来なくて超ハマったメモ（原因は.bashrc） : akiyan.com

ログ

問題の発覚

% scp otiai10@foobar.com:~/test.txt ~/
Enter passphrase for key '/User/otiai10/.ssh/foobar': 
foobar
%
% ls -la | grep test.txt
%

なんもない？ scpコマンドにはverbose logを出す-vオプションがあるので調査

% scp otiai10@foobar.com:~/test.txt ~/
#
# 略
#
debug1: Entering interactive session.
debug1: pledge: network
debug1: Sending command: scp -v -f ~/test.txt
Sink: foobar
foobar
Sending file modes: C0640 37 test.txt
debug1: client_input_channel_req: channel 0 rtype exit-status reply 0
debug1: client_input_channel_req: channel 0 rtype eow@openssh.com reply 0
debug1: channel 0: free: client-session, nchannels 1
debug1: fd 0 clearing O_NONBLOCK
debug1: fd 1 clearing O_NONBLOCK
Transferred: sent 3264, received 2992 bytes, in 0.1 seconds
Bytes per second: sent 22591.7, received 20709.0
debug1: Exit status 1
% 

確かにExit status 1してるし、sentに対してrecievedが少ないが、なんとも情報が少ない。ググってギリギリそれっぽいのがこれだった。

• scpが出来なくて超ハマったメモ（原因は.bashrc） : akiyan.com

sshも繋がるしWinSCPも出来たのでなかなか原因にたどり着くことができませんでした。同じような状況のときは.～rcを調べてみるといいかもしれません…。

それな。~/.bashrcを確認しても、だいたい環境変数のexportとかしてるだけでそれっぽいものが無いけど、以下のブロックを見つけた

# {{{ PROMPT
if [[ `hostname` =~ foobar ]]; then
    hostname
else
    export PS1="\e[1;34m\]$\e[m\] "
fi
# }}}

foobarサーバだったらfoobarを出力し、それ以外だったらプロンプト（コマンド受け付けるところの左のやつ）をシンプルに $ （色付き）だけにするというやつ。「まさかぁ〜」と思いつつコメントアウトしたら動いた。問題を切り分けて、どうやら hostname を実行している箇所 だけ が問題だったということが判明して事なきを得たが、結局原因はわかっていないです。教えてエロいひと。

DRY

はじめてUNIXで仕事をする人が読む本 (アスキー書籍)

vimのcolorschemeで勝手にドキドキするvimrc

わけあってリモートサーバでvimでがんがんコードの編集する仕事をしており、あと単調なので、なんかドキドキしたいと思い、1時間ごとにcolorschemeを勝手に変えるvimrcの断片を書いたのでメモ

追記 2017/05/15

id:foooomioさんありがとうございます！助かりました！

function! s:ColorSchemeLottery()
    let schemes = ["koehler", "zellner", "peachpuff", "slate", "murphy", "delek"]
    let l = len(schemes)
    let i = strftime("%H") % l
    return schemes[i]
endfunction
execute 'colorscheme ' . s:ColorSchemeLottery()

これでリストだけ更新すればよくなった。

以下原文、読まなくてよい。

これ動かない

なんで…

function! s:ColorSchemeLottery()
    let schemes = ["koehler", "zellner", "peachpuff", "slate", "murphy", "delek"]
    let l = len(schemes)
    let i = strftime("%H") % l
    return schemes[i]
endfunction

colorscheme s:ColorSchemeLottery()

" E185: Cannot find color scheme 's:ColorSchemeLottery()'
" と言われる。関数呼び出しが呼び出しと戻り値ではなく引数として食わせる文字列として評価されている

とりあえずこうした

function! ColorSchemeLottery()
    let h = strftime("%H") % 6
    if h == 0
        colorscheme koehler
    elseif h == 1
        colorscheme zellner
    elseif h == 2
        colorscheme peachpuff
    elseif h == 3
        colorscheme slate
    elseif h == 4
        colorscheme murphy
    else
        colorscheme delek
    endif
endfunction

call ColorSchemeLottery()

Vimテクニックバイブル　?作業効率をカイゼンする150の技