tl;dr Elasticsearchが動くコンテナの中に以下の環境変数をねじこめばよい。 参考: Running Elasticsearch 5 - Build Environment - CircleCI Discuss # これ # transport.host=localhost # # と、これ # bootstrap.system_call_filter=false # # docker run…

Elasticsearch: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

TL;DR >>> { k:list(map(lambda s: int(s)**2, v.split('-'))) for (k,v) in src.items()} {'foo': [1, 4, 9], 'bar': [16, 25, 36]} やりたいこと 入力 { 'foo': '1-2-3', 'bar': '4-5-6', } 出力 { 'foo': [1, 4, 9], 'bar': [16, 25, 36], } みたいなこと…

Pythonでdictionaryの各要素に処理を加えた別のdictionaryをつくる

tl;dr これの通りです Quickstart for Go 1.11 in the App Engine Standard Environment | App Engine standard environment for Go 1.11 docs | Google Cloud うごくやつです GitHub - otiai10/gae-go-sandbox 作業環境 % gcloud -v Google Cloud SDK 235.0…

Go1.11でAppEngineをはじめる

背景 tig好きなんですよ。だけどbrewから入れようとしたら以下の症状になるんで、手元でコンパイルすりゃいいか、となりました。 qiita.com tigとは これ github.com tigの良さについて過去に備忘録書いてるかと思ったら書いてなかったので、自分使いの例で…

tigが「dyld: Library not loaded」とか言うので、ソースからコンパイルして使う

背景 自分が関わっているイベントのホームページをGitHubで管理、GitHub Pagesでホストしているんですが、 masterブランチが更新されたら自動でデプロイしたい ホームページの更新内容ってほとんど「イベントに関する新しい情報」に他ならないので、これを自…

Travis-CIによるイベントホームページ自動デプロイと告知ツイートの自動化 #YUKEMULI

このエントリは、 Common Workflow Language (CWL) Advent Calendar 2018 - Qiita の25日目です。 tl;dr 落合、バイオインフォやめるってよ つくったバイオインフォ関連OSSのメンテナンスは続けていくつもりです CWLって何よ 2017年4月にベルリンから逃げ帰…

さようなら、CWL

背景 Expo SDK v31 から、標準でTypeScriptをサポートしているらしく、ホンマかいな、というエントリです。 ゴール Mac上のシミュレータで、アプリが動く ソースコードがTypeScriptで書かれている うるせえ動くもん見せろ はい github.com 以下、ログなので…

TypeScriptとExpoで始めるReactNativeアプリ開発

背景 ある曲のボーカルを抽出したものが欲しい（公式のオフボーカルは手元にある） Ableton Live でオフボーカルトラックの逆位相をオリジナルトラックにぶつける方法でボーカルを抽出しようとした あんまりうまくいかない PhonicMind で1曲だけ利用枠購入し…

Mac上で「歌声りっぷ」を使う【Boot Camp】【Windows10】

背景 某これウィジェット*1のローディングインジケータに、水面の波紋のアニメーションGIFを使ってたんですが、アニメーションGIFをインターネッツで漁ったりライセンス確認しなきゃならんうえにカスタマイズできないのがしんどくなったので、CSSで作れない…

CSSアニメーションで水面の波紋を表現

やりたいことを gcloud SDK で確認 % gcloud compute instances create \ --project otiai10-sandbox \ --zone asia-northeast1-a \ testetst % gcloud compute instances list \ --project otiai10-sandbox \ --filter zone:asia-northeast1-a Go GCP Clien…

Go GCP Client で ComputeEngine インスタンスの作成・取得

参考 files.upload method | Slack curl % curl -XPOST "https://slack.com/api/files.upload" \ -H "Content-Type: multipart/form-data" \ -F file=@/Users/otiai10/Desktop/ritsu.jpeg \ -F token=xoxb-123-456-xxxxxxxxx \ -F channels=bot-dev \ | jq {…

【メモ】Slackチャンネルへの画像の投稿

背景 EC2とS3が密に関係するソフトウェアを書いてるんですが、VPCエンドポイントの概念を知らなかったので、非常に悔やまれます。 資料 Amazon Web Services ブログ: Amazon S3のVPCエンドポイント VPC エンドポイント - Amazon Virtual Private Cloud VPC E…

【メモ】VPCエンドポイントについて

前回これをやったので、 otiai10.hatenablog.com 今回は、これをGoのSDKからやる。 結果だけくれ はい github.com 以下ペライチ全文 package main import ( "flag" "fmt" "log" "github.com/aws/aws-sdk-go/aws" "github.com/aws/aws-sdk-go/aws/session" "g…

【Go言語】aws-sdk-goを使ったVPC新規作成からEC2のsshまで

まずWebコンソールでゴールの確認 VPCの作成 Subnetの作成 InternetGatewayの作成 VPCに上記3のInternetGatewayをアタッチ SubnetのRouteTableに上記3のInternetGatewayに紐付いたルールを追加 上記1のVPC内で、上記2のSubnet配下に、EC2インスタンスをつく…

aws cli を使ったVPCの新規作成からEC2へのsshまで

CWLって何 的なものについては、このあたりをご参考ください。Web系プログラマ諸兄の99%は縁が無いかと思います。 CWL Start Guide JP · pitagora-galaxy/cwl Wiki · GitHub データ解析が再現するということ、あるいは Common Workflow Language... - こんな…

CWLでHello, World。

CLIでやるのはこれ↓でやって概念理解したので、 otiai10.hatenablog.com SDK使って同じことをコードからやる。 package main import ( "bytes" "encoding/json" "flag" "fmt" "time" "github.com/aws/aws-sdk-go/aws" "github.com/aws/aws-sdk-go/aws/sessio…

【Go言語】aws-sdk-goで Instance Profile の作成

Role つくる % aws iam get-role --role-name foobar % aws iam create-role --role-name foobar --assume-role-policy-document file://assume-role-policy.json % aws iam get-role --role-name foobar assume-role-policy.json というのは、 { "Version":…

aws cli で IAM Instance Profile をつくってEC2に適用する

いつも忘れてrange？とかやってる。ちがう。seqとsapply。 R: Sequence Generation Shifting sands: Using apply, sapply, lapply in R > sapply(seq(0,7), function(i) { 2 ^ i }) [1] 1 2 4 8 16 32 64 128 DRY

Rで定数回数の繰り返し処理

fun1 <- function(x) { (x + 2) * (x - 4) } fun2 <- function(x) { (x + 1) * (x - 6) } v <- seq(-4, 8) plot(v, fun1(v), type="l", col="red") lines(v, fun2(v), col="blue")

Rのplotで複数の関数を線で描画する

# Datetime文字列のパース > t1 <- strptime("May 11 08:42:20", format = "%b %d %H:%M:%S" 1. ) > t2 <- strptime("May 11 08:47:23", format = "%b %d %H:%M:%S") # 時間の差分 > t2 - t1 Time difference of 5.05 mins # 秒でくれ > as.numeric(t2 - t1,…

Rの日付・時間のパースと、時間差分の計算

GAE/Goが好きなのでだいたいGAEでやっちゃおうとするんですけど、せっかくなのでCloud Functions使ってみたいじゃないですか。 Cloud Functions - Event-driven Serverless Computing | Google Cloud When to choose App Engine over Cloud Functions? - Sta…

2分で Google Cloud Functions を使ってみる

Rやりはじめた。 otiai10.hatenablog.com 勉強 平均値: 全要素の合計を要素数で割ったもの。重心。集合の代表値のひとつ。 (1/n) * Σx(k) 中央値: 全要素を小さい順にならべて真ん中の値そのもの。集合の代表値のひとつ。 x([n/2]) 分散: 各要素の平均値との…

R（とPython）で平均値、中央値、分散、標準偏差を求める

インストール R: The R Project for Statistical Computing % brew install r % R R version 3.5.0 (2018-04-23) -- "Joy in Playing" Copyright (C) 2018 The R Foundation for Statistical Computing Platform: x86_64-apple-darwin16.7.0 (64-bit) R は、…

はじめてのR

Go Concurrency Patterns: Context - The Go Blog context - The Go Programming Language semaphore - GoDoc sync.ErrGroupで複数のgoroutineを制御する | SOTA Go1.7のcontextパッケージ | SOTA errgroup - GoDoc Go Concurrency Patterns Run strikingly …

Go言語のgoroutine、channel、sync、contextなどについて学習

% pip install virtualenv % mkdir -p ${HOME}/.venv/default % virtualenv -p python3 ${HOME}/.venv/default % echo 'source ${HOME}/.venv/default/bin/activate' >> ${HOME}/.zshrc % mkdir -p ${HOME}/.venv/myproject % virtualenv -p python2.7 ${HOM…

なんだかんだでvirtualenvが使いやすかったのでメモ

問題 % ./node_modules/.bin/webpack # 中略 TypeError: Cannot read property 'watchRun' of undefined 調査 webpack - TypeScript issue - TypeError: Cannot read property 'watchRun' of undefined - Stack Overflow webpack 4.0.0-alpha.5 feedback · I…

【Webpack】TypeError: Cannot read property 'watchRun' of undefined

現状確認 % which python /usr/bin/python % python --version Python 2.7.10 % which easy_install /usr/bin/easy_install % which pip pip not found % % sudo easy_install virtualenv % virtualenv -p /usr/bin/python ~/.venv/default % source ~/.venv…

Pythonの開発環境立ち上げメモ（virtualenvを使った最小構成）

追記 2018/10/29 chromeモジュールが使えなくなる、という指摘は半分正しくて半分間違ってる（いくらでもやりようがある）のでもうちょっとちゃんとした記事を書きました。 medium.com 以下原文ママ。 背景 JSのプロジェクトで、特に僕はChrome拡張を作るこ…

Chrome拡張の開発でwebpackを使わずにES6のimportを有効にしたい

サーバの起動 イメージはこれ → docker-nfs/server at master · otiai10/docker-nfs · GitHub % docker-machine create \ --driver amazonec2 \ --amazonec2-region ap-northeast-1 \ --amazonec2-security-group otiai10-test \ otiai10-server % eval $(do…

Dockerコンテナ同士のNFSのサーバ・クライアント疎通サンプル

背景 Public/Privateネットワーク上にNFSサーバが立っており、AmazonLinuxクライアントからの疎通は確認できている 【AWS】EC2上にnfsサーバを構築する - DRYな備忘録 【AWS】EC2上にNFSサーバを構築する（最小要件） - DRYな備忘録 これを、Dockerコンテナ…

【メモ】【NFS】DockerコンテナをクライアントとするNFSの疎通確認