AMP SXG 対応

amppkg.toml

amppackager の設定ファイルは toml で用意する。詳細は example を参照。

• https://raw.githubusercontent.com/ampproject/amppackager/releases/amppkg.example.toml

Port/Key/Cert など必要なものを埋める。

Port のデフォルトは 8080 だが管理上 10000 にしている。

amppkg

起動してみたが、エラーが出たので残しておく。

$ amppkg
2020/12/23 20:04:15 Updating cert if necessary
2020/12/23 20:04:15 Certfetcher is not set, skipping cert updates. Checking cert on disk if updated.
2020/12/23 20:04:15 Updating OCSP; none cached yet.
2020/12/23 20:04:15 Updating OCSP; none cached yet.
2020/12/23 20:04:15 Updating OCSP; none cached yet.
2020/12/23 20:04:15 Updating OCSP; none cached yet.
2020/12/23 20:04:15 Cannot find issuer certificate in CertFile.
2020/12/23 20:04:15 Missing OCSP response.
github.com/ampproject/amppackager/packager/certcache.(*CertCache).readOCSPHelper
	/home/jxck/go/src/github.com/ampproject/amppackager/packager/certcache/certcache.go:374
github.com/ampproject/amppackager/packager/certcache.(*CertCache).readOCSP
	/home/jxck/go/src/github.com/ampproject/amppackager/packager/certcache/certcache.go:406
github.com/ampproject/amppackager/packager/certcache.(*CertCache).Init
	/home/jxck/go/src/github.com/ampproject/amppackager/packager/certcache/certcache.go:176
main.main
	/home/jxck/go/src/github.com/ampproject/amppackager/cmd/amppkg/main.go:103
runtime.main
	/home/jxck/dotfiles/pkg/go/current/src/runtime/proc.go:203
runtime.goexit
	/home/jxck/dotfiles/pkg/go/current/src/runtime/asm_amd64.s:1373
initializing CertCache
github.com/ampproject/amppackager/packager/certcache.(*CertCache).Init
	/home/jxck/go/src/github.com/ampproject/amppackager/packager/certcache/certcache.go:178
main.main
	/home/jxck/go/src/github.com/ampproject/amppackager/cmd/amppkg/main.go:103
runtime.main
	/home/jxck/dotfiles/pkg/go/current/src/runtime/proc.go:203
runtime.goexit
	/home/jxck/dotfiles/pkg/go/current/src/runtime/asm_amd64.s:1373
initializing cert cache
main.main
	/home/jxck/go/src/github.com/ampproject/amppackager/cmd/amppkg/main.go:107
runtime.main
	/home/jxck/dotfiles/pkg/go/current/src/runtime/proc.go:203
runtime.goexit
	/home/jxck/dotfiles/pkg/go/current/src/runtime/asm_amd64.s:1373

OCSP の情報が無いようだ。Digicert で発行した証明書は自分のドメインのものと DigiCertCA.crt の 2 つがあったので連結したらいけた。

$ cat blog_jxck_io.crt DigiCertCA.crt > blog_jxck_io_full.crt

toml を更新して起動し直すと成功。

これを systemd に登録して完了。

[Unit]
Description=amppkg.jxck.io
After=network.target nss-lookup.target

[Service]
Type=simple
Restart=always
PIDFile=/home/jxck/server/jxck.io/.pid/amppkg.pid
WorkingDirectory=/home/jxck/server/jxck.io/.script/amppkger
ExecStart=/home/jxck/go/bin/amppkg -config /home/jxck/server/jxck.io/.script/amppkger/amppkg.toml
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s TERM $MAINPID

[Install]
WantedBy=multi-user.target

(最初、検証時に作らた /tmp/amppkg-ocsp の権限が起動ユーザのみに絞られており、Systemd を別ユーザで起動すると既存のファイルにアクセスできずに失敗した。単純に消せばいい。)

なお、amppkg から ACME で証明書の更新ができるようで、Digicert も ACME 対応しているので、後ほどそちらもやりたい。

/amppkg

amppackager は SXG に必要な Certificate URL を自動で提供してくれる。

そのパスは /amppkg/cert/#{base64} となっているため、ここへのリクエストはそのまま転送すれば良い。

"/amppkg":
  proxy.reverse.url: "http://127.0.0.1:10000/amppkg"

(reverse.url の最後に /amppkg 付け忘れて 404 になり少しハマった)

/priv/doc

このパスが amppackager が SXG を返すパスとなる。

Origin に来るリクエストは AMP の URL であるため、そこへのリクエストの中で AMP-Cache-Transform が付いたものだけ、amppkg のこのパスに転送する。

h2o は Path ベースでの Proxy は簡単だが、ヘッダをベースに分岐するには mruby handler 内で proxy する必要があり、その方法がよくわからず最初は http_request でリクエストを再構築して書いていた。

後から、reproxy という機能がそのまま使えることを教えてもらい、一瞬で解決した。

(機能は知っていたが、Example を見て同じドメインの別のパスに移譲すると勝手に思い込んでいたが、普通に別ポートにも移譲できた。)

Proc.new do |env|
  path = env["PATH_INFO"]
  amp_cache_transform = env["HTTP_AMP_CACHE_TRANSFORM"]

  # amp page request
  if /\.amp.html\z/.match(path)
    if amp_cache_transform.nil?
      # delegate as normal access with vary header
      next [399, {"vary" => "amp-cache-transform, accept"}, []]
    else
      # reproxy to backend amppackager
      next [307, {"x-reproxy-url" => "http://127.0.0.1:10000/priv/doc/https://blog.jxck.io#{path}"}, []]
    end
  end

  # do nothing, delegate as normal access
  [399, {}, []]
end

Vary Header

同じ AMP の URL でも、リクエストによって HTML と SXG を出し分けることになる。

SXG のサポートは Accept: application/signed-exchange;v=b3 などが追加されるため、それで判別することができる。

加えて AMP のクローラは AMP-Cache-Transform を追加するため、これも判断材料になる。

このため、Response は Vary にこのヘッダを指定し、これら Request ヘッダに応じてキャッシュが別になるようにする必要がある。

Vary: AMP-Cache-Transform, Accept

amppackager はこれを自動で付与しているようなので問題ないが、それは Response が SXG のときしかカバーしてない。

自分のサーバの AMP HTML を返す部分で、同じくこのヘッダを追加してやる必要がある。(前述の mruby handler で実施した)

Devtools

全てきちんと動いてるかを確認する最も確実な方法は、Chrome で取得して Devtools で見ることだろう。

この場合 mod header などで AMP-Cache-Transform: google のリクエストヘッダを追加する必要がある。

Devtools で見ると以下のように確認できる。

CLI

CLI の場合は dump-signedexchange で行うのが手軽だろう。

$ dump-signedexchange -uri $URL -requestHeader AMP-Cache-Transform:any -version=1b3 -headers=false -payload=false -verify
The exchange has a valid signature

これは cert-url から証明書チェインを取得してくれているらしいので、これが通れば一通り通ってると思われる。

個々のステップを細かく見たい場合は curl で取得してから順番に解くなどすると良いかもしれない。

$ curl -s --output - -H 'amp-cache-transform: google;v="3"' -H 'accept: application/signed-exchange;v=b3,*/*;q=0.1' https://blog.jxck.io/entries/2020-12-03/masonry-layout.amp.html > dump.sxg
$ dump-signedexchange -i dump.sxg
format version: 1b3
...

$ curl -s --output - https://blog.jxck.io/amppkg/cert/KmG8nFDyIBqjUzFBg9YYDEcfu20CkBaNIl4m9sFJ9yM > cert.cbor
$ dump-certurl -i cert.cbor