デモ:形を数で表し,編集し,候補を出す

IDO Shape Latent 3層の検証成果(2次元の概念実証).状況ページ・経過報告・動かして試す →
作成 2026-11-21 08:33 JST
commit 1e08761 2026-11-20 Add the interactive in-browser demo (drag to edit, transfer across shapes)

全体像

形(流体の中に置く物体の断面)を少数の数の並び(潜在)で表し,「ここに突起を付ける」のような形の編集を,数の並びの上の移動として扱いたい.将来は「流れをこう変えたい」という目標から,形の候補を逆に出す(逆設計,IDO)ことにつなげる.このページの数値と曲線は,すべて実際の学習・評価の結果(実測値)である.

第1層 再現の誤差2.8e-04最小の突起 0.03 の約 1/106
第1層 編集を移した誤差0.092 → 0.017移行損失で約 1/5
第2層 C3 の予測の誤差0.0175学習なし 0.140(約 8 倍)
第3層 指定どおり率96.6%正規分布 33.1%

動かして試す:学習済みモデルをブラウザの中で動かし,輪郭をマウスや指で引っ張ると,予測器の答えと学習なしの方法を正解と比べて描く版があります(live/.初回はモデルと計算部品の読み込みに時間がかかります).

形 Ω 符号化器 潜在空間(数の並びの地図) z Δz(編集) z′ 復号器 形 Ω+突起

図0-1 概念図.形を符号化器で潜在 z に変え,編集を潜在の移動 Δz として表し,復号器で形に戻す.

第1層 土台AE 形 ⇄ 数の並び(潜在) 大域ベクトル z_g 64個.形全体(ローポリ) 空間潜在 G 輪郭に沿った64区間(細部) 符号化器と復号器(SDF) 第2層 JEPA 型予測器 1つの答え(点)を返す 入力:G,z_g,編集の指定 (位置,高さ,幅) 出力:ΔG,Δz_g 編集後の形を作らずに予測 第3層 cINN あり得る答えを分布で返す 入力:土台の G,z_g, 大まかな指定(区画,向き) 出力:ΔG の候補をいくつでも ΔG を24個の数に要約して学ぶ 下流:流れ場(IDO) 未実施 p(Δq|q,r,Ω,ΔΩ).逆設計の条件に使う 実線:検証済み(2次元の概念実証) 破線:未実施

図0-2 構成図.第1層が形と潜在を行き来し,第2層が編集による変化を1つの答えとして,第3層があり得る変化を分布として出す.流れ場(破線)は未実施.

パネル1形を数に置き換えて,元に戻せるか(第1層)

第1層は,形を数の並び(潜在)に置き換え,そこから形を戻すモデル(オートエンコーダ).形全体を表す64個の数(大域ベクトル zg)と,輪郭に沿って細部を表す数(空間潜在 G)の2つを持つ.3次元 CG にたとえると,zg がローポリモデル,G がその上に貼るディスプレイスメントマップ(細かい凹凸の地図)に当たる.

図1-1 復号した形と正解の重ね描き
図1-1 復号した形と正解の重ね描き 学習に使っていない形を符号化して復号した輪郭.上段は全体,下段はオレンジの枠の拡大で,4つの案を重ねた.global_only(zg だけ)では小さな突起がなまる.
図1-2 形をどれだけ正確に戻せるか 評価用の形(学習に使っていない)を符号化して復号し,正解の輪郭から復号した表面までの距離を平均した.最小の突起の高さは 0.03.
意図

潜在の性質を議論する前に,そもそも形を正確に戻せるかを確かめる.G を持つことの効果を,zg だけの案(global_only)と比べて示す.

期待

どの案も見た目では正解と重なる.ただし zg だけの案は64個の数で細部まで表す必要があるので,細かい突起がなまる.

結果

表面の誤差は base 1.21×10-4,gdrop 1.47×10-4,contour 2.37×10-4,global_only 7.41×10-4.G を持つ案は global_only より 3〜6 倍小さい.採用したモデルは 2.82×10-4(IoU 0.9997)で,最小の突起(0.03)の約 1/106.

考察

細部は G に任せると正確に戻せる.採用したモデルは,次のパネルの「移しやすさ」と引き換えに contour より少し粗いが,最小の突起より十分小さい誤差に収まっている.

パネル2編集を別の形に移せるか(第1層の一番強い結果)

「突起を付ける」という編集が,潜在の上で「決まった向きへの移動」になっていれば,ある形で測った移動を別の形に足すだけで,同じ突起が付けられる.段階2の予測器はまさにこの操作を使うので,最も実用に近い試験である.潜在の数値ではなく,形に戻して確かめる.

図2-1 別の形で測った編集を移したとき,同じ突起が生えるか 形 A で測った潜在の差(突起を付ける前と後)を,別の形 B の潜在に足して復号し,生えた突起と正解の差を測った(RMS の比,760通りの中央値).点線は直接の再現の誤差(0.013,これより小さくはならない).
図2-2 移した編集で生えた突起の例 目標の形に,別の形で測った「θ=90°,h=+0.08 の突起」の差を足して復号し,土台からの半径の変化を描いた.破線が正解.
意図

4つの案のうち,どれが「編集を別の形に移せる」潜在になっているかを,形に戻して比べる.

期待

G が輪郭に沿って並ぶ contour は,同じ角度の突起がどの形でも G の同じ場所に入るので,移しやすい.格子の G を持つ base は,形によって突起の場所が格子の別のマスにずれるので移しにくい.

結果

移した誤差の中央値は,base 0.49,global_only 0.23,contour 0.092.gdrop は潜在の数値では最良だったが,zg だけを移すと 0.995(突起がほとんど生えない).contour に「同じ編集なら同じ変化になる」ように学習させる損失(移行損失)を足すと 0.017 まで下がった(直接の再現 0.013).別の形でも同じ向きか(G の cos)は 0.70 から 1.00,2つの編集の合成の残差は 0.0056 から 0.0008 になった.

考察

輪郭に沿った G と移行損失の組み合わせで,編集を別の形にほぼ誤差なく移せる.潜在の数値だけで判定すると誤る(gdrop がその例)ので,形に戻して確かめる試験を正式な検査にした.

図2-3 1つの突起で G のどこが変わるか(改良前)
図2-3 1つの突起で G のどこが変わるか(改良前) θ=45°,h=0.10 の突起を付けたときの G の変化の大きさ(濃いほど大きい).左2つは格子の G(オレンジの円が突起から 0.45 の範囲),右は contour の G(オレンジの扇が突起から ±0.45 rad).
意図

輪郭の一部を変える編集が,潜在の対応する部分だけを変えるか(局所性)を確かめる.

期待

変化は突起の近くに集まる.移行損失を足すと,土台による違いを打ち消すために,変化が少し周りに広がる.

結果

改良前の contour では,G の変化の 99.5% が突起から ±0.45 rad の内側に入った.採用したモデルでは 89% に下がった.

考察

移しやすさと局所性は少し引き換えになる.採用したモデルでも変化の大部分は突起の近くにあり,編集を移す精度を優先した.両立させる項(変化を突起の近くに収める)は,必要になったら試す.

パネル3編集後の形を作らずに,変化を予測できるか(第2層)

第2層の予測器(JEPA 型,0.54M パラメータ)は,編集前の潜在と編集の指定から,編集後の潜在を1つの答え(点)として予測する.編集後の形を作って符号化し直す必要がない.比較相手は「半径1の円に同じ突起を付けて測った変化を,そのまま足す」学習なしの方法.

図3-1 編集の指定の種類ごとの予測の誤差 テスト用 1000 組.予測した潜在を復号し,生えた突起と正解の差を測った(RMS の比).C1 は高さをそのまま,C2 は土台の大きさに対する比で指定(大きさは与えない),C3 は輪郭の法線方向に押し出す(幅は輪郭に沿った長さ).
図3-2 C3 の例(傾きの大きい所に h=0.10,幅 12° の押し出し)
図3-2 C3 の例(傾きの大きい所に h=0.10,幅 12° の押し出し) 黒が正解,灰色の破線は同じ指定の動径方向の突起.オレンジ(学習なし)は破線に重なり,青(予測器)は黒に重なる.
意図

予測器が,学習なしの方法では表せない「効き方が土台によって変わる編集」を予測できるかを確かめる.

期待

C1 は土台によらないので,学習なしでも十分正確で,予測器の出番は少ない.C2(土台の大きさを読み取る必要がある)と C3(土台の傾きを読み取る必要がある)では,学習なしの方法が大きく外れ,予測器が下限に近い誤差を出す.

結果

予測器の誤差は C1 0.0131,C2 0.0129,C3 0.0175(下限 0.0111,0.0111,0.0136).学習なしは 0.0157,0.055,0.140.2回続けて使うと C2 0.0175,C3 0.024.学習の範囲外では,高い突起 C2 0.016,C3 0.021,違う形の族 C2 0.019,C3 0.029.

考察

予想どおり.予測器は土台の大きさや傾きを潜在から読み取り,学習なしの方法より C2 で約 4 倍,C3 で約 8 倍正確.C1 のような単純な編集では,学習なしの方法でほぼ足りる.予測器が返すのは1つの答えなので,指定が大まかなときの「あり得る幅」は次の第3層が受け持つ.

パネル4あり得る変化を分布として出せるか(第3層,デモの山場)

「このあたりに突起を付けたい」のように指定が大まかなとき,あり得る形は幅を持って存在する.第3層の cINN(条件付きアフィン結合層8段,1.05M パラメータ)は,その幅を確率の分布として学び,候補をいくつでも取り出せる.条件は土台の形,45° 単位の大まかな場所(区画),突起か凹みか.ΔG は区画の中心で向きをそろえ,主成分 24 個に要約して学ぶ(形に戻した誤差 0.0145).比較相手は,平均と共分散だけを持つ正規分布.

図4-1 cINN と正規分布の比較(実測値) テスト用 1000 条件から1つずつサンプルし,形に戻して1つの突起を当てはめた.左:指定どおり率(位置が区画の中,向きが正しい,突起らしい形.点線が目安 90%).中:当てはめた位置・高さ・幅の分布と正解の分布の Wasserstein 距離を範囲で割った値(点線が目安 0.1).右:テスト用の組の負の対数尤度(NLL,1次元あたり).↑は大きいほど良い,↓は小さいほど良い.
意図

cINN から取り出した候補が,指定どおりの妥当な突起になり,そのばらつきが学習データと合うかを,正規分布と比べて確かめる.

期待

あり得る突起は,24個の数の空間の中で位置・高さ・幅の3つの自由度が作る曲がった面の上にある.cINN はその面に分布を載せられるので,ほぼすべての候補が指定どおりになる.正規分布は面の「平均の近く」をぼんやり覆うだけなので,どの突起でもない崩れた形を多く出す.

結果

指定どおり率は cINN 96.6%,正規分布 33.1%(目安 90%).分布のずれは cINN が位置 0.019,高さ 0.023,幅 0.031(目安 0.1).負の対数尤度は cINN -1.17,正規分布 1.41.事前に決めた目安をすべて満たした.

考察

cINN は,大まかな指定から「妥当で,しかも多様な」候補を出せる.最初の設定では過学習で高さが低めに偏った(高さの中央値が正解の 0.77 倍,分布のずれ 0.099)が,学習のときに要約した数へ小さな雑音(標準偏差 0.05)を足すと直った(中央値 0.065,正解 0.070,0.93 倍).直し方は検証用の組だけで選んだ.

図4-2 同じ指定から8回取り出した候補(実測) 左が cINN,右が正規分布.横軸は指定した区画の中心からの角度.同じ土台・同じ指定(突起,色の帯の区画)から8つずつ取り出し,学習済みの復号器で形に戻して,土台からの半径の変化を描いた.絵を描き起こしたものではなく,モデルの出力そのもの.
意図

同じ指定から何度も取り出したとき,候補が「いろいろな,しかしどれも妥当な」形になるかを目で見る.

期待

cINN の候補は位置・高さ・幅がばらつくが,どれも1つのきれいな突起.正規分布の候補は,形が崩れたり,区画の外に広がったりする.

結果

cINN の8つはどれも1つの山で,位置・高さ・幅がそれぞれ違った(高さはおよそ 0.05〜0.13).正規分布の8つは,山のあとに谷が続く(突起と凹みが混ざった)形や,裾が波打つ形が多かった.

考察

第2層の予測器が1つの答え(点)を返すのに対して,cINN はあり得る答えを分布で返す.大まかな指定 → cINN で候補を複数 → 各候補の形と(将来は)流れを比べる,という使い方ができる.

パネル5まだ示せていないこと

まとめ