口を開いて発音。顔の上下で音程、左右で音色を変えて、演奏動画も持ち帰れるAI楽器です。
顔を上下で音程。左右で音色。
傾けると、音が左右へ広がります。
口を開く → 発音・強弱 ／ 顔を上下 → 音程 ／ 左右 → 音色 ／ 傾ける → Pan
カメラを開始し、正面を向いて口を閉じてください。
カメラ映像や顔データはサーバーへ送信されず、端末内でAI解析されます。本人識別・感情推定は行いません。マイクも使用しません。
演奏する / namazu-ai-face-synth
AIが顔の向きと口の動きを認識し、シンセサイザーを操作する楽器です。声を出さずに演奏でき、音声と顔の動きを含む演奏動画を保存できます。
初めての方へ
端末の位置を変えたら「正面を合わせる」を押し、口を閉じてください。無理に首を動かさず、小さな動きから試しましょう。
正面を合わせた後の顔の動きを基準にして演奏します。厳密な角度を測る機能ではありません。複数の顔が映っても1人だけを追跡します。
初期設定はCのPentatonic、C3〜C5の2オクターブです。Major、Minor、Blues、Chromaticと12キーを選べます。キーを変えると音域全体が移動します。
SCALEでは音階の境界に余裕を設け、小さな揺れで音が行き来しにくくしています。THEREMINは連続音程です。動きの速さに合わせて認識の揺れを抑え、ゆっくり動かすとなめらかに音程が変わります。
口の内側の縦幅を顔幅で割って開き量を求めます。開くときと閉じるときの閾値を分け、細かな唇の動きで音が途切れにくくしています。
音色は12種類。WARM・GLASS・EDGE・AQUAに加え、木の笛のFLUTE、小さなチャイムのCHIME、ORGAN、きらめくSPARKLE、LASER、LEAD、BRASS、AURORAを選べます。演奏中にも切り替えられます。左右の向きでフィルターを操作します。傾きによるPanは左右75%までです。
音量は30%から始まります。端末の音量も調整してください。「演奏停止」またはEscapeキーで余韻も含めて消音します。
「追加操作」で使いたい項目をONにします。初期状態はすべてOFFです。正面を向き、目を開いて眉を楽にし、口を閉じて約1秒待ちます。うまく合わないときは「正面を合わせる」で基準を取り直してください。
眉でディレイ：両眉を明確に約0.3秒上げると、短くディレイが強くなります。眉を戻し、約1.5秒以上空けると再び使えます。
ウインクで音色変更：自分の左目を約0.45秒閉じると前の音色、右目なら次の音色へ変わります。もう片方の目は開けたままにします。両目を開き直し、約1.2秒以上空けると再び使えます。普通の両目の瞬きでは切り替えません。
口の形で響きを変える：口を横に広げると少し明るい響きに、口を狭めて丸く開くと共鳴が強くなります。声や発音内容を認識する機能ではありません。口の開閉による発音・強弱はそのまま使えます。
顔の形の変化だけを使い、感情は判定しません。メガネの反射や大きな横向きでは追加操作が安定しない場合があります。認識が途切れたときは追加操作も解除します。効果音は音声録音・映像録画にも含まれます。
「認識枠を表示」のチェックを外すと、顔を囲む輪郭と口の円が消えます。顔の認識と演奏は続き、ノートや音程・音色・強弱の表示も残ります。
録画にも同じ設定を反映します。録画中に切り替えることもできます。
演奏開始後に「音声録音」を押し、「収録停止」で終了します。再生して聴き直し、「音声を保存（WAV）」で保存します。再生時は生演奏が停止します。再録音するときは「演奏開始」を押してください。
最大2分、音声は16-bit PCM WAVです。マイクを使わず、シンセとエフェクトの音だけを録ります。次の収録開始で前の結果を置き換えるため、必要なファイルは先に保存してください。
「映像録画」はカメラ映像、顔の輪郭、口のゲージ、ノート、音程・音色・強弱表示と演奏音を合成します。設定ボタンや説明書は動画に入りません。停止後に動画を再生して「動画を保存」を押します。同じ演奏の音声だけをWAVで保存することもできます。
通常はカメラ比率・横幅640px。「縦動画 9:16」は540×960です。顔が切れないようカメラ全体を収めるため、上下に背景が入る場合があります。比率は収録前に選びます。
ブラウザに応じてWebMまたはMP4を選びます。Canvas録画や対応コーデックがない環境では録画できません。保存に失敗した場合は短い演奏で試してください。ページを閉じると未保存の結果は失われます。
インカメラを使い、端末を安定した場所に置いて顔全体を映します。明るい場所で正面から照らすと安定しやすくなります。メガネの反射、暗所、逆光、極端な横向き、速い動きでは認識が途切れることがあります。
顔が見つからないと消音し、約0.25秒以上新しい認識結果がない場合も発音を止めます。顔を映し直すと復帰します。カメラ停止時も消音します。
別のタブやアプリへ移動するとカメラ・演奏・収録を停止します。戻って変換が終われば収録を保存できます。音の遅れが気になる場合は本体スピーカーや有線イヤホンを試してください。発熱と速度は端末により異なります。
端末内のAIが顔の位置や口の動きを読み取ります。端末に合わせて処理方法と認識の頻度を調整し、iPhone・iPadでは安定性を優先します。
カメラの使用許可後、初回に約2.94MBのモデルと必要な実行ファイルを取得します。モデルは共通のブラウザキャッシュに保存し、再訪時は再利用します。サイトデータ削除や保存領域の解放後は再取得します。
配布元はyakhyo/mediapipe-face-mesh-onnx、元モデルはGoogle MediaPipeです。Apache-2.0ライセンスと出典を掲載しています。
カメラ映像、顔画像、ランドマーク、顔の向き、口の状態は外部へ送信しません。モデル取得の通信にカメラデータは含まれません。
顔データはセッション内だけで使用します。本人識別、顔認証、感情推定、顔embeddingの保存は行いません。動画を自動アップロードする機能もありません。
