演奏する / namazu-ai-camera-synth
なまずAI カメラ・シンセ 説明書
カメラの前で手を動かして演奏するAI楽器です。AIが手のひらと指の位置を認識し、その動きを音程や音色へ変えます。音はこの端末のシンセサイザーで鳴らします。
初めての方へ
最初の1分は、ここだけ試してください
- 「カメラを開始」を押して使用を許可します。
- AIの準備後、空いている片手を映します。必要な場合は「演奏開始」を押します。
- 上下で音程、左右で音色、前後で強弱を変えてみましょう。
- 気に入った演奏は録音してWAVで保存します。
片手で上下・左右・前後を演奏する
端末を片手で持ち、空いている片手を映して演奏できます。右手でも左手でも操作は同じです。両手を映すと左右それぞれの音が同時に鳴ります。端末を台に置けば、両手を自由に使えます。
画面に映る手が大きいほど強い音になります。手の傾きや開き方でも強さは変わります。
前面カメラは鏡のように表示します。左右の音色操作は画面上の位置に対応します。手を重ねると認識が途切れることがあります。
音階と音域
初期設定はCのPentatonic、2オクターブです。音階に含まれる音だけが鳴るので、大きく動かしても外れにくくなっています。Major、Minor、Dorian、Chromaticと12種類のキーを選べます。「テルミン · なめらか」では音階の段差をなくし、連続した音程で演奏できます。
画面中央の上下約80%を音域へ割り当てています。音の境目に少し余裕を持たせ、手の小さな揺れで隣の音へ行き来しにくくしています。
指と手の表裏で64種類の音色
親指・人差し指・中指・薬指・小指、それぞれを開くか閉じるかで音色が変わります。グーを含めた指の形32通りに、手のひら・手の甲を組み合わせて64通りです。同じ本数でも、出す指が違うと別の音になります。
「手の形で音色変更」をONにし、手のひらをカメラへ向けて形を約0.5秒保ってください。画面には左右それぞれの指の開閉、手の表裏、選ばれた音色の番号・名前を表示します。手を返す途中の横向きでは音色を保ち、表裏と指の形が約0.5秒安定してから切り替えます。判定が曖昧な間は音色を変えません。
手のひら側は丸い笛、ベル、水の響き、レトロな電子音、ブラスなど32種類。手の甲側では、それぞれを金属的な響きに変えた「裏」の32音色を使えます。上下で音程、左右で明るさ、前後で強弱を変えながら、指で音色を切り替えて遊べます。
親指は横にしっかり開くと伝わりやすくなります。閉じるときは手のひら側へ折り、ほかの指と重なりすぎないようにしてください。難しい形は無理をせず、左右それぞれの「音色（64種類）」の一覧から選べます。
音色を固定するときは「手の形で音色変更」をOFFにしてください。手動で選んだ音色も、ONの間は次に認識した形へ切り替わります。手を外すと消音し、映し直すと演奏へ戻ります。
- 音量は40%から始まります。端末の音量も合わせて調整してください。
- 「演奏停止」、PCではEscapeキーでも音を止められます。
両手で同時に演奏する
左右の手で1音ずつ、最大2音を同時に鳴らせます。両手とも上下で音程、左右で明るさ、前後で強弱を操作し、指の形と手の表裏で音色を選びます。音階とキー、音量は共通です。
左手を低い位置、右手を高い位置にすると、低音とメロディーを分担できます。左右の音はステレオで少し左右に広がり、録音には両方の演奏が入ります。
片方の手を画面から外すと、その手の音だけが止まります。両手が重なると追跡しにくくなるため、少し離して指先まで映してください。左右や表裏を取り違える場合は、明るい場所で一度手を離してから映し直してください。
スマホで動きが遅れる場合は片手で演奏してください。認識に時間がかかった映像から古い音を鳴らさないため、遅れが大きいと一時的に消音します。
録音とWAV保存
演奏を開始してから「録音開始」を押します。「録音停止」で音声を用意し、プレーヤーで聴き直して「WAVを保存」を押してください。もう一度録音すると、新しい録音を作れます。
録音は最大5分、保存形式は16-bit PCM WAVです。音色、フィルター、余韻、音量を含む演奏音だけを記録します。カメラ映像やマイクの音は録音しません。ページを閉じる前に必要な音声を保存してください。
録音を保存できない場合は、ほかのアプリを閉じ、短い演奏で試してください。
スマホで演奏する
端末を片手で持ち、空いている手を前面カメラへ向けます。顔の少し横へ手を出し、指先まで映る距離でゆっくり動かしてください。端末を台へ置いて演奏することもできます。前面・背面カメラはボタンで切り替えられます。
音の遅れが気になるときは本体スピーカーや有線イヤホンを試してください。Bluetoothの音声機器では伝送による遅れが加わります。
画面を閉じたり別のタブへ移動したりすると、カメラ・演奏・録音を停止します。戻ったらカメラを開始してください。録音中だった音声は、ページに戻って変換が終わると保存できます。
初回の準備とプライバシー
カメラの使用を許可した後、初回に約8.0MBの認識用データを取得します。データはブラウザへ保存し、同じブラウザでの再訪問では再利用します。サイトデータを削除した場合や、ブラウザが保存領域を解放した場合は再取得します。
カメラ映像は端末内でAI解析され、サーバーへ送信されません。映像や手の座標をブラウザへ永続保存したり、分析用に外部送信したりもしません。
手が見つからない・音が出ないとき
- 明るい場所で手のひら全体を映し、指先が画面から切れない距離を取ります。
- 暗い場所、逆光、複雑な背景、手同士の重なり、速い動きでは認識が途切れることがあります。
- カメラを拒否した場合は、ブラウザのサイト設定でカメラを許可してください。
- カメラが使用中なら、他のアプリを終了してから再開します。
- 音が出ない場合は「演奏開始」、このページの音量、端末音量を確認します。
- AIの準備に失敗した場合は通信状態を確認し、カメラを停止して再開してください。
- 発熱が気になる場合はカメラを停止して休ませてください。長時間の負荷や速度は端末によって異なります。
