演奏する / namazu-ai-object-orchestra
なまずAI オブジェクト楽団 説明書
カメラに映ったコップ、本、植物などをAIが見つけ、仮想楽器にするツールです。AIで認識した手の動きで鳴らし、自動伴奏と一緒に演奏できます。音だけでも、映像と音を合わせても残せます。
初めての方へ
最初の1分は、ここだけ試してください
- カメラを開始して使用を許可します。
- 机を映して部屋をスキャンします。
- 演奏開始を押し、枠の外から手を入れて鳴らします。
- 気に入った演奏を録音・録画して保存します。
AIが認識しているもの
AIが日用品と手の位置を見つけます。最大8個の物体へ音色と音程を割り当てます。同じ種類の物体も別の楽器です。
音色は認識カテゴリに対応した設定です。材質や演奏意図をAIが理解して音を作る機能ではありません。コップや本でも、形・光・背景によって見つからない場合があります。
叩いて演奏する · PLAY
画面上の枠へ手の中心を外側から入れる動きを使います。実際の接触や奥行きは測っていないため、物に強く触れる必要はありません。映像内で手と物体の位置を合わせてください。
手を置いたままでは連続して鳴りません。枠の外へ戻してから、次の打撃を入れます。速い動きほど大きな音になります。小さな揺れと、枠が動いた直後の発音は抑えています。
音色と音程
コップ・ボトルはBell、椅子・テーブルはDrum、植物はPad、本はBass、PC・テレビはSynthへ割り当てます。そのほかにPercussionとPluckがあります。
「楽器を編集」の音色は24種類。打楽器、楽器、効果音から選び、「音を試す」で聴き比べられます。レーザー、コイン、しずくなども物体を叩いて鳴らせます。試聴は録音・録画中には使えません。初期設定はCのPentatonicです。Major、Minor、Bluesと12種類のキーへ変更できます。「楽器を編集」で使用ON/OFF、音色、音程を個別に選べます。個別指定した音程は音階を変えても維持します。
自動楽団 · ENSEMBLE
ENSEMBLEをONにすると、認識した物体の音色に合わせてドラム、低音、持続音、短いフレーズを共通テンポで鳴らします。手で叩くと、その楽器の音をアクセントとして加えられます。
テンポは60〜160 BPM、初期値は100です。ENSEMBLEをOFFにすると手での演奏に戻ります。「演奏停止」またはPCのEscapeキーで全音を止めます。
カメラの移動と再スキャン
スキャン後も低い頻度で物体を再検出し、位置と重なりから同じ楽器を追跡します。小さな移動には追従しますが、物体が交差したり、カメラを大きく動かしたりすると対応が外れることがあります。
枠が消えた場合はカメラを落ち着かせて「部屋をスキャン」。演奏する物を追加したいときも再スキャンします。片手で端末を持つ場合は、できるだけ揺らさず、明るい場所で使ってください。
音だけ録音する
演奏を開始して「音だけ録音」を押します。「録音・録画を停止」で音声を用意し、プレーヤーで聴き直して「音声だけ保存」を押します。出力は16-bit PCM WAVです。マイクの音は入りません。
最大3分です。保存データが大きくなった場合は早めに停止します。再録音すると前の結果を置き換えるため、残す作品は先に保存してください。
AI演出と音が入る演奏動画
「演奏動画を録画」はカメラ映像、物体の枠、楽器名、音程、手の中心、ヒット時の光と演奏音を記録します。設定画面やブラウザの操作部分は入りません。停止後はページ内で再生し、動画または音声だけを保存できます。
動画形式はブラウザが対応するMP4またはWebMです。選ばれた形式と保存拡張子を合わせます。端末によって動画録画を利用できない場合があります。
比率はカメラと同じ、またはSNS向けの9:16です。9:16では映像全体を収めて余白を付け、物体が切れないようにします。横向きは最大幅720px、縦向きは最大高さ960px、録画は24fpsを目標にします。
スマホで使う
背面カメラで机を映す使い方が基本です。「前面カメラへ」で切り替えられます。前面は鏡のように表示します。切り替えたら再スキャンしてください。
音量は35%から始まります。遅れが気になるときは本体スピーカーか有線イヤホンを使ってください。録画時は映像の滑らかさより演奏を優先して負荷を調整します。
別のタブへ移るとカメラ・演奏・録画を停止します。ページを閉じる前に作品を保存してください。長時間の動作や発熱は端末によって異なります。
初回の準備とプライバシー
カメラの使用を許可した後、初回に合計約11.8MBの認識用データを取得します。ブラウザに保存して次回から再利用します。ブラウザのサイトデータが消えた場合は再取得します。
カメラ映像、物体の枠、手の座標、録画データをサーバーや分析サービスへ送信しません。認識から演奏・録画まで端末内で処理します。映像と音声は保存ボタンを押したときだけファイルとして出力します。
うまく動かないとき
- コップ、本、植物などを大きめに映し、逆光や暗い場所を避けます。
- 手のひらと指先まで画面へ入れ、枠の外から動かしてください。
- カメラを拒否した場合はブラウザのサイト設定で許可します。ほかのアプリがカメラを使っている場合は閉じてください。
- AIの準備に失敗したときは通信状態を確認し、停止して再開します。
- 録音や動画の保存に失敗した場合は短い演奏で試し、端末の空き領域を確認してください。
