東工大のプラタナスの会の企画でbFaaaPを実演する企画がありました。
bFaaaPは譜面台に立てかけたiPhoneで演奏者の頭部角度をAIを使って検出し、その角度情報をBLEを使いピアノペダルを操作する装置へ送り、ペダルを踏んだり、放したりすることを可能にしています。
iPhoneの画面が赤くなっている間はペダルを踏んだ状態になり、白く画面がなるとペダルが放されます。
上手く使いこなせば、ピアノ演奏がより楽しくなりますよ！
この企画ではbFaaaPのメカとメンバーの紹介後に4人の演奏者がbFaaaPを使って実演してくれました。
bFaaaPを使ってここまでの演奏が可能なことを実証しています。
宍戸＆アソシエーツ(ORCID ID)は、AIと医薬、機械、材料との融合分野の特許翻訳を専門としています。東工大高度博士人材フェローシップで工学院情報通信系博士後期課程在籍。専門：AI(特許第6985543号 楽譜画像から音楽情報を作成する方法, ディープラーニングMMdA法(arXiv:2106.12037))、医薬（チロシンリン酸化酵素活性制御 J. Biol. Chem., 2003,278(24):21685-92; Nature Biotechnology翻訳者(2012-現在)）、機械（WO2019176164：AUXILIARY PEDAL SYSTEM, bFaaaP特許第6726319号）
Ph.D(Molecular Oncology)、弁理士（登録番号12598)、英検１級、TOEIC970、ドイツ語検定準１級、Goethe-Zertifikat B1、SDL Trados中級、G検定(2021#1)、AWS認定機械学習(2021.5)
ピアノ補助ペダル装置bFaaaPは、頭部傾き角度をAIにより検出し、２つのパラメーターであるオフセット角度と感度（ペダルを動かす速度）をコントールして自然で演奏者の好みにあった演奏を実現しました（特許第6726319号,特許第7004771号）
電子ピアノ＆キーボード用bFaaaP Switch、楽譜自動譜めくりiPadアプリbFaaaP Pager、汎用（アコースティック＆電子ピアノ用）bFaaaP6を開発販売しています
特許、意匠、商標を考慮し、AIプログラミングと組み合わせAWS等クラウド上でWebアプリ等で実現するコンサルティングを提供します。
医療機器日英中用語辞典MeLDy、bFaaaP特許第6726319号、デバイスコントローラ特許第7004771号、楽譜画像からの音楽情報作成方法特許第6985543号、img2xml特願2021-54429、意匠登録第1637409号、bFaaaP商標登録第6187860号、宍戸＆アソシエーツ商標登録第6345408号
電子ピアノ＆キーボードのペダルが、演奏者の頭部角度をiOSまたはAndroidのスマホやタブレットのアプリでAI検出して制御可能です。
「伸びる音」を含む演奏が足を使わずに実現できました。
足に障害を持つチャレンジド、小さな子供達、高齢者が不可能だったペダルを使ったピアノ演奏が可能になり、
音楽をより豊かに楽しめるようになりました。
このビデオは国際福祉機器展2021の出展用のビデオで、概要、設定方法、操作方法、実演、bFaaaPメンバーからのメッセージが収録されています。
img2Mxml(sheetmusic2musicxml)は、ディープラーニングモデルを利用して楽譜のイメージ（例、写真）からmusicXML音楽情報を作成するWeb AIアプリです。複数のディープラーニングモデルを組み合わせて音符記号を認識、合成してXMLファイルを作成します。そのXMLファイルから音楽を奏でることができます。
楽譜画像の各小節を認識するディープラーニングモデルを使用します。特許第6985543号としても成立しました。次に、得られた各小節の五線の位置を補正し、それを基準にします。そして、複数のディープラーニングモデルを使用して音楽記号を認識、合成します。得られた音符データを組み立てXMLファイルを作成します。
その手法MMdA(Measure-based Multimodal Deep Learning-driven Assembly)法は、ArXiv:2106.12037v1(Listen to Your Favorite Melodies with img2Mxml, Producing MusicXML from Sheet Music Image by Measure-based Multimodal Deep Learning-driven Assembly)として論文発表しました。
GitHub Repositoryで公開しています。GoogleColab上のnotebookで実行可能です。
bFaaaPの特徴は制御技術です。英文PCT出願（WO2019/176164）されました。また、日本国内でも特許（特許第6726319号）が成立しました。具体的には、２つのパラメータ（ピアノ演奏者の顔傾き角度のオフセット（水平位置からの角度）と感度（どのようなスピードでペダルを動かすか））を使いペダルを制御します。このbFaaaP技術によって、自然で演奏者の好みに合った演奏を実現しました。
大滝建築事務所 住宅の設計や施工を中心に、新築からリフォームまで手掛けています。20年ほど前に、車いすの方の住宅を設計したことがきっかけで、高齢者、障害者の方の住宅を多く手掛けるようになり、バリアフリー住宅を得意とするようになりました。 コラム 「居心地のよい住まい( https://ootaki.info/igokochi/ )」は 2000年10月からの１年間の間、朝日新聞（東京本社版）夕刊マリオンに、連載されたコラムです。ご愛読ありがとうございました。 著書 • バリアフリー住宅［居心地の良い家］のつくり方 • 福祉住環境コーディネーター まとめと問題 • バリアフリー住まいをつくる物語 • 明日の在宅医療・第2巻 – 在宅医療の諸相と方法
ピアノを弾くのが大好きですが、初心者です。４５歳になるまで楽譜を読むこともできず、そこからのスタートでした。山口先生に教えていただいて楽しくて、ペダルが使えたらもっと楽しいだろうなと思い、メンバーと共にbFaaaPを開発しちゃいました。 bFaaaP開発の過程でプログラミングを勉強する必要があり当初appleWatchでbFaaaPを制御しようと考えていたのでSwiftを学習しました。さらにプログラミングが面白くなってプログラミングスクールに入学しました。AIプログラミングをPythonで行い、DjangoやDockerを使ってWebアプリをAWS上のクラウド環境でデプロイしています。
ナル・サイエンス・ソフト（個人営業） 電子機器開発製造 東京都出身、埼玉県富士見市在住 もうすぐ古希を迎える、爺さんです。 趣味 写真、アマチュア無線、その他いろいろ エレクトロニクスの世界では、良い時代を過ごしたと思います。 電気への好奇心は家系も有るのですが、古いラジオを小学校のころ分解した事が発端だったと思います。 そしてラジオから聞こえる、海外の放送とかモールス信号、まだその頃は真空管の時代でした。 そして半導体の時代がやってきて、その移り変わりを体験しています。 ちょうど大学を出る頃に、マイクロコンピュータが世に出始めていました。
初めまして。ピアノ講師の山口恭子です。ピアノの基礎がある程度できるようになると、ペダルについて学びます。ペダルは音を豊かにしてくれるので、習い始めの方にとっての憧れでもあります。現代の生活に合わせて電子のピアノが進化してきているなか、足を使いその効果を出すペダルのスタイルは従来より変わっていません。IT社会に合う新しいペダル奏法で、これまでとは違う角度からピアノを楽しめたら面白い発見があるのではないかと思っています。 私は習い始めの生徒さんを中心に15年ほどピアノを教えています。ウィーンで演奏する小中学生の合唱団の指導も行ってきました。こども達を指導してきた経験より、少しお話させていただきます。
bFaaaPの開発にあたり、知財の面で協力させていただきました。 bFaaaPを使用することで、足に障害を持つ方や子供でも自由で精度の良いピアノペダル操作が可能になります。 また、眼鏡への取り付けができたりするため外観もスマートです。 ペダル操作に不自由を感じていた方のお役に立てれば幸いです。 ・好きなアニメ ピアノの森 ・好きなメドレー 中学聖日記メドレー（YouTube） ・好きなチーム セブンティシクサーズ、ピストンズ、ロケッツ ・論文 「抗体医薬特許における，非配列限定型／配列限定型特許の出願・審査傾向の分析と考察」, 知財管理誌 2015年11月号 p1582-1592
ピアノの調律師をしております。 音楽家の両親のもと、音楽に囲まれた環境で育ちました。 ずっと演奏を学んでいましたが、ピアノの音を少し違う角度から眺めてみたいとの思いから、現在の職業に至ります。 まだペダルに足が届かない幼少の頃、立ちながらペダルを踏み弾いたところ、なんて大人っぽく聞こえてくるのだろう！と感激したのを今でも覚えています。 しかし、ペダルを使うようになった年頃になり、レッスンで演奏していたところ「あなた、ペダルを使わない練習はしているの？」と聞かれましたが、まだ子供の私は練習の時もフレーズもつながってなんとなく仕上がって聞こえるという理由でペダルを使っての練習がほとんどでした。
旧ユーゴスラビア出身。8歳からアコーディオンとピアノを始める。11歳からイスタンブール芸術大学にてヴァイオリンを専攻。幼い時から作曲の勉強を行い、2007年同大学作曲科へ進学。2014年同大学院を音楽学にて修了。2016年春、 国立音楽大学大学院博士後期課程コンピュータ音楽創作学科に入学。 2018年イスタンブールMIAM作曲コンクールにて第1位受賞。2019年株式会社コルグ(KORG)サウンドデータ開発課に入社。
5歳くらいの頃、ピアノを演奏している人を見て、鍵盤の向こう側にいるのは誰なのかが知りたくて、ピアノを習いはじめました。今は医療関係の仕事をしていて、ピアノを弾く時間はあまりないのですが、ピアノが近くにあると心が落ち着きます。 これからは、bFaaaPで伸びのある音を聴かせていただけることを楽しみにしています。 音楽と関わっていくこと、自分の可能性を広げること、人の役に立つこと、など、いろいろ考えさせられています。bFaaaPは心のスイッチもonにするのかも、、、、。
東京工業大学工学院システム制御系システム制御コース所属。 東京工業大学ピアノサークルプラタナスの会にて活動中。 2022年から都内でキーボーディストとしてバンドのサポート活動開始予定。 プログラミング(Python,Matlab,C,JavaScript,HTML&CSS) 研究室で深層学習やセンシングの内容を扱っています、また他にも都内ベンチャー企業でインターンをやっています。 楽器(ピアノ、シンセサイザー、ベース) ピアノを3歳から始めて、上京後キーボードを購入し、バンドのサポートをするに至ります。クラシックはラヴェル、ショパン等を好んで弾いていました。バンドについては、主にプログレッシブロックやメタル系のジャンルを扱っています。
東京工業大学 電気電子系所属 東工大プラタナスの会でギターを弾いています。 bFaaaPは東工大プラタナスの会と強く連携しており、私もプラタナスの会のメンバーとして、宍戸さんには長い間お世話になっております。 今後は電気系の知識を活かして技術面のサポートをし、bFaaaPスイッチのピアノ以外の楽器への応用も実現させたいと考えております。
宍戸さんのブログでお馴染み、「早業３分クッキング」のヘルパーKです。 宍戸さんと出会って、はや１２年、これまで3000皿以上の料理を提供させていただきました。 これからも安くて早くて美味しい料理をお届けします。 これから始まる「シーズン２」では、「リーズナブル」を合言葉に、「これぐらい出したら納得できる」ヘルパーメニューを目指して頑張ります！
はじめまして。宍戸さんのブログに登場させていただいたことのある「ヘルパーM」です。 あれからもうすぐ７年、色々と心に残っていることはありますが、一番はやはり宍戸さんがピアノを習い始めたことです。 ピアノは「どの曲をどんな風に弾こうかな？」と考えるところから始まり、その時々の気持ちを全て受け入れて表現させてくれ、共に喜んだり癒してくれるすばらしいお友達です。 bFaaaPを使うことによって、ひとりでも多くの「the challenged」がより豊かな日々を過ごすことができるよう願っています。優雅なスタインウェイのピアノの音色に似合う料理、、、は私には難しいのですが、宍戸さんの優しいお人柄と「ヘルパーK」のレシピを頼りに、これからも料理に掃除にがんばります！！
東京都 八王子市 192-0355
